Sebuah studi baru -baru ini oleh BBC menemukan ketidakakuratan utama dalam jawaban berita yang disediakan oleh asisten AI. Para peneliti menguji empat asisten AI terkenal-ChatGPT, Copilot, Gemini, dan Bancetity-dengan memungkinkan mereka untuk menggunakan situs web BBC untuk tanggapan mereka.
Studi ini mengungkapkan bahwa asisten AI populer itu sering memberikan informasi yang salah dan mendistorsi fakta dalam balasan mereka. Serangkaian 100 pertanyaan diajukan kepada asisten AI tentang berbagai topik berita tren yang berbeda. Wartawan BBC mengevaluasi jawaban berdasarkan tujuh kriteria: akurasi, memberikan sumber yang tepat, tidak memihak, membedakan antara opini dan fakta, menghindari sudut pandang pribadi, memberikan konteks, dan termasuk konten BBC dengan tepat.
Evaluasi menemukan bahwa lebih dari setengah (51%) dari tanggapan memiliki masalah yang signifikan di bidang ini. Selain itu, 91% dari jawaban memiliki setidaknya beberapa ketidakakuratan. Dengan sesuatu seperti berita, bahkan sedikit salah adalah masalah besar.
Banyak kesalahan itu karena fakta yang salah. Sekitar 19% dari jawaban yang menyebutkan konten BBC termasuk kesalahan seperti pernyataan, angka, atau tanggal yang salah. Juga, 13% kutipan yang seharusnya dari artikel BBC diubah atau tidak berasal dari sumber aslinya. Beberapa contoh termasuk asisten AI secara tidak benar menyatakan status mantan politisi, salah mengartikan nasihat NHS tentang vaping, dan salah pelaporan konflik di Timur Tengah.
Studi ini menunjukkan masalah dengan bagaimana sumber digunakan dan konteks yang disediakan. Asisten AI sering memilih artikel lama atau halaman web saat ini sebagai sumber mereka, yang menyebabkan beberapa ketidakakuratan. Terkadang, informasi itu benar tetapi dikreditkan secara keliru ke BBC. Selain itu, AI tidak memberikan konteks yang cukup dalam tanggapannya, yang menyebabkan kesalahpahaman.
Rupanya, AI kesulitan mengatakan perbedaan antara opini dan fakta. Hal ini menyebabkannya sering memperlakukan pendapat sebagai fakta, dan sering kali meninggalkan konteks penting, menghasilkan jawaban yang bias atau tidak lengkap.
Yang paling menarik adalah penelitian yang ditemukan bahwa asisten AI yang berbeda memiliki masalah yang berbeda. Sebagai contoh, Gemini memiliki masalah paling banyak dengan akurasi dan juga berjuang untuk menyediakan sumber yang dapat diandalkan. Baik kopilot dan kebingungan mengalami kesulitan mewakili konten BBC secara akurat. Ini secara tidak sengaja membuktikan AI dari perusahaan yang berbeda tidak dapat dipertukarkan, dan kualitas seseorang mungkin lebih baik daripada yang lain – namun mereka masih belum sebagus manusia.
Satu topik besar yang diangkat dalam penelitian ini adalah kekhawatiran besar tentang betapa mudahnya informasi yang salah ini dapat menyebar di media sosial. Penelitian BBC menunjukkan bahwa asisten AI tidak dapat diandalkan untuk pelaporan berita yang akurat saat ini. Meskipun banyak dari mereka memperingatkan pengguna bahwa mungkin ada kesalahan, tidak ada sistem untuk memperbaiki kesalahan seperti yang dilakukan outlet berita tradisional.
BBC menyerukan lebih banyak kontrol atas bagaimana perusahaan AI menggunakan konten mereka, lebih banyak transparansi tentang cara kerja AI, dan pemahaman yang lebih baik tentang ketidakakuratan yang dapat terjadi. BBC berencana untuk mengulangi studi ini di masa depan untuk melihat apakah segala sesuatunya membaik dan juga dapat mencakup penerbit lain dan organisasi media dalam penelitian mereka.
Sumber: BBC
