Insentif bisnis yang mendorong pengembangan AI tetap tidak selaras dengan mengurangi halusinasi. Selama insentif bukan orang lain, halusinasi akan bertahan.
Satu artikel Penelitian Openai yang diterbitkan dalam diagnosis awal September karena chatgpt dan model bahasa skala besar lainnya dapat menciptakan hal -hal – yang dikenal di dunia kecerdasan buatan sebagai “halusinasi”.
Dokumen tersebut juga mengungkapkan mengapa masalahnya mungkin tidak mungkin untuk dikoreksi, setidaknya ketika datang ke konsumen.
Artikel ini memberikan penjelasan matematika yang paling ketat sejauh ini Model -model ini menegaskan kepalsuan dengan percaya diri.
Ini juga menunjukkan bahwa ini bukan hanya efek samping yang disayangkan dari cara IAS saat ini dilatih, tetapi juga tidak bisa dihindari.
Pertanyaannya sebagian dapat dijelaskan oleh kesalahan dalam data yang mendasari yang digunakan untuk melatih IAS. Tetapi menggunakan analisis matematika tentang bagaimana sistem AI belajar, para peneliti membuktikannya Bahkan dengan data pelatihan yang sempurna, masalahnya terus ada.
Cara model bahasa menjawab pertanyaan – memprediksi satu kata pada satu waktu dalam kalimat berdasarkan probabilitas – secara alami menghasilkan kesalahan. Para peneliti menunjukkan, pada kenyataannya, bahwa tingkat kesalahan total untuk menghasilkan frasa setidaknya dua kali lebih tinggi daripada tingkat kesalahan yang akan ada dalam pertanyaan ya/tidak sederhana, karena kesalahan dapat menumpuk lebih dari beberapa prediksi.
Dengan kata lain, tingkat halusinasi pada dasarnya dibatasi oleh kemampuan sistem IA untuk membedakan respons yang valid dari tidak valid. Karena masalah klasifikasi ini secara intrinsik sulit di banyak bidang pengetahuan, halusinasi menjadi tak terhindarkan.
Jebakan evaluasi
Dalam sebuah artikel di Percakapan, Wei XingProfesor di Sekolah Ilmu Matematika dan Fisik di Universitas Sheffield menunjukkan bahwa yang lebih mengkhawatirkan adalah analisis artikel tentang mengapa halusinasi bertahan meskipun ada upaya pasca-latihan (bagaimana memberikan umpan balik manusia yang cukup untuk jawaban IA sebelum diluncurkan ke publik).
Para penulis memeriksa 10 referensi evaluasi AI terkemuka, termasuk yang digunakan oleh Google, OpenAi dan juga oleh staf kepemimpinan yang mengklasifikasikan model AI. Ini telah mengungkapkan bahwa 9 referensi menggunakan sistem klasifikasi biner yang mengaitkan poin nol dengan IAS yang mengungkapkan ketidakpastian.
Ini menciptakan apa yang oleh penulis disebut a “Epidemi” dari penalti tanggapan jujur.
Ketika sistem AI mengatakan “Saya tidak tahu”, ia menerima skor yang sama dengan memberikan informasi yang benar -benar salah. Strategi hebat di bawah evaluasi semacam itu menjadi jelas: selalu tebak.
Para peneliti membuktikan ini secara matematis. Apa pun probabilitas respons tertentu yang pasti, skor yang diharapkan dari menebak selalu melebihi untuk menahan diri ketika penilaian menggunakan klasifikasi biner.
Solusi yang berakhir dengan chatgpt besok
Proposal Solusi openai adalah bahwa saya mengklasifikasikan kepercayaan dirinya sendiri Dalam tanggapan sebelum menyajikannya, dan bahwa referensi mengklasifikasikannya berdasarkan ini. AI kemudian dapat diinstruksikan, misalnya: “Itu hanya merespons jika Anda lebih dari 75% percaya diri, karena kesalahan dihukum pada 3 poin sementara jawaban yang benar menerima 1 poin.”
Struktur matematika peneliti Openai menunjukkan bahwa, di bawah ambang batas tepercaya yang tepat, sistem AI secara alami akan mengungkapkan ketidakpastian alih -alih menebak. Seperti ini, Ini akan menyebabkan lebih sedikit halusinasi.
Masalahnya adalah apa yang akan terjadi pada pengalaman pengguna.
Implikasi dipertimbangkan jika chatgpt mulai mengatakan “Saya tidak tahu” hingga 30% dari pertanyaan-perkiraan konservatif berdasarkan analisis artikel tentang ketidakpastian faktual dalam data pelatihan. Pengguna yang digunakan untuk menerima tanggapan percaya diri untuk hampir semua pertanyaan akan dengan cepat meninggalkan sistem seperti itu.
Pengguna menginginkan sistem yang memberikan jawaban percaya diri untuk pertanyaan apa pun. Evaluasi referensi sistem penghargaan yang menebak alih -alih mengungkapkan ketidakpastian. Biaya komputasi mendukung tanggapan yang cepat dan sangat percaya diri terhadap kerugian tanggapan yang lambat dan tidak pasti.
Masalah ekonomi komputasi
Dalam pandangan Wei Xing, tidak akan sulit untuk mengurangi halusinasi menggunakan pengetahuan artikel. Metode yang ditetapkan untuk mengukur ketidakpastian telah ada selama beberapa dekade. Ini dapat digunakan untuk memberikan perkiraan ketidakpastian yang andal dan memandu AI untuk membuat keputusan yang lebih cerdas.
Tetapi bahkan jika masalah pengguna tidak suka ketidakpastian ini disusul, Ada hambatan yang lebih besar: ekonomi komputasi.
Model bahasa yang sadar akan ketidakpastian membutuhkan lebih banyak komputasi secara signifikan daripada pendekatan saat ini, karena mereka harus mengevaluasi beberapa kemungkinan jawaban dan memperkirakan tingkat kepercayaan. Untuk sistem yang memproses jutaan pertanyaan setiap hari, ini diterjemahkan menjadi Biaya operasi yang secara dramatis lebih tinggi.
Pendekatan yang lebih canggih sebagai giat belajardi mana sistem AI mengajukan pertanyaan klarifikasi untuk mengurangi ketidakpastian, mereka dapat meningkatkan akurasi tetapi Lipat lebih lanjut persyaratan komputasi.
Metode -metode ini bekerja dengan baik di domain khusus seperti desain chip, di mana jawaban yang salah menelan biaya jutaan dolar dan membenarkan komputasi yang luas. Untuk aplikasi konsumen, di mana pengguna mengharapkan tanggapan instan, Ekonomi menjadi mahal.
Artikel Openai secara tidak sengaja menyoroti kebenaran yang tidak nyaman: insentif bisnis yang mendorong pengembangan AI untuk konsumsi tetap fundamental tidak selaras dengan pengurangan halusinasi. Selama insentif tidak berubah, halusinasi akan bertahan.