Peneliti Google memperkenalkan ‘ketidakpastian yang sebenarnya’, yang memungkinkan LLM memberikan tebakan terbaik, bukan halusinasi
Model bahasa besar terus berjuang melawan halusinasi, sehingga menghadirkan hambatan besar bagi aplikasi perusahaan di dunia nyata. Mengurangi kesalahan ini adalah hal yang rumit, memaksa pengembang model untuk melakukan trade-off yang ketat, yaitu menghilangkan kesalahan faktual sering kali menghambat jawaban yang valid. Dalam sebuah makalah baru, peneliti Google memperkenalkan konsep “ketidakpastian yang sebenarnya”, sebuah teknik metakognitif yang menyelaraskan respons model dengan keyakinan internalnya. Penyelarasan ini memungkinkan model untuk menawarkan hipotesis lindung nilai yang tepat, seperti “Tebakan terbaik saya adalah”, alih-alih menggunakan biner “jawab-atau-abstain” yang tidak membantu. Dalam aplikasi AI agen di dunia nyata, kesadaran metakognitif ini bertindak sebagai lapisan kontrol yang penting. Hal ini memberdayakan sistem otonom untuk secara akurat menentukan kapan pengetahuan internal mereka mencukupi dan kapan mereka harus secara dinamis memicu alat eksternal atau mencari API untuk mengatasi defisit. Pajak utilitas dari strategi mitigasi saat ini Memahami mengapa LLM berhalusinasi bergantung pada pemisahan dua kemampuan: model yang mengetahui fakta versus mengetahui apa yang diketahui. Secara historis, sebagian besar perolehan faktualitas dalam AI berasal dari perluasan batas pengetahuan, yang berarti pengembang hanya memasukkan lebih banyak fakta ke dalam parameter model melalui skala yang lebih besar dan data pelatihan yang lebih banyak. Namun, memperluas pengetahuan suatu model tidak secara otomatis meningkatkan kesadaran batasnya, yaitu kemampuannya untuk membedakan yang diketahui dari yang tidak diketahui dan mengenali keterbatasannya sendiri. “Ada dua cara untuk meningkatkan faktualitas LLM,” Gal Yona, Ilmuwan Riset di Google dan salah satu penulis makalah tersebut, mengatakan kepada VentureBeat. Yang pertama adalah terus mengajarkan model lebih banyak fakta. Namun, Yona mencatat, “kapasitas model terbatas, dan pengetahuan panjang sebenarnya tidak terbatas.” Ketika model mencapai batas ini, harapannya adalah mereka mengetahui apa yang tidak mereka ketahui dan tidak menjawab. Namun, hal ini pada dasarnya sulit dilakukan oleh LLM. “Inilah sebabnya sebagian besar upaya praktis untuk mengurangi halusinasi melalui berbagai intervensi tidak berhasil diterapkan,” jelas Yona. “Mereka memang mengurangi halusinasi, tapi juga merugikan utilitas, karena model tersebut akhirnya menolak menjawab pertanyaan yang sebenarnya diketahuinya.” Ketidakmampuan untuk membedakan antara yang diketahui dan yang tidak diketahui menciptakan apa yang disebut oleh penulis makalah sebagai “pajak utilitas”. Penerapan standar tanpa halusinasi mengharuskan model untuk abstain setiap kali terdapat ketidakpastian, sehingga membuang sejumlah besar informasi yang benar-benar valid. Misalnya, penulis menunjukkan bahwa mengurangi tingkat kesalahan mendasar sebesar 25% ke target ketat 5% memaksa pengembang membuang 52% jawaban model yang benar. Pajak utilitas halusinasi (sumber: arXiv) Memperlakukan semua kesalahan sebagai halusinasi memaksa sistem perusahaan untuk memilih antara dapat dipercaya dan membantu. Pengembang aplikasi umumnya tidak bersedia membayar pajak utilitas yang besar dan membuat model mereka tidak berguna. Akibatnya, mereka mengoptimalkan sistem untuk memprioritaskan cakupan, memaksa model untuk beroperasi dalam keadaan di mana mereka terus menghasilkan halusinasi yang meyakinkan. Transformasi VB · 14–15 Juli · Menlo Park · Orkestrasi agen Intuit membangun kembali sistem multi-agennya dalam 60 hari. Apa yang mereka ubah – dan mengapa? Di Transform, para pemimpin teknik dari Intuit, Target, dan Instacart menguraikan cara mereka mendesain ulang arsitektur orkestrasi untuk keandalan, skala, dan pelanggan nyata. Lihat agenda selengkapnya → Membingkai ulang halusinasi sebagai kesalahan yang pasti Untuk menghindari pajak utilitas, para peneliti mengusulkan untuk berhenti memperlakukan kesalahan faktual sebagai halusinasi. Sebaliknya, mereka membingkai ulang halusinasi sebagai “kesalahan karena percaya diri”: informasi yang salah disampaikan secara resmi tanpa kualifikasi yang tepat. Pembingkaian ulang yang halus ini menghilangkan dikotomi ketat “jawab-atau-abstain” dan memungkinkan model untuk mengekspresikan ketidakpastiannya. Dalam kerangka baru ini, jika model membuat kesalahan faktual namun secara tepat membatasi responsnya (misalnya, dengan menyatakan, “Saya tidak sepenuhnya yakin, tapi menurut saya…”), hal tersebut bukanlah halusinasi. Ini hanyalah sebuah hipotesis yang ditawarkan kepada pengguna untuk dipertimbangkan. Dengan mengungkapkan ketidakpastian, AI mempertahankan kegunaannya—membagikan sebagian atau kemungkinan pengetahuan yang dimilikinya—tanpa melanggar kepercayaan pengguna. Namun, jika asisten AI melindungi semua tanggapannya dengan penafian, pengguna terpaksa memeriksa ulang semuanya, sehingga menggagalkan tujuan alat tersebut sepenuhnya. Solusi yang diusulkan para peneliti adalah “ketidakpastian yang sebenarnya”. Pendekatan ini memerlukan penyelarasan ketidakpastian linguistik model, atau kata-kata yang digunakan untuk mengungkapkan keraguan, dengan ketidakpastian intrinsiknya, yang merupakan keyakinan statistik internal aktual terhadap jawaban spesifik tersebut. Hal ini memastikan model hanya melakukan lindung nilai ketika keadaan internalnya benar-benar mencerminkan informasi yang bertentangan atau probabilitasnya rendah. Ketidakpastian yang nyata membentuk komponen inti “metakognisi”, yaitu kemampuan AI untuk menyadari ketidakpastiannya sendiri dan bertindak berdasarkan ketidakpastian tersebut. Untuk memahami hal ini secara praktis, perhatikan contoh intuitif berkonsultasi dengan dokter. Kami tidak mempercayai dokter karena mereka maha tahu. Kami memercayai data tersebut karena data tersebut dapat dengan andal membedakan antara diagnosis yang pasti (“Anda mengalami patah tulang”) dan hipotesis yang terdidik (“Ini mungkin keseleo, tapi mari kita lakukan beberapa tes”). Implikasi praktis untuk AI perusahaan Di bawah kerangka baru, kesalahan yang modelnya benar-benar yakin tetapi secara faktual salah dikategorikan sebagai “kesalahan yang jujur”. Hal ini menjadikan perluasan pengetahuan (melatih model pada lebih banyak data) dan ketidakpastian sebagai upaya yang saling melengkapi. Perluasan pengetahuan mendorong batasan pengetahuan absolut ke luar untuk meminimalkan kesalahan yang jujur, sementara ketidakpastian yang sebenarnya berkomunikasi dengan jujur di mana pun batasan tersebut berada. Pembingkaian baru ini memiliki implikasi penting untuk penerapan agenik. Peralihan ke AI agen mungkin membuat seolah-olah mengetahui apa yang tidak diketahui oleh model adalah hal yang mubazir, karena model hanya dapat mencari database eksternal. Namun, akses terhadap alat-alat eksternal justru memperkuat kebutuhan akan ketidakpastian. Dalam sistem agen, metakognisi menjadi lapisan kontrol pusat yang mengatur keseluruhan sistem. Alat eksternal memecahkan masalah penyimpanan karena model tidak perlu lagi mengkodekan setiap fakta ke dalam parameternya. Namun, hal ini menimbulkan masalah pengendalian baru: mengatur kapan harus mengambil informasi, memverifikasi fakta, dan mengatur alat eksternal ini. Tanpa ketidakpastian yang sebenarnya, suatu agen pada dasarnya tidak bisa berbuat apa-apa dan harus bergantung pada heuristik eksternal, heuristik statis, atau perancah yang direkayasa secara berlebihan. “Model tersebut mungkin mencari sesuatu yang sudah diketahui dengan percaya diri—membuang latensi dan biaya tanpa hasil. Atau sebaliknya: model tersebut dengan percaya diri menjawab dari memori padahal seharusnya mencari, menghasilkan keluaran yang masuk akal namun salah,” kata Yona. Agen yang memanfaatkan saat ini mencoba menyelesaikan masalah ini secara eksternal dengan pengklasifikasi kueri atau aturan pencarian selalu, namun Yona mencatat bahwa ini “statis dan rapuh”. Dengan menggunakan ketidakpastian intrinsiknya untuk mengatur perilakunya sendiri, agen secara dinamis mengoptimalkan penggunaan alatnya, memilih untuk menggunakan alat pencarian hanya ketika kepercayaan internalnya benar-benar rendah. Selain memutuskan kapan harus melakukan pencarian, ketidakpastian yang tepat sangat penting untuk mengevaluasi hasil pencarian. Jika suatu alat mengembalikan informasi berkualitas rendah atau tidak terduga, agen metakognitif tidak begitu saja menerima apa pun yang muncul di jendela konteksnya. Sebaliknya, mereka menggunakan kesadaran ketidakpastiannya untuk mempertimbangkan sinyal-sinyal eksternal yang diperoleh dibandingkan dengan sinyal-sinyal internalnya sendiri. Hal ini mencegah perilaku menjilat di mana sistem mungkin memercayai sumber eksternal yang bertentangan dengan pengetahuan sebenarnya yang diketahui. Paradoks bootstrapping: Kendala dalam mengajarkan ketidakpastian Bagi para pembangun perusahaan, mencapai ketidakpastian yang sebenarnya ini lebih sulit daripada kedengarannya. Hal ini membutuhkan model pengajaran sintaksis ketidakpastian melalui penyempurnaan yang diawasi (SFT). Karena model terlatih sebagian besar diberi teks resmi, mereka harus diajarkan secara eksplisit untuk mengatakan hal-hal seperti, “Saya tidak sepenuhnya yakin, tapi menurut saya VentureBeat didirikan pada…”Tetapi SFT memperkenalkan “paradoks bootstrap”. Tidak seperti kumpulan data pelatihan standar yang “jawaban benar”-nya sama, apa pun modelnya, kebenaran mendasar dari ketidakpastian adalah basis pengetahuan dinamis dari model tersebut. “Yang menarik adalah: ekspresi ketidakpastian yang ‘benar’ pada dasarnya bersifat dinamis, karena bergantung pada apa yang diketahui atau tidak diketahui oleh model tertentu pada saat pelatihan tertentu,” kata Yona. “Jika Anda berlatih dengan label yang bertuliskan ‘Saya tidak tahu X’ namun modelnya benar-benar mengetahui X, Anda telah mengajarkannya untuk berhalusinasi ketidakpastian… Data pelatihan bersifat statis, namun targetnya terus bergerak, dan itulah ketegangan mendasar yang harus dihadapi oleh tim.”Jalan menuju AI yang sadar diriBagi perusahaan yang ingin menerapkan kemampuan ini tanpa pelatihan ulang yang mahal, dorongan berfungsi sebagai titik masuk yang paling mudah diakses. “Rekayasa cepat sudah menjadi sesuatu yang dilakukan sebagian besar insinyur saat ini, hal ini memberikan jalur paling mudah untuk meningkatkan perilaku metakognitif saat ini,” kata Yona. Pengembang perusahaan dapat mengeksplorasi kerangka kerja seperti MetaFaith, sebuah proyek sumber terbuka yang sebelumnya ditulis bersama oleh Yona, untuk mulai menerapkan dorongan metakognitif ke model siap pakai. Namun, Yona memperingatkan bahwa “masih ada ruang besar yang tidak dapat diselesaikan dengan dorongan saja,” yang berarti industri pada akhirnya harus mengandalkan pembelajaran penguatan tingkat lanjut (RL) untuk memasukkan metakognisi secara mendalam ke dalam pelatihan model. Pada akhirnya, ketika perusahaan bertransisi dari aplikasi obrolan terisolasi ke alur kerja multi-agen yang kompleks, kesadaran diri akan menjadi prasyarat penting bagi otonomi yang dapat diandalkan. Namun mengevaluasi apakah suatu model benar-benar memiliki kesadaran ini masih merupakan tantangan teknis yang besar. “Bagaimana Anda sebenarnya mengevaluasi apakah suatu model dapat merasakan kondisi internalnya?” Yona bertanya. “Bahkan pada manusia, sulit untuk mendefinisikan atau memisahkan kemampuan pemantauan diri yang ‘sebenarnya’ dari ketergantungan pada proxy. Kita menghadapi tantangan yang persis sama dengan LLM: sebuah model mungkin belajar meniru gaya ketidakpastian tanpa benar-benar merasakan keadaan internalnya. Mengembangkan kerangka evaluasi yang dapat membedakannya adalah salah satu masalah terbuka yang paling penting dalam bidang ini.”
Diterbitkan : 2026-06-12 21:27:00
sumber : venturebeat.com
