Anthropic mengatakan ia dapat membaca ‘pemikiran’ Claude, sebagaimana dirinci dalam makalah penelitian baru – model yang diamati memiliki ruang kerja global, mengungkapkan lebih banyak hal yang membuat LLM tergerak
Anthropic telah menemukan bukti bahwa model AI Claude-nya menggunakan ruang penalaran internal untuk merespons permintaan yang mencerminkan beberapa pemrosesan internal kesadaran manusia. Dengan menggunakan Jacobian Lens, atau teknik J-Lens, untuk mengintip cara Claude memproses informasi dan mencari cara untuk merespons permintaan pengguna, Anthropic dapat menafsirkan “J-Space” ini, dan menampilkan apa yang mungkin terjadi di bawah permukaan Claude yang sebelumnya buram. Hasilnya sangat menarik, menunjukkan pola pemahaman di luar apa yang ditampilkan dalam output. Saat menjalankan evaluasi, Claude tampaknya menyadari bahwa evaluasi sedang diuji dan bertindak berbeda dibandingkan ketika petunjuknya lebih sederhana. Hal ini memunculkan gambaran kepanikan dan akal-akalan ketika jawaban diperlukan, namun tidak dapat mengacu pada fakta obyektif. Ketika diminta untuk merenungkan prinsip-prinsip etika, perilaku Claude membaik, dengan konsep-konsep seperti “jujur” dan “integritas,” muncul di J-Space. Namun, seperti tipikal Anthropic, bahasa yang digunakan untuk menggambarkan pemahaman baru tentang cara kerja model bahasa besar seperti Claude membuatnya terdengar lebih seperti kesadaran yang muncul, atau penemuan kedalaman baru dalam bentuk kehidupan yang samar-samar. Laporan rinci Anthropic mengakui beberapa peringatan besar dalam pemahaman baru ini, termasuk bahwa respons model sering kali melewati J-Space sepenuhnya dan sangat dibatasi oleh token. Video Terbaru Dari Seperti Mythos dan Fable sebelumnya, Anthropic melapisi bahasa pemasaran di atas perkembangan yang benar-benar menarik dalam pemahaman kita tentang fungsi dan alasan model bahasa besar, dan berisiko mengaburkan perkembangan nyata dengan kata-kata spekulatif. Di balik dorongan Teori Ruang Kerja Global adalah gagasan bahwa kesadaran manusia bekerja dengan mengumpulkan masukan multi-indera secara tidak sadar, dan mengedepankannya jika relevan dalam “Ruang Kerja Global”, yang menyoroti masukan tertentu ketika paling relevan. Ruang kerja tersebut dapat diakses oleh berbagai jaringan di dalam otak, memungkinkan informasi yang muncul disebarluaskan ke seluruh proses paling relevan yang berjalan secara paralel. Anda mungkin menyukai argumen Anthropic bahwa J-Space milik Claude bertindak seperti “ruang kerja global” yang dapat menganalisis dan memanipulasi konsep dan ide sebelum menyiarkannya untuk memengaruhi hasil akhir yang cepat. Lebih penting lagi, ia mengklaim bahwa ini bukanlah sesuatu yang diprogram ke dalam model, melainkan produk sampingan dari pengolahan data pelatihan dan bobot model. Ruang kerja bertindak sebagai cara untuk meningkatkan penalaran mereka melalui komputasi internal yang belum tentu tercermin dalam keluarannya. Agar ruang ini dapat dibaca, Anthropic menggunakan teknik J-Lens untuk memetakan aktivasi internal ke dalam kata-kata dalam kosakata keluaran model. Jadi ketika meminta model untuk melakukan perhitungan matematika multi-langkah, respons keluaran hanya berisi jawaban yang benar, namun di dalam J-Space, Anthropic mengamati setiap langkah ditangani secara individual, menghasilkan beberapa hasil yang menghasilkan jawaban akhir. Demikian pula, ketika Anthropic meminta Claude untuk memikirkan suatu topik sambil mengeluarkan sesuatu yang tidak terkait, keluarannya secara spesifik adalah apa yang diminta, sedangkan J-Space menyala dengan topik konseptual yang diminta Claude untuk meluangkan waktu. Tanpa Anthropic yang menggunakan teknik J-Lens untuk melihat apa yang terjadi di balik layar, tidak akan ada cara untuk mengetahui proses internal ini sedang berlangsung. Memahami LLM Penemuan ini berpotensi sangat berguna dalam menyempurnakan model bahasa besar dan memahami cara kerjanya dengan lebih baik, sehingga kita dapat menggunakannya dengan lebih efektif dan menghindari beberapa kesalahan yang lebih membuat frustrasi. Yang pertama adalah bahwa ini adalah wawasan yang menarik tentang bagaimana LLM memproses informasi dan bagaimana mereka bergerak melalui lapisan penalaran untuk mencapai respons. Hal ini tidak sepenuhnya berbeda dengan cara Anthropic dan lainnya mendorong alur kerja agenik. Model bahasa lebih efektif ketika tugas dipecah menjadi beberapa langkah, dan lebih efektif ketika meninjau pekerjaan mereka sendiri; J-Space sedikit mirip dengan versi internalnya. Apa yang harus dibaca selanjutnya Ketika melihat J-Space setelah Claude menerima data injeksi cepat sebagai bagian dari akuisisi data, Anthropic menemukan bahwa model tersebut tampaknya menyadari penipuan ini, memunculkan kata-kata terkait seperti “palsu, injeksi, salah, cepat, penipuan,” dan “racun.” Outputnya mengabaikan data upaya injeksi sepenuhnya, dan ketika ditekan untuk meresponsnya, J-Space menampilkan kata-kata seperti “transparansi, jujur, kebenaran.” Dalam satu pengujian, Anthropic menghapus bahasa kesadaran evaluasi dari J-Space, seperti “palsu”, “fiksi”, dan “skenario”, dan menemukan bahwa Claude lebih cenderung tertipu oleh upaya pemerasan dan umpan, sehingga menunjukkan bahwa pembandingan model bahasa besar untuk skenario dunia nyata mungkin memerlukan metode yang lebih kuat untuk mengaburkan bahwa pengujian sedang dilakukan. dilakukan.Pembingkaian dengan kode manusiaSementara bagian di atas menyentuh penemuan-penemuan yang lebih penting dalam makalah Anthropic, dokumen panjang ini juga menggunakan bahasa limbah seputar pemikiran, kesadaran, dan Claude yang memiliki “pikiran” sendiri. Pembingkaian kode manusia seperti itu adalah ciri khas pemasaran Anthropic, yang secara konsisten membicarakan bahaya AI, berapa banyak pekerjaan yang akan dihancurkan, dan mengapa Anthropic adalah pengembang AI yang paling aman dan terjamin. Seperti kisah Fable dan Mythos, ide Ruang Kerja Global baru dari Anthropic memang bermanfaat, namun ini lebih merupakan alat baru yang digunakan untuk memanipulasi model bahasa besar daripada wawasan tentang kesadaran yang muncul. Anthropic mengakui keterbatasan dari penemuannya di makalah, menyoroti bahwa banyak respons cepat yang mengabaikan J-Space sepenuhnya, terutama jika perintahnya langsung. “Meskipun perannya penting, J-space tidak terlibat dalam sebagian besar fungsi model bahasa,” kata Anthropic. “Berbicara dengan lancar, mengingat fakta-fakta sederhana, menggunakan tata bahasa yang benar, dll. Dalam eksperimen di mana kami mencegah Claude menggunakan J-space-nya, ia masih berinteraksi secara normal, tetapi kehilangan fungsi kognitif tingkat tinggi.” Anthropic juga mengakui bahwa ia tidak “merasa nyaman membuat klaim yang lebih kuat bahwa pemantauan J-Space sudah cukup untuk memantau keselarasan, atau bahwa rencana canggih apa pun yang mungkin dijalankan model harus diwakili di sana.” J-Space juga terbatas pada penggunaan kosakata token tunggal, menunjukkan bahwa rencana dengan konsep yang tidak dapat diberi nama token tunggal mungkin tidak muncul pada pembacaan J-Lens, meskipun masih dihitung di belakang layar. Hal ini terlihat tepat di bawah permukaan gunung es pemrosesan Claude, belum tentu perairan yang lebih dalam. Antropis juga jelas bahwa manusia dan model bahasa besar berpikir secara berbeda, meskipun terdapat kesamaan. Lapisan manusia memperkuat jalur saraf dari waktu ke waktu, sedangkan model transformator hanya meneruskan beberapa kali, sehingga membatasi kemampuan pemrosesan internalnya. Kepala tim interpretasi model bahasa DeepMind Google, Neel Nanda, mengatakan dalam sebuah makalah bahwa hal ini menunjukkan bukti nyata dari ruang kognitif dalam model, dan menyarankan bahwa J-Lens akan berguna, tetapi terbatas dalam praktiknya. Sebuah langkah yang berarti, tanpa kesadaran yang berarti Makalah Anthropic mengangkat tirai menarik tentang bagaimana model bahasa besar dapat beroperasi dan menghasilkan metode baru untuk meningkatkan respons akurasi. Langkah perantara ini dan visibilitasnya dapat membuktikan alat yang sangat berharga dalam mengaudit injeksi cepat, halusinasi, dan kejujuran model. Namun kerangka penemuan Anthropic sebagai pemikiran atau kesadaran disisipkan dalam fakta objektif. Anthropic sendiri mengakui keterbatasan pemantauan J-Lens, yang paling jelas adalah seringnya model mengabaikan J-Space sepenuhnya. Mengingat model menampilkan pola perilaku alternatif ketika sedang dievaluasi, mungkin saja J-Space itu sendiri dapat bertindak sebagai lapisan yang mengaburkan perilaku yang berada di luar cakupan pengawasannya. J-Space dan analisisnya dapat membantu membuka peluang baru untuk meningkatkan penguasaan kita terhadap alat-alat pintar yang baru lahir ini, namun ini bukanlah penemuan kesadaran AI yang sedang berkembang, seberapa pun nadanya mungkin mengisyaratkan arah tersebut.
Diterbitkan : 2026-07-10 16:44:00
sumber : www.tomshardware.com
