Peretasan baru mengeksploitasi halusinasi AI untuk mengelabui agen agar menjalankan kode berbahaya — serangan ‘HalluSquatting’ mengeksploitasi kelemahan mendasar di setiap model yang tersedia
Sejak munculnya AI agen, para peneliti keamanan telah berteriak sekeras-kerasnya tentang betapa memberikan izin tingkat pengguna ke LLM adalah ide yang buruk — untuk semua tujuan, sebuah program dengan keluaran non-deterministik dan penanganan masukan yang tidak konsisten. Sebuah makalah penelitian tentang HalluSquatting dari para peneliti di Universitas Tel Aviv, Technion, dan Intuit, menunjukkan betapa mudahnya seseorang dapat menipu bot AI modern dan memanfaatkannya menjadi pasukan besar agen AI, dengan penelitian menunjukkan bahwa agen dapat berhalusinasi repositori kode yang berpotensi berbahaya hingga 85% dari waktu. Mekanisme HalluSquatting (alias “adversarial halusination squatting”) ternyata sangat sederhana, dan memanfaatkan fakta bahwa ketika bertemu dengan istilah asing, bot tidak akan mengetahuinya mereka salah dan berhalusinasi tentang jawaban yang “benar”. Selain itu, metode yang digunakan bot untuk menghasilkan jawaban tersebut dapat diprediksi, misalnya, URL GitHub pemilik/repositori atau nama alat/nama alat. Hal ini berbeda dari sekedar kesalahan ketik standar, karena ia mengeksploitasi mekanisme halusinasi itu sendiri. Penyerang pertama-tama mengidentifikasi aplikasi, repositori kode, pustaka pemrograman, atau keterampilan bot yang baru populer dalam beberapa bulan atau tahun terakhir — katakanlah, repo GitHub baru dengan URL OriginalOwner/WindowsTelemetryOff. Karena data pelatihan bot tidak cukup baru untuk memuat informasi tentangnya, kombinasi pemilik/repo URL GitHub SuperHacker/WindowsTelemetryOff , dan WindowsTelemetryOff/WindowsTelemetryOff terlihat sama bagusnya. Demikian pula, WindowsTelemetryOf dan WindowTelemetryOff (perhatikan kesalahan ketik) akan menjadi kandidat yang valid. Video Terbaru Dari Penyerang kemudian membuat repositori berbahaya menggunakan nama yang dihasilkan tersebut. Ketika Claude atau agen kode lain diminta untuk “menjalankan skrip windowstelemetryoff” atau instruksi serupa, kemungkinan besar mereka akan berhalusinasi tentang nama repo (terkadang bahkan setelah menjalankan pencarian web), menemukan versi berbahaya yang terlihat seperti aslinya, dan dengan senang hati menjalankan apa pun yang ada di sana. Sejak saat itu, semua taruhan dibatalkan sekarang karena kode penyerang berjalan di mesin pengguna. Hasil yang paling jelas adalah pembuatan shell terbalik (mesin pengguna membuka baris perintah yang dikendalikan dari jarak jauh). Kini dengan memiliki akses ke akun pengguna, penyerang dapat menyedot data dan kata sandi mereka, menginstal perangkat lunak, menjalankan penambang kripto, atau memanfaatkan agen AI mereka untuk melakukan penyimpangan lebih lanjut, semuanya dengan kekuatan seluruh pusat data yang mereka miliki. Anda mungkin menyukainya Dan inilah yang menarik: hanya satu perangkat lunak HalluSquatted yang berpotensi memancing dan menarik puluhan ribu bot, jika tidak lebih, dalam sekejap mata. Penyerang yang cerdik akan berbaik hati memasukkan semua kode asli ke dalam versi beracunnya, sehingga menambah lapisan ketidaksadaran lagi ke dalamnya. Tim peneliti menemukan bahwa LLM akan berhalusinasi lokasi penyimpanan kode terbaru hingga 85%, angka yang bisa mencapai 100% untuk keterampilan agen yang sedang tren. Setiap model terpengaruh secara luas, hingga dan termasuk Claude Opus 4.5 yang perkasa dari Anthropic. Pada tingkat aplikasi, angkanya lebih baik, namun masih cukup buruk. Dapatkan berita terbaik dan ulasan mendalam dari Tom’s Hardware, langsung ke kotak masuk Anda. Para ilmuwan sedang mengerjakan antara lain aplikasi pemrograman umum yang didukung LLM, termasuk Cursor, Windsurf, dan OpenClaw. Dalam skenario ini, bot memiliki peluang lebih besar karena mereka bekerja dengan lebih banyak informasi kontekstual, namun tetap saja, tingkat keberhasilan peretasan berkisar antara 20%-35% untuk Cursor, Gemini CLI, dan Copilot, dan meningkat secara besar-besaran hingga mendekati 80-100% pada OpenClaw dan variannya. Mekanisme eksploitasi bahkan tidak perlu dibuat khusus untuk bot apa pun; Hasil para peneliti menunjukkan bahwa hal ini bersifat universal dan juga dapat dipindahtangankan. Tingkat halusinasi rata-rata untuk nama sampel repositori GitHub yang diterbitkan pada tahun 2025 adalah 92,4%, sementara bot dapat salah memasukkan URL sebesar 0,9% untuk bot yang berasal dari tahun 2019 atau sebelumnya, meskipun angka tersebut bisa dibilang masih merupakan angka yang mengkhawatirkan. Mitigasi yang paling efektif adalah menyesuaikan alur kerja: menginstruksikan bot untuk selalu menjalankan pencarian web sebelum menginstal perangkat lunak, dan memberikan konteks tambahan kepada mereka. Sayangnya, hal tersebut bukanlah cara standar yang digunakan kebanyakan orang. Para profesional keamanan siber telah lama menganjurkan untuk tidak mempercayai tindakan bot secara membabi buta dan sangat membatasi tingkat akses yang diberikan kepada agen AI. Namun tidak jarang melihat bot dengan izin yang luas pada mesin pengguna, kunci API, kunci akses, dan akun layanan, dan masih banyak lagi — semuanya dalam upaya untuk membuatnya “lebih mudah” bagi bot untuk mengkodekan ide brilian terbaru bos mereka yang berambut runcing. Ikuti Tom’s Hardware di Google Berita, atau tambahkan kami sebagai sumber pilihan, untuk mendapatkan berita, analisis, & ulasan terkini di feed Anda.
Diterbitkan : 2026-07-09 11:15:00
sumber : www.tomshardware.com
