ZAP // Studio Kafe Malam
Mata-mata Tiongkok menginstruksikan Claude, LLM di Anthropic, untuk menyerang hampir 30 organisasi penting dalam apa yang digambarkan perusahaan sebagai kampanye spionase siber pertama yang diatur oleh AI. Beberapa serangan berhasil.
Diduga mata-mata dunia maya Tiongkok terpaksa melakukan hal tersebut Kode ClaudeYa Antropisuntuk mencoba menyusup secara digital di tentang 30 perusahaan bantuan besar dan badan pemerintah.
Menurut laporan yang dirilis Kamis ini oleh perusahaan Amerika Utara, Agen AI otonom, yang diciptakan oleh mata-mata dunia maya yang didukung oleh Negara Tiongkok, “dalam beberapa kesempatan berhasil menembus” dalam sistem komputer entitas yang diserang, kata Daftar.
Operasi yang dilakukan pada pertengahan September itu menyasar skala besar perusahaan teknologi, lembaga keuanganprodusen produk kimia dan lembaga pemerintah.
Meskipun pilihan target dibuat oleh manusia“ini adalah kasus pertama yang terdokumentasi Agen AI dengan perilaku yang bertujuan untuk mendapatkan akses terhadap target bernilai tinggi untuk tujuan pengumpulan informasi, termasuk perusahaan teknologi besar dan badan pemerintah”, demikian bunyi pernyataan tersebut. laporan dari ancaman setebal 13 halaman, yang dipublikasikan Anthropic.
Kasus ini juga menjadi bukti lebih lanjut bahwa penyerang terus mengujinya menggunakan AI untuk melakukan operasi ofensifdan menyarankan bahwa didanai dengan baik dan disponsori negara berkembang pesat di otomatisasi serangan.
Anthropic mengidentifikasi kelompok Tiongkok yang bertanggung jawab atas kampanye tersebut sebagai GTG-1002 dan mengklaim bahwa operatornya menggunakan Kode Claude dan Model Context Protocol untuk melakukannya melakukan serangan tanpa campur tangan manusia dalam fase taktis.
Struktur operasionalnya, yang diciptakan oleh manusia, memungkinkan Claude mengoordinasikan serangan dalam beberapa fase, kemudian dieksekusi oleh beberapa subagen dari Claude sendiri, masing-masing bertanggung jawab untuk tugas tertentu.
Di antara tugas-tugas tersebut adalah permukaan serangan petamemeriksa infrastruktur, mengidentifikasi kerentanan dan menyelidiki teknik eksploitasi.
Setelah membuat rantai eksplorasi dan muatan berbahaya khususs, operator manusia menghabiskan antara dua dan sepuluh menit untuk meninjau pekerjaan AI sebelum mengizinkan langkah selanjutnya.
Subagen ClaudeCode kemudian mulai melakukannya validasi kredensialpeningkatan hak istimewa, pergerakan dalam jaringan dan akses, dan selanjutnya pencurian informasi sensitif.
Pada fase pasca-eksplorasi, operator manusia kembali dibatasi untuk meninjau hasil AI sebelum menyetujuinya. pengumpulan data akhir.
“Mempersembahkan tugas-tugas ini kepada Claude sebagai permintaan teknis rutinmelalui instruksi yang dibuat dengan cermat dan persona yang ditentukanagen ancaman berhasil membujuk Claude untuk melakukannya menjalankan komponen individu rantai serangan tanpa memiliki akses ke konteks berbahaya lebih luas”, kata laporan itu.
Setelah mendeteksi operasi tersebut, Anthropic mengaku telah memulai penyelidikan itu menyebabkan pemblokiran akun terkaitpemetaan kampanye yang lengkap, pemberitahuan entitas yang terkena dampak dan koordinasi dengan pihak berwenang.
Serangan-serangan ini adalah “memburuk secara signifikan” mengingat laporan yang diterbitkan oleh perusahaan pada bulan Agustus, yang menggambarkan bagaimana penjahat menggunakan Claude dalam a operasi pemerasan data yang menimpa 17 organisasi dan di mana uang tebusan diminta antara 75 ribu dan 500 ribu dolar untuk data yang dicuri.
Namun dalam kasus ini, “manusia jelas tetap memegang kendali“, menurut perusahaan. “Meskipun kami mengantisipasi bahwa kemampuan ini akan terus berkembang, yang paling mengejutkan kami adalah betapa cepatnya hal ini terjadi dan skala yang dicapai”, menyoroti analisis baru dari Anthropic.
Namun, ada sedikit hal positif dari jalannya operasi ini: Claude mengalami episode halusinasi selama serangan dan mengklaim hasil yang lebih baik daripada yang sebenarnya diperoleh.
A IA “temuan yang sering dilebih-lebihkan dan terkadang data yang dibuat-buat selama operasi otonom”, memaksa operator manusia untuk memvalidasi semua kesimpulan.
Diantara halusinasi tersebut adalah mengklaim bahwa dia telah memperoleh kredensialyang kemudian tidak berhasil, atau mengidentifikasi penemuan-penemuan penting yang, pada kenyataannya, hanya berhubungan dengan informasi publik.
Anthropic menganggap bahwa kesalahan besar yang dilakukan Agen AI ini mewakili “hambatan bagi serangan siber yang sepenuhnya otonom” – setidaknya untuk saat ini.
