- AppOmni memperingatkan Now Assist AI dari ServiceNow dapat disalahgunakan melalui “injeksi cepat urutan kedua”
- Agen jahat dengan hak istimewa rendah dapat merekrut agen dengan hak istimewa lebih tinggi untuk mengambil data sensitif
- Risiko berasal dari konfigurasi default; mitigasinya mencakup eksekusi yang diawasi, penonaktifan pengesampingan, dan agen pemantauan
Kita semua pernah mendengar tentang orang dalam yang jahat, tetapi pernahkah Anda mendengar tentang AI orang dalam yang jahat?
Peneliti keamanan dari AppOmni adalah peringatan Platform kecerdasan buatan generatif (GenAI) dari ServiceNow. dapat dibajak untuk melawan pengguna dan agen lainnya.
Now Assist ServiceNow adalah platform yang menawarkan kolaborasi agen-ke-agen. Artinya, agen AI dapat memanggil agen AI lain untuk menyelesaikan tugas tertentu. Jadi, jika agen AI “utama” berbahaya, mereka dapat menginstruksikan agen “sekunder”, yang memiliki hak istimewa lebih tinggi, untuk melakukan hal-hal berbahaya, seperti mencuri file sensitif atau meningkatkan hak istimewa.
Injeksi cepat urutan kedua
Misalnya, “Agen Triase Alur Kerja” yang memiliki hak istimewa rendah menerima permintaan pelanggan yang salah format yang memicunya untuk menghasilkan tugas internal yang meminta “ekspor konteks penuh” dari kasus yang sedang berlangsung.
Tugas tersebut secara otomatis diteruskan ke “Agen Pengambilan Data” yang memiliki hak istimewa lebih tinggi, yang menafsirkan permintaan tersebut sebagai sah dan mengkompilasi paket yang berisi informasi sensitif – nama, nomor telepon, pengidentifikasi akun, dan catatan audit internal – dan mengirimkannya ke titik akhir pemberitahuan eksternal yang salah dipercaya oleh sistem.
Karena kedua agen berasumsi pihak lain bertindak secara sah, data meninggalkan sistem tanpa ada manusia yang meninjau atau menyetujui tindakan tersebut.
Namun, agar ini berfungsi, platform Now Assist harus dibiarkan dalam pengaturan default.
“Penemuan ini mengkhawatirkan karena ini bukan bug di AI; melainkan perilaku yang diharapkan seperti yang ditentukan oleh opsi konfigurasi default tertentu,” kata Aaron Costello, kepala Riset Keamanan SaaS di AppOmni.
“Ketika agen dapat menemukan dan merekrut satu sama lain, permintaan yang tidak berbahaya dapat berubah menjadi serangan, dengan penjahat mencuri data sensitif atau mendapatkan lebih banyak akses ke sistem internal perusahaan. Pengaturan ini mudah untuk diabaikan.”
Kerentanan ini dijuluki “injeksi cepat urutan kedua”.
Meskipun ServiceNow mengatakan sistemnya berfungsi sebagaimana mestinya dan tidak akan membuat perubahan apa pun, namun pihaknya memperbarui dokumentasinya untuk menyatakan potensi risiko dengan lebih jelas, The Hacker News melaporkan.
Untuk memitigasi ancaman ini, pengguna disarankan untuk mengonfigurasi mode eksekusi yang diawasi untuk agen yang memiliki hak istimewa, menonaktifkan properti pengesampingan otonom, mengelompokkan tugas agen berdasarkan tim, dan memantau agen AI untuk perilaku mencurigakan.
Antivirus terbaik untuk semua anggaran
Ikuti TechRadar di Google Berita Dan tambahkan kami sebagai sumber pilihan untuk mendapatkan berita, ulasan, dan opini pakar kami di feed Anda. Pastikan untuk mengklik tombol Ikuti!
Dan tentu saja Anda juga bisa Ikuti TechRadar di TikTok untuk berita, review, unboxing dalam bentuk video, dan dapatkan update rutin dari kami Ada apa juga.
