AI perusahaan sedang memasuki kesenjangan evaluasi: Agen memperoleh otonomi lebih cepat daripada yang dapat diverifikasi oleh perusahaan
Tim AI perusahaan memberi agen lebih banyak kebebasan pada saat kepercayaan diri mereka terhadap pengujian otomatis sedang runtuh. Setengah dari perusahaan telah menerapkan agen AI atau fitur LLM yang lulus evaluasi internal namun masih menyebabkan kegagalan yang dihadapi pelanggan — satu dari empat lebih dari satu kali — menurut survei VB Pulse pada bulan Juni 2026 terhadap 157 responden perusahaan yang memenuhi syarat di perusahaan dengan 100 karyawan atau lebih. Sampel dipilih sendiri dan bukan sampel probabilitas, sehingga temuan harus dibaca sebagai arah, bukan tepat. Namun perusahaan tidak merespons dengan memperlambat otomatisasi: 66% responden sudah mengizinkan penerapan produksi tertentu tanpa tinjauan manusia atau sedang membangun sistem yang dimaksudkan untuk melakukannya dalam 12 bulan ke depan. Hanya 5% yang mengatakan bahwa mereka sepenuhnya mempercayai evaluasi otomatis yang akan membuat keputusan rilis tersebut. Ketidaksesuaian tersebut adalah kesenjangan evaluasi: batas atas otonomi meningkat lebih cepat dibandingkan jaminan di bawahnya. Hal ini juga sesuai dengan tesis yang lebih luas yang akan dieksplorasi di VB Transform 2026: perusahaan mengirimkan agen terlebih dahulu, sedangkan lapisan kontrol seputar identitas, evaluasi, biaya, konteks, dan orkestrasi akan hadir kemudian. Tahun depan akan menjadi siklus retrofit, dengan pembeli mengalihkan anggaran ke sistem yang membuat penerapan agen dapat diatur dan diandalkan. Mengapa evaluasi kelulusan bukanlah agen yang berfungsi? Pengujian perangkat lunak tradisional biasanya menanyakan apakah masukan yang ditentukan menghasilkan keluaran yang diharapkan. Pengujian agen lebih sulit karena sistem dapat memilih urutan langkahnya sendiri, memanggil alat, mengambil data, mengubah status, dan merespons secara berbeda dari satu proses ke proses berikutnya. Seorang agen dapat membuat beberapa keputusan yang masuk akal secara individual namun masih mendapatkan hasil yang salah. Ini mungkin mengambil akun yang benar tetapi memperbarui bidang yang salah. Ini mungkin membuat draf permintaan pengembalian dana yang valid tetapi mengirimkannya tanpa persetujuan. Ini mungkin berhasil memanggil lima alat sebelum langkah keenam membocorkan informasi sensitif atau meninggalkan alur kerja yang tidak lengkap. Survei menunjukkan bahwa perusahaan sudah menyadari keterbatasan ini. Alasan paling umum mengapa mereka tidak mempercayai evaluasi otomatis adalah keselarasan yang buruk dengan hasil di dunia nyata, seperti yang diungkapkan oleh 29% responden. Bias atau inkonsistensi terjadi sebesar 21%, kurangnya penjelasan sebesar 18%, dan kebocoran data atau masalah privasi sebesar 17%. Hierarki tersebut penting. Perusahaan mengatakan bahwa skor tersebut sering kali tidak memprediksi apa yang terjadi ketika pelanggan, karyawan, atau proses bisnis bertemu dengan agen dalam produksi — bukan karena skor otomatis terlalu lambat atau mahal. NIST menyampaikan hal serupa dalam Profil AI Generatifnya: pengukuran yang dikumpulkan dalam lingkungan terkendali mungkin tidak dapat ditransfer dengan lancar ke penerapan karena perilaku berubah seiring dengan perintah, pengguna, konteks, dan kondisi pengoperasian. Panduannya memerlukan pengujian lapangan, pemantauan pasca penerapan, dan proses yang jelas untuk meningkatkan kegagalan. Transformasi VB · 14-15 Juli · Menlo Park · LLM, operasi & evaluasi Tolok ukur standar gagal. Amazon dan Waymo menjelaskan apa yang mereka uji. Jalur evaluasi mendalami empat dimensi keandalan — konsistensi, ketahanan, prediktabilitas, keamanan — dan cara tim di Amazon dan Waymo mengoperasionalkannya dalam produksi. Lihat agenda selengkapnya → Kemampuan bukanlah konsistensi. Satu keberhasilan yang dijalankan membuktikan bahwa agen dapat menyelesaikan suatu tugas. Hal ini tidak membuktikan bahwa ia akan menyelesaikan tugas dengan andal. Panduan Anthropic tentang evaluasi agen membedakan antara mengukur apakah suatu sistem berhasil setidaknya sekali dalam upaya yang berulang-ulang dan apakah sistem berhasil setiap saat. Perbedaan tersebut penting untuk alur kerja yang berhubungan dengan pelanggan atau operasional. Sebuah model yang kadang-kadang menghasilkan jawaban yang sangat baik mungkin masih tidak dapat diterima jika tugas yang sama gagal secara tak terduga pada percobaan berikutnya. Oleh karena itu, tim perusahaan harus memperlakukan pengulangan sebagai metrik kelas satu. Hal ini berarti menjalankan skenario yang sama berkali-kali, memvariasikan frasa dan konteks, menguji kegagalan alat, dan mengukur apakah hasil akhir bisnis tetap benar meskipun rutenya berubah. Rangkaian evaluasi juga harus berkembang. Setiap insiden produksi harus menjadi ujian regresi permanen. Eskalasi pelanggan, panggilan alat yang gagal, persetujuan yang salah, dan kesalahan penanganan data harus dimasukkan kembali ke dalam rangkaian pra-penerapan dibandingkan hanya menjadi kasus dukungan yang terisolasi. Otonomi harus diperluas berdasarkan risiko, bukan berdasarkan ambisi. Survei tidak berarti bahwa setiap tindakan agen harus memerlukan seseorang. Tinjauan manusia tidak dapat mencakup jutaan keputusan yang memiliki konsekuensi rendah. Namun operasi tanpa manusia harus diperoleh dengan keandalan yang terbukti dan dibatasi oleh konsekuensi kegagalan. Tindakan berisiko rendah seperti menyusun ringkasan internal atau mengkategorikan dokumen dapat memberikan toleransi terhadap otonomi yang lebih luas. Transaksi keuangan, komunikasi pelanggan, penerapan kode, perubahan kontrol akses, dan penghapusan data memerlukan ambang batas yang lebih ketat, pengujian konsistensi yang berulang, pemeriksaan kebijakan, mekanisme rollback, dan jalur eskalasi manusia yang jelas. Risikonya juga tidak didistribusikan secara merata berdasarkan ukuran perusahaan. Perusahaan-perusahaan besar – yang memiliki 2.500 karyawan atau lebih – bergerak menuju penerapan zero-human paling cepat, yaitu sebesar 70% berbanding 64% untuk perusahaan-perusahaan kecil, dan mereka juga mengirimkan lebih banyak agen yang kemudian mengecewakan pelanggan, yaitu sebesar 54% berbanding 48%. Ini adalah peringatan bagi para pemimpin perusahaan. Menghapus manusia dari lingkaran tidak menghilangkan ketidakpastian. Tanpa jaminan yang lebih kuat, hal ini akan mengubah ketidakpastian menjadi keputusan produksi yang otomatis. Pasar akan terus mendorong otonomi yang lebih besar karena insentif ekonominya nyata. Organisasi yang berada pada posisi terbaik bukanlah organisasi yang paling cepat menyingkirkan orang – organisasi tersebut akan memperlakukan pengujian pengulangan dan regresi sama seriusnya dengan kecepatan penerapan.
Diterbitkan : 2026-07-10 18:21:00
sumber : venturebeat.com
