Kecerdasan buatan telah berpindah secara tegas dari eksperimen ke inti operasional perusahaan. Agentic AI kini berfungsi sebagai lapisan eksekusi, menghubungkan data, alat, dan logika bisnis untuk melaksanakan tugas end-to-end yang dulunya memerlukan koordinasi manusia secara langsung.
Pertanyaan yang dihadapi para pemimpin perusahaan bukan lagi apakah akan menggunakan agen AI, namun bagaimana melakukannya dengan cara yang dapat bertahan dari pengawasan audit, kegagalan operasional, dan tinjauan risiko di tingkat dewan.
Kepala Bagian Informasi di Globant.
Peluangnya sangat besar. Berbagai studi produktivitas kini menunjukkan peningkatan efisiensi dua digit ketika AI agen tertanam langsung ke dalam alur kerja perusahaan, khususnya dalam penelitian, analitik, dan pelanggan operasi.
Namun terlepas dari janji ini, hampir 95% uji coba AI terhenti sebelum mencapai produksi, bukan karena modelnya gagal, melainkan karena perusahaan kehilangan kepercayaan terhadap bagaimana sistem tersebut berperilaku dalam skala besar.
Kesenjangan ini menunjukkan ketegangan inti. Banyak perusahaan yang percaya pada potensi AI, namun kurang percaya diri dalam menerapkannya dengan aman. Bagi banyak eksekutif, sistem AI masih berfungsi sebagai “kotak hitam” buram yang sulit dijelaskan, lebih sulit diaudit, dan hampir mustahil dipertahankan ketika terjadi kesalahan.
Jalan ke depan memerlukan perubahan pola pikir. Tujuannya bukan untuk mengisolasi agen AI atau membatasi mereka agar tidak relevan, namun untuk merancang kerangka tata kelola yang berkembang seiring dengan inovasi dan menanamkan pengawasan di setiap tahap.
Isolasi bukanlah jawabannya
Ketika AI agen memperoleh kemampuan untuk terhubung ke API, memicu alur kerja, dan menjalankan tugas multi-langkah, banyak organisasi merespons dengan membatasi paparannya secara drastis. Nalurinya bisa dimengerti. Lebih banyak otonomi terasa seperti lebih banyak risiko, terutama di lingkungan yang diatur dan berisiko tinggi.
Namun mengisolasi sistem AI sering kali menciptakan ilusi keamanan sekaligus menghilangkan konteks yang diperlukan untuk memberikan nilai bisnis yang nyata.
Risiko sebenarnya bukanlah konektivitas. Ini adalah konektivitas yang tidak diatur. Ketika organisasi membatasi agen AI pada kotak pasir yang sempit, hal ini dapat mengurangi perilaku yang tidak diinginkan, namun juga menghilangkan konteks yang diperlukan sistem agar dapat melakukan pekerjaan yang bermakna.
Dalam praktiknya, agen yang terlalu terisolasi jarang berkembang melampaui prototipe mahal yang secara teknis mengesankan, namun tidak relevan secara operasional.
Pendekatan yang lebih tahan lama adalah paparan progresif, yaitu dengan sengaja memperluas akses agen AI terhadap data, alat, dan alur kerja karena perilakunya terbukti dapat diandalkan.
Hal ini mencerminkan bagaimana perusahaan telah mengelola sistem berisiko tinggi lainnya – platform keuangan, lingkungan ERP, atau keamanan siber perkakas — melalui akses berjenjang, pemantauan, dan akuntabilitas.
Daripada menyegel AI, perusahaan harus memastikan:
- Hak akses sengaja dibatasi
- Interaksi alat dipantau
- Aliran data diatur
- Pemilik bisnis tetap bertanggung jawab
Isolasi mungkin mengurangi kecemasan jangka pendek, namun hal ini tidak mempersiapkan perusahaan untuk menghadapi masa depan di mana operasi berbasis AI menjadi sebuah norma. Inovasi yang bertanggung jawab memerlukan pemanfaatan kemampuan AI dan dipadukan dengan ketelitian.
Pemerintahan harus mengimbangi inovasi
Perusahaan sering kali melakukan pendekatan terhadap tata kelola AI dengan cara yang sama seperti mereka melakukan pendekatan terhadap perangkat lunak tradisional, melalui tinjauan berkala, kebijakan statis, dan persetujuan dari atas ke bawah.
Namun AI agen beroperasi di lingkungan yang dinamis, berinteraksi dengan informasi baru secara real-time. Tata kelola tidak bisa hidup dalam tinjauan triwulanan atau kebijakan statis dokumen. Untuk AI agen, AI harus tertanam langsung dalam operasi sehari-hari dan berkembang seiring pembelajaran dan perubahan sistem.
Kerangka tata kelola AI modern mencakup beberapa komponen inti, termasuk:
● Kepemilikan bisnis yang jelas: Setiap agen AI harus memiliki pemilik yang ditunjuk yang bertanggung jawab atas tujuan, batasan, dan kinerjanya. Agen tanpa pemilik bisnis yang jelas dengan cepat menjadi sistem yang tidak terpantau, menciptakan ambiguitas ketika kegagalan terjadi dan saling menyalahkan ketika akuntabilitas adalah hal yang paling penting.
● Penilaian kelayakan tingkat kasus penggunaan: AI seharusnya tidak menjadi solusi standar. Ini harus mengikuti evaluasi terstruktur bisnis kebutuhan, metrik keberhasilan, kendala operasional, dan mode kegagalan. Ketika kelayakan dinilai di awal, perusahaan mengurangi siklus uji coba yang mahal dan tidak pernah berkembang.
● Kontrol akses selaras dengan risiko: Prinsip hak istimewa yang paling rendah sangatlah penting. Agen AI hanya boleh menerima akses minimum yang diperlukan untuk melakukan tugas tertentu, dan akses ini akan berubah seiring berkembangnya tugas. Izin terperinci dan peninjauan berkelanjutan tidak dapat dinegosiasikan.
● Perlindungan kontrak dan data tingkat perusahaan: Perusahaan harus membuat perjanjian yang kuat dengan penyedia model dan platform yang secara jelas mendefinisikan:
○ Larangan pelatihan dengan perusahaan data
○ Parameter retensi data dan residensi
○ Mekanisme audit
○ Sertifikasi keamanan
○ Kewajiban transparansi
Landasan hukum ini bukanlah hambatan birokrasi. Hal ini memungkinkan adopsi yang aman dan terukur.
● Pemantauan dan evaluasi berkelanjutan: Sistem AI harus dipantau dengan ketelitian yang sama seperti yang diterapkan pada infrastruktur penting lainnya. Hal ini mencakup deteksi anomali, analisis penyimpangan kinerja, jalur eskalasi kegagalan, dan proses manajemen perubahan.
Tata kelola yang berkembang seiring dengan laju inovasi bukan sekadar mekanisme pertahanan, namun juga membuka nilai berkelanjutan.
Akuntabilitas manusia akan menentukan pemimpin gelombang adopsi AI berikutnya
Terlepas dari pesatnya kemajuan AI, satu kebenaran tetap ada: Sistem otonom tidak menghilangkan akuntabilitas. Mereka memusatkannya. Bahkan, munculnya sistem otonom meningkatkan kebutuhan akan penilaian manusia, standar etika, dan pengawasan.
Dalam praktiknya, akuntabilitas manusia diwujudkan dalam tiga cara yang tidak dapat dinegosiasikan:
- Interpretasi: Agen AI dapat menganalisis data, mengusulkan tindakan, dan melaksanakan tugas, namun menentukan apakah hasilnya selaras dengan tujuan bisnis (dan ekspektasi masyarakat) masih memerlukan evaluasi manusia.
- Intervensi: Organisasi harus memiliki mekanisme yang memungkinkan operator manusia untuk ikut campur, mengesampingkan, mengalihkan, atau menghentikan tindakan AI. Hal ini penting tidak hanya untuk keselamatan, tetapi juga untuk kepercayaan.
- Ketertelusuran: Agen AI harus menghasilkan catatan yang transparan dan dapat direproduksi dari setiap tindakan material, termasuk data apa yang mereka akses, alat apa yang mereka gunakan, keputusan yang mereka buat, dan alasan di balik tindakan tersebut. Catatan yang layak diaudit mengubah AI dari “kotak hitam” teoretis menjadi sistem pencatatan yang dapat dipertahankan dan dapat dijelaskan oleh para pemimpin kepada auditor, regulator, dan dewan direksi.
Kepemimpinan AI pada fase berikutnya tidak akan bergantung pada jumlah agen yang dikerahkan, namun lebih bergantung pada kemampuan organisasi untuk menjelaskan, mengatur, dan mempertahankan keputusan mereka.
Jalan menuju skala yang bertanggung jawab
Keamanan pertanyaan bukanlah hal baru. Mereka telah muncul dalam setiap transformasi teknologi besar. Hal yang baru adalah tingkat otonomi yang kini ditunjukkan oleh sistem ini.
Untuk beralih dari eksperimen terisolasi ke skala tingkat perusahaan, perusahaan harus mendasarkan perjalanan penerapannya pada kelayakan, tata kelola adaptif, pengawasan manusia, dan kemampuan penelusuran.
Agen AI tidak perlu menjadi misteri, namun transparansi, akuntabilitas, dan kepercayaan tidak akan muncul secara kebetulan. Organisasi yang menginternalisasi hal ini sekarang akan menjadi organisasi yang menentukan inovasi yang bertanggung jawab dalam dekade mendatang.
Kami telah menampilkan perangkat lunak otomasi TI terbaik.
Artikel ini dibuat sebagai bagian dari saluran Expert Insights TechRadarPro tempat kami menampilkan para pemikir terbaik dan tercemerlang di industri teknologi saat ini. Pandangan yang diungkapkan di sini adalah milik penulis dan belum tentu milik TechRadarPro atau Future plc. Jika Anda tertarik untuk berkontribusi, cari tahu lebih lanjut di sini: https://www.techradar.com/news/submit-your-story-to-techradar-pro
