Mengapa penyelarasan tidak bisa diabaikan begitu saja dalam penerapan AI
Ketika pengeluaran AI global mencapai $2,5 triliun pada tahun ini, banyak perusahaan masih belum memperoleh keuntungan yang berarti. Dengan meningkatnya tekanan untuk membenarkan investasi, mereka bertaruh pada agen AI untuk memperbaiki keadaan. Namun jika agen ingin memberikan nilai yang diharapkan oleh perusahaan, penyelarasan dengan penilaian manusia tidak bisa hanya menjadi sebuah pemikiran belaka. PENGENDALIAN VERSUS PENYELENGGARAAN Saat perusahaan menjalankan program tata kelola AI mereka, mereka sering kali memulai dengan inventaris, pagar keamanan, kebijakan akses, dan pemantauan. Saya menyebutnya penahanan. Anggap saja sebagai rem pada mobil self-driving. Pemrograman inilah yang memungkinkan sistem merespons rambu berhenti, lampu lalu lintas, dan peraturan jalan formal lainnya. Pengendalian (containment) memberi tahu sistem apa yang tidak bisa dilakukan. Namun agen AI memaksa dunia usaha untuk menghadapi tantangan yang lebih eksistensial: memasukkan penilaian manusia ke dalam sistem otonom yang dapat mengambil keputusan dengan kecepatan AI. Bagaimana kita merancang AI untuk beroperasi sesuai dengan nilai-nilai, kebijakan, toleransi risiko, dan pemahaman konteks organisasi seiring dengan perubahan kondisi? Ini adalah penyelarasan. Penyelarasan membantu menentukan apa yang harus dilakukan sistem ketika jawaban yang benar bergantung pada konteks. Meskipun pagar pembatas dapat menghentikan agen untuk melintasi garis, pagar tersebut tidak memberi tahu agen cara melakukan penilaian ketika tidak ada garis yang ditandai dengan jelas. Anggap saja ini sebagai kemampuan mobil yang dapat mengemudi sendiri untuk membaca konteks dan mengikuti prosesi pemakaman, bahkan ketika undang-undang belum ada. Hal ini mencakup kepatuhan terhadap kebijakan, aturan penggunaan data, dan batasan etika, namun hal ini juga berarti mengaitkan agen pada hasil bisnis aktual yang coba didorong oleh organisasi. Agen yang mengikuti setiap aturan namun menyimpang dari prioritas strategis dan janji merek perusahaan masih tidak selaras. Karyawan sering kali menerapkan penilaian ini sebagai kebiasaan. Kami mengamati perilaku dari waktu ke waktu, kami mengenali perbedaan regional dan budaya, kami menantang gagasan yang tampak bagus di atas kertas namun gagal di dunia nyata, dan kami memahami ketika metode membahayakan hasil. Namun agen AI tidak melakukannya. RISIKO OPTIMASI TERUS MENERUS Ada contoh yang saya gunakan untuk menjelaskan perlunya penyelarasan. Layanan berlangganan makanan memiliki agen pemasaran yang dirancang untuk mengoptimalkan kinerja kampanye. Dengan anggaran dan sasaran yang ditetapkan, agen mengakses kumpulan data, menganalisis obrolan dan log dukungan, mengidentifikasi segmen pelanggan, dan memberikan promosi. Pada saat kampanye berakhir, agen telah mencapai sasaran penjualan dan profitabilitasnya. Namun, di balik layar, ada hal lain yang terjadi. Agen tersebut menyampaikan iklan agresif dengan harga lebih tinggi yang disamarkan sebagai “diskon waktu terbatas” kepada orang-orang yang sebelumnya menyebutkan tekanan finansial atau masalah kesehatan selama panggilan dukungan dan obrolan. Ketika insiden tersebut diketahui publik, dampaknya akan sangat besar. Pencungkilan harga—terutama yang ditargetkan pada klien perusahaan yang paling rentan—melanggar kebijakan penggunaan yang etis dan secara langsung bertentangan dengan pernyataan misi dan nilai-nilai perusahaan. Akibatnya, pelanggan membatalkan langganan mereka secara massal, regulator memulai penyelidikan, dan pendapatan yang diperoleh melalui kampanye awal hilang. Kisah ini menunjukkan betapa cepatnya seorang agen dapat menyebabkan masalah tanpa pernah mengalami kegagalan fungsi secara teknis. Memanfaatkan pelanggan tertentu bukanlah bagian dari perintah; hanya pola yang meningkatkan hasil. Diskriminasi, masalah privasi, dan pelanggaran kebijakan dapat terjadi terlepas dari niat perusahaan. Pada akhirnya, hal ini terjadi karena agen adalah sistem yang dilatih untuk memaksimalkan efisiensi. Pengoptimalan berkelanjutan memungkinkan mereka menyelesaikan tujuannya. Ini juga merupakan alasan mengapa agen memerlukan penyelarasan. Selain batasan keamanan dan akses, kebijakan juga memastikan agen hanya melakukan optimalisasi dalam batasan yang ditentukan oleh bisnis. KITA BERADA DI TITIK INFLEKSI Gartner memperkirakan bahwa perusahaan besar akan memiliki lebih dari 150.000 agen yang digunakan pada tahun 2028, naik dari selusin agen per perusahaan saat ini. Dan jumlah tersebut meningkat dengan cepat berkat tren seperti tokenmaxxing dan insentif perusahaan untuk memanfaatkan AI. Kini, tantangannya adalah bagaimana mengkodekan agen dengan penilaian manusia dalam skala besar. Proses peninjauan manual tradisional dibuat untuk sistem yang lebih lambat dan statis, sehingga tim memiliki waktu untuk memeriksa, menangkap, dan menyelesaikan masalah sebelum produksi. Sayangnya, tidak ada jumlah perekrutan yang dapat membantu Anda mengimbangi ratusan dan akhirnya puluhan ribu agen yang mengoptimalkan kecepatan AI. Kabar baiknya adalah saat ini jumlah agen AI saat ini jauh lebih sedikit dibandingkan sebelumnya. Sekaranglah waktunya untuk membangun tata kelola otomatis, membuat katalog agen Anda, menentukan kebijakan dasar Anda, dan menerapkannya bersamaan dengan kontrol dan pagar keamanan. Jauh lebih mudah untuk menskalakan suatu program seiring bertambahnya tenaga kerja agen Anda daripada mencoba dan melakukan retrofit di kemudian hari. Membangun AI untuk kecepatan saja adalah hal yang tidak masuk akal. Sasaran kami adalah membangun AI yang bergerak cepat—ke arah yang benar.Blake Brannon adalah kepala bagian inovasi OneTrust. Bergabunglah bersama kami di New York City pada bulan September ini untuk menghadiri Fast Company Innovation Festival tahunan. Tiket dengan harga lebih tinggi tersedia sekarang hingga Minggu, 12 Juli. Dapatkan tiket festival Anda hari ini.
Diterbitkan : 2026-06-22 19:00:00
sumber : www.fastcompany.com
