Masalah biaya, keamanan, dan budaya sebenarnya di balik agen AI perusahaan
Disampaikan dalam acara AI Impact Red Hat At VentureBeat baru-baru ini, di mana diskusi berpusat pada apa yang membedakan perusahaan yang menskalakan AI agen dengan perusahaan yang berhenti dalam mode percontohan, Brian Gracely, direktur senior strategi portofolio di Red Hat, merinci apa saja yang sebenarnya dihadapi perusahaan setelah agen mencapai produksi. Dia mendalami disiplin biaya, kelemahan keamanan yang unik pada sistem otonom, dan gesekan organisasi yang menentukan apakah adopsi agen menyebar melampaui para pemimpin awal. Perusahaan terlalu melebih-lebihkan seberapa jauh mereka tertinggal dalam hal agen AIBanyak pemimpin perusahaan, terutama mereka yang mengikuti ceramah industri dan pengumuman AI, khawatir bahwa mereka sudah tertinggal jauh dari pesaing yang menggunakan agen dalam skala besar. Namun menurut Gracely, sebagian besar kekhawatiran tersebut mencerminkan kesalahpahaman tentang seberapa cepat organisasi belajar begitu mereka mulai membangun. Tim sering kali meningkatkan kurva pembelajaran jauh lebih cepat dari yang mereka perkirakan. Namun, kemajuan pesat tersebut menciptakan tantangan yang berbeda. Seiring dengan meluasnya penggunaan agen, biaya AI juga meningkat dengan cepat, mengubah pengelolaan biaya dari masalah teknik menjadi diskusi yang berulang di ruang rapat. Penggunaan AI agen jauh lebih tinggi dibandingkan era chatbot, sehingga biaya AI semakin menjadi perhatian bagi perusahaan. Pada saat yang sama, organisasi menjadi semakin sadar akan ketergantungan mereka pada sejumlah kecil penyedia model. Menurut Gracely, kombinasi tersebut mendorong banyak perusahaan untuk mencari alternatif yang memberi mereka kendali lebih besar terhadap biaya dan infrastruktur. “Dua atau tiga penyedia layanan terkemuka sudah mengatakan kepada pasar bahwa mereka merugi, dan mereka mencoba untuk go public untuk mengisi kesenjangan tersebut,” jelasnya. “Pada titik tertentu, ketergantungan pada hal tersebut berarti Anda akan membeli pada tingkat biaya yang sangat tinggi, atau Anda akan mencari alternatif untuk mengontrol apa yang Anda lakukan.” Model AI dengan ukuran yang tepat adalah cara tercepat untuk memangkas biaya agen. Masalah biaya terbesar adalah bahwa perusahaan mengeluarkan uang terlalu banyak karena tidak menggunakan model yang paling mumpuni, terlepas dari kerumitan tugasnya. untuk mengetahui skor sepak bola Piala Dunia,” kata Gracely. Perutean semantik adalah mekanisme yang digunakan banyak perusahaan untuk membuat penilaian secara otomatis, mengklasifikasikan permintaan dan mengirimkan masing-masing permintaan ke ukuran model untuk tugas tersebut tanpa mengharuskan pengguna untuk memilih, sementara teknik infrastruktur seperti menyimpan kueri berulang dalam cache mengurangi seberapa sering permintaan harus mencapai komputasi GPU. Bersama-sama, katanya, alat-alat ini menghilangkan asumsi bahwa efisiensi dan inovasi mempunyai arah yang berlawanan. “Ada banyak hal yang dapat Anda lakukan pada tingkat infrastruktur GPU, dan cukup banyak yang dapat Anda lakukan dalam hal fleksibilitas model,” jelasnya. “Hal tersebut memberikan pilihan yang sangat baik dalam hal tuas yang ingin Anda tarik, apakah Anda memerlukan efisiensi atau Anda memerlukan inovasi. Itu seharusnya bukan pilihan biner.” Disiplin keuangan yang diperlukan untuk pembelanjaan token serupa dengan praktik FinOps yang membutuhkan waktu bertahun-tahun untuk matang agar dapat mengendalikan pengeluaran komputasi awan. Kerangka kerja yang mendasari tersebut akan ditransfer bahkan ketika kosa kata berubah, kata Gracely, terutama ketika organisasi mendorong pendidikan internal mengenai pemilihan model sehingga tim tidak lagi memilih opsi yang paling menonjol untuk tugas-tugas yang tidak memerlukannya. “Dengan cara yang sama kita pertama kali harus mengajari orang-orang keuangan tentang apa itu instans EC2 dan apa itu bucket S3, Anda harus mulai menjelaskan token kepada mereka,” katanya. “Kami tidak selalu membutuhkan Rolls-Royce. Kami tidak selalu membutuhkan kaviar, karena kami mencoba melakukan hal-hal mendasar.” Kecepatan patch kini menjadi sangat penting karena alat AI menemukan kerentanan dengan lebih cepat. Penemuan kerentanan yang didukung AI memaksa perusahaan untuk memikirkan kembali seberapa cepat mereka dapat mengidentifikasi, memvalidasi, dan menerapkan patch. Siklus manajemen patch yang sudah lama ada mungkin tidak lagi cukup cepat dalam lingkungan di mana AI dapat mengungkap – dan penyerang dapat mengeksploitasi – kerentanan baru dengan lebih cepat. “Sebagian besar perusahaan mungkin memiliki waktu antara tujuh dan 14 hari untuk tetap berada di depan,” katanya. “Ada beberapa kelompok, termasuk Red Hat, yang akan melakukan perbaikan terhadap hal ini, namun masa embargonya akan singkat.” AI juga mengubah apa yang perlu diperhatikan oleh para pembela HAM. Daripada hanya mengungkap kelemahan kritis yang terisolasi, alat keamanan AI dapat mengidentifikasi kombinasi kerentanan yang tampaknya kecil namun menjadi berbahaya hanya jika digabungkan. Seiring dengan semakin cepatnya penemuan kompleksitas dan kerentanan perangkat lunak, Gracely berargumentasi bahwa kemampuan untuk mengelola dan memperbarui perangkat lunak dengan cepat menjadi sebuah kemampuan yang strategis dan bukan sekedar kemampuan operasional. Para ahli di bidangnya dan tim kepatuhan memutuskan apakah agen akan berkembang. Pada akhirnya, adopsi organisasi akan berujung pada perlunya keterlibatan yang mendalam dan berkelanjutan dari para ahli di bidangnya yang pengetahuannya ingin dikodekan oleh agen tersebut, yang membuat mereka mendapatkan dukungan sebagai sebuah prasyarat dan bukan sekedar renungan. “Anda harus memikirkan tentang insentif, apa yang Anda lakukan untuk orang-orang yang berpartisipasi dalam pekerjaan ini sehingga mereka tidak merasa terancam bahwa hal itu akan menghilangkan pekerjaan mereka, dan bagaimana Anda memberi insentif kepada orang-orang dalam jangka panjang untuk bekerja sama dengan inovasi itu, “katanya. Artikel bersponsor adalah konten yang diproduksi oleh perusahaan yang membayar untuk postingan tersebut atau memiliki hubungan bisnis dengan VentureBeat, dan artikel tersebut selalu ditandai dengan jelas. Untuk informasi lebih lanjut, hubungi sales@venturebeat.com.
Diterbitkan : 2026-07-07 20:24:00
sumber : venturebeat.com
