Pengkodean dengan bantuan AI atau ‘pengkodean getaran‘ merupakan tren yang mendominasi tahun lalu, sehingga dinobatkan sebagai word of the year untuk tahun 2025.
Sejak salah satu pendiri OpenAI, Andrej Kaparthy, menciptakan istilah ini, para pengembang telah terpikat oleh prospek meminimalkan pekerjaan coding yang ‘mendengus’.
Sementara LLM dapat memprediksi sintaksis, mereka tidak dapat memahami keamanan siber. Semantik seperti risiko tidak dapat mereka pahami dan jendela konteks yang terbatas – atau memori jangka pendek – berarti LLM dalam kondisi saat ini mungkin kehilangan gambaran yang lebih besar, termasuk kerentanan keamanan.
Bahkan model terbesar pun tidak dapat menampung jenis memori yang diperlukan untuk memahami data mana yang berbahaya dan alasannya.
Masalah kerentanan kode AI
Kode yang dihasilkan AI, di permukaan, terlihat benar dan aman, namun kerentanan halus hampir selalu tersembunyi di dalamnya.
Pelatihan LLM memiliki sejarah memprioritaskan akurasi keamanan siber. Meskipun upaya signifikan dilakukan untuk meningkatkan kebenaran, dengan model yang lebih baru dan lebih besar yang kini menghasilkan kode yang sangat fungsional, perhatian yang diberikan jauh lebih sedikit pada apakah kode tersebut benar-benar aman.
Masalah utamanya adalah itu pengembang tidak perlu menentukan batasan keamanan dalam perintah AI untuk mendapatkan kode yang diinginkan.
Misalnya, pengembang dapat meminta model untuk menghasilkan a basis data kueri tanpa menentukan apakah kode harus membuat kueri menggunakan pernyataan yang telah disiapkan (aman) atau penggabungan string (tidak aman). Oleh karena itu, pilihannya terserah pada modelnya.
Untuk beberapa kerentanan, model mungkin tidak dapat menentukan variabel spesifik mana yang memerlukan sanitasi (yaitu variabel mana yang “tercemar” oleh data yang dikontrol pengguna).
Kelemahan ini tidak terjadi secara kebetulan, namun berasal dari keterbatasan mendasar dalam cara model bahasa besar memahami konteks, maksud, dan risiko.
Batasan pemahaman LLM – dan apa artinya bagi keamanan
Kemajuan menuju kode aman yang dihasilkan oleh AI tidak mengalami kemajuan sama sekali, dengan penelitian terbaru yang menemukan bahwa penyedia LLM besar hanya mengalami sedikit atau bahkan tidak ada kemajuan dalam hal keamanan meskipun ada pengembangan yang berkelanjutan di seluruh sektor.
Misalnya model dari Anthropic, Google dan xAI memiliki tingkat kelulusan keamanan sebesar 50 hingga 59 persen, yang sangat buruk bagi para pemain besar di bidang teknologi. Tapi kenapa bukan keamanan pertunjukan menjadi lebih baik, bahkan ketika penulisan dan akurasi model meningkat?
Sebagian besar jawabannya terletak pada data pelatihan. LLM belajar dengan mengonsumsi sejumlah besar data dan informasi dari internet, yang sebagian besar mengandung kerentanan keamanan yang tersembunyi atau belum terselesaikan.
Misalnya, proyek seperti WebGoat dengan sengaja menyertakan pola tidak aman untuk mengajarkan keamanan aplikasi web melalui latihan langsung dengan kerentanan yang disengaja. Data ini tidak diberi label aman atau tidak aman, sehingga model memperlakukan kedua jenis data dengan cara yang sama. Bagi AI, kueri database yang tidak aman atau kueri yang aman hanyalah dua cara valid untuk menyelesaikan permintaan Anda.
LLM juga tidak memisahkan data dari instruksi. Sebaliknya, mereka hanya memproses semuanya sebagai aliran token. Hal ini membuka pintu untuk injeksi cepat, di mana penyerang dapat menyelipkan instruksi jahat ke dalam apa yang tampak sebagai masukan pengguna biasa. Jika suatu model tidak dapat membedakannya, model tersebut dapat diperdaya agar berperilaku dengan cara yang tidak pernah diinginkan oleh pengembang.
Penting juga untuk memahami hal itu keamanan risiko muncul di lapisan yang berbeda. Beberapa kerentanan berasal dari model itu sendiri, serta kelemahan pada cara AI menafsirkan atau menghasilkan konten.
Lainnya muncul di lapisan aplikasi, di mana pengembang mengintegrasikan LLM ke dalam sistem nyata. Dalam kasus tersebut, risiko berasal dari cara sistem menangani masukan eksternal, izin pengguna, dan interaksi dengan komponen lain.
Untuk pengembang, generatif alat AI mempunyai potensi untuk mengubah efisiensi, namun mereka hanya boleh digunakan sebagai asisten untuk meningkatkan produktivitas dalam tugas-tugas tertentu—bukan sebagai pengganti keterampilan manusia.
Dalam melakukan hal ini, pengembang harus menerapkan tingkat pengawasan yang sama terhadap masalah keamanan seperti halnya akurasi pengkodean. Setiap saran AI, tidak peduli seberapa halus tampilannya, harus dianggap tidak tepercaya sampai terbukti aman. Ini berarti memvalidasi cara input pengguna ditangani, memastikan praktik seperti autentikasi dan otorisasi dijalankan dengan benar, dan selalu berasumsi AI akan mengambil jalan pintas.
Organisasi juga harus mengadopsi perangkat “aman secara default” seputar AI, untuk memastikan keamanan terintegrasi sejak awal. Hal ini mencakup analisis statis real-time yang menandai kode tidak aman saat kode tersebut dibuat, penegakan kebijakan yang memblokir penerapan pola tidak aman, dan penerapan proses pagar pembatas yang membatasi model AI pada pustaka dan pola pengkodean aman yang diketahui.
Daripada hanya mengandalkan pelatihan yang berpusat pada kode yang ditulis manusia, organisasi harus mengadopsi pelatihan yang disesuaikan untuk membantu pengembang beradaptasi dengan kenyataan baru ini. Pelatihan khusus ini harus mencakup cara mengenali kesamaan LLM mode kegagalan, cara memahami metode jahat seperti injeksi cepat atau kebocoran data, dan mungkin yang paling penting, mengetahui kapan tidak menggunakan AI, terutama di domain berisiko tinggi, seperti kriptografi.
Keamanan masih menuntut penilaian manusia
AI generatif benar-benar dapat mempercepat penyampaian dan meningkatkan kemampuan, namun juga meningkatkan taruhannya. Industri ini perlu menerima kenyataan yang tidak menyenangkan – karena LLM terus menjadi lebih cepat, lebih lancar, dan lebih bermanfaat, mereka tidak dapat diandalkan untuk menghasilkan kode yang aman. Mereka tidak dapat mempertimbangkan model ancaman, menilai niat, atau mengetahui kapan logika yang tidak berbahaya menimbulkan efek samping yang berbahaya.
Jika organisasi tidak menerapkan perlindungan yang tepat, peralatan yang aman secara default, dan pengawasan manusia, mereka berisiko memunculkan kerentanan berbahaya dalam skala dan kecepatan yang besar.
Pada akhirnya, AI telah mengubah cara kita membangun perangkat lunak. Namun jika kita tidak mengubah cara kita mengamankannya, kita hanya memberikan serangan yang lebih besar kepada penjahat dunia maya, yang dilakukan dengan lebih efisien dari sebelumnya.
