SkillOpt sumber terbuka Microsoft secara otomatis meningkatkan keterampilan agen AI tanpa menyentuh bobot model
Keterampilan agen telah menjadi bagian penting dari aplikasi AI dunia nyata, menyediakan mekanisme — serangkaian instruksi yang biasanya disimpan dalam folder file penurunan harga berbasis teks (.md) — agar model dapat beradaptasi dengan kasus penggunaan perusahaan tertentu dan alur kerja yang kompleks. Namun, mengoptimalkan keterampilan ini adalah proses yang lambat dan salah, karena keterampilan tersebut tidak dapat dilatih dengan cara yang sama seperti parameter model AI yang mendasarinya. Sebaliknya, pengguna biasanya harus memperbaruinya secara manual dengan mengetik ulang instruksi di setiap file, memainkan “permainan menebak” tentang perubahan apa yang dapat meningkatkan kinerja AI agen dan mengurangi kesalahan. SkillOpt, kerangka kerja sumber terbuka (Berlisensi MIT) baru yang dikembangkan oleh Microsoft, melakukan hal yang lebih baik: memperkenalkan pengoptimal yang dirancang untuk keterampilan agen, menjadikan dokumen keterampilan .md agen sebagai objek yang dapat dilatih dan berkembang berdasarkan umpan balik kinerja. SkillOpt menggunakan optimasi gaya pembelajaran mendalam untuk memungkinkan AI mengeksplorasi modifikasi pada dokumen secara sistematis dan menemukan kombinasi instruksi terbaik. Yang terpenting, SkillOpt menyelesaikan adaptasi prosedural ini tanpa melakukan perubahan pada bobot model yang mendasarinya. Pada berbagai tolok ukur industri, SkillOpt mengungguli baseline yang ada, sehingga secara signifikan meningkatkan akurasi untuk model seperti GPT-5.5 dan Qwen. Hasilnya adalah serangkaian artefak keterampilan yang kompak dan dapat ditransfer sehingga memungkinkan agen AI beradaptasi dengan domain baru dengan mudah. Tantangan dalam mengoptimalkan keterampilan agen Keterampilan agen mengemas pengetahuan prosedural ke dalam spesifikasi bahasa alami, termasuk heuristik domain, kebijakan penggunaan alat, batasan keluaran, dan mode kegagalan yang diketahui. Keterampilan ini memberikan antarmuka eksternal bagi agen untuk beradaptasi dengan alur kerja perusahaan yang kompleks. Dalam praktiknya, keterampilan agen disimpan sebagai dokumen teks dan dimasukkan ke dalam konteks agen sebelum dieksekusi. Salah satu manfaat utama keterampilan adalah keterampilan tersebut menyesuaikan perilaku model yang mendasarinya tanpa mengubah bobotnya. Namun, dokumen keterampilan itu sendiri perlu diubah dan dioptimalkan untuk mendapatkan kinerja terbaik dari agen. Meskipun pembelajaran mendalam bergantung pada kontrol matematis yang ketat untuk stabilitas, rekayasa cepat manusia sering kali mengandalkan coba-coba. Saat mencoba memperbarui dokumen keterampilan secara otomatis berdasarkan umpan balik, kurangnya disiplin matematika membuat teks menjadi sangat fluktuatif. Yifan Yang, Senior Research SDE di Microsoft Research Asia, mengatakan kepada VentureBeat bahwa masalahnya bukan pada perubahan, namun memastikan perubahan tersebut masuk akal secara matematis. “Tiga mode kegagalan berulang: tidak ada kontrol ukuran langkah, sehingga keterampilan melayang; tidak ada validasi, sehingga perbaikan yang dianggap masuk akal akan ditulis dan secara diam-diam dapat menurunkan kinerja; dan tidak ada memori negatif, sehingga pengeditan gagal yang sama terus muncul kembali.” Untuk mengilustrasikan betapa mudahnya kinerja menurun ketika pengeditan tidak divalidasi secara matematis, Yang mencatat bahwa “penulisan ulang tanpa batas mendorong GPT-5.5 di SpreadsheetBench dari 41,8 ke 41,1.”Menurut Yang, mode kegagalan ini diperkuat dalam alur kerja multi-langkah “karena di situlah model frontier merupakan titik terlemah. Bukan pada penalaran, namun pada disiplin prosedural: format, verifikasi mandiri, kebijakan alat.” Sebelum SkillOpt, keterampilan agen terutama dibuat dengan tangan, dihasilkan dalam satu kesempatan, atau dikembangkan melalui saluran revisi mandiri yang dikontrol secara longgar yang tidak dapat ditingkatkan secara andal berdasarkan umpan balik. Metode pengoptimalan cepat seperti TextGrad dan GEPA memperlakukan artefak bahasa sebagai objek yang dapat dioptimalkan dan menggunakan umpan balik lintasan untuk berevolusi perintahnya, namun berfokus pada konfigurasi cepat tunggal dibandingkan menghasilkan artefak keterampilan yang persisten dan dapat digunakan kembali. Sementara itu, evolusi keterampilan dan metode penemuan seperti EvoSkill dan Trace2Skill mengubah pengalaman eksekusi agen menjadi pelajaran lintasan untuk menyempurnakan folder keterampilan, membangun perpustakaan khusus domain, atau melakukan penelusuran evolusioner. Tak satu pun dari metode tersebut yang menerapkan kontrol gaya pembelajaran mendalam, seperti kecepatan pembelajaran, gerbang validasi, dan momentum, yang diperlukan untuk terus melatih satu dokumen keterampilan yang ringkas. Mengimpor disiplin matematika ke textSkillOpt mengoptimalkan dokumen teks melalui loop usulan dan pengujian berulang yang memisahkan model yang menjalankan tugas dari model yang mengoptimalkan keterampilan. Prosesnya berlangsung dalam beberapa langkah: SkillOpt dimulai dengan dokumen keterampilan awal dan model target yang dibekukan (atau harness), di mana model target menjalankan serangkaian tugas untuk menghasilkan lintasan eksekusi yang bertindak sebagai bukti untuk langkah saat ini. Model pengoptimal offline menganalisis lintasan ini, memisahkan keberhasilan dari kegagalan menjadi minibatch. Melihat minibatch membantu model mengidentifikasi kesalahan prosedur sistematis, bukan anomali yang terjadi satu kali saja. Berdasarkan pola ini, pengoptimal mengusulkan pengeditan struktural untuk menambah, menghapus, atau mengganti dokumen keterampilan. Pengeditan yang diusulkan ditinjau untuk menyaring duplikat atau kontradiksi, dan pengoptimal kemudian memberi peringkat pada kandidat pengeditan ini berdasarkan kegunaan yang diharapkan. Daripada menerapkan semua perubahan yang diusulkan, SkillOpt memotong daftar ke anggaran pengeditan maksimum untuk langkah tersebut, sehingga menghasilkan keterampilan kandidat. Keterampilan kandidat dievaluasi pada set validasi yang ditahan menggunakan model target. Jika kandidat meningkatkan skor validasinya, itu diterima dan menjadi keterampilan baru saat ini. Jika gagal, pengeditan ditolak dan dikirim ke buffer pengeditan yang ditolak, memberikan umpan balik negatif sehingga pengoptimal tahu untuk tidak mengulangi kesalahan itu. SkillOpt secara langsung mengatasi masalah memperlakukan teks sebagai objek yang dapat dilatih dengan mengimpor konsep matematika dari pembelajaran mendalam. Pembuatnya mencatat bahwa “analogi pembelajaran mendalam lebih bersifat operasional daripada dekoratif,” membantu kerangka kerja menghindari masalah ketidakstabilan yang terkait dengan teknik pengoptimalan lainnya. Kerangka kerja SkillOpt (sumber: arXiv) Anggaran pengeditan bertindak sebagai kecepatan pembelajaran. Dengan membatasi berapa banyak pengeditan yang dapat diterapkan sekaligus, versi keterampilan dicegah agar tidak berpindah terlalu jauh dari keadaan sebelumnya, menjaga kesinambungan sekaligus memungkinkan diperolehnya prosedur baru. Sama seperti memeriksa kehilangan validasi dalam pembelajaran mendalam, contoh ketat yang diberikan memastikan bahwa pengeditan teks yang terdengar masuk akal hanya disimpan jika secara matematis meningkatkan kinerja agen yang sebenarnya pada pemisahan validasi. Di akhir suatu epoch, SkillOpt melakukan pembaruan lambat dengan membandingkan tugas-tugas di bawah keterampilan epoch sebelumnya dan saat ini. Hal ini bertindak seperti istilah momentum, membawa pembelajaran prosedural jangka panjang dan tahan lama sambil mengisolasinya dari pengeditan tingkat langkah yang cepat. SkillOpt dalam tindakan Untuk mengevaluasi teknik ini dalam praktiknya, para peneliti menguji SkillOpt di berbagai model, mulai dari model frontier skala besar seperti GPT-5.5 hingga model tertutup dan terbuka yang lebih kecil termasuk GPT-5.4-mini dan Qwen3.5-4B. Mereka juga menerapkan keterampilan dalam berbagai rangkaian eksekusi, menggunakan obrolan biasa serta rangkaian pengkodean kompleks seperti Codex CLI dan Claude Code. Evaluasi ini mencakup beragam tolok ukur industri termasuk menjawab pertanyaan satu putaran, pembuatan kode multi-putaran yang melibatkan penggunaan alat, dan penalaran dokumen multimodal. SkillOpt diukur berdasarkan beberapa garis dasar mulai dari pengaturan default tanpa keterampilan hingga keterampilan yang ditulis oleh manusia dan keterampilan yang dihasilkan LLM sekali pakai. Hal ini juga dibandingkan dengan metode optimasi cepat dan evolusi keterampilan tingkat lanjut, khususnya Trace2Skill, TextGrad, GEPA, dan EvoSkill. SkillOpt mendominasi secara keseluruhan, terbukti sangat efektif pada 52 kombinasi model, benchmark, dan harness yang dievaluasi. Hal ini sangat efektif terutama pada model frontier, yang menghasilkan peningkatan absolut rata-rata sebesar +23,5 poin dibandingkan baseline tanpa keterampilan pada GPT-5.5. Selain itu, SkillOpt mengungguli garis dasar oracle hipotetis yang memilih metode persaingan terbaik untuk setiap masalah. Model target kecil memperoleh keuntungan relatif besar, membuktikan bahwa file teks ringkas dapat memberikan pengetahuan prosedural yang tidak dimiliki model kecil. Misalnya, GPT-5.4-nano meningkatkan skornya hampir dua kali lipat pada QA dokumen multimodal dan tiga kali lipat skornya pada interaksi yang diwujudkan dan pengambilan keputusan berurutan. Tolok ukur akademis ini memetakan titik-titik permasalahan penting di perusahaan. Model zero-shot sering kali mengalami halusinasi pemformatan atau gagal menggunakan alat dengan benar dalam skenario multi-langkah. Yang menjelaskan bahwa lompatan kinerja terbesar terjadi dalam operasi yang secara historis sulit diotomatisasi oleh perusahaan. “Ekstraksi data dokumen… angka pasti dari kontrak, faktur, dan formulir — otomatisasi AP, klaim, kepatuhan,” kata Yang. “Yang ditingkatkan adalah keandalan: pemformatan yang tepat, verifikasi mandiri, keluaran yang dapat diaudit. Dan keuntungannya berasal dari prosedur pembelajaran, bukan menghafal jawaban.” Bagi praktisi perusahaan, nilai sebenarnya dari SkillOpt terletak pada portabilitas, efisiensi, dan kompatibilitasnya dengan infrastruktur yang ada. Eksperimen mengkonfirmasi bahwa kerangka tersebut bersifat harness-agnostic. Selain obrolan dasar, loop pengoptimalan yang sama berhasil diintegrasikan ke dalam lingkungan eksekusi yang didukung alat seperti Codex CLI dan Claude Code dengan peningkatan signifikan pada tolok ukur industri. Pengembang dapat melatih keterampilan menggunakan satu loop eksekusi dan menerapkannya di loop eksekusi lainnya. Misalnya, keterampilan spreadsheet yang dilatih sepenuhnya di dalam loop Codex dipindahkan langsung ke Claude Code dan meningkatkan perolehan poin +59,7 di atas garis dasar asli Claude Code tanpa perubahan lebih lanjut. Artefak SkillOpt juga ditransfer dengan rapi di seluruh skala model. Keterampilan yang dioptimalkan untuk GPT-5.4 diterapkan ke model GPT-5.4-mini dan GPT-5.4-nano yang lebih kecil dengan hasil positif, membuktikan bahwa prosedur yang dipelajari menyandikan alur kerja yang dapat digunakan kembali, bukan sekadar mengeksploitasi kekhasan arsitektur model tertentu. Terakhir, kerangka kerja ini sangat efisien dalam hal penggunaan token dan real estat jendela konteks. Di semua tolok ukur, keterampilan akhir yang diterapkan tidak pernah melebihi 2.000 token, dengan panjang rata-rata sekitar 920 token. Hal ini menghasilkan artefak yang sangat mudah dibaca dan dapat diaudit sehingga praktisi manusia dapat meninjau dan mengelolanya dalam hitungan menit. Strategi implementasi dan ‘tangkapan’ perusahaan Bagi para pemimpin teknologi perusahaan, mengadopsi kerangka kerja baru memerlukan pemahaman tentang overhead dan keterbatasannya. Meskipun makalah penelitian mencatat bahwa token pelatihan dapat mencapai hingga 210 juta untuk tolok ukur akademis, kenyataannya untuk kasus penggunaan perusahaan sehari-hari jauh lebih ringan. Tingginya jumlah token dalam pengujian sebagian besar disebabkan oleh penskoran ulang set pengujian yang telah dilakukan secara besar-besaran. Dia menambahkan bahwa untuk penggunaan sehari-hari, “dalam kerangka komunitas seperti GBrain, di mana pembaruan SkillOpt dijalankan di Claude Sonnet, melatih keterampilan untuk satu tugas rata-rata hanya $1–5.” Biaya pengoptimalan ini adalah biaya satu kali yang diamortisasi sepenuhnya pada saat penerapan. Namun, kerangka kerja ini memerlukan kondisi khusus agar dapat bekerja secara efektif, yaitu beberapa lusin contoh representatif dan sinyal umpan balik yang dapat dinilai. Tim harus menghindari penerapan SkillOpt pada tugas terbuka atau subjektif. “Tanpa pencetak skor otomatis yang bersih, Anda harus merancang evaluator berbasis manusia atau model dan memperhatikan stabilitasnya,” kata Yang. SkillOpt juga berintegrasi dengan lancar dengan tumpukan orkestrasi yang ada, menghilangkan hambatan besar dalam penerapannya. Misalnya, pengembang yang sudah menggunakan kompiler saluran pipa dapat menjalankan kedua sistem secara harmonis. “DSPy adalah lapisan yang berbeda dan saling melengkapi,” kata Yang. “Ini mengkompilasi pipeline LM deklaratif dan mengoptimalkan struktur program; SkillOpt mengoptimalkan status keterampilan eksternal yang dimuat oleh agen yang dibekukan. Anda dapat menjalankannya bersama-sama.” Ke depan, pengembang sumber terbuka sudah menjadwalkan SkillOpt untuk dijalankan secara berkala pada lintasan masa lalu agen mereka, menciptakan ekosistem kecil dari plugin agen kode yang dapat mengoptimalkan dirinya sendiri. Putaran umpan balik yang berkelanjutan ini mewakili perubahan signifikan dalam cara sistem AI beradaptasi. “Versi perbaikan diri yang berharga adalah agen yang secara mandiri menemukan pengetahuan untuk meningkatkan perilakunya sendiri dan pengalaman pengguna, melalui verifikasi dan audit,” kata Yang. “Keterampilan adalah langkah pertama yang tercepat, termurah, dan paling dapat dibalik, dan pola pikir yang sama mengarah pada agen yang pada akhirnya mengoptimalkan diri mereka sendiri, hingga ke bobot mereka sendiri.”
Diterbitkan : 2026-06-11 23:37:00
sumber : venturebeat.com
