ACRouter memilih model AI paling cerdas untuk setiap tugas, mengalahkan penyiapan khusus Opus dengan biaya 2,6x
Perutean model menjadi komponen kunci dari tumpukan AI perusahaan, yang secara dinamis mengirimkan perintah ke model AI yang tepat untuk mengoptimalkan kecepatan dan biaya. Namun, sebagian besar kerangka kerja saat ini memperlakukan perutean sebagai masalah klasifikasi statis, yang sangat membatasi potensinya. Kerangka kerja sumber terbuka baru yang disebut Agent-as-a-Router mengatasi hambatan ini, memperlakukan router sebagai agen pembangun memori yang dinamis. Ia menggunakan loop Context-Action-Feedback (CAF) untuk melacak keberhasilan dan kegagalan model serta memperbarui perilaku router. Para peneliti juga merilis ACRouter, sebuah implementasi nyata dari paradigma ini. Dalam pengujian yang mereka lakukan, ACRouter secara signifikan mengungguli router statis dan strategi mahal untuk menggunakan model premium secara default, semuanya tanpa mengharuskan tim untuk melatih model besar atau menulis heuristik tanpa akhir. Untuk aplikasi dunia nyata, kerangka kerja ini memberikan opsi untuk mengganti infrastruktur AI hard-code dengan sistem pengoptimalan mandiri yang dapat beradaptasi dengan perubahan perilaku pengguna dan model dasar yang digunakan dalam tumpukan AI perusahaan. Keekonomian perutean dan defisit informasi Penyiapan model tunggal berguna untuk eksperimen namun merugikan saat menskalakan aplikasi AI. Insinyur AI menggunakan perutean model untuk memetakan tugas ke model terbuka yang lebih murah dan lebih cepat jika memungkinkan, sambil menggunakan model perbatasan yang mahal untuk alasan yang kompleks. Saat ini, pengembang mengandalkan dua mekanisme utama untuk tugas ini. Yang pertama adalah perutean berbasis heuristik, yang mengandalkan aturan manual yang dikodekan secara keras. Misalnya, pengembang mungkin menulis aturan yang menyatakan bahwa jika perintah berisi kata kunci tertentu, perintah tersebut akan dialihkan ke GPT-5.5. Jika tidak, ia akan beralih ke model sumber terbuka yang dihosting sendiri seperti Kimi K2.7. Mekanisme kedua adalah kebijakan statis yang terlatih. Ini adalah pengklasifikasi pembelajaran mesin yang dilatih berdasarkan kumpulan data historis yang melihat penyematan perintah dan memprediksi model terbaik berdasarkan data pelatihan sebelumnya. Kedua pendekatan tersebut bersifat statis. Ketika para peneliti menguji mekanisme yang ada ini pada pengkodean dunia nyata dan alur kerja agen, mereka menemukan batasan yang sulit dalam hal akurasi. Temuan utama menunjukkan bahwa router statis mengalami defisit informasi yang parah. Karena mereka hanya mengevaluasi teks masukan dan tidak pernah melihat apakah model benar-benar berhasil menjalankan tugas, mereka menebak secara membabi buta ketika dihadapkan pada kasus tepi yang kompleks. Mekanisme perutean model yang berbeda (sumber: arXiv) Hal ini menghasilkan tiga titik kegagalan yang berbeda. Pertama, router statis mengalami keadaan informasi yang terhenti, yang berarti mereka tidak dapat mengumpulkan umpan balik eksekusi baru selama penerapan. Kedua, mereka gagal dalam generalisasi di luar distribusi (OOD). Mereka rusak selama operasi hari kedua ketika data perusahaan atau perilaku pengguna berubah karena data pelatihan mereka tidak lagi sesuai dengan kenyataan. Terakhir, mereka sangat rentan terhadap model churn. Pengklasifikasi statis yang dilatih pada model saat ini mungkin menjadi usang ketika model yang lebih baik dirilis pada minggu berikutnya. Agent-as-a-Router: Sistem yang berkembang sendiri Tesis inti dari Agent-as-a-Router adalah bahwa router yang benar-benar efektif harus memperoleh dan mengumpulkan informasi berdasarkan eksekusi selama penerapan, yang pada dasarnya belajar sambil bekerja. Para peneliti mencapai hal ini melalui loop CAF. Ketika prompt baru tiba, router memeriksa metadata prompt dan tugas, seperti bahasa pemrograman atau tingkat kesulitannya. Ia kemudian menelusuri memori historisnya untuk tugas-tugas serupa untuk melihat model mana yang berhasil atau gagal di masa lalu. Router menggunakan konteks ini untuk memilih model target dan menjalankan tugas. Terakhir, sistem mengamati hasil di dunia nyata, mengekstrak sinyal keberhasilan atau kegagalan, dan menulis umpan balik ini kembali ke dalam memorinya untuk menginformasikan keputusan perutean di masa depan. Pertimbangkan jalur analisis data perusahaan otomatis. Router menerima tugas pembuatan SQL dan mengirimkannya ke model sumber terbuka seperti Kimi. Model berhalusinasi nama kolom dan gagal mengkompilasi SQL. Loop CAF mengamati kesalahan kompiler, mendaftarkannya sebagai umpan balik, dan mencatatnya. Saat berikutnya kueri SQL serupa yang tidak jelas muncul, router memeriksa konteksnya dan merutekan tugas tersebut ke model yang lebih canggih seperti Claude Opus 4.8. ACRouterPara peneliti mengembangkan ACRouter sebagai contoh nyata dari kerangka kerja ini. Ini terdiri dari tiga komponen inti: Orchestrator, Verifier, dan Memory. Arsitektur ini didukung oleh lapisan alat untuk mengeksekusi loop CAF secara fisik. Arsitektur ACRouter (sumber: arXiv)Modul Memori mendukung fase konteks. Dibangun di penyimpanan vektor, ia mengambil interaksi relevan di masa lalu dan memperbarui basis data historis dengan hasil baru. Orchestrator menangani fase tindakan. Ini memproses permintaan pengguna di samping memori yang diambil untuk memilih model target yang paling mampu dari kumpulan yang tersedia. Verifikator mengelola fase umpan balik dengan mengevaluasi keluaran model yang dipilih untuk menghasilkan sinyal keberhasilan atau kegagalan yang jelas. Lapisan alat menghubungkan Verifikator ke lingkungan eksekusi dunia nyata, seperti penerjemah kode Python, kotak pasir agen, atau mesin basis data. Lapisan alat memungkinkan sistem untuk mengeksekusi kode atau kueri yang dihasilkan dan mengamati hasil yang tepat, memberikan sinyal yang dapat diverifikasi yang perlu dipelajari oleh router. Orchestrator itu sendiri ringan. Alih-alih model bahasa besar yang sangat besar dan berat secara komputasi, para peneliti melatih adaptor parameter sub-miliar berdasarkan Qwen 3.5 (0,8 miliar parameter), yang berarti dapat dihosting sendiri di perangkat pilihan Anda. Aksi ACRouter: Mengungguli garis dasar frontier Untuk menguji kerangka kerja, para peneliti memperkenalkan CodeRouterBench, sebuah lingkungan evaluasi yang terdiri dari sekitar 10.000 tugas dengan skor terverifikasi di delapan model frontier, termasuk Claude Opus 4.6, GPT-5.4, Qwen3-Max, dan GLM-5. Evaluasi dibagi antara pengujian dalam distribusi (ID) (mencakup sembilan dimensi pengkodean putaran tunggal seperti desain algoritme dan pembuatan pengujian) dan pengujian pemrograman agen di luar distribusi (OOD). Tugas OOD secara kualitatif berbeda, memerlukan perencanaan multi-langkah, navigasi file, dan debugging berulang untuk melihat apakah router dapat beradaptasi dengan domain baru yang fundamental. Hasil dasar menunjukkan mengapa strategi model tunggal memiliki kelemahan: tidak ada model tunggal yang mendominasi setiap kategori. Misalnya, meskipun Claude Opus 4.6 mencapai kinerja rata-rata tertinggi, kinerjanya dikalahkan dalam desain algoritme oleh GLM-5 (peningkatan relatif sebesar 86%) dan dalam pembuatan pengujian oleh Qwen3-Max (peningkatan sebesar 111%), meskipun biaya Opus kira-kira 12 kali lipat dibandingkan model yang lebih kecil seperti Kimi-K2.5. Dalam benchmark, router statis terus-menerus gagal dengan mengirimkan tugas pengkodean khusus ke model yang tidak dilengkapi dengan sintaksis yang tepat. Router statis tidak memiliki cara untuk mengetahui bahwa kode tersebut gagal dijalankan. Sebaliknya, ACRouter menyesuaikan strateginya setelah menerima sinyal umpan balik negatif dari lingkungan eksekusi. ACRouter berada di garis depan Pareto dalam hal biaya/kinerja dibandingkan dengan mekanisme perutean lainnya (sumber: arXiv) Menurut tolok ukur para peneliti, ACRouter berada di garis depan Pareto dalam hal biaya dan kinerja. Pada aliran tugas ID dan pengujian agen OOD yang kompleks, ACRouter mencapai penyesalan kumulatif terendah, sebuah metrik yang mengukur keputusan perutean sub-optimal dari waktu ke waktu. Pada set pengujian dalam distribusi, ACRouter berharga $13,21 untuk seluruh tugas yang dijalankan, dibandingkan dengan $34,02 karena selalu menggunakan Opus secara default — penghematan sebesar 2,6x. ACRouter secara dinamis mencocokkan tugas dengan model yang paling mumpuni untuk ceruk spesifik tersebut, sehingga menunjukkan bahwa perusahaan dapat mencapai atau melampaui akurasi tingkat batas di berbagai beban kerja tanpa membayar harga premium untuk setiap kueri. Peringatan, batasan, dan cara memulai Meskipun paradigma Agent-as-a-Router mengatasi defisit informasi, paradigma ini bukanlah solusi menyeluruh untuk semua alur kerja AI. Kerangka kerja ini menonjol dalam tugas-tugas yang dapat diverifikasi di mana Verifikator mendapatkan sinyal keberhasilan atau kegagalan yang jelas dari lingkungan, seperti pengkodean atau pengambilan data. Ini efektif untuk aplikasi dengan pergeseran distribusi dan domain di mana model yang berbeda unggul dalam ceruk yang sangat berbeda. Sebaliknya, penyiapannya berlebihan untuk tugas-tugas sepele yang model apa pun sudah cukup, atau untuk aplikasi bervolume rendah yang tidak memerlukan overhead teknis. Ini juga tidak cocok untuk domain subjektif, seperti penulisan kreatif, di mana jawaban yang benar tidak dapat diverifikasi dengan mudah dan sinyal umpan balik tidak mungkin distandarisasi. Para peneliti membuat kode menjadi sumber terbuka di GitHub dan merilis bobot model orkestrator di Hugging Face di bawah lisensi Apache 2.0. Router ini kompatibel dengan Claude Code, Codex, dan OpenCode.
Diterbitkan : 2026-07-13 16:06:00
sumber : venturebeat.com
