Perusahaan yang menggunakan beberapa model AI memperkirakan tingkat kegagalan sebesar 2,25x
Tim yang merutekan kueri ke spesialis pengkodean, spesialis logika, dan model generalis mengasumsikan masing-masing akan menutupi titik buta yang lain. Sebuah studi baru yang mengevaluasi 67 model frontier dari 21 penyedia menunjukkan bahwa asumsi tersebut cacat secara matematis — dan cacat tersebut memiliki nama: batas atas kegagalan bersama. Asumsinya berlaku seperti ini: selama dua model biasanya tidak gagal pada permintaan yang sama persis, menggabungkan keduanya akan menciptakan jaring pengaman terhadap kegagalan. Batasan sebenarnya pada orkestrasi bukanlah seberapa sering model tidak setuju, namun persentase permintaan ketika setiap model dalam kumpulan memberikan jawaban yang salah sekaligus. Dengan mengabaikan batas atas kegagalan bersama (co-failure), perusahaan membangun infrastruktur perutean yang rumit dan mahal untuk mengejar peningkatan kinerja yang sebenarnya tidak ada. Untungnya, pengembang dapat menggunakan perhitungan yang sama untuk membuat pengujian bebas biaya yang menentukan dengan tepat kapan orkestrasi multi-model akan benar-benar membuahkan hasil. Biaya tersembunyi dari strategi multi-model Untuk mengatur beberapa model bahasa, pengembang biasanya mengandalkan tiga arsitektur. Router model bertindak sebagai polisi lalu lintas, mengirimkan kueri kompleks ke model mahal dan kueri sederhana ke model lebih murah. Cascades mengirimkan setiap perintah ke model murah terlebih dahulu, hanya meningkat ke model premium jika sistem awal memberi sinyal kepercayaan rendah. Terakhir, pendekatan seperti Mixture-of-Agents (MoA) menggabungkan beberapa model dengan menanyakan pertanyaan yang sama dan menghasilkan jawaban yang disintesis dari keluaran gabungannya. Arsitektur ini memperkenalkan “harga bayangan” pada biaya inferensi. Setiap kali tim pengembangan mengimplementasikan router atau cascade, mereka harus membayar mahal untuk tambahan latensi sistem, pemeliharaan infrastruktur yang kompleks, dan peningkatan risiko tata kelola di beberapa penyedia API. Untuk membenarkan biaya operasional ini, para insinyur mengandalkan “korelasi kesalahan berpasangan” untuk memilih kumpulan model mereka. Bayangkan seorang pengembang memiliki Model A, yang menulis Python dengan sangat baik tetapi gagal di SQL, dan Model B, yang menulis SQL dengan sangat baik tetapi gagal di Python. Karena mereka gagal pada jenis perintah yang berbeda, korelasi kesalahan berpasangannya rendah. Pengembang berasumsi bahwa dengan menempatkan lapisan perutean di depannya, mereka telah menciptakan sistem komposit yang jarang gagal dalam pengkodean. Menurut penelitian, menggabungkan beragam model berdasarkan korelasi rendah sebenarnya dapat merusak kinerja jika model-model tersebut tidak memiliki kemampuan yang sama — ketika Anda memberikan suara pada model-model yang berbeda namun tidak setara, model yang lebih lemah sering kali akan bersatu dan mengalahkan model yang paling cerdas. Josef Chen, penulis makalah tersebut, mengatakan kepada VentureBeat bahwa dalam eksperimen mereka, “Pemungutan suara mayoritas yang naif pada model yang tidak setara memiliki keuntungan rata-rata yang negatif (minus 10 poin dalam hard mix kami): anggota yang beragam namun lebih lemah akan mengalahkan anggota yang kuat.” Saran yang dapat ditindaklanjuti bagi pengembang adalah “hanya menggabungkan model dalam rentang kualitas yang sesuai.” Jika Anda tidak dapat menandingi kualitas, ambillah model dasar tunggal dan belanjakan anggaran Anda untuk model terbaik yang tersedia. Makalah ini memberikan satu titik terang untuk pendekatan arsitektur MoA ini. Saat membangun ansambel, tim sering kali menggunakan “Self-MoA”, yang mana mereka menanyakan model premium yang sama beberapa kali untuk menghasilkan jawaban yang disintesis. Para peneliti menemukan bahwa dengan kualitas yang sesuai, membangun beragam model dengan korelasi berpasangan yang rendah akan mengalahkan pengaturan Self-MoA dengan korelasi tinggi. Namun, ketika tim menggunakan metrik korelasi berpasangan yang sama untuk memprediksi keakuratan absolut dari keseluruhan sistem mereka, perhitungannya akan gagal. “Biasanya tidak, karena model-model terbaik saat ini setuju, dan, lebih buruk lagi, mereka gagal pada pertanyaan yang sama … perintah tersebut hanya memberikan sedikit sinyal tentang model mana yang akan menjadi model yang benar ketika garis depan tidak setuju.” Tidak ada router, sistem pemungutan suara, atau kaskade yang dapat mencapai akurasi lebih tinggi dari batas maksimum yang ditentukan. Pengkodean, logika, dan kumpulan generalis menunjukkan korelasi berpasangan yang rendah pada permintaan rutin — jarang terjadi kegagalan secara bersamaan. Namun batas atas kegagalan bersama mewakili kasus edge yang tidak jelas dan sangat kompleks yang melampaui batas arsitektur AI saat ini. Jika sebuah prompt sangat sulit sehingga ketiga model berhalusinasi atau gagal, tidak masalah seberapa cerdas router mendistribusikan tugas tersebut. Seluruh kumpulan terhapus sekaligus. Para peneliti menguji 67 model kumpulan mereka, termasuk GPT-5.5, Claude Opus 4.8, dan Gemini 3.1 Pro, pada benchmark matematika MATH-500 terbuka. Berdasarkan korelasi berpasangan standar, model statistik memperkirakan bahwa seluruh kelompok akan terhapus secara bersamaan hanya pada 2,3% pertanyaan. Kenyataannya, tingkat kegagalan bersama adalah 5,2%.Studi terhadap 67 LLM terkemuka di lingkungan multi-LLM (sumber: arXiv)Metrik korelasi standar meremehkan tingkat kegagalan sekitar 2,25 kali. Penyebabnya bukan hanya kesulitan independen, tapi titik kegagalan bersama. “Penggeraknya adalah apa yang kita sebut atom mode umum: sepotong pertanyaan yang menyebabkan seluruh pasar gagal secara bersamaan, yang tidak dapat dilihat oleh statistik berpasangan,” kata Chen. “Menambahkan model ke-20 ke kumpulan Anda tidak berarti membeli cakupan ekor. Ekornya dibagikan.” Para peneliti juga menemukan bahwa format tugas secara langsung memicu kegagalan bersama. Ketika mereka mengambil pertanyaan sains tingkat pascasarjana dari tolok ukur GPQA dan mengubahnya dari format pilihan ganda ke format respons bebas, angka jawaban yang semuanya salah meluas menjadi 12,7%. Namun, para pengembang dapat merekayasa hingga batas maksimal. “Implikasi teknisnya tidak nyaman: pengaturan multi-model membeli paling sedikit di tempat yang paling diinginkan tim, pada generasi terbuka,” kata Chen. “Di mana pun Anda dapat mengubah pembangkitan menjadi verifikasi atau seleksi terbatas (output terstruktur, jawaban yang dapat diperiksa, tes eksekusi), Anda membuka kembali batasan tersebut.” Pada akhirnya, para peneliti menemukan bahwa batasan ini membatasi aplikasi AI dalam dua cara berbeda, bergantung pada domainnya: Lingkungan yang terikat pada batasan tersebut (misalnya, matematika terbuka): Tingkat kegagalan bersama (co-failure) tinggi. Tugasnya terlalu sulit, dan semua model gagal secara bersamaan. Tidak ada jumlah perutean yang dapat mengatasi kekurangan kemampuan yang mendasarinya. Lingkungan yang terikat pada kenyataan (misalnya, sains tingkat pascasarjana): Tingkat kegagalan bersama mendekati nol, yang berarti setidaknya satu model dalam kumpulan biasanya mengetahui jawabannya. Namun, model-model tersebut sangat berbeda pendapat sehingga lapisan perutean tidak dapat secara andal memilih jawaban yang benar tanpa oracle yang mahatahu. Pemeriksaan kewarasan pra-penerapan $0 Sebelum mendedikasikan waktu teknis untuk membangun router, tim dapat menghitung batas atas kinerja absolut mereka secara gratis menggunakan rumus matematika yang disebut batas Clopper-Pearson. Batas Clopper-Pearson beroperasi sebagai kalkulator skenario terburuk. Jika Anda melempar koin sepuluh kali dan mendapatkan delapan kepala, Anda tidak dapat menjamin koin tersebut akan mendarat di kepala 80% selamanya. Batasan tersebut mengambil sampel kecil dari pertanyaan pengujian dan menghasilkan batas atas yang dijamin secara matematis. Diterapkan pada model bahasa, misalkan sebuah tim menguji kumpulan lima agen pada 50 sampel kueri dan menemukan bahwa semuanya gagal secara bersamaan hanya pada dua pertanyaan. Pengembang mungkin berasumsi sistem multi-agen mereka akan mencapai akurasi 96% dalam produksi. Rumus Clopper-Pearson mengoreksi optimisme ini. Hal ini menganalisis ukuran sampel yang kecil dan memberikan jaminan matematis bahwa tingkat kegagalan bersama sebenarnya bisa mencapai 12%. Untuk menerapkan hal ini dalam praktik, perusahaan harus membangun kumpulan data yang disimpan. Sebuah perusahaan fintech, misalnya, dapat mengambil 200 tiket dukungan pelanggan yang kompleks dari kuartal sebelumnya dan meminta agen manusia untuk menulis resolusi yang sempurna untuk dijadikan sebagai tolok ukur. Meskipun ini terdengar seperti proyek manual yang berat, tim teknik yang matang dapat mengotomatiskan seluruh penghitungan batas atas. “Integrasi itu sepele: ini adalah pekerjaan penghitungan atas log eval yang sudah diproduksi oleh tim,” catat Chen, “jadi ini berjalan pada tahap CI yang sama dengan rangkaian eval dan terpicu ulang setiap kali kumpulan model atau beban kerja berubah.” Tim teknik kemudian menjalankan model kandidatnya terhadap 200 tiket ini satu kali dan mencatat hasilnya. Ketika mereka ingin mengevaluasi konfigurasi multi-model, mereka dapat menggunakan ukuran tingkat kegagalan bersama untuk memprediksi akurasi maksimum yang dapat mereka peroleh dari sistem tanpa menjalankan kueri tambahan. Salah satu kesimpulan penting dari studi ini adalah bahwa pada tugas-tugas yang jawabannya dapat diperiksa secara pasti, menggabungkan model jarang bisa mengalahkan penggunaan model tunggal terbaik di pasar, kecuali tim tersebut memiliki sinyal perutean tingkat kueri yang sangat kuat. Dalam lingkungan perusahaan, tugas yang diperiksa secara definitif memiliki jawaban yang obyektif dan tidak bertoleransi. Ini termasuk membuat kueri SQL yang harus dijalankan tanpa kesalahan, mengekstrak total faktur tertentu dari PDF 50 halaman, atau memformat payload JSON yang sangat cocok dengan skema yang ketat. Untuk tugas-tugas ini, perusahaan biasanya lebih baik membayar mahal untuk model frontier yang paling cerdas daripada menyatukan tiga model yang lebih murah dan berharap router memilih output yang tepat. Penelitian ini tidak menguji tugas-tugas yang subyektif dan tidak dinilai seperti menyusun salinan pemasaran — para penulis mencatat bahwa apakah temuan ini berada di luar tolok ukur yang dapat diverifikasi, masih menjadi pertanyaan terbuka. Karena pemeriksaan matematis ini gratis, tim perusahaan dapat melacak tingkat kegagalan bersama mereka sendiri ketika model-model baru turun. Pada akhirnya, “pengungkit yang dimiliki pembeli adalah heterogenitas mode kegagalan dan churn pasar, bukan jumlah model.”
Diterbitkan : 2026-07-09 18:46:00
sumber : venturebeat.com
