Google memperbarui Android Bench dengan LLM baru, tetapi Gemini masih tertinggal
Papan peringkat Google yang diperbarui menunjukkan Gemini merosot ke posisi kelima. Kredit: Google Papan peringkat Google yang diperbarui menunjukkan Gemini merosot ke posisi kelima. Kredit: Google Namun, Fable 5 dan GPT 5.5 juga memiliki biaya pengoperasian yang sangat tinggi, menghabiskan lebih dari $130 dalam bentuk token untuk benchmark 100 masalah, 10 kali dijalankan. Gemini 3.1 Pro tidak mendapatkan skor yang tinggi, tetapi biayanya hanya $87 untuk menjalankan tesnya. Gemini 3.5 Flash, yang seharusnya lebih murah untuk dijalankan dibandingkan model lainnya, memiliki biaya tertinggi di papan peringkat karena memerlukan waktu lebih lama untuk menyelesaikan benchmark: $165 per pengoperasian dan waktu pengoperasian 28 jam. Kesenjangan kinerja pengkodean Android untuk model Google merupakan masalah karena perusahaan mengalihkan banyak proyeknya ke pengembangan agen. Tentu saja, Google lebih suka pengembang Android menggunakan alat Google dalam alur kerja mereka, itulah sebabnya Google dilaporkan menawarkan untuk membeli kode sumber aplikasi dari pengembang untuk pelatihan AI. Kolaborasi komunitas Android Bench seharusnya berkembang seiring waktu, mengadopsi alur kerja baru untuk menguji model. Google berharap para pengembang mau berkontribusi pada Android Bench dengan berbagi tolok ukur dan tugas pengembangan. Untuk membuatnya lebih memungkinkan, Google beralih ke kerangka Harbour. Menurut perusahaan, sandbox pengujian ini memudahkan pengembang untuk menjalankan, mengevaluasi, dan membagikan hasil Android Bench. Google menjalankan kembali semua pengujian sebelumnya dengan Harbour untuk mendapatkan dasar baru untuk kinerja LLM. Jadi ada beberapa perubahan dalam skor yang dilaporkan sebelumnya meskipun tes yang mendasarinya belum berubah (belum). Data historis akan tetap online dalam arsip. Dengan kerangka kerja baru yang lebih mudah, pengembang dapat menjalankan tugas pengembangan mereka sendiri pada Android Bench dan mengirimkan tugas tersebut untuk kemungkinan dimasukkan dalam pengujian resmi. Android Bench GitHub telah diperbarui dengan kumpulan data baru dan petunjuk tentang cara terlibat.
Diterbitkan : 2026-07-08 16:39:00
sumber : arstechnica.com
