Google mengubah cara menilai model AI untuk pengkodean Android, memperbarui daftar dengan Fable 5
Google mengubah cara pengujian model AI untuk pengkodean Android mengikuti pemeringkatan baru yang dipimpin oleh Fable 5. Google merilis “Android Bench” pada awal tahun sebagai sistem pemeringkatan sekilas untuk model AI terbaik. Pemeringkatan tersebut didasarkan pada kemampuan model untuk membuat kode untuk Android – bukan sistem pemeringkatan umum, namun sangat berguna bagi pengembang. Google mengatakan ada beberapa perubahan yang terjadi pada peringkat model AI untuk pengembangan Android. Sistem benchmarking inti diubah menjadi kerangka kerja Harbour yang terstandarisasi. Saat ini, model seperti GPT-5.5, Claude Opus 4.7, dan Gemini 3.1 Pro Preview diberi peringkat berdasarkan alat benchmark mini-swe-agent v1 yang dikembangkan untuk penggunaan umum. Beralih jalur dan membuka sistem ke kerangka Harbour memungkinkan pengembang Android menggunakan alat yang sama untuk menganalisis model AI untuk kasus penggunaan individual. Faktanya, Google mengatakan sedang membuka Android Bench bagi pengguna yang bersedia mengirimkan tugas pengembangan Android. Hal ini akan digunakan untuk mengevaluasi bagaimana model menangani setiap skenario. Pengembang juga diundang untuk berbagi evaluasi benchmark mereka. Iklan – gulir untuk melihat lebih banyak konten Sejak awal, kami menghargai pendekatan yang terbuka dan transparan, itulah sebabnya kami membuat metodologi asli dan rangkaian pengujian kami tersedia untuk umum di GitHub. Anda meminta cara untuk memberikan masukan terhadap kumpulan data kami, jadi sekarang kami mengambil langkah kolaborasi lebih jauh dengan memberi Anda, komunitas pengembang Android, kesempatan untuk membentuk Android Bench. Android Bench menambahkan Claude Fable 5 Untuk melengkapi pendekatan baru ini, Google telah memperbarui daftar Android Bench menggunakan kerangka kerja baru untuk model AI. Setiap model antara varian bobot tertutup dan bobot terbuka telah dievaluasi ulang di bangku pengujian baru. Tidak mengherankan, Claude Fable 5 duduk di urutan teratas daftar dengan keunggulan yang cukup nyaman. Google memberinya skor 84,5, unggul 4 poin dari GPT-5.5, yang berada di peringkat 80,2. Claude Sonnet 5 hampir 10 poin lebih rendah dari Fable 5. Klaim kekuatan Anthropic tampaknya masuk akal, dan perlu dicatat bahwa Fable 5 masih memiliki batasan yang ketat. Sebagian besar model AI yang mendapat tempat di peringkat Android Bench sebelumnya telah menerima skor baru, karena aturan dasarnya telah berubah. Berikut adalah peringkat baru yang terdaftar di Android Bench: ModelScoreAvg LatencyAvg CostClaude Fable 584.58.0$133.2GPT 5.580.215.7$138.3Claude Sonnet 576.212.3$99.9GPT 5.474.18.4$83.4Gemini 3.1 Pro Pratinjau73.710.6$87.4Claude Opus 4.872.46.7$88.0GLM 5.272.238.9$117.0Gemini 3.5 Flash71.128.3$165.6Kimi K2.7 Kode70.431.8$48.1 FTC: Kami menggunakan tautan afiliasi otomatis yang menghasilkan pendapatan. Lagi.
Diterbitkan : 2026-07-08 16:00:00
sumber : 9to5google.com
