Bukti konsep Colibrì memperoleh model AI 1,5 TB tingkat terdepan — pendekatan baru hanya berjalan pada RAM 25 GB dan menunjukkan harapan untuk pengaturan AI lokal
Menjalankan LLM dan agen di laboratorium rumahan terus mendapatkan popularitas karena meningkatnya biaya langganan bot AI dan kekhawatiran tentang privasi data. Sayangnya, rak Nvidia NVL72 sedikit di luar jangkauan finansial kebanyakan orang, sehingga para penggemar harus puas dengan model yang dapat berjalan dalam jumlah memori terbatas. Insinyur Italia Vincenzo (alias JustVugg) tampaknya ingin menikmati kuenya dan memakannya, jadi dia menciptakan ColibrÌ untuk menjalankan model GLM-5.2 1,5 TB dengan parameter 744 miliar pada CPU sederhana, RAM hanya 25 GB, dan drive NVMe virtual 1 GB/s. Pelajari lebih dalam dengan TH Premium: kekurangan AI (Kredit gambar: Nvidia)Mari kita singkirkan gajah: Kecepatan Colibrì pada pengaturan Vincenzo rata-rata hanya sekitar 0,05 hingga 0,1 token per detik, sebuah ukuran yang tidak dapat digunakan untuk percakapan praktis — bayangkan hanya satu pertanyaan yang membutuhkan waktu berjam-jam untuk dijawab. Pengaturan tingkat tinggi memberikan angka yang jauh lebih baik, tetapi untuk saat ini, mereka masih belum memenuhi 20-30 token per detik yang diperlukan untuk penggunaan real-time. Meskipun demikian, GLM-5.2 adalah model Mixture-of-Experts (MoE) dengan kemampuan tingkat terdepan, setidaknya dalam jarak melihat penawaran terbaik dari Anthropic, OpenAI, dkk. Ini berarti bahwa kualitas jawaban harus sangat baik, dan Vincenzo sendiri mengatakan bahwa pengujian terbatasnya membuahkan hasil yang mengesankan. Cara kerja Colibrì cukup sederhana untuk dijelaskan, namun sulit dilakukan dengan benar: memuat model dalam beberapa bagian ke RAM. Kami akan menyederhanakan secara berlebihan demi kejelasan. Video Terbaru Dari Model MoE seperti GLM-5.2 mencakup ratusan sub-model ahli untuk menjawab berbagai topik, dan ini dipilih per token, bukan per kueri — artinya ketika Anda mengajukan pertanyaan, kata-kata Anda akan dibagi menjadi beberapa token (potongan). Untuk setiap token, bot mengaktifkan pakar terbaiknya. Pakarnya mungkin selalu sama untuk keseluruhan pertanyaan, namun lebih sering daripada tidak, sebuah kueri mungkin melibatkan puluhan pakar, mungkin berjumlah tiga digit. Biasanya sebagian besar model, atau keseluruhan model, dimuat ke GPU pusat data yang saling terhubung, Colibrì memanfaatkan arsitektur MOE dan berulang kali memuat/membongkar pakar yang dibutuhkan per token, bahkan memungkinkan mesin murah untuk menggunakan model besar dengan penalti kinerja yang tinggi. Demi kecepatan dan kesederhanaan, kode pemilihan ahli Colibrì adalah file C tunggal dengan ketergantungan yang sangat sedikit. Selain itu, model GLM-5.2 dikuantisasi (disederhanakan dengan pengkodean lossy) agar menggunakan lebih sedikit ruang pada awalnya. Anda mungkin suka Jika Anda berpikir bahwa memuat dan membongkar data untuk setiap bagian dari kata-kata pertanyaan akan berdampak buruk pada penyimpanan I/O dan bandwidth memori, Anda berada di jalur yang benar. Dalam jenis penyiapan ini, kecepatan penyimpanan NVMe adalah hambatan besar pertama, namun permasalahannya berbeda-beda di setiap konfigurasi. Berikan bandwidth penyimpanan yang cukup, maka Anda akan menghadapi keterbatasan RAM. Perbaiki hal tersebut, maka Anda memerlukan lebih banyak inti CPU, dan seterusnya. Colibrì saat ini merupakan bukti konsep dan belum berjalan pada GPU, meskipun perlu diperhatikan bahwa meskipun demikian, mengacak data ke/dari kartu hampir pasti akan menjadi kendala terbesar. Meski begitu, proyek ini baru saja dirilis, dan sudah terbukti cukup populer. Vincenzo sedang mengumpulkan data benchmark dan menjalankan perbaikan saat ini, jadi pastikan untuk mengunjungi repositori untuk berkontribusi jika Anda bisa. Mungkin suatu saat akan memungkinkan untuk menjalankan model yang sangat cerdas pada perangkat keras konsumen kelas atas dengan kecepatan yang cukup baik. Dapatkan berita terbaik dan ulasan mendalam dari Tom’s Hardware, langsung ke kotak masuk Anda. Ikuti Tom’s Hardware di Google Berita, atau tambahkan kami sebagai sumber pilihan, untuk mendapatkan berita, analisis, & ulasan terkini di feed Anda.
Diterbitkan : 2026-07-11 11:30:00
sumber : www.tomshardware.com
