Gemma 4 E4B cukup kecil untuk dijalankan di mana saja, namun cukup kuat untuk menangani beban kerja LLM pada umumnya
Memilih model bahasa besar yang diterapkan secara lokal bisa jadi sedikit merepotkan. LLM berukuran besar, misalnya, dapat memberikan hasil yang akurat, namun Anda memerlukan perangkat keras yang layak untuk mengaktifkan dan menjalankannya. Saya menggunakan model Mixture-of-Experts untuk sebagian besar tugas berat LLM saya, tetapi bahkan dengan sifatnya yang dioptimalkan, saya tidak dapat menggunakan pembongkaran MoE untuk menjalankan 35B clanker pada sistem yang sarat iGPU dengan memori kurang dari 8 GB. Sementara itu, model kecil yang berada di kisaran sub-7B dapat dipasang pada sistem yang lemah, namun pengorbanan yang presisi tidak sepadan. Atau setidaknya, itulah yang dulu saya pikirkan sampai saya menjalankan Gemma 4 E4B di Raspberry Pi saya. Setelah mengujinya secara ekstensif di berbagai sistem, saya harus mengakui bahwa LLM yang ringan ini memiliki kemampuan penalaran yang sangat tinggi untuk ukurannya. Gemma 4 E4B bisa muat di dalam sesuatu yang lemah seperti SBC Namun ia memberikan kecepatan luar biasa di workstation bertenaga GPU saya. Beberapa minggu yang lalu, saya mencoba menjalankan agen harness Pi di Raspberry Pi saya, sebagian karena aliterasinya terdengar lucu, dan juga karena saya ingin mengukur kinerja SBC dalam beban kerja yang berat LLM. Oleh karena itu, saya mencoba menghosting model AI yang saya rencanakan untuk digunakan dengan Pi pada teman kecil saya yang sedang bermain-main, yang kemudian berubah menjadi bencana. Meskipun model 1.7-2B dapat menjawab pertanyaan sederhana dan menjalankan perintah terminal normal, mereka akan berhalusinasi seperti orang gila, terus menerus berputar-putar, atau mengalami kehancuran total saat membangun ekstensi yang dapat digunakan untuk memasangkan Pi dengan soket Docker di SBC saya. Gemma 4 E4B, bagaimanapun, adalah satu-satunya model yang memberikan hasil yang solid. Secara otomatis menemukan ekstensi setengah matang yang dibuat oleh clanker lain, memodifikasi sebagian besar kodenya, dan tidak ada masalah dalam menggunakannya untuk menjawab pertanyaan saya. Inilah bagian yang menyenangkan: meskipun memiliki pengetahuan sebanyak model 8B konvensional, Gemma 4 E4B menggunakan Per-Layer Embeddings untuk mengurangi parameter efektifnya menjadi 4,5B. Anda lihat, arsitektur PLE memberikan tabel penyematan ke setiap lapisan decoder di Gemma 4 E4B, sehingga memungkinkan model mengakses lebih banyak informasi tanpa memonopoli terlalu banyak sumber daya sistem. Hasilnya, Gemma 4 E4B bekerja sangat baik pada sistem yang lemah. Mengingat Raspberry Pi 5 (8GB) saya mengalami masalah saat memuat model 6B (dan bahkan 5B tertentu), fakta bahwa Gemma 4 E4B berfungsi di SBC sungguh luar biasa. Tentu saja, tingkat pembuatan token bervariasi antara 2,95–3,25 t/s, yang tidak terlalu besar untuk tugas sehari-hari. Jadi, saya sudah mencoba menjalankannya di stasiun kerja hosting model MoE saya, dan ini berjalan sangat baik di kedua sistem. GTX 1080 saya dapat menjalankannya dengan kecepatan 30–40 token/detik, sedangkan RTX 3080 Ti saya dapat menjalankan Gemma 4 E4B dengan kecepatan hampir tiga kali lipat dari angka tersebut. Dan bagian terbaiknya? Ini mendukung pemrosesan audio dan kemampuan penglihatan, menjadikannya LLM lengkap untuk tugas inferensi cepat. Saya bahkan menggunakannya untuk memecahkan masalah kode yang salah dan log server. Karena saya ingin menguji kecakapan penalaran Gemma 4 E4B, saya memasangkannya dengan layanan dalam container yang mendukung LLM. Sebagai referensi, saya menjalankan perintah llama-server dengan flag –mmproj, –jinja, dan –webui-mcp-proxy untuk memperluas kemampuan pemrosesannya lebih jauh. Pertama, saya memintanya untuk meringkas beberapa PDF langsung dari UI web server llama, dan ia melakukan pekerjaan yang cukup baik dalam mengambil informasi penting dari dokumen. Saya juga melemparkan beberapa gambar dan memintanya untuk menjelaskan tentang gambar tersebut, dan tidak ada yang perlu saya keluhkan selain satu contoh di mana model gagal mendeteksi aplikasi yang berjalan di laptop saya (tetapi sejujurnya, Kage adalah alat yang relatif tidak jelas). Karena saya memiliki server Docker MCP yang terhubung ke server llama, saya menggunakan LLM untuk menjalankan beberapa perintah manajemen. Meskipun tidak dapat membuat container baru (dan saya akan membahasnya sebentar lagi), ia tidak mengalami kesulitan dalam menarik image baru, memeriksa lingkungan Docker yang ada, atau bahkan membuat perintah untuk layanan baru. Dengan Open Notebook dan Blinko, Gemma 4 E4B tidak memiliki masalah dalam meringkas catatan dan memproses kueri RAG. Faktanya, ia mampu menyaring semua informasi yang tidak perlu dari sumber saya dan menjawab pertanyaan saya dengan detail yang relevan. Ini juga menghasilkan tag untuk wadah Karakeep dan AI Paperless saya, dan saya mendapatkan hasil yang layak ketika saya memintanya untuk memeriksa kode buggy dan log server yang panjang. Tapi itu tidak cukup kuat untuk menggantikan model MoE saya yang besar. Tugas yang rumit agak terlalu berat untuk LLM Gemma 4 E4B yang kecil ini yang gagal menerapkan container. Meskipun saya menyukai Gemma 4 E4B, saya harus mengakui bahwa saya lebih suka mengandalkan model 26B dan 35B untuk tugas-tugas penalaran yang kompleks. Dibandingkan dengan Qwen3.6-35B-A3B, yang berhasil menjalankan container yang berfungsi penuh hanya menggunakan nama image, Gemma 4 E4B gagal memanggil alat pembuatan container dari server Docker MCP. Demikian pula, memintanya untuk membuat Ansible Playbooks yang lengkap bukanlah sesuatu yang saya rekomendasikan, kecuali Anda menginginkan format kode yang salah dengan banyak kesalahan. Saya juga mencoba menggunakannya sebagai agen percakapan untuk server Home Assistant saya, dan meskipun hasilnya tidak buruk sama sekali, ia gagal dalam memilih perangkat pintar yang tepat dari perintah saya yang (memang) tidak jelas. Ia tidak dapat menciptakan rantai otomasi yang rumit tanpa mengacaukan kondisi jika dan kemudian. Oleh karena itu, saya berencana untuk mengintegrasikan Gemma 4 E4B ke dalam alur kerja LLM saya. Saya memiliki laptop cadangan dengan GTX 1060 lama yang andal dan mengumpulkan debu, dan dengan sedikit keajaiban passthrough GPU LXC, Gemma 4 E4B akan mengubah rekan komputasi lama saya menjadi stasiun kerja PVE hosting LXC yang solid.
Diterbitkan : 2026-07-12 22:00:00
sumber : www.xda-developers.com
