Saya membuang cloud AI untuk 3 model lokal ini, dan GPU 8 GB saya menangani semuanya
AI lokal menjadi jauh lebih mudah diakses dan lebih cepat selama beberapa tahun terakhir, namun hal yang sama tidak berlaku untuk GPU anggaran yang baru dirilis. Jika Anda melihat apa yang tersedia di pasar GPU, Anda akan menemukan GPU kelas Blackwell dan RDNA 4 yang masih hadir dengan VRAM 8GB, dan itu adalah konfigurasi yang oleh kebanyakan orang dianggap tidak memadai untuk beban kerja AI apa pun. Jadi, tentu saja, untuk waktu yang paling lama, saya telah mendiskualifikasi RTX 2070 Super saya yang masih mampu secara mental dari inferensi AI lokal mana pun untuk waktu yang lama, hingga saya memutuskan untuk menjalankan beberapa model melalui Ollama hanya karena rasa ingin tahu. Setelah menjalankan keempat model ini, saya yakin ada lebih banyak hal yang dapat saya harapkan dari GPU Turing lama saya di tahun 2019 daripada yang saya bayangkan. Berikut adalah model-model yang membawa pada wahyu ini. GLM-4.6V-Flash 9B adalah model berkemampuan penglihatan, kartu 8GB yang sangat dibutuhkan. Saya dapat memasukkan tangkapan layar dan mengharapkan jawaban, tanpa cloud di antaranya. Tidak ada banyak pilihan dalam model berkemampuan penglihatan ketika Anda hanya menggunakan VRAM 8GB, dan hal ini terutama karena model multimodal mencadangkan sejumlah VRAM untuk encoder penglihatan khusus sebelum model tersebut dapat mulai memproses gambar. Pada RTX 4070 Ti Super saya, overhead tersebut hampir tidak terlihat berkat memori GDDR6X sebesar 16 GB, namun pada RTX 2070 Super saya, hal ini sering kali berarti perbedaan antara model yang cocok dengan VRAM dan model yang dimasukkan ke dalam memori sistem sesaat sebelum mulai dirayapi, sehingga sama sekali tidak dapat digunakan. GLM-4.6V-Flash adalah model yang mengatasi masalah ini. Pada Q4_K_M, ia dapat memuat dengan nyaman dalam kapasitas 8GB, memproses konteks singkat dengan cukup cepat sehingga tidak menjadi masalah, dan juga dapat membaca lusinan tangkapan layar yang saya masukkan ke dalam obrolan dengan presisi luar biasa. Model ini memudahkan untuk mengisolasi data benchmark yang saya kejar dan menginterogasi lembar spesifikasi yang dapat saya ambil dari desktop dan melepasnya. Panjang konteks memberikan beberapa ruang untuk perbaikan karena kinerjanya turun melebihi sekitar 16 ribu token, tetapi itulah mengapa saya membatasinya pada sesi yang lebih pendek. Terkait 7 hal yang saya harap saya ketahui ketika saya memulai LLM yang menghosting sendiri Saya sudah cukup lama menghosting LLM sendiri, dan ini semua adalah hal yang saya pelajari dari waktu ke waktu yang saya harap saya ketahui sejak awal. Qwen3.5 4B ringan dan kuat untuk pengkodean Yang memungkinkan pengkodean getaran pada Super 2070 Saya selalu skeptis tentang kemampuan pengkodean model ringan, tetapi Qwen3.5 4B mungkin adalah model pertama yang membuat saya ragu. Pada Q4_K_M, ini hanya menggunakan VRAM sebesar 2,5 GB, menyisakan banyak ruang untuk konteks. Dengan dukungan hingga 256 ribu token, ini ideal untuk mengkodekan semua utilitas Python yang saya gunakan untuk mengisi SSD saya berdasarkan semua percikan ide acak yang sering muncul di benak saya sepanjang hari. Seperti yang Anda harapkan, model ini tidak dapat diandalkan untuk tugas-tugas rekayasa perangkat lunak multi-file yang bersifat agen, tetapi Anda tidak menggunakan model 4B untuk tujuan itu. Tugas-tugas tersebut lebih cocok untuk Qwen3-Coder 30B, dan jika Anda memiliki VRAM untuk itu, itu harus menjadi pilihan yang jelas mengingat betapa mudahnya mengungguli sebagian besar model lokal lainnya di arena. Namun, untuk pengkodean file tunggal dan masalah tunggal yang saya gunakan pada pengaturan khusus ini, model ini menggantikan semua perjalanan saya ke ChatGPT dan menyimpan token saya yang sebaliknya dihabiskan untuk Kode Claude. Terkait Dua GPU lama yang saya selamatkan melakukan lebih banyak pekerjaan AI daripada kartu baru seharga $2000, dan saya tidak akan melakukan upgrade dalam waktu dekat Saya membuat pengaturan AI lokal dari dua GPU lama yang dijual dengan harga murah, dan mengalahkan satu kartu baru Gemma 4 E4B adalah jack of all trades yang tak terduga Dengan banyak varian, mudah untuk menemukan model Gemma untuk kebutuhan Anda Gemma 4 mungkin adalah entri yang paling tidak mengejutkan dalam daftar, mengingat popularitas seri Google model terbuka. Saat ini, ada banyak alasan mengapa seseorang menginginkan model Gemma 4 di tumpukan AI lokalnya, karena sederhananya, tidak ada tugas yang akan mengecewakan Anda dari rangkaian model tersebut. Untuk tugas-tugas berbasis brainstorming dan analisis, Gemma 4 E4B telah mendapatkan tempat permanen di kedua pengaturan saya, tentu saja, termasuk yang menjalankan RTX 2070 Super. Saya dapat memberinya spreadsheet Excel untuk berbagai pelacakan pengeluaran, merangkum catatan penelitian selama berminggu-minggu, dan, tentu saja, kembali menanyakan kumpulan data ini karena jendela konteks token 128 ribu yang sangat besar. Ini berarti ratusan halaman teks, seluruh PDF, panduan yang informasinya ingin saya ingat, dan hal-hal lain yang saya perlukan untuk akses cepat. Pada Q4_K_M, VRAM-nya baik, dan menawarkan keseimbangan yang tepat antara kualitas dan penggunaan memori. Dengan sekitar 68 token yang dihasilkan per detik, responsnya juga hampir seketika. Terkait Saya akhirnya menemukan LLM lokal sumber terbuka yang benar-benar bersaing dengan cloud AI. Sumber terbuka mengejar VRAM 8GB bukan alasan untuk tidak menjalankan AI lokal lagi. Banyak peminat yang secara otomatis berasumsi bahwa mereka tidak dapat memanfaatkan AI lokal karena kendala perangkat keras (lebih spesifiknya, VRAM). Semua model yang saya uji pada Super 2070 sepertinya membuktikan sebaliknya. Teknik kuantisasi modern dan desain model yang lebih cerdas telah memungkinkan GPU Turing mulai tahun 2019 untuk dapat menulis kode, menyederhanakan tugas produktivitas, dan mungkin yang paling penting, memungkinkan inferensi pribadi yang menjaga file sensitif tidak berada di server jarak jauh. Bagi sebagian besar pengguna yang mengutamakan privasi data atau sadar biaya, model ini pasti akan menemukan kegunaannya. Dirilis 3 Juli 2023 Pengembang Jeffrey Morgan dan Michael Chiang Ollama adalah platform untuk mengunduh dan menjalankan berbagai model bahasa besar (LLM) sumber terbuka di komputer lokal Anda.
Diterbitkan : 2026-07-09 20:30:00
sumber : www.xda-developers.com
