LLM lokal saya dapat memanggil setiap alat yang Claude dapat, kecuali alat itu berjalan pada perangkat keras saya sendiri
Ketika kebanyakan orang berpikir untuk menjalankan LLM lokal, banyak orang mungkin membayangkan sesuatu seperti LM Studio atau Open WebUI. Anda mengetik sesuatu, mengetik kembali, mungkin Anda menggunakannya untuk membantu menulis email atau meringkas dokumen, namun pendekatannya pada dasarnya adalah memperlakukannya sebagai “teks masuk, teks keluar” dan tidak lebih. Namun, alat memungkinkan model membuka browser, menelusuri web, mengikis halaman, atau mengingat berbagai hal di seluruh sesi, dan alat tersebut sering kali dianggap sebagai apa yang Anda tukarkan saat Anda meninggalkan cloud. Namun hal ini sudah lama tidak terjadi. Pengaturan lokal saya memiliki otomatisasi browser melalui Playwright, pencarian web melalui instance SearXNG yang dihosting sendiri, web scraping melalui Crawl4AI, dan memori persisten melalui Qdrant dan mem0. Itu adalah jenis alat yang sama yang bisa digunakan Claude, dan model saya juga bisa memanggil semuanya. Semuanya berjalan pada perangkat keras yang ada di rumah: AMD Radeon RX 7900 XTX dan Lenovo ThinkStation PGX, ditambah M4 Pro MacBook Pro saat saya jauh dari meja. Tentu saja, ini tidak sesempurna penyiapan berbasis cloud, dan sebagian besar keandalan pemanggilan alat bergantung pada model mana yang Anda pilih. Namun, kesenjangan antara model berbasis cloud dan model lokal masih semakin tipis dalam hal pemanggilan alat. Pi adalah harness yang membuatnya berfungsi Pi tidak mencoba menjadi Kode Claude, dan itulah mengapa saya menggunakannya Pi adalah agen harness minimal; itu dikirimkan dengan empat alat (Baca, Tulis, Edit, dan Bash) dan hanya itu yang Anda dapatkan. Itu dibuat agar dapat diperluas, sehingga Anda tidak mendapatkan sub-agen, mode rencana, MCP, popup izin, atau hal-hal lain yang mungkin biasa Anda dapatkan dari Claude Code. Ini memiliki fitur dasar yang dibutuhkan semua orang, dan kemudian Anda memperluasnya dari sana. Ada banyak ekstensi yang dapat Anda unduh dan gunakan, namun idenya adalah agen dapat mengakses dokumentasinya sendiri, sehingga Anda dapat memintanya untuk memperluas Pi untuk Anda. Karena minimal, ia juga memiliki sistem prompt yang jauh lebih kecil ketika menggunakan model lokal. Untuk pengaturan saya, saya hanya menggunakan dua ekstensi: MCP dan pi-subagents. Ekstensi MCP adalah cara model berbicara dengan Playwright, SearXNG, Crawl4AI, dan Qdrant, dan merupakan jembatan antara harness dan setiap alat eksternal yang telah saya sambungkan. pi-subagents memungkinkan model memunculkan proses pekerja untuk tugas yang lebih lama yang jika tidak akan menyumbat jendela konteks utama. Pi lainnya dibangun berdasarkan gagasan bahwa tali pengaman harus beradaptasi dengan Anda, bukan sebaliknya. Sesi disimpan sebagai pohon, jadi saya dapat memutar ulang ke pesan sebelumnya, mengambil cabang dari sana, dan membagikan semuanya. Selain itu, kemudi di tengah jalan memungkinkan saya melakukan koreksi saat model sedang menjalankan tugas tanpa menunggu sampai selesai. Saya dapat menekan Ctrl+L untuk mengganti model di tengah sesi, seperti dari Qwen 3.6 27B ke Qwen 3.6 35B A3B, dan konteksnya berlanjut. Terakhir, model ini juga mendukung file AGENTS.md untuk instruksi tingkat proyek, yang berarti model mengambil konvensi dan preferensi secara otomatis saat saya bekerja di dalam repo. Claude Code bagus dalam hal ini, tetapi ekstensibilitas Pi jauh lebih baik. Dalam kasus Claude Code, ini adalah sistem yang sepenuhnya tersegel, dan Anda harus menggunakannya seperti cara Anthropic membangunnya. Namun, Pi hanyalah campuran primitif yang Anda sambungkan sendiri. Primitif tersebut memungkinkan Anda membangun kemampuan yang sama sesuai keinginan Anda sendiri. Telusuri, telusuri, gesek, dan ingat Mirip dengan yang dimiliki Claude, tetapi dijalankan secara lokal Rangkaian alat yang saya kumpulkan mencakup empat hal: menemukan informasi, berinteraksi dengan halaman web, mengekstraksi konten, dan mengingat konteks di seluruh sesi. Masing-masing berkontribusi pada perasaan LLM lokal saya sebagai “alat” dan bukan sekadar chatbot. Penulis naskah MCP adalah alat yang sering saya gunakan dengan LLM lokal saya, dan ini sangat berguna. Ini adalah tumpukan otomatisasi browser Microsoft dengan alat yang mencakup navigasi, interaksi formulir, tiruan jaringan, tangkapan layar, dan akses konsol. Jika ada sesuatu yang rusak pada halaman web dan saya mencoba mendiagnosis masalahnya, hal ini memungkinkan saya untuk berbagi masalah dengan model saya dan membuatnya berinteraksi dengan halaman tersebut. Ia dapat melihat konsol browser, melihat apa yang sebenarnya terjadi, dan mencoba mencari tahu apa yang salah. Model ini menggunakan pohon aksesibilitas Playwright, bukan tangkapan layar berbasis piksel, jadi model Anda juga tidak memerlukan kemampuan penglihatan. SearXNG adalah backend pencarian, dan saya sudah banyak membicarakannya sebelumnya. Ini adalah mesin metasearch yang dihosting sendiri yang mengumpulkan hasil dari beberapa mesin pencari, dan server MCP memaparkannya sebagai alat yang dapat dipanggil oleh model. Untuk LLM lokal, penelusuran memungkinkan model mengatasi kurangnya pengetahuan tentang hal-hal yang terjadi setelah data pelatihan disiapkan. Crawl4AI, sementara itu, menangani ekstraksi konten. Anda dapat mengarahkannya ke URL dan mengembalikan penurunan harga yang bersih, tanpa navigasi, iklan, dan hal-hal lain, diformat sedemikian rupa sehingga model benar-benar dapat menguraikannya. Saat model mencari sesuatu dan perlu membaca hasilnya, Crawl4AI akan menghapus halaman tersebut dan mengembalikan teks terstruktur. Tanpanya, model mungkin bekerja dari cuplikan pencarian atau mencoba mengurai HTML mentah, yang dapat memperluas jendela konteks Anda secara besar-besaran. Qdrant dan mem0 menangani memori persisten. mem0 adalah lapisan memori yang menyimpan fakta tentang preferensi, proyek, dan interaksi masa lalu dalam database vektor Qdrant lokal, dan model dapat menanyakannya di seluruh sesi. Keduanya adalah yang paling jarang saya gunakan, namun saya tetap menggunakannya dari waktu ke waktu tergantung pada apa yang sedang saya kerjakan. Banyak model yang dilatih tentang pemanggilan alat akhir-akhir ini. Masalahnya adalah semua ini tidak akan berhasil jika model tidak dapat memilih alat yang tepat dengan argumen yang tepat secara andal, dan saya telah menyatakan sebelumnya bahwa keandalan pemanggilan alat lebih penting daripada jumlah parameter untuk alur kerja agen. Model 14B yang memanggil fungsi yang tepat setiap kali mengalahkan model 70B yang melakukannya dengan benar separuh waktu, dan seperti yang saya uraikan pada saat itu, Docker bahkan membuat pengujian yang menunjukkan kemampuan pemanggilan alat di 21 model berbeda. Pada 7900 XTX saya, saya menjalankan Qwen3.6-27B-UD-Q4_K_XL.gguf, model dengan 27 miliar parameter yang dikuantisasi agar sesuai dengan VRAM 24GB. Dengan MTP (Prediksi Multi-Token) diaktifkan dan jendela konteks 100.000 token, saya mendapatkan 40 hingga 60 token per detik. Itu cukup cepat untuk pekerjaan interaktif, dan model membaca masukan, memutuskan alat, memanggilnya, dan menghasilkan respons dengan cepat. Pada PGX dengan memori terpadu 128GB, saya menjalankan Qwen3.6 35B-A3B, model Mixture-of-Experts yang mengaktifkan sebagian kecil parameternya per token, mengatasi keterbatasan bandwidth memori yang lebih lambat. Saat saya pergi, saya dapat menjangkaunya dari jarak jauh melalui Trenggiling, dan jika saya tidak memiliki internet, model yang sama berjalan di M4 Pro MacBook Pro saya dengan memori terpadu Apple Silicon yang menanganinya dengan baik. Di ketiga mesin, saya menggunakan tali pengaman dan peralatan yang sama, dan perangkat keras hanya menentukan kecepatan. Banyak model saat ini, termasuk model Qwen 3.6, dilatih dengan mempertimbangkan penggunaan alat, artinya model tersebut tidak melakukan hal yang dianggap memerlukan informasi, memutuskan untuk tidak memanggil alat yang ada di sana, dan malah berhalusinasi untuk mendapatkan jawaban. Kuantisasi juga tidak menurunkan hal itu. Saat ini, model biasanya mempertahankan kemampuan pemanggilan alatnya pada kuantitas Q4 dan Q8 tanpa penurunan yang berarti. Qwen3.6 27B bukanlah model terbaik yang pernah ada, tapi ini adalah model yang dapat Anda jalankan pada GPU konsumen, dipasangkan dengan harness yang memberikan kategori alat yang sama dengan yang dimiliki Claude, dan produk yang dihasilkan adalah agen yang dapat melakukan banyak hal yang sama. Mungkin tidak semulus atau andal, dan bukan tanpa kesalahan pemanggilan alat yang sesekali terjadi, namun alat ini masih dapat melakukan hal-hal tersebut.
Diterbitkan : 2026-07-07 12:30:00
sumber : www.xda-developers.com
