Saya berhenti memperlakukan model AI seperti Pokémon—saya tidak perlu mengumpulkan semuanya
Menjalankan model AI secara lokal dimulai sebagai eksperimen produktivitas bagi saya. Dengan Ollama, saya dapat menguji berbagai LLM pada perangkat keras saya sendiri dan menggunakannya untuk meringkas dokumen, bekerja dengan catatan, menganalisis PDF, dan memahami kode. Namun seiring berjalannya waktu, saya menjadi lebih tertarik untuk mencoba model baru daripada meningkatkan cara saya menggunakan AI. Setiap rilis LLM baru terasa seperti sesuatu yang harus saya uji dan pertahankan. Penyiapan lokal saya terus berkembang, namun produktivitas saya tidak meningkat. Akhirnya, saya menyadari bahwa saya memperlakukan model AI seperti Pokémon. Saya mencoba mengumpulkan semuanya ketika saya hanya membutuhkan beberapa yang bagus. Pengaturan AI saya perlahan berubah menjadi kuburan model. Saya mengunduh model lebih cepat daripada kemampuan saya menggunakannya. Saat pertama kali bereksperimen dengan model AI lokal, saya ingin mencoba hampir semuanya. Saya mendownload Llama, Mistral, DeepSeek, Qwen, Gemma, GPT-OSS, dan beberapa varian model ini. Setiap rilis baru terdengar menjanjikan, dan karena Ollama dan LM Studio membuat penarikan model menjadi begitu mudah, saya jarang berpikir dua kali sebelum menambahkan yang lain. Masalahnya adalah saya jarang menggunakan sebagian besar dari mereka setelah pengujian awal. Saya akan menjalankan beberapa perintah yang sudah dikenal, membandingkan respons dengan model saya saat ini, dan kemudian melanjutkan. Model tersebut akan tetap berada di SSD saya selama berminggu-minggu atau berbulan-bulan, menunggu kasus penggunaan yang tidak pernah datang. Pada satu titik, saya memiliki daftar model yang panjang tetapi masih mengandalkan dua atau tiga model yang sama untuk hampir semua model. Saya tidak sedang membuat pengaturan AI yang lebih baik. Saya hanya mengumpulkan model dan membuang-buang penyimpanan di kuburan model yang sedang berkembang. Pengejaran tolok ukur memperburuk masalah Saya membandingkan angka-angka yang tidak ada hubungannya dengan pekerjaan saya Pada hari-hari awal LLM lokal yang menghosting sendiri, skor tolok ukur memiliki pengaruh yang kuat terhadap cara saya menilai model AI. Saya akan melihat skor penalaran, pengkodean, dan mengikuti instruksi dan berasumsi bahwa model yang berada lebih tinggi pada grafik secara otomatis merupakan pilihan yang lebih baik. Perbandingannya tampak obyektif, sehingga mudah untuk memercayainya. Namun, skor tersebut jarang mencerminkan cara saya sebenarnya menggunakan AI. Saya menghabiskan lebih banyak waktu untuk meringkas dokumentasi yang panjang, mengekstraksi informasi berguna dari PDF, bertukar pikiran tentang ide, dan memahami kode yang ada. Sebuah model dapat berperforma cemerlang pada tolok ukur populer namun tetap menghasilkan ringkasan panjang yang tidak perlu atau membutuhkan waktu lebih lama untuk menyelesaikan tugas dasar. Saya juga mulai memperhatikan bahwa kesenjangan benchmark yang kecil hampir tidak mungkin ditemukan selama penggunaan reguler. Yang saya perhatikan adalah kecepatan respons, penggunaan sumber daya, dan apakah saya harus menulis ulang perintah saya sebanyak tiga kali. Saya memperhatikan nomor yang salah. Tugas sehari-hari saya adalah tolok ukur yang jauh lebih baik. Terkait Saya mengubah LLM yang saya hosting sendiri dari kotak obrolan yang dimuliakan menjadi asisten AI sungguhan. Setelah berbulan-bulan menguji LLM lokal, saya menemukan bahwa produktivitas bergantung pada alat, bukan hanya model. Saya memberikan pekerjaan pada setiap model Daftar model saya akhirnya mulai masuk akal. Perubahan terbesar yang saya buat sangatlah sederhana: setiap model dalam pengaturan saya memerlukan tujuan yang jelas. Alih-alih memilih model berdasarkan apa yang ingin saya gunakan pada hari itu, saya mulai menugaskan model ke tugas-tugas yang paling sesuai dengan model tersebut. Saya menggunakan DeepSeek 14B untuk sebagian besar tugas sehari-hari karena ini berjalan lancar di perangkat keras saya dan merespons dengan cepat. Untuk dokumentasi yang lebih panjang dan analisis PDF, saya tetap menggunakan GPT-OSS 20B. Prosesnya lebih lambat, namun menurut saya responsnya lebih detail dan bernuansa ketika tugas tersebut memerlukan analisis lebih dalam. Qwen 2.5 Coder adalah pilihan saya untuk memahami kode asing, melakukan debug, dan memfaktorkan ulang cuplikan yang ada. Perubahan kecil ini menghilangkan sejumlah besar hambatan dalam pengaturan saya. Saya tidak lagi menghabiskan waktu beralih di antara lima model untuk melihat mana yang memberikan jawaban sedikit lebih baik. Saya sudah tahu model mana yang harus dibuka untuk suatu tugas. Yang lebih penting lagi, setiap model kini harus mendapatkan tempatnya dalam pengaturan saya. Saya lebih fokus pada alur kerja AI dibandingkan tumpukan model. Koneksi yang lebih baik menghasilkan perbedaan yang lebih besar dibandingkan model yang lebih baik. Setelah saya berhenti menghabiskan begitu banyak waktu memikirkan model, saya mulai meningkatkan alur kerja di sekitarnya. Hal ini ternyata berdampak lebih besar pada betapa bermanfaatnya AI lokal bagi saya. Saya menghubungkan Ollama dengan Logseq, Home Assistant, Paperless-ngx, Obsidian, dan VS Code sehingga saya dapat menggunakan AI lebih dekat dengan tempat pekerjaan saya sebenarnya dilakukan. Saya dapat mengerjakan catatan saya tanpa menyalin semuanya ke jendela obrolan terpisah. Di VS Code, saya dapat mengajukan pertanyaan tentang kode yang ada saat saya sedang melihatnya. Saya juga menggunakan Open WebUI sebagai antarmuka utama untuk pengalaman obrolan AI reguler. Perubahan ini mungkin kedengarannya tidak semenarik pengujian model yang baru dirilis, namun saya merasakan dampaknya setiap hari. Menghapus salin-tempel dan peralihan aplikasi secara terus-menerus akan menghemat lebih banyak waktu dibandingkan lompatan kecil dalam kualitas model. Kini saya lebih peduli pada kesesuaian AI dengan alur kerja saya dibandingkan berapa banyak model yang diinstal pada mesin saya. Terkait Setelah setahun menjadi LLM yang menghosting sendiri, saya menyadari hambatan sebenarnya bukanlah Perangkat Keras GPU, melainkan biaya masuk untuk intelijen lokal. Saya masih menguji model baru, namun belum mengumpulkan semuanya. Saya tidak berhenti bereksperimen dengan model AI baru. Saya masih penasaran kapan model yang menjanjikan dirilis, terutama jika model tersebut diklaim lebih cepat, lebih ringan, atau lebih baik dalam tugas tertentu. Perbedaannya adalah saya tidak lagi menyimpan semua yang saya uji. Model baru kini menawarkan peningkatan yang berarti agar tetap sesuai dengan pengaturan saya. Jika berfungsi lebih baik untuk kebutuhan saya, ini dapat menggantikan model yang sudah ada. Kalau tidak, saya hapus dan lanjutkan. Akan selalu ada rilis LLM lainnya dalam waktu dekat. Saya masih senang mencobanya, tetapi saya tidak lagi merasa perlu untuk menangkap semuanya.
Diterbitkan : 2026-07-11 17:00:00
sumber : www.xda-developers.com
