Saya mencoba mengganti cloud AI ponsel saya dengan model lokal selama seminggu, dan inilah yang saya menyerah
Meski sudah berkecimpung dalam dunia AI sejak sebelum ChatGPT menjadi terkenal, dunia LLM lokal memang pernah membuat saya takut. Yang menarik di sini adalah kualitasnya tidak pernah membuat saya takut. Sebaliknya, semuanya ada di sekitarnya. Penyiapannya tampak rumit, memerlukan sedikit penyesuaian teknis, dan tampaknya memerlukan perangkat keras yang jauh lebih kuat daripada apa pun yang saya miliki. Selain itu, menyaksikan rekan-rekan saya di XDA terus-menerus membahas tentang self-hosting setiap hal yang mungkin dilakukan dan istilah-istilah yang biasa-biasa saja seperti Docker, container, dan server rumah membuat saya cukup yakin bahwa itu bukan untuk saya. Namun, dunia LLM lokal menjadi lebih mudah diakses dan hambatan yang saya bangun di kepala tidak lagi sesuai dengan kenyataan. Jadi, saya mengganti semua aplikasi LLM yang saya instal di ponsel saya dengan satu model lokal selama seminggu. Dan meskipun ada banyak hal yang disukai dari pengaturan ini, inilah hal yang harus saya korbankan dalam prosesnya… LLM lokal kini dapat melakukan banyak hal di ponsel Anda. Hambatan tersebut sebagian besar ada di kepala saya Sebelum saya membahas pengorbanan yang timbul dari pengaturan ini, saya harus memahami dengan jelas apa yang sebenarnya saya jalankan dan manfaatnya. Driver harian saya di sini adalah Gemma 4-E2B-it, model 2,54 GB yang saya instal melalui aplikasi AI Edge Gallery Google dan sekarang berjalan sepenuhnya di iPhone 15 Pro Max saya. Seperti yang saya sebutkan di pendahuluan, dunia LLM lokal menjadi jauh lebih mudah diakses, dan pengaturan saya mencerminkan hal itu dengan cukup baik. Yang perlu saya lakukan hanyalah menginstal aplikasinya, lalu modelnya. Setelah diunduh, itu langsung ada di perangkat dan semuanya terjadi secara offline setelahnya. Sudah cukup mengesankan bahwa saya telah menyerahkan sebagian besar penggunaan AI saya sehari-hari dan berisiko rendah: membersihkan email, menjelaskan konsep yang setengah saya ingat dari kuliah, memecah kode yang saya terjebak, mengkonversi unit di tengah resep. Saya juga menggunakannya untuk hal-hal pribadi: pesan ke agen perjalanan saya dengan nomor paspor saya di dalamnya, tangkapan layar DM yang ingin saya baca kedua kali, pertanyaan setengah jadi tentang keuangan saya sendiri, tidak ada yang harus saya edit lagi karena tidak ada yang tersisa dari telepon. Ia bahkan menangani pertanyaan visual cepat melalui Ask Image dan menangani transkripsi melalui Audio Scribe. Mengingat LLM lokal juga bekerja secara offline, saya mengandalkannya saat saya tidak punya sinyal sama sekali, seperti saat saya dalam penerbangan tanpa Wi-Fi. Untuk semua itu, ia melewati batas dengan mudah. Terakhir, karena LLM lokal bekerja sepenuhnya pada perangkat keras Anda sendiri dan tidak ada server yang terlibat sama sekali, tidak ada batasan kecepatan yang perlu dikhawatirkan. Saya telah menghabiskan banyak waktu dan energi untuk mengeluh tentang batasan Anthropic untuk Claude, dan fakta bahwa setiap pertanyaan sepele yang saya kirimkan ke Gemma adalah pertanyaan yang tidak pernah menyentuh kuota saya telah membuat batasan tersebut tidak lagi menjadi gangguan sehari-hari. LLM lokal tidak ada gunanya jika pertanyaannya adalah tentang saat ini Beku dalam waktu, dan ini menunjukkan Saat Anda mengunduh LLM lokal ke perangkat Anda, pada dasarnya Anda menginstal apa saja dan semua yang diketahui dan akan digunakan untuk menjawab. Model bahasa besar dilatih pada kumpulan data yang sangat besar, dan pelatihan tersebut memasukkan semua yang dipelajari model ke dalam apa yang disebut bobot — miliaran angka yang mengkodekan pola yang diambil. Bobot tersebut adalah keseluruhan model, dan itulah yang Anda unduh ke perangkat Anda sendiri, bukan di server orang lain. Sekarang, semua data pelatihan model yang Anda gunakan memiliki titik batas, yaitu tanggal di mana model belum melihat apa pun. Semua yang diketahui model dibekukan ke dalam bobot tersebut pada saat itu juga. Ini tidak hanya terbatas pada model yang Anda jalankan secara lokal. Bahkan Opus 4.8 dan Fable 5 dan GPT 5.6 memiliki batas pelatihan. Setiap model melakukan hal tersebut, dan perbedaannya terletak pada apa yang terjadi selanjutnya. Saat Anda bertanya kepada Claude atau Gemini tentang sesuatu yang terjadi pagi ini, mereka dapat mengakses web, mendapatkan hasil langsung, dan memasukkannya ke dalam jawabannya. Model lokal di ponsel tidak dapat melakukan ini secara default, dan hanya bekerja berdasarkan apa yang dimasukkan ke dalam bobot tersebut. Ini berarti ketika pertanyaan saya bergantung pada sesuatu yang baru, tidak ada yang perlu disampaikan kepada saya. Model seukuran ponsel memiliki otak seukuran ponsel. Bertanyalah terlalu banyak dan jahitannya terlihat Untuk memahami dari mana batas atas ini berasal, ada baiknya Anda memikirkan tentang apa yang sebenarnya Anda hadapi. Saat Anda menggunakan model cloud seperti Claude atau Gemini, Anda memanfaatkan sesuatu yang sangat besar. Model-model tersebut hidup di infrastruktur server yang sangat besar, rak demi rak perangkat keras khusus yang ada di pusat data, dan versi yang Anda dan saya gunakan memiliki ratusan miliar parameter. Itulah kekuatan di balik jawabannya, dan itulah alasan mengapa model cloud dapat mengingat sejumlah besar konteks sekaligus dan memikirkan masalah-masalah sulit tanpa bersusah payah. Model 2,54 GB yang berjalan di ponsel saya memainkan permainan yang sama sekali berbeda. Ukurannya harus cukup kecil agar muat di perangkat yang juga saya gunakan untuk semua hal lainnya, yang berarti ukurannya hanya sebagian kecil, dan pengorbanan itu muncul saat tugas menjadi sulit. Untuk pertanyaan cepat sehari-hari yang saya jelaskan sebelumnya, batas atas itu tidak pernah berperan. Namun, saat saya menyerahkan sesuatu yang menuntut kepada Gemma, kesenjangan menjadi mustahil untuk diabaikan. Saya paling memperhatikannya dengan jenis pekerjaan yang benar-benar saya pedulikan. Saat saya memberi model cloud dokumen yang panjang dan berantakan dan memintanya untuk bernalar, atau saat saya berada di beberapa lapisan bug dan membutuhkannya untuk bernalar di seluruh bagian kode, perbedaan tenaganya terlihat jelas. Gemma akan berusaha dengan sungguh-sungguh, namun jawabannya menjadi semakin dangkal seiring semakin sulitnya tugas tersebut. Semua ini tidak berdampak pada Gemma atau LLM lokal secara keseluruhan. Model cloud yang lebih besar tersebut berjalan di semua infrastruktur tersebut karena suatu alasan, dan mengharapkan unduhan sebesar 2,54 GB yang sesuai dengan model tersebut bukanlah hal yang realistis. Jadi ketika tugasnya benar-benar berat, saya masih harus kembali bekerja dengan model cloud, karena di sanalah pekerjaan semacam itu bisa dilakukan. Anda tidak menyadari betapa pentingnya ekosistem sampai ekosistem tersebut hilang. Model sendiri hanyalah separuh dari alat. Dengan berlangganan Claude Pro, Anda mendapatkan Kode Claude, Rekan Kerja, Proyek dalam Claude, Artefak, Desain, dan seluruh rangkaian konektor yang menyambungkan model langsung ke alat yang sudah saya gunakan. Dengan langganan Google AI Pro, Anda mendapatkan Gemini melalui Gmail, Dokumen, dan Workspace lainnya, ditambah NotebookLM, Deep Research, Google Antigravity, Gemini dalam Google Penelusuran, dan banyak lagi. Dengan berlangganan ChatGPT Plus, Anda mendapatkan GPT khusus, Codex, Proyek, konektor, pembuatan gambar, tugas terjadwal, Pekerjaan ChatGPT, penelitian mendalam, memori, dan sebagainya. Benang merahnya di sini adalah bahwa hampir tidak ada satu pun hal yang membuat alat ini sekuat mereka hanya terbatas pada model mentah yang menjadi pusatnya. Semuanya dibangun di sekitarnya, dan seluruh ekosistem yang Anda jalani bersamanya. Anda membayar untuk kemampuan alat dalam menangani file Anda, menjalankan tugas secara menyeluruh, menyambungkan ke aplikasi tempat pekerjaan Anda berada, dan mengingat apa yang Anda sampaikan minggu lalu. Keseluruhan lapisan itulah yang Anda serahkan saat Anda beralih ke model yang sepenuhnya berjalan di ponsel Anda. Dengan LLM lokal di telepon, pada dasarnya Anda hanya mendapatkan model di dalam kotak secara default. Itu akan menjawab apa pun yang saya ketik di satu aplikasi itu, tapi tidak bisa menyentuh kotak masuk saya, membuka kalender saya, membaca dokumen yang tidak saya tempelkan dengan tangan, atau mengingat satu hal pun dari percakapan kemarin. Tidak ada agen yang mengerjakan tugas di latar belakang, tidak ada mode penelitian yang membaca empat puluh sumber untuk saya, tidak ada yang menjangkau alat yang sebenarnya saya gunakan. Meskipun saya pasti dapat mengonfigurasi sebagian besar hal ini sendiri, menyambungkan model ke file saya, memberikannya alat untuk dipanggil, membangun jenis integrasi yang menjadi standar dengan langganan cloud (atau menggunakan yang dibuat oleh komunitas), itu sama sekali tidak mendekati integrasi mendalam dan asli yang diberikan oleh langganan cloud saat Anda masuk. Semua yang diberikan oleh langganan cloud kepada saya secara default menjadi sesuatu yang harus saya rakit dan pelihara sendiri, dan sebagian besar orang yang beralih ke model lokal tidak mendaftar untuk itu. Saya tidak mengklaim bahwa LLM lokal dapat menggantikan alat cloud yang saya gunakan setiap hari karena sebenarnya mereka tidak memerlukannya. Saya menyadari bahwa pengaturan terbaik bukanlah salah satunya, namun mengetahui alat mana yang harus digunakan untuk setiap pekerjaan. Pekerjaan sehari-hari yang bersifat cepat, pribadi, offline ada di ponsel saya sekarang, berjalan secara gratis dan tidak pernah keluar dari perangkat, sementara pekerjaan berat yang membutuhkan penalaran nyata, informasi langsung, atau seluruh ekosistem yang terhubung ke model masih dilakukan di cloud, di mana saya dengan senang hati tetap membayarnya ketika hal itu benar-benar penting!
Diterbitkan : 2026-07-13 17:00:00
sumber : www.xda-developers.com
