Setiap Mac modern menyembunyikan AI lokal gratis, dan saya mendapat jawaban atas pertanyaan saya di Home Assistant
Saat Anda mendengar “Apple Intelligence”, Anda mungkin memikirkan fitur-fitur seperti alat tulis, ringkasan notifikasi, semua fitur lain yang dipasarkan Apple dengan nama tersebut. Namun, di balik semua itu terdapat model bahasa sebenarnya, yang berjalan secara lokal di Neural Engine setiap Apple Silicon Mac di macOS. Itu ada di sana, siap dan menunggu, dan Anda sebenarnya dapat menggunakannya sendiri jika Anda tahu caranya. Salah satu cara untuk mengaksesnya adalah melalui alat kecil bernama Apfel, yang mengambil model tersembunyi tersebut dan menampilkannya sebagai server AI biasa. Ini adalah jenis titik akhir yang sama dengan yang Anda gunakan untuk menunjuk Ollama atau klien OpenAI, dan setelah menjadi server, apa pun yang menggunakan protokol tersebut dapat menggunakannya. Anda tidak hanya dapat berbicara dengannya seperti model lainnya, tetapi Anda bahkan dapat melakukan beberapa hal gila, seperti menghubungkannya ke Home Assistant. Jadi, saya menghubungkannya, dan hanya dengan laptop saya, rumah pintar saya kini dapat menjawab pertanyaan yang kebanyakan orang tidak bisa menjawabnya. Dan semuanya berjalan di perangkat keras saya sendiri tanpa tagihan cloud atau API. Untuk lebih jelasnya, ini adalah model kecil. Misalnya, sangat kecil, dan memiliki jendela konteks kecil. Mengajukan pertanyaan adalah sesuatu yang dapat ditangani dengan baik, tetapi jendela konteks kecil berarti pemanggilan alat bukanlah suatu pilihan. Tetap saja, ini bersifat pribadi, berjalan pada perangkat keras Anda sendiri, dan berfungsi. Apple telah memasang model bahasa di Mac Anda Dan model tersebut telah diaktifkan sepanjang waktu Dimulai dengan macOS 26 Tahoe, setiap Apple Silicon Mac mulai dari M1 dan seterusnya dikirimkan dengan Apple Foundation Model sebagai bagian dari Apple Intelligence. Ini adalah model dengan sekitar tiga miliar parameter dengan kuantisasi campuran 2-bit dan 4-bit, dan sepenuhnya berjalan pada perangkat di seluruh Neural Engine dan GPU. Pada dasarnya, ini adalah LLM lokal kecil yang telah dimuat Apple ke mesin dan diaktifkan untuk Anda. Masalahnya adalah Apple hanya memaparkannya melalui kerangka pengembang yang disebut FoundationModels. Kerangka kerja tersebut tersedia untuk pengembang aplikasi, sehingga aplikasi dapat secara diam-diam meminta model untuk meringkas beberapa teks atau membuat draf balasan, namun tidak ada jendela yang dapat Anda buka untuk sekadar berbicara dengannya. Modelnya ada, berjalan, dan kurang lebih tidak terlihat kecuali Anda sedang menulis perangkat lunak yang benar-benar menggunakannya. Untuk model kecil yang mumpuni dan tidak digunakan di jutaan Mac, rasanya aneh untuk meninggalkannya. Apple membuatnya untuk tugas-tugas di perangkat, bukan untuk tujuan umum, jadi ini multibahasa dalam sembilan bahasa, tetapi kurang dapat diandalkan dalam hal fakta, tanggal, dan apa pun yang bersandar pada pengetahuan dunia. Itulah alasan mengapa model ini bekerja lebih baik sebagai asisten cepat daripada sebagai sesuatu yang Anda duduki dan mengajukan banyak pertanyaan di dunia nyata. Apfel mengubah model tersebut menjadi server yang dapat diajak bicara oleh apa pun. Penginstalan buatan Apfel adalah alat kecil berlisensi MIT yang membungkus kerangka FoundationModels dan memberi Anda tiga cara untuk menggunakan model tersebut. Ada alat baris perintah, sehingga Anda dapat menyalurkan teks ke dalamnya atau mengajukan pertanyaan singkat dari terminal, serta mode obrolan interaktif. Namun, yang paling penting, ada server HTTP yang kompatibel dengan OpenAI yang Anda mulai dengan apfel –serve, yang membuat titik akhir yang kompatibel dengan OpenAI tersedia pada port 11434. Anda dapat menginstalnya dengan Homebrew, dan langsung aktif dan berjalan. Fakta menarik: 11434 adalah port default yang digunakan Ollama, jadi Anda dapat menggunakan Apfel dengan apa pun yang sudah mengharapkan server model lokal, dan mungkin telah dikonfigurasi sebelumnya untuk Ollama, meskipun mengubah port biasanya merupakan hal yang sepele. Server memperlihatkan titik akhir penyelesaian obrolan yang biasa, daftar model yang melaporkan kembali model dasar apple, dan pemeriksaan kesehatan, dan bahkan dapat melakukan pemanggilan fungsi dan mengucapkan Model Context Protocol jika Anda ingin lebih mahir menggunakannya. Editor, agen, atau otomatisasi mana pun yang sudah terhubung dengan OpenAI atau Ollama dapat diarahkan ke sana hanya dengan mengubah URL dasar. Apa yang sebenarnya baik dari model ini adalah sempit namun tetap berguna. Dokumentasi Apfel sendiri menyatakan bahwa Anda dapat menggunakannya untuk skrip shell, transformasi teks, klasifikasi, ringkasan singkat, restrukturisasi JSON, dan terjemahan. Namun, ia kesulitan dengan matematika, ingatan faktual, percakapan panjang, dan pembuatan kode yang rumit. Jendela 4.096 konteks membatasi apa yang dapat dilakukannya. Ia dapat menjawab, tidak dapat bertindak. Apple Foundation Model memiliki jendela konteks yang hanya terdiri dari 4.096 token, dibagi antara semua yang Anda kirim dan semua yang dikirim kembali. Pada standar tahun 2026, jumlah tersebut sangatlah kecil, dengan model cloud yang memiliki ratusan ribu atau jutaan token dan bahkan banyak model lokal yang dihosting sendiri mampu menyediakan ribuan, bahkan ratusan ribu token. Empat ribu cukup menyakitkan. Itu sebabnya Anda tidak bisa memberinya kendali atas rumah pintar Anda; saat Home Assistant menyerahkan perangkat Anda ke LLM, ia akan menulis setiap entitas yang terekspos dan alat untuk menindaklanjutinya ke dalam prompt, dan itu bertambah dengan cepat. Panduan Home Assistant sendiri untuk model kecil adalah untuk mengekspos tidak lebih dari sekitar tiga puluh dua, tapi itu pun akan berantakan dengan anggaran token kecil yang kita miliki di sini. Sebaliknya, saya bekerja dalam keterbatasan, bukan melawannya. Sebagai gantinya, saya menggunakan integrasi Percakapan OpenAI yang Diperluas (ditemukan di HACS) di Home Assistant, dan saya mengarahkannya ke titik akhir Apfel Mac saya. Selain itu, saya telah menonaktifkan semua fungsi dan alat, yang cukup untuk memberi saya kurang dari 4.096 token. Sekarang saya dapat melakukan percakapan dengannya, meskipun singkat. Sayangnya, menonaktifkan alat dan pemanggilan fungsi adalah satu-satunya cara yang masuk akal untuk benar-benar menggunakan model ini dengan Home Assistant, tetapi ini berhasil. Yang tersisa hanyalah mesin penjawab pribadi di perangkat yang terhubung ke saluran suara rumah pintar Anda. Dengan menggunakan Assist, perintah dasar perangkat masih mengalir melalui pencocokan maksud bawaan Home Assistant, seperti yang selalu terjadi, sementara segala bentuk bebas akan dijawab secara lokal, dari perangkat keras Anda sendiri. Tidak harus mengalahkan cloud. Ini adalah model Anda yang dapat digunakan untuk apa pun yang Anda inginkan. Saya harap Anda tidak berpikir bahwa Model Dasar Apple dapat menggantikan asisten cloud, karena saya sudah dapat meyakinkan Anda bahwa itu tidak akan terjadi. Faktanya, ini bahkan tidak akan menggantikan sebagian besar LLM lokal yang dapat Anda jalankan dan sambungkan ke Home Assistant. Meski begitu, mereka tidak pernah mencoba melakukannya. Itu tidak pernah dimaksudkan untuk tujuan ini, dan faktanya, itu sengaja disembunyikan oleh Apple, dan ini hanya mungkin dilakukan berkat alat pihak ketiga. Namun, model ini telah ada di Mac Anda sepanjang waktu, menyala dan tidak melakukan apa pun yang dapat Anda jangkau. Apfel inilah yang mengubahnya dari alat khusus pengembang menjadi sesuatu yang benar-benar dapat Anda gunakan. Home Assistant sepertinya merupakan tempat yang menyenangkan untuk mewujudkan hal ini guna mendemonstrasikan apa yang dapat dilakukannya sambil memberikan konteks tentang cara kerjanya. Tidak peduli betapa tidak bergunanya hal itu di dunia nyata, ada sesuatu yang cukup menarik tentang keseluruhan LLM lokal yang dibangun ke dalam Mac yang dapat Anda gunakan secara gratis. Apfel memungkinkan untuk menggunakannya dengan apa pun yang Anda inginkan, meskipun sebenarnya tidak dapat digunakan dalam jumlah banyak.
Diterbitkan : 2026-07-11 17:30:00
sumber : www.xda-developers.com
