- Raspberry Pi AI HAT+ 2 memungkinkan Raspberry Pi 5 menjalankan LLM secara lokal
- Akselerator Hailo-10H menghasilkan 40 TOPS daya inferensi INT4
- Antarmuka PCIe memungkinkan komunikasi bandwidth tinggi antara board dan Raspberry Pi 5
Raspberry Pi telah memperluas ambisi komputasi edge dengan dirilisnya PUNYA TOPI+ 2papan tambahan yang dirancang untuk menghadirkan beban kerja AI generatif ke Raspberry Pi 5.
Perangkat keras AI HAT sebelumnya berfokus hampir seluruhnya pada akselerasi visi komputer, menangani tugas-tugas seperti deteksi objek dan segmentasi pemandangan.
Dewan baru memperluas cakupan tersebut dengan memberikan dukungan model bahasa besar dan model bahasa visi yang berjalan secara lokal, tanpa bergantung pada infrastruktur cloud atau akses jaringan yang persisten.
Perubahan perangkat keras yang mengaktifkan model bahasa lokal
Inti dari peningkatan ini adalah akselerator jaringan saraf Hailo-10H, yang memberikan kinerja inferensi INT4 40TOPS.
Berbeda dengan pendahulunya, AI HAT+ 2 memiliki fitur memori onboard khusus sebesar 8GB, memungkinkan model yang lebih besar untuk berjalan tanpa menggunakan RAM sistem pada host Raspberry Pi.
Perubahan ini memungkinkan eksekusi langsung LLM dan VLM pada perangkat serta mempertahankan latensi rendah dan data lokal, yang merupakan persyaratan utama untuk banyak penerapan edge.
Menggunakan standar Distro Raspberry Pipengguna dapat menginstal model yang didukung dan mengaksesnya melalui antarmuka yang sudah dikenal seperti alat obrolan berbasis browser.
AI HAT+ 2 terhubung ke Raspberry Pi 5 melalui header GPIO dan mengandalkan antarmuka PCIe sistem untuk transfer data, sehingga mengesampingkan kompatibilitas dengan Raspberry Pi 4.
Koneksi ini mendukung transfer data bandwidth tinggi antara akselerator dan host, yang penting untuk memindahkan input, output, dan data kamera model secara efisien.
Demonstrasinya mencakup menjawab pertanyaan berbasis teks dengan Qwen2, pembuatan kode menggunakan Qwen2.5-Coder, tugas terjemahan dasar, dan deskripsi adegan visual dari umpan kamera langsung.
Beban kerja ini bergantung pada alat AI dikemas agar berfungsi dalam tumpukan perangkat lunak Pi, termasuk backend dalam container dan server inferensi lokal.
Semua pemrosesan terjadi di perangkat, tanpa sumber daya komputasi eksternal.
Model yang didukung berkisar antara satu hingga satu setengah miliar parameter, jumlah ini tergolong kecil jika dibandingkan dengan sistem berbasis cloud yang beroperasi pada skala yang jauh lebih besar.
LLM yang lebih kecil ini menargetkan memori dan kekuatan yang terbatas daripada pengetahuan yang luas dan bertujuan umum.
Untuk mengatasi kendala ini, AI HAT+ 2 mendukung metode penyesuaian seperti Adaptasi Tingkat Rendah, yang memungkinkan pengembang menyesuaikan model untuk tugas-tugas sempit sambil menjaga sebagian besar parameter tidak berubah.
Model visi juga dapat dilatih ulang menggunakan kumpulan data khusus aplikasi melalui rantai alat Hailo.
AI HAT+ 2 tersedia dengan harga $130, menempatkannya di atas aksesori yang berfokus pada penglihatan sebelumnya sambil menawarkan throughput visi komputer yang serupa.
Untuk beban kerja yang hanya berpusat pada pemrosesan gambar, peningkatan ini menawarkan keuntungan yang terbatas, karena daya tariknya sebagian besar bertumpu pada eksekusi LLM lokal dan aplikasi yang sensitif terhadap privasi.
Secara praktis, perangkat keras menunjukkan bahwa AI generatif pada perangkat keras Raspberry Pi sekarang dapat dilakukan, meskipun ruang memori yang terbatas dan ukuran model yang kecil masih menjadi masalah.
Ikuti TechRadar di Google Berita Dan tambahkan kami sebagai sumber pilihan untuk mendapatkan berita, ulasan, dan opini pakar kami di feed Anda. Pastikan untuk mengklik tombol Ikuti!
Dan tentu saja Anda juga bisa Ikuti TechRadar di TikTok untuk berita, review, unboxing dalam bentuk video, dan dapatkan update rutin dari kami Ada apa juga.
