- Tiiny AI Pocket Lab menjalankan model besar secara lokal, menghindari ketergantungan cloud
- PC mini menjalankan tugas inferensi tingkat lanjut tanpa dukungan GPU terpisah
- Model dari parameter 10B hingga 120B beroperasi secara offline dengan daya 65W
Tiiny, sebuah startup Amerika, telah merilis AI Pocket Lab, superkomputer AI berukuran saku yang mampu menjalankan model bahasa besar secara lokal.
Perangkat tersebut adalah a PC mini dirancang untuk mengeksekusi beban kerja inferensi tingkat lanjut tanpa akses cloud, server eksternal, atau akselerator terpisah.
Perusahaan menyatakan bahwa semua pemrosesan tetap offline, yang menghilangkan latensi jaringan dan membatasi paparan data eksternal.
Dibuat untuk menjalankan model besar tanpa cloud
“Cloud AI telah membawa kemajuan luar biasa, namun juga menciptakan tantangan ketergantungan, kerentanan, dan keberlanjutan,” kata Samar Bhoj, Direktur GTM Tiiny AI.
“Dengan Tiiny AI Pocket Lab, kami percaya bahwa kecerdasan tidak seharusnya dimiliki oleh pusat data, melainkan milik manusia. Ini adalah langkah pertama untuk menjadikan AI canggih benar-benar dapat diakses, bersifat pribadi, dan personal, dengan menghadirkan kecanggihan model-model besar dari cloud ke setiap perangkat individual.”
Pocket Lab menargetkan model pribadi berukuran besar yang dirancang untuk penalaran kompleks dan tugas konteks panjang sambil beroperasi dalam daya terbatas 65W.
Tiiny mengklaim performa yang konsisten untuk model dalam rentang parameter 10B–100B, dengan dukungan yang diperluas hingga 120B.
Batas atas ini mendekati kemampuan sistem cloud terkemuka, memungkinkan penalaran tingkat lanjut dan konteks yang diperluas untuk dijalankan secara lokal.
Guinness World Records dilaporkan telah mensertifikasi perangkat keras tersebut untuk eksekusi model kelas 100B lokal.
Sistem ini menggunakan CPU 12-core ARMv9.2 yang dipasangkan dengan modul AI heterogen khusus yang menghasilkan sekitar 190 TOPS komputasi.
Sistem ini mencakup memori LPDDR5X 80GB bersama dengan SSD 1TB, dengan total penggunaan daya dilaporkan tetap dalam lingkup sistem 65W.
Ukuran fisiknya lebih menyerupai drive eksternal yang besar dibandingkan a stasiun kerjamemperkuat brandingnya yang berorientasi pada kantong.
Meskipun spesifikasinya menyerupai chip bergaya Houmo Manjie M50, data kinerja independen di dunia nyata belum tersedia.
Tiiny juga menekankan ekosistem sumber terbuka yang mendukung instalasi model utama dan kerangka agen dengan sekali klik.
Perusahaan menyatakan akan memberikan pembaruan berkelanjutan, termasuk apa yang disebutnya sebagai peningkatan perangkat keras OTA.
Ungkapan ini bermasalah, karena mekanisme over-the-air biasanya diterapkan pada perangkat lunak.
Pernyataan tersebut menunjukkan kata-kata yang tidak tepat atau kesalahan pemasaran daripada modifikasi perangkat keras secara literal.
Pendekatan teknisnya bergantung pada dua optimasi berbasis perangkat lunak, bukan pada penskalaan kinerja silikon mentah.
TurboSparse berfokus pada aktivasi neuron selektif untuk mengurangi biaya inferensi tanpa mengubah struktur model.
PowerInfer mendistribusikan beban kerja ke seluruh komponen heterogen, mengoordinasikan CPU dengan NPU khusus untuk mendekati throughput tingkat server dengan daya lebih rendah.
Sistem ini tidak menyertakan GPU terpisah, dan perusahaan berpendapat bahwa penjadwalan yang cermat menghilangkan kebutuhan akan akselerator yang mahal.
Klaim ini menunjukkan bahwa peningkatan efisiensi, bukan perangkat keras yang bersifat brute force, yang menjadi pembeda utama.
Tiiny AI memposisikan Pocket Lab sebagai respons terhadap keberlanjutan, privasi, dan tekanan biaya yang memengaruhi layanan AI terpusat.
Berlari model bahasa besar secara lokal dapat mengurangi biaya cloud yang berulang dan membatasi paparan data sensitif.
Namun, klaim mengenai kemampuan, kinerja tingkat server, dan penskalaan yang mulus pada perangkat keras yang terbatas tersebut masih sulit untuk diverifikasi secara independen.
Melalui TeknologiPowerUp
Ikuti TechRadar di Google Berita Dan tambahkan kami sebagai sumber pilihan untuk mendapatkan berita, ulasan, dan opini pakar kami di feed Anda. Pastikan untuk mengklik tombol Ikuti!
Dan tentu saja Anda juga bisa Ikuti TechRadar di TikTok untuk berita, review, unboxing dalam bentuk video, dan dapatkan update rutin dari kami Ada apa juga.
