Intel dan Phison ingin mengatasi keterbatasan terbesar AI lokal
Ringkasan dibuat oleh Smart Answers AIRingkasan:PCWorld menguji teknologi aiDAPTIV Phison, yang bermitra dengan Intel untuk mengaktifkan model AI 26 miliar parameter pada laptop hanya dengan RAM 16GB, bukan persyaratan umum 32GB. Solusi ini menggunakan SSD Pascari AI100E khusus sebagai penyimpanan cache AI untuk token, secara signifikan meningkatkan waktu respons AI lokal dan memperluas aksesibilitas di lebih banyak perangkat. Namun, SSD Pascari yang mahal berharga $2,516 untuk 1TB, meningkatkan kekhawatiran tentang adopsi yang luas mengingat kegagalan Intel di masa lalu dengan teknologi eksklusif seperti memori Optane. Tidak semua orang ingin menjalankan AI lokal di PC mereka sendiri. Namun jika Anda melakukannya, ada masalah besar. Model paling canggih tidak dapat memenuhi keterbatasan memori dan penyimpanan PC Anda. Phison dan Intel sedang mencari solusinya. Dengan menggunakan solusi aiDAPTIV Phison, model AI dengan 26 miliar parameter dapat dijalankan pada laptop dengan RAM 16 GB, dibandingkan dengan RAM 32 GB yang biasanya dibutuhkan. Hal ini memiliki dua keuntungan: menghadirkan AI lokal ke lebih banyak laptop dan memungkinkan laptop yang lebih bertenaga untuk memuat model yang lebih besar atau menjalankan tugas terpisah bersama AI. Di PC, AI dapat memonopoli sumber daya sistem, mencegah pekerjaan lain dilakukan. Hal ini terkadang memaksa pengguna untuk membeli PC AI khusus. Ini adalah solusi produktivitas sederhana yang memungkinkan model AI yang lebih besar dijalankan di PC atau membebaskan laptop untuk melakukan tugas lain. Kehabisan ruang Salah satu masalah perangkat keras AI adalah ia harus menghitung token, baik untuk sesuatu yang sederhana seperti meminta puisi kepada LLM atau serangkaian instruksi yang lebih kompleks untuk memantau harga minyak dan membuat prediksi. Dalam kedua kasus tersebut, token dibuat dengan cepat di dalam memori video. (Intel biasanya membagi setengah dari RAM sistem laptop antara GPU terintegrasi dan Windows, sebelum mengizinkan konsumen menyesuaikan alokasi secara manual pada Agustus 2025.) Masalahnya adalah saat pengguna terus menggunakan LLM, ia harus mengingat instruksi cepat asli serta pembaruannya. Itu dapat dihitung ulang atau disimpan sebagai referensi. Masalahnya adalah fungsi AI biasanya diproses dalam RAM video atau RAM sistem yang digunakan bersama dengan GPU. Hasilnya? Semuanya macet. Karena RAM adalah tempat fungsi AI dihitung, merampok sebagian dari RAM untuk “menyimpan” data akan mengurangi efektivitasnya. Namun ada solusinya dan Anda mungkin sudah familiar dengannya. Microsoft Word berjalan di CPU PC Anda dan menggunakan RAM untuk melakukannya, tetapi dokumen disimpan di cloud atau di SSD. Jika Word memerlukan dokumen, ia akan meminta Windows untuk mengambilnya dari SSD Anda. Phison melakukan hal serupa. Apa yang dilakukan aiDAPTIV Phison adalah menggunakan flash NAND berperforma tinggi dan berkekuatan ekstrim sebagai cache AI, menyimpan token untuk dipanggil kembali untuk digunakan nanti. (Secara teknis, cache menyimpan data nilai kunci (KV), yang bertambah seiring dengan panjang konteks dan ukuran model.) Biasanya, hal ini akan memperlambat keseluruhan proses. Apa yang aiDAPTIV coba lakukan adalah mengantisipasi kebutuhan model, dengan cerdas mengirimkan data bolak-balik antara RAM dan SSD untuk memungkinkan Anda menjalankan model yang lebih besar tanpa memengaruhi kinerja. Phison mengklaim bahwa teknologi aiDAPTIV-nya dapat meningkatkan waktu respons (waktu hingga token pertama) AI lokal hingga mendekati tingkat seketika, bahkan ketika jendela konteks bertambah. Kolaborasi Phison berfokus pada mengaktifkan teknologi Phison pada platform Intel AI PC yang didukung oleh prosesor Intel Core Ultra, termasuk dukungan untuk toolkit OpenVINO, kata kedua perusahaan. Bersama-sama, Phison dan Intel berupaya mendemonstrasikan teknologi tersebut bagi vendor perangkat lunak, yang pada akhirnya dapat mengoptimalkan aplikasi mereka sendiri untuk teknologi tersebut. Tentu saja, dengan asumsi pengguna ingin menjalankan AI secara lokal, bukan di cloud dengan ChatGPT atau Claude. Hal ini juga mengasumsikan bahwa pengguna ingin menjalankan versi “full fat” dari model AI mereka, daripada model terkuantisasi yang memperdagangkan akurasi untuk kebutuhan memori yang lebih rendah dan kecepatan yang lebih tinggi. Kita telah melakukan hal ini sebelumnya… Konsep aiDAPTIV terdengar cukup sederhana, namun ada potensi kendalanya. Kerja sama ini dilakukan menggunakan keluarga SSD khusus Pascari AI100E dari Phison, yang dirancang untuk daya tahan tinggi dan kinerja berkelanjutan. Hal ini menunjukkan bahwa implementasi yang sukses mungkin memerlukan pembuat laptop untuk membeli SSD Pascari secara khusus. Pada saat pers, Pascari AI100E 1TB dalam konfigurasi M.2 2280 berharga $2,516 di Best Buy. Intel telah menempuh jalan itu sebelumnya. Optane, berdasarkan memori 3D XPoint, merupakan jenis memori baru yang dikembangkan bersama antara Intel dan Micron, dan berperilaku lebih mirip memori tradisional dibandingkan flash. Namun kurangnya permintaan konsumen memaksa Intel untuk menghentikan SSD Optane-nya pada tahun 2021 sebelum menghapus inventaris senilai setengah miliar dolar setahun kemudian. Seperempat abad yang lalu, saya juga membahas peluncuran, penundaan, dan akhirnya matinya Direct Rambus DRAM, di mana produsen memori diminta untuk menandatangani kemitraan antara Intel dan Rambus mengenai jenis memori PC tertentu. Meskipun vendor memori secara terbuka menyetujuinya, secara pribadi mereka mengabaikan Rambus dan persyaratan perizinannya. Pelajarannya? Keunggulan teknis adalah satu hal, namun dipaksa menjadi satu pemasok atau teknologi adalah hal lain. Kita akan lihat bagaimana semua ini berjalan.
Diterbitkan : 2026-06-02 01:00:00
sumber : www.pcworld.com
