CPU Anda berikutnya mungkin merupakan peningkatan AI terbesar dalam beberapa tahun terakhir — inilah alasannya
Robert Triggs / Otoritas AndroidAI dengan cepat mendekati persimpangan jalan. Meningkatnya biaya memori untuk platform personal dan cloud, meningkatnya biaya komputasi untuk melatih model generasi berikutnya, dan tingginya permintaan pengguna terhadap platform cloud telah menjadikan AI cukup mahal untuk disediakan dan digunakan. Lalu ada kekhawatiran privasi yang semakin meningkat — seberapa banyak informasi pribadi sensitif yang kita berikan kepada chatbot? Solusi untuk semua masalah ini semakin terlihat seperti menjalankan model di perangkat Anda sendiri. Baik itu model Nano Gemini yang merangkum email di ponsel Anda atau mengubah LoRA untuk menghasilkan gambar di GPU PC Anda, menjalankan AI secara lokal sudah merupakan alat canggih yang, secara teori, dapat melakukan lebih banyak hal tanpa koneksi internet. Namun, hal ini lebih mudah diucapkan daripada dilakukan. Menjalankan model bahasa besar Anda sendiri tidak hanya memerlukan sejumlah besar RAM yang mahal dan cepat, namun Anda juga memerlukan akselerator untuk menghitung angka-angka tersebut. Meskipun ponsel cerdas kita telah lama mendukung NPU untuk tujuan ini, API eksklusif dan dukungan perangkat lunak yang tidak konsisten telah membatasi adopsi secara luas. Belum lagi ponsel andalan dan ponsel kelas menengah memiliki kemampuan yang sangat berbeda, yang berarti pengembang sering kali harus mempertahankan beberapa jalur kode atau kembali ke implementasi CPU yang lebih lambat. AI pada perangkat memang bagus, tetapi ini adalah ruang yang terpecah antara API dan perangkat keras yang dipatenkan. Sebaliknya, mempercepat beban kerja AI dasar pada CPU adalah jalan tengah yang semakin populer. Ini mungkin tidak secepat atau sekuat menjalankan GPT-OSS pada NVIDIA 5090 Anda, tetapi menargetkan CPU berarti alat ini dapat berjalan pada apa saja, tanpa kesulitan pengembangan driver dan API berpemilik. Dengan elemen penyusun yang tepat berada jauh di dalam CPU, hal ini tidak harus selambat yang terlihat pada awalnya. Chip yang lebih cepat hanyalah permulaanDhruv Bhutani / Otoritas AndroidCPU seluler mulai bergerak menuju kemampuan komputasi AI yang lebih mumpuni dengan Armv9 pada tahun 2021, yang memperkenalkan SVE2. Daripada desain single instruction multiple data (SIMD) dengan lebar tetap, SVE2 menggunakan model agnostik panjang vektor, yang memungkinkan implementasi untuk menskalakan lebar SIMD dari 128-bit hingga 2048-bit tergantung pada perangkat kerasnya. Dengan kata lain, ini adalah pendekatan yang lebih fleksibel untuk mengerjakan matematika cepat secara paralel. Ia juga menambahkan dukungan untuk operasi produk titik INT8 dan meningkatkan dukungan untuk aritmatika presisi rendah seperti FP16, sehingga cocok untuk beban kerja AI terkuantisasi modern. Namun, perubahan nyata terjadi pada SME dan SME2. SME2 memperluas CPU dengan mode eksekusi matriks khusus, termasuk register matriks baru dan dukungan perangkat keras untuk operasi bergaya GEMM. Tidak seperti eksekusi vektor tradisional, SME2 dirancang khusus untuk pola aljabar linier padat yang mendominasi beban kerja transformator dan LLM, sehingga secara signifikan mengurangi lalu lintas memori dan meningkatkan throughput untuk tugas-tugas yang berat perkalian matriks. Meskipun ide seperti SME2 tidak dapat menutup kesenjangan kinerja pada akselerator khusus yang haus daya, ide tersebut menawarkan kinerja yang jauh lebih baik dibandingkan CPU lama tanpa dukungan akselerasi — hingga 3x hingga 5x lebih baik dalam beberapa kasus, Arm mengutip. Yang penting, chipset ini berdaya rendah, hanya memakan sedikit ruang ekstra, dan lebih mudah ditargetkan dari sudut pandang pengembangan, karena sudah tertanam di perpustakaan umum seperti KleidiAi dari Arm. SME2 sudah tersedia di prosesor Dimensity 9500 MediaTek dan tidak diragukan lagi akan hadir di lebih banyak chipset generasi berikutnya yang dibangun dari core C1 Ultra Arm atau arsitektur berlisensi. Laptop tidak mau ketinggalanDengan berlalunya pelajaran sejarah, dalam berita terbaru, AMD dan Intel mengumumkan usaha patungan untuk menghadirkan AI Compute Extensions (ACE) ke CPU masa depan. Sama seperti yang telah dilakukan Arm, hal ini menghadirkan instruksi matriks asli ke ISA x86, bersama dengan dukungan untuk tipe sub-byte INT4 yang kecil dan tipe data BF16 dan FP16 yang lebih konvensional, semuanya dari set instruksi CPU yang sudah dikenal. Ponsel dan laptop Anda berikutnya mungkin jauh lebih baik dalam menjalankan AI. Ini dibangun berdasarkan instruksi AVX yang sudah ada, menghadirkan fungsionalitas yang konsisten dan ditingkatkan serta pemrosesan matematika paralel yang lebih cepat di seluruh vendor pada platform x86, membuat hidup lebih mudah bagi pengembang yang ingin menghadirkan beban kerja AI ke produk konsumen. Sama seperti prosesor ponsel modern, ACE terintegrasi langsung ke dalam pipeline CPU, yang berarti tidak diperlukan pembongkaran GPU/NPU eksternal atau API eksternal. Meskipun detail implementasi akan bervariasi antar vendor, SME2 dan ACE keduanya mewakili kemampuan eksekusi matriks CPU yang terintegrasi erat dan bukan arsitektur akselerator gaya offload. CPU berkembang melampaui SIMD vektor menjadi arsitektur yang secara asli mendukung komputasi tensor dan matriks. Meskipun sifat GPU yang sangat paralel akan tetap dominan untuk pelatihan skala besar dan menjalankan model-model terbesar, CPU dengan cepat menjadi jauh lebih mampu untuk beban kerja inferensi AI pada perangkat dan latensi rendah. Mungkin bagian yang paling penting adalah akan lebih mudah bagi pengembang untuk menargetkan akselerasi AI berbasis CPU di ponsel, laptop, dan PC, tanpa bergantung pada GPU atau NPU API milik mereka. Jika ada satu kekurangannya, ponsel dan laptop yang ada tidak akan mendapatkan manfaatnya, tetapi mungkin peningkatan berikutnya akan memberikan manfaat. Terima kasih telah menjadi bagian dari komunitas kami. Baca Kebijakan Komentar kami sebelum memposting.
Diterbitkan : 2026-07-09 10:00:00
sumber : www.androidauthority.com
