SK hynix dan TetraMem berkolaborasi dalam chip eksperimental untuk meningkatkan efisiensi energi pada perangkat AI edge — penelitian SoC dalam memori berbasis memristor menyisakan pertanyaan mengenai performa
SK hynix, TetraMem, dan peneliti dari University of Southern California telah mengembangkan sistem-on-chip (SoC) komputasi dalam memori (IMC) berbasis memristor untuk perangkat edge AI. Perangkat ini dirancang untuk mempercepat inferensi jaringan saraf dalam model AI yang ringan sambil mengonsumsi lebih sedikit daya dibandingkan GPU atau NPU kelas atas. Secara umum, SoC ini merupakan chip pembuktian konsep, karena kinerjanya akan mencapai puncaknya pada sekitar 2,54 TOPS dalam skenario kasus terbaik teoretis, yaitu 16X lebih rendah dari persyaratan Copilot+ Microsoft. Arsitektur IMC yang dioptimalkan DWC Komputasi dalam memori (IMC) berbasis memori mempercepat jaringan saraf dengan melakukan komputasi analog secara langsung di dalam susunan memori, sehingga mengurangi pergerakan data dan konsumsi daya. Namun, konvolusi mendalam (DWC) — operasi inti dalam jaringan ringan seperti MobileNet — melakukan pemfilteran per saluran independen dengan penggunaan kembali data yang terbatas dan oleh karena itu memetakan dengan buruk ke susunan palang konvensional. Untuk mengatasi keterbatasan ini, peneliti dari SK hynix, TetraMem, dan USC mengembangkan SoC yang dilengkapi fitur crossbar IMC konvensional dan arsitektur IMC berbasis memristor yang secara khusus dioptimalkan untuk DWC. (Kredit gambar: SK Hynix)SoC yang dikembangkan bersama ini didasarkan pada prosesor RISC-V tertanam yang menjadwalkan beban kerja dan dilengkapi 10 unit pemrosesan saraf (NPU). Satu dari 10 NPU didedikasikan untuk konvolusi yang mendalam, sementara sembilan sisanya menjalankan operasi yang tepat sasaran dan padat. Sembilan dari 10 NPU mencakup palang memristor 256 × 256 yang melakukan perkalian matriks vektor analog (VMM), 256 DAC 8-bit yang mengubah aktivasi digital menjadi tegangan analog, 256 ADC 8-bit yang mengubah keluaran analog kembali menjadi nilai digital, dan sirkuit periferal tambahan untuk membaca, menulis, memprogram, dan mengendalikan palang. Video Terbaru Dari NPU yang dioptimalkan DWC menggantikannya susunan konvensional dengan delapan blok palang zig-zag 252 × 28 khusus, tetapi tetap mempertahankan DAC dan ADC. SK hynix mengembangkan dan membuat perangkat memristor dan mengintegrasikan sel switching resistif di atas sirkuit CMOS 65 nm menggunakan proses back-end. NPU yang dioptimalkan DWC adalah fitur utama dari keseluruhan SoC. Untuk mempercepat konvolusi yang mendalam, TetraMem mengganti garis seleksi lurus yang digunakan pada palang 1T1R konvensional dengan topologi zig-zag. Hasilnya, NPU berisi delapan blok palang 252 × 28 yang garis pemilihan diagonalnya mengaktifkan 252 sel memori di 28 kolom, yang memungkinkan 28 konvolusi 3 × 3 independen berjalan secara paralel sambil menggunakan 100% array untuk penyimpanan bobot. Sembilan NPU yang tersisa mempertahankan palang 1T1R konvensional untuk lapisan 1×1 yang runcing dan padat serta mempertahankan throughput dan efisiensi energi komputasi dalam memori tradisional. Anda mungkin menyukai Efisiensi luar biasa, kinerja keseluruhan rendahUntuk mendemonstrasikan arsitekturnya, para peneliti menerapkan jaringan saraf MobileNetV1Small yang disesuaikan untuk tolok ukur Visual Wake Words. Jaringan berisi sekitar 36.000 parameter; semua lapisan depthwise dipetakan ke NPU khusus, dan lapisan pointwise dipetakan ke NPU yang tersisa. Karena perangkat keras IMC berbasis memristor secara asli melakukan perkalian matriks vektor analog yang tidak ditandatangani, input dan bobot dikuantisasi ke nilai 8-bit yang tidak ditandatangani sebelum eksekusi. Karena setiap perangkat memristor dapat diprogram dengan presisi efektif hanya sedikit lebih dari 2 bit, desainnya menggunakan teknik kompensasi dua subarray yang meningkatkan presisi bobot efektif hingga sekitar 4 bit. Dapatkan berita terbaik dan ulasan mendalam dari Tom’s Hardware, langsung ke kotak masuk Anda. Secara konseptual, pendekatan ini agak analog dengan filosofi NVFP4 Nvidia, di mana keduanya berupaya mencapai presisi efektif yang lebih tinggi dari perangkat keras dengan presisi rendah. Namun, implementasinya berbeda secara mendasar: NVFP4 mengandalkan representasi floating-point digital dan faktor penskalaan, sedangkan SoC memristor meningkatkan presisi dengan mengkompensasi kesalahan pemrograman analog menggunakan dua subarray yang diprogram. Dalam hal akurasi, SoC mencapai akurasi inferensi end-to-end sebesar 80,36%, yang cocok dengan model perangkat lunak 4-bit yang sesuai. Sedangkan untuk performa, SoC memberikan throughput puncak 0,254 TOPS per NPU dan mencapai efisiensi energi sebesar 21,3 TOPS/W pada 100 MHz dan 11,9 TOPS/W pada 400 MHz. Menurut penulis, hal ini lebih baik dibandingkan dengan akselerator komputasi dalam memori berbasis SRAM yang diterbitkan meskipun diproduksi pada proses 65 nm yang lebih lama. SoC ini juga melebihi efisiensi energi A100 INT8 milik Nvidia dengan urutan besarnya, klaim makalah bersama tersebut. Namun, sebagian besar klaim ini tidak berdasar. Pertama, demonstrasi MobileNet bahkan tidak menggunakan 10 NPU. Ia menggunakan satu NPU DWC khusus, lima NPU standar untuk lapisan pointwise, dan membiarkan empat NPU standar menganggur. Dengan demikian, demonstrasi tersebut tidak mengungkapkan total throughput SoC (TOPS), throughput berkelanjutan yang menjalankan jaringan nyata, dan throughput dengan 10 NPU jenuh secara bersamaan. Faktanya, makalah tersebut bahkan tidak mengungkapkan apakah 10 NPU tersebut dapat digunakan secara bersamaan. Untuk itu, angka 2,54 TOPS yang kami sebutkan sebelumnya dalam cerita ini sangat teoretis. Pendekatan tervalidasiSK hynix, TetraMem, dan peneliti dari University of Southern California telah mengembangkan IMC SoC berbasis memristor yang menampilkan akselerator konvolusi mendalam baru yang meningkatkan pemanfaatan crossbar untuk beban kerja AI yang ringan. Para mitra telah berhasil membuatnya menggunakan teknologi proses 65nm yang sudah ketinggalan zaman dan membuatnya berfungsi, mencapai efisiensi energi 21,3 TOPS/W dan akurasi inferensi yang sebanding dengan model perangkat lunak 4-bit meskipun faktanya memristor dapat diprogram dengan akurasi sekitar 2-bit. Meskipun arsitektur memvalidasi bahwa pendekatan ini berhasil, makalah ini tidak mengungkapkan kinerja penuh SoC, dan tidak jelas apakah 10 NPU chip tersebut dapat jenuh atau tidak. Ikuti Tom’s Hardware di Google Berita, atau tambahkan kami sebagai sumber pilihan, untuk mendapatkan berita, analisis, & ulasan terkini di feed Anda.
Diterbitkan : 2026-07-10 16:58:00
sumber : www.tomshardware.com
