Para peneliti memanfaatkan HBM untuk mengatasi dinding panas memori AI — desain V-Die Korea dan MOSAIC Jepang menjanjikan bandwidth yang lebih tinggi, tumpukan yang lebih padat, dan GPU masa depan yang lebih dingin
Para peneliti di Korea dan Jepang telah mempresentasikan dua proposal integrasi memori terpisah yang bertujuan untuk meningkatkan kapasitas dan bandwidth HBM (Memori Bandwidth Tinggi) tanpa memerangkap lebih banyak panas di dalam tumpukan DRAM (Dynamic Random Access Memory) yang semakin tinggi, salah satu tantangan paling mendesak yang dihadapi akselerator AI di masa depan. Dipresentasikan pada Simposium IEEE/JSAP 2026 tentang Teknologi dan Sirkuit VLSI yang diadakan pada bulan Juni, kedua pendekatan tersebut – V-Die dari kolaborasi penelitian Korea dan MOSAIC dari kelompok yang dipimpin oleh Universitas Tokyo – keduanya mengeksplorasi gagasan luas yang sama tentang menempatkan memori DRAM di tepinya alih-alih menumpuk memori mati hanya ke atas seperti HBM konvensional. Proposal Korea, yang disebut Vertical-Die (V-Die), dipresentasikan oleh para peneliti di Institut Sains dan Teknologi Nasional Ulsan (UNIST). Desainnya memutar cetakan DRAM khusus secara tegak, melewati via silikon untuk mengosongkan area cetakan untuk lebih banyak sel memori, memberikan masing-masing cetakan I/O tepi bawahnya sendiri, dan menjalankan saluran pendingin cair di antara cetakan yang berdekatan. Dalam simulasi terhadap sistem HBM4 dengan kapasitas yang sama, sistem V-Die dilaporkan mencapai 540 token per detik pada beban kerja berukuran GPT-3, dibandingkan dengan 296 token per detik untuk HBM4. Pelajari lebih dalam dengan TH Premium: Memori (Kredit gambar: SK Hynix)Proyek Jepang, MOSAIC, menggunakan ide “tumpukan samping” yang serupa tetapi berfokus pada kesulitan praktis dalam menghubungkan begitu banyak cetakan vertikal ke GPU atau substrat paket. Dipresentasikan oleh peneliti Universitas Tokyo, karya MOSAIC menggunakan susunan die ortogonal dan antarmuka die-to-die tanpa kontak, di mana data ditransfer melalui kumparan induktif kecil daripada mengharuskan setiap bantalan sinyal mendarat dengan sempurna pada kontak fisik. Para peneliti mengatakan antarmuka prototipe mencapai hingga 4 Gbps per saluran, sementara struktur memori dapat menggandakan kapasitas kelas HBM4 dalam konfigurasi DRAM-on-GPU. Video Terbaru Dari Kedua proyek bertujuan untuk memecahkan masalah yang semakin meningkat terkait chip AI yang tertahan oleh memori. Akselerator modern dapat melakukan komputasi dalam jumlah besar, namun model yang besar dan kuat bergantung pada pemindahan data dalam jumlah besar antara memori dan komputasi. Inilah sebabnya HBM telah menjadi salah satu teknologi penentu perangkat keras AI modern. Teknologi ini mengatasi dinding memori dengan menumpuk beberapa cetakan DRAM secara vertikal pada cetakan dasar dan menempatkan tumpukan tersebut sangat dekat dengan prosesor. Blackwell Ultra B300 dari Nvidia, misalnya, membawa memori HBM3E hingga 288 GB, yang tanpanya sebagian besar silikon akan diam menunggu data. Cetakan tersebut dihubungkan melalui through-silicon vias (TSVs) — saluran vertikal kecil yang diukir melalui silikon dan diisi dengan logam. Anda mungkin menyukai Tumpukan tersebut kemudian berkomunikasi dengan GPU melalui antarmuka yang sangat luas, sering kali disalurkan melalui interposer silikon atau paket lanjutan. Inilah alasan utama mengapa HBM dapat menghasilkan bandwidth sebesar terabyte per detik: HBM menggunakan jalur data yang sangat lebar dan sangat pendek dibandingkan mengirimkan lalu lintas memori melalui motherboard, seperti DIMM konvensional (Dual In-line Memory Modules), stik RAM fisik yang digunakan di komputer. Namun, struktur yang sama menimbulkan beberapa masalah. Meskipun tumpukan yang lebih tinggi menambah kapasitas, mereka juga mempersulit pembuangan panas. Panas yang dihasilkan pada cetakan bawah dan pada antarmuka berkecepatan tinggi harus melewati lapisan silikon, bahan pengikat, lapisan bawah, dan struktur kemasan sebelum mencapai penyebar panas. Selain itu, TSV mengonsumsi area yang seharusnya dapat digunakan untuk sel memori, dan seiring meningkatnya bandwidth, semakin banyak perutean dan I/O yang memberikan tekanan tambahan pada integritas sinyal dan biaya pengemasan. Dapatkan berita terbaik dan ulasan mendalam dari Tom’s Hardware, langsung ke kotak masuk Anda. HBM4, generasi terbaru HBM, mengatasi sejumlah tantangan ini. Sementara itu, perusahaan seperti SK hynix, Samsung, dan Micron berlomba untuk meningkatkan kecepatan, kapasitas, kinerja dasar, dan manajemen termal. SK hynix telah menunjukkan iHBM, yang menyematkan elemen pendingin ke dalam area antarmuka HBM, dan Samsung telah menunjukkan mockup HBM5 dengan pendingin Heat Path Block untuk mengekstrak panas dari tumpukan secara lebih langsung. Namun, semuanya tetap mempertahankan struktur susunan ke atas yang sama. Konvensi inilah yang ditantang oleh V-Die dan MOSAIC. Dengan menempatkan DRAM dalam posisi tegak, para peneliti mengekspos lebih banyak area permukaan silikon ke jalur pendinginan. Secara teori, hal ini mengubah tumpukan memori menjadi sesuatu yang mirip dengan susunan sirip pendingin, di mana panas dapat bergerak kesamping dan keluar lebih langsung daripada terjebak di tengah tumpukan vertikal yang tebal. Hal ini juga membuka pintu bagi skema koneksi baru di sepanjang bagian bawah atau samping setiap cetakan, daripada memaksa setiap cetakan untuk berkomunikasi melalui TSV yang berjalan secara vertikal melalui tumpukan. Untuk V-Die, perubahan kuncinya adalah menghapus TSV dari cetakan memori dan menggantinya dengan koneksi tepi bawah. Setiap cetakan DRAM mendapatkan I/O sendiri di sepanjang tepi bawah dan terhubung langsung ke substrat, dengan tautan dilaporkan berjarak setiap 20 mikron. Tim mengatakan tata letak ini memberikan koneksi empat kali lebih banyak daripada HBM4 dan memotong waktu baca memori sebesar 37%, meskipun beberapa sinyal harus berjalan lebih jauh melintasi paket untuk mencapai prosesor. Apa yang harus dibaca selanjutnya Pendinginan adalah bagian lain dari argumen V-Die. Proposal ini menempatkan saluran pendingin mikrofluida di antara cetakan DRAM tegak yang berdekatan, memungkinkan cairan pendingin membuang panas lebih dekat ke sumbernya. Menurut para peneliti, hal ini dapat menjaga suhu tumpukan di sekitar 45°C, jauh di bawah kisaran 80°C-plus yang terkait dengan sistem HBM padat. Dalam simulasi tumpukan 16-die yang disesuaikan dengan perangkat keras kelas H100 pada model skala GPT-3, V-Die mencapai 540 token per detik, dibandingkan dengan HBM4 yang hanya 296, dan memotong latensi token pertama sebesar 32%, atau sekitar 24 milidetik. Sementara itu, MOSAIC berfokus untuk membuat tumpukan sideways dapat diproduksi. Karena cetakan dirangkai rata dan kemudian diputar pada tepinya, bahkan variasi ketebalan cetakan beberapa mikron pada lusinan cetakan dapat menyebabkan kesalahan penyelarasan di mana bantalan sinyal tidak lagi mendarat. Jawaban tim Jepang adalah antarmuka nirkontak berdasarkan kopling induktif. Satu sisi cetakan memori membawa kumparan lonjong, sementara satu set kumparan yang sesuai berada pada substrat atau chip kawin. Arus dalam satu kumparan menginduksi sinyal pada kumparan lainnya, memungkinkan data melintasi celah kecil tanpa kontak langsung sinyal logam-ke-logam. Hal ini menghilangkan kebutuhan akan tumpang tindih yang presisi, sehingga memberikan toleransi yang lebih besar pada paket terhadap variasi perakitan. Daya, yang memerlukan koneksi lebih sedikit dan lebih besar daripada data, masih dapat disuplai melalui kontak fisik di sisi kubus memori. Prototipe VLSI MOSAIC mencapai hingga 4 Gbps per saluran dan menunjukkan integrasi 3D bebas TSV untuk tata letak memori-on-GPU. Tim mengatakan pendekatan ini dapat mengaktifkan dua kali kapasitas memori HBM4 tanpa meningkatkan suhu puncak secara signifikan. Demonstrasi perangkat keras bump-MOSAIC terkait di ECTC menggunakan microbumps 100 mikron, mencapai keselarasan penumpukan dalam 6 mikron sebagaimana diverifikasi oleh X-ray CT, dan menunjukkan konfigurasi dengan konduktivitas termal tiga kali lipat dari penumpukan konvensional sambil menambahkan hingga 30% lebih banyak kapasitas memori. Meskipun hasilnya terlihat menjanjikan, baik V-Die maupun MOSAIC tidak mampu menggantikan HBM komersial. Tidak ada yang dekat dengan pengiriman. V-Die masih merupakan arsitektur yang diusulkan, dengan prototipe yang sedang dikerjakan untuk memvalidasi perilaku termal dan listriknya; MOSAIC memiliki perangkat keras yang terbukti, namun para peneliti belum menunjukkan bahwa perangkat tersebut dapat disesuaikan dengan kapasitas, hasil, biaya, dan keandalan DRAM komersial. Namun, solusi apa pun yang layak untuk masalah memori AI multifaset merupakan perkembangan yang disambut baik. SoftBank dan Z-Angle Memory (ZAM) dari Intel serta 3D X-DRAM dari NEO Semiconductor — keduanya masih dalam pengembangan — bertujuan untuk mengatasi kendala memori konvensional. Sementara itu, pasar secara keseluruhan sudah merasakan tekanan pada harga dan ketersediaan, bahkan ketika pembuat memori mengalihkan kapasitas ke produk AI HBM dan server yang lebih menguntungkan, sehingga mendorong harga RAM konsumen menjadi lebih tinggi. Ikuti Tom’s Hardware di Google Berita, atau tambahkan kami sebagai sumber pilihan, untuk mendapatkan berita, analisis, & ulasan terkini di feed Anda.
Diterbitkan : 2026-07-10 11:40:00
sumber : www.tomshardware.com
