- Desain 3D HBM-on-GPU mencapai rekor kepadatan komputasi untuk beban kerja AI yang menuntut
- Suhu puncak GPU melebihi 140°C tanpa strategi mitigasi termal
- Mengurangi separuh kecepatan jam GPU mengurangi suhu tetapi memperlambat pelatihan AI sebesar 28%
Imec mempresentasikan pemeriksaan desain 3D HBM-on-GPU yang bertujuan untuk meningkatkan kepadatan komputasi untuk beban kerja AI yang menuntut pada IEEE International Electron Devices Meeting (IEDM) 2025.
Pendekatan kooptimasi teknologi sistem termal menempatkan empat tumpukan memori bandwidth tinggi tepat di atas a GPU melalui koneksi microbump.
Setiap tumpukan terdiri dari dua belas cetakan DRAM berikatan hibrid, dan pendinginan diterapkan di atas HBM.
Upaya mitigasi termal dan trade-off kinerja
Solusi ini menerapkan peta daya yang berasal dari beban kerja yang relevan dengan industri untuk menguji bagaimana konfigurasi merespons dalam kondisi pelatihan AI yang realistis.
Susunan 3D ini menjanjikan lompatan dalam kepadatan komputasi dan memori per GPU.
Ia juga menawarkan bandwidth memori GPU yang lebih tinggi dibandingkan dengan integrasi 2.5D, di mana tumpukan HBM berada di sekitar GPU pada interposer silikon.
Namun, simulasi termal mengungkapkan tantangan berat untuk desain 3D HBM-on-GPU.
Tanpa mitigasi, suhu puncak GPU mencapai 141,7°C, jauh di atas batas operasional, sedangkan suhu dasar 2.5D mencapai puncaknya pada 69,1°C dalam kondisi pendinginan yang sama.
Imec mengeksplorasi strategi tingkat teknologi seperti penggabungan tumpukan HBM dan optimalisasi silikon termal.
Strategi tingkat sistem mencakup pendinginan dua sisi dan penskalaan frekuensi GPU.
Mengurangi kecepatan jam GPU sebesar 50% akan menurunkan suhu puncak hingga di bawah 100°C, namun perubahan ini memperlambat beban kerja pelatihan AI.
Terlepas dari keterbatasan ini, Imec berpendapat bahwa struktur 3D dapat memberikan kepadatan dan kinerja komputasi yang lebih tinggi dibandingkan desain referensi 2.5D.
“Mengurangi separuh frekuensi inti GPU membawa suhu puncak dari 120°C menjadi di bawah 100°C, sehingga mencapai target utama untuk pengoperasian memori. Meskipun langkah ini disertai dengan penalti beban kerja sebesar 28%…” kata James Myers, Direktur Program Teknologi Sistem di Imec.
“…paket keseluruhan mengungguli baseline 2.5D berkat kepadatan throughput lebih tinggi yang ditawarkan oleh konfigurasi 3D. Saat ini kami menggunakan pendekatan ini untuk mempelajari konfigurasi GPU dan HBM lainnya…”
Organisasi tersebut menyarankan pendekatan ini dapat mendukung perangkat keras yang tahan panas alat AI dalam keadaan padat pusat data.
Imec menyajikan karya ini sebagai bagian dari upaya yang lebih luas untuk menghubungkan keputusan teknologi dengan perilaku sistem.
Hal ini termasuk program kooptimasi lintas teknologi (XTCO), yang diluncurkan pada tahun 2025, yang menggabungkan pola pikir STCO dan DTCO untuk menyelaraskan peta jalan teknologi dengan tantangan penskalaan sistem.
Imec mengatakan bahwa XTCO memungkinkan pemecahan masalah secara kolaboratif untuk mengatasi hambatan kritis di seluruh ekosistem semikonduktor, termasuk perusahaan fables dan sistem.
Namun, teknologi tersebut kemungkinan akan tetap terbatas pada fasilitas khusus dengan daya dan anggaran termal yang terkendali.
Melalui TeknologiPowerUp
Ikuti TechRadar di Google Berita Dan tambahkan kami sebagai sumber pilihan untuk mendapatkan berita, ulasan, dan opini pakar kami di feed Anda. Pastikan untuk mengklik tombol Ikuti!
Dan tentu saja Anda juga bisa Ikuti TechRadar di TikTok untuk berita, review, unboxing dalam bentuk video, dan dapatkan update rutin dari kami Ada apa juga.
