三星在周一晚些時候宣布完成 12-Hi 36GB HBM3E 記憶體堆疊的開發,這個宣布是美光宣布大規模生產 8-Hi 24GB HBM3E 記憶體產品之後幾個小時。這些新的記憶體套件,代號為Shinebolt,與它們的前身代號為Icebolt相比,峰值頻寬和容量均提高了 50% 以上,目前是世界上最快的記憶體設備。
正如名稱所暗示,三星的 Shinebolt 12-Hi 36GB HBM3E 堆疊在有 1024-bit 介面的邏輯晶片上封裝了 12 個 24Gb 記憶體。新的 36GB HBM3E 記憶體模組具有 10 GT/s 的數據傳輸速率,因此每個堆疊的峰值頻寬為 1.28 GB/s,是業界最高 的單個設備 (或模組) 記憶體頻寬。
需要注意的是,支援 HBM 的處理器開發商往往會更加謹慎,因此他們會出於功耗和保證人工智慧 (AI) 和高性能運算 (HPC) 的最終穩定性等因素,以低於其最大值的速度使用三星的 HBM3E。
Samsung HBM Memory Generations | ||||||
HBM3E (Shinebolt) | HBM3 (Icebolt) | HBM2E (Flashbolt) | HBM2 (Aquabolt) | |||
Max Capacity | 36GB | 24 GB | 16 GB | 8 GB | ||
Max Bandwidth Per Pin | 9.8 Gb/s | 6.4 Gb/s | 3.6 Gb/s | 2.0 Gb/s | ||
Number of DRAM ICs per Stack | 12 | 12 | 8 | 8 | ||
Effective Bus Width | 1024-bit | |||||
Voltage | ? | 1.1 V | 1.2 V | 1.2 V | ||
Bandwidth per Stack | 1.225 TB/s | 819.2 GB/s | 460.8 GB/s | 256 GB/s |
為了製造其 Shinebolt 12-Hi 36GB HBM3E 記憶體堆疊,三星使用了多項先進技術。首先,36GB HBM3E 記憶體產品基於三星第四代 10nm 級 (14nm) 製程技術 (稱為 ) 製造的記憶體裝置,該技術採用極紫外光 (EUV) 光刻技術。
其次,為了確保 12-Hi HBM3E 堆疊與 8-Hi HBM3 產品具有相同的 Z 高度,三星使用了其先進的熱壓縮非導電薄膜 (TC NCF),使其能夠在記憶體裝置之間實現業界最小的 7 微米 (7 µm) 間隙。透過縮小 DRAM 之間的間隙,三星可以提高垂直密度並減輕晶片翹曲。此外,三星還在 DRAM IC 之間使用不同尺寸的凸點;較小的凸點用於訊號傳輸區域,而較大的凸點則放置在需要散熱的區域,進而改善散熱管理。
三星估計其 12-Hi HBM3E 36GB 模組可以將人工智慧訓練的平均速度提高 34%,,並將推理服務的同時用戶數量擴大超過11.5倍。然而,該公司尚未詳細說明LLM的大小。
三星已經開始向客戶提供HBM3E 12H的樣品,並計劃在今年上半年開始大規模生產。
加入電腦王Facebook粉絲團