JEDEC 今天宣布，將發(fā)布其高帶寬內(nèi)存 (HBM) DRAM 標(biāo)準(zhǔn)的下一版本：JESD238 HBM3。HBM3 是一種創(chuàng)新方法，用于提高在更高帶寬、更低功耗和單位面積容量對(duì)解決方案的市場(chǎng)成功至關(guān)重要的應(yīng)用中使用的數(shù)據(jù)處理速率，包括圖形處理和高性能計(jì)算和服務(wù)器。

　　據(jù)介紹，新 HBM3 的主要屬性包括：

　　將經(jīng)過驗(yàn)證的 HBM2 架構(gòu)擴(kuò)展到更高的帶寬，將 HBM2 一代的每針數(shù)據(jù)速率提高一倍，并定義高達(dá) 6.4 Gb/s 的數(shù)據(jù)速率，相當(dāng)于每臺(tái)設(shè)備 819 GB/s；

　　將獨(dú)立通道的數(shù)量從 8 個(gè)（HBM2）增加到 16 個(gè)；每個(gè)通道有兩個(gè)偽通道，HBM3 實(shí)際上支持 32 個(gè)通道；

　　支持 4 高、8 高和 12 高 TSV 堆棧，并為將來擴(kuò)展至 16 高 TSV 堆棧做好準(zhǔn)備；

　　支持基于每個(gè)內(nèi)存層 8Gb 到 32Gb 的各種密度，設(shè)備密度從 4GB（8Gb 4 高）到 64GB（32Gb 16 高）；第一代 HBM3 設(shè)備預(yù)計(jì)將基于 16Gb 存儲(chǔ)層；

　　為了滿足市場(chǎng)對(duì)高平臺(tái)級(jí) RAS（可靠性、可用性、可維護(hù)性）的需求，HBM3 引入了強(qiáng)大的、基于符號(hào)的片上 ECC，以及實(shí)時(shí)錯(cuò)誤報(bào)告和透明度；

　　通過在主機(jī)接口上使用低擺幅 (0.4V) 信號(hào)和較低 (1.1V) 工作電壓來提高能效；

　　“憑借其增強(qiáng)的性能和可靠性屬性，HBM3 將支持需要巨大內(nèi)存帶寬和容量的新應(yīng)用，”NVIDIA 技術(shù)營(yíng)銷總監(jiān)兼 JEDEC HBM 小組委員會(huì)主席 Barry Wagner 說。

　　“HBM3 將使行業(yè)達(dá)到更高的性能閾值，提高可靠性并降低能耗，”美光 高性能內(nèi)存和網(wǎng)絡(luò)副總裁兼總經(jīng)理 Mark Montierth 說?！霸谂c JEDEC 成員合作開發(fā)此規(guī)范時(shí)，我們利用美光在提供先進(jìn)內(nèi)存堆疊和封裝解決方案方面的悠久歷史來優(yōu)化市場(chǎng)領(lǐng)先的計(jì)算平臺(tái)?！?/p>

　　“隨著 HPC 和 AI 應(yīng)用的不斷進(jìn)步，對(duì)更高性能和更高能效的需求比以往任何時(shí)候都增長(zhǎng)得更快。隨著當(dāng)前 HBM3 JEDEC 標(biāo)準(zhǔn)的發(fā)布，SK hynix很高興能夠?yàn)槲覀兊目蛻籼峁┚哂挟?dāng)今現(xiàn)有最高帶寬和最佳能效的存儲(chǔ)器，并通過采用增強(qiáng)的 ECC 方案增加了穩(wěn)健性。SK 海力士很自豪能成為 JEDEC 的一員，因此很高興能夠繼續(xù)與我們的行業(yè)合作伙伴一起建立強(qiáng)大的 HBM 生態(tài)系統(tǒng)，并為我們的客戶提供 ESG 和 TCO 價(jià)值”，SK海力士DRAM產(chǎn)品企劃副總裁Uksong Kang 說。

　　“十多年來， Synopsys一直是 JEDEC 的積極貢獻(xiàn)者，幫助推動(dòng) HBM3、DDR5 和 LPDDR5 等最先進(jìn)的內(nèi)存接口在一系列新興應(yīng)用中的開發(fā)和采用，”Synopsys 的 IP 戰(zhàn)略的營(yíng)銷高級(jí)副總裁 John Koeter 說?！癝ynopsys HBM3 IP 和驗(yàn)證解決方案已被領(lǐng)先客戶采用，可加速將這一新接口集成到高性能 SoC 中，并支持開發(fā)具有最大內(nèi)存帶寬和能效的多芯片系統(tǒng)級(jí)封裝設(shè)計(jì)?！彼又f。

　　人工智能推動(dòng) HBM 增長(zhǎng)

　　高帶寬內(nèi)存 (HBM) 正變得越來越主流。隨著最新迭代的規(guī)范獲得批準(zhǔn)，生態(tài)系統(tǒng)中的供應(yīng)商正準(zhǔn)備確保它可以實(shí)施，以便客戶可以開始設(shè)計(jì)、測(cè)試和部署系統(tǒng)。

　　人工智能 (AI) 的大規(guī)模增長(zhǎng)和多樣性意味著 HBM 并不適合小眾市場(chǎng)。它甚至變得更便宜了，但它仍然是一種優(yōu)質(zhì)內(nèi)存，需要專業(yè)知識(shí)才能實(shí)施。作為 3D 堆疊 DRAM 的內(nèi)存接口，HBM 通過堆疊多達(dá) 8 個(gè) DRAM 裸片和可選的基礎(chǔ)裸片（包括緩沖電路和測(cè)試邏輯），在顯著小于 DDR4 或 GDDR5 的外形尺寸中實(shí)現(xiàn)更高的帶寬，同時(shí)使用更少的功耗。

　　與所有內(nèi)存一樣，HBM 每次迭代都會(huì)在性能改進(jìn)和功耗方面取得進(jìn)步。三星電子內(nèi)存產(chǎn)品規(guī)劃團(tuán)隊(duì)的首席工程師 Jinhyun Kim 表示，從 HBM2 遷移到 HBM3 時(shí)，一個(gè)關(guān)鍵的變化是將數(shù)據(jù)傳輸速率從 3.2/3.6Gbps 提高到 6.4Gbps，每個(gè)引腳的性能將提高 100%。

　　第二個(gè)根本變化是最大容量從 16GB (8H) 增加到 24GB (12H) 50%。最后，HBM3 將片上糾錯(cuò)碼作為行業(yè)標(biāo)準(zhǔn)實(shí)現(xiàn)，這提高了系統(tǒng)可靠性，Kim 說?！斑@對(duì)于下一代人工智能和機(jī)器學(xué)習(xí)系統(tǒng)至關(guān)重要?！?/p>

　　HBM 的本質(zhì)是你不能簡(jiǎn)單地取出 HBM2 并用最新最好的替代它，但每一代新一代 HBM 都包含許多改進(jìn)，與最新最好的 GPU 和 ASIC 的發(fā)布相吻合，Kim 說。多年來，三星不斷更新其 HBM 產(chǎn)品組合，在每次參與之前，都將當(dāng)前和下一代 HBM 產(chǎn)品的生命周期與主要合作伙伴的需求保持一致?！斑@有助于完全滿足向后兼容性的需求，”他說。

　　設(shè)計(jì)人員將不得不適應(yīng)利用 HBM3，Kim 表示，這是支持系統(tǒng)架構(gòu)的理想解決方案，可解決 AI/ML 數(shù)據(jù)集日益復(fù)雜和大小的問題，并指出 HBM2 中每個(gè)堆棧的最大帶寬為 409GB/s。“使用 HBM3，帶寬已躍升至 819GB/s，而每個(gè) HBM 堆棧的最大密度將增加到 24GB，以便管理更大的數(shù)據(jù)集。”

　　這些變化使系統(tǒng)設(shè)計(jì)人員能夠擴(kuò)展受密度限制限制的各種應(yīng)用程序的可訪問性?！拔覀儗⒖吹?HBM3 的采用從通用 GPU 和 FPGA 通過基于 DRAM 的緩存和 HPC 系統(tǒng)中的 CPU 擴(kuò)展到主內(nèi)存，”他說。

　　Kim 說，AI/ML 推理的主流化可以說是 HBM 的主流化?！安环π碌挠美?、應(yīng)用程序和工作負(fù)載，推動(dòng)了下一代 HPC 和數(shù)據(jù)中心對(duì) AI/ML 計(jì)算能力的需求?！?/p>

　　Objective Analysis 的首席分析師 Jim Handy 表示，人工智能一直是 GPU 中 HBM 的主要驅(qū)動(dòng)力。“GPU 和 AI 加速器對(duì)帶寬有著令人難以置信的渴望，而 HBM 將它們帶到了他們想去的地方?！?有時(shí) HBM 最經(jīng)濟(jì)實(shí)惠，即使它過去的成本是 DRAM 的六倍——盡管現(xiàn)在它已經(jīng)下降到大約三倍。

　　“使用 HBM 的應(yīng)用程序需要如此多的計(jì)算能力，因此 HBM 確實(shí)是唯一的方法，”Handy 說。如果你嘗試用 DDR 來做這件事，你最終將不得不擁有多個(gè)處理器而不是只有一個(gè)處理器來完成相同的工作，而且處理器成本最終會(huì)超過你在 DRAM 中節(jié)省的成本。”

　　人工智能的一個(gè)特點(diǎn)是它大量使用矩陣操作，Handy 說，當(dāng) GPU 明顯優(yōu)于使用標(biāo)準(zhǔn) x86 架構(gòu)時(shí)，人工智能變得更便宜，進(jìn)化的下一步是采用 FPGA 來訪問到專用處理器。由于 AI 需要如此多的帶寬，GPU 和 FPGA 一直在整合 HBM。

　　HBM 的一個(gè)關(guān)鍵特性是不可能拔出 HBM2 并用 HBM3 替換它，因?yàn)樗呛附佣皇遣遄到y(tǒng)設(shè)計(jì)人員應(yīng)該能夠輕松地進(jìn)行轉(zhuǎn)換，Handy?！斑@幾乎是 HBM2E 和早期版本的線性發(fā)展。”