新聞說的「HBM」是什麼？AI 為什麼要特別的記憶體

新聞常說的「HBM」，是高頻寬記憶體（High Bandwidth Memory）的縮寫：把好幾層 DRAM 記憶體晶片疊成一疊，用穿過矽的細孔上下接通，再緊貼著處理器放，讓資料一次搬得很多。新聞說「AI 晶片缺 HBM」，缺的就是它。要說它為什麼重要，得先說 AI 晶片到底卡在哪。

記憶體在做什麼？

一台電腦或一台 AI 伺服器裡，處理器負責算，記憶體負責放「正在用的資料」。可以想成廚房：處理器是廚師，記憶體是旁邊的冰箱，菜要先從冰箱拿出來，才能下鍋。

電腦裡放這些資料的記憶體，多半是一種叫 DRAM 的晶片。它把每一個 0 或 1，存成一個很小的電容（一種能存一點電的小零件）裡有沒有電。電會慢慢漏掉，所以每隔幾十毫秒就要全部補一次電；一斷電，資料就不見了。處理器和記憶體還有哪些不一樣，可以讀「記憶體和處理器差在哪」。

AI 晶片為什麼常卡在「搬資料」？

AI 的計算，說穿了就是拿一大堆數字做乘法和加法。這些數字多到放不進處理器自己身上，只能放在旁邊的記憶體裡，要用的時候再搬過來。像聊天機器人回答問題，每吐出一小段字，就要把模型裡大量的數字從記憶體讀出來用一次。

處理器算得很快，資料卻送得不夠快，它就只能停下來等。就像一個切菜很快的廚師，助手每次只能從冰箱拿一點點菜：廚師大部分的時間都在等。

這個落差還越來越大。有一篇大學的研究整理了過去二十年的伺服器硬體：能算的速度快了大約六萬倍，記憶體送資料的速度只快了大約一百倍。這道落差，有人叫它「記憶體牆」。

搬資料也很耗電。有研究估算，從晶片外面的記憶體讀一次資料，用的電可以是做一次簡單加法的好幾百倍。所以 AI 晶片要的記憶體，不只要放得多，還要一秒鐘送得出很多資料，這叫「頻寬」。HBM 名字裡的「高頻寬」，說的就是這件事。

HBM 跟一般的 DRAM 差在哪？

HBM 裡裝的還是 DRAM，存資料的方法一樣，差在擺法和接法。

一般電腦裡的記憶體，是幾顆 DRAM 晶片各自包好，排在一條長長的小電路板上，插在主機板上，離處理器有好幾公分。這樣的一條記憶體，一次並排送 64 個 0 或 1。

HBM 做了三件不一樣的事：

1. 疊起來：把好幾層 DRAM 晶片疊成一疊，最新一代 HBM4 的公開標準裡，4 層、8 層、12 層、16 層都有。最底下常墊一層底座晶片，負責跟處理器溝通，也幫忙測試。
2. 穿過矽接通：在每一層挖出很細的孔、填進金屬，訊號直接穿過晶片上下傳，這種孔叫矽穿孔（TSV）。層和層之間，再用很小的凸塊焊起來。
3. 貼在處理器旁邊：整疊放在處理器旁邊，通常一起放在一塊叫中介層的薄矽片上。中介層上的線，比電路板上的細很多、密很多。這種並排的擺法，新聞說的「先進封裝」那一篇講過。

這樣一來，一疊 HBM 有 1,024 條資料線，一次並排送 1,024 個 0 或 1，是一般記憶體那一條的 16 倍；最新的一代還再加倍。每一條線跑得不一定比較快，HBM 快在線多：同樣的速限，路從 64 線道拓寬成 1,024 線道。一顆 AI 晶片旁邊常放好幾疊，加起來就更寬。

為什麼要疊、要貼得那麼近？上千條線要接到處理器，一般的電路板拉不出那麼細、那麼密的線，所以通常靠中介層；處理器旁邊的位置就那麼一點，要放進更多記憶體，就往上疊。路變短了，每送一個 0 或 1 用的電也比較少。

為什麼 HBM 又貴又難做？

• 每一層都要是好的：一疊裡只要有一層壞了、或有一處沒接好又修不回來，整疊都不能用。用假設的數字算算看：每一層有 95% 是好的，疊 8 層，整疊都好的機會只剩大約三分之二；疊 12 層，只剩一半多一點。這就是新聞說的「良率」那一篇講的「一路乘下來」。所以每一層疊上去之前，都要先測過（針測），只拿好的來疊。
• 每一層都要磨得很薄：疊得越多，每一層就得越薄，整疊才不會太高。晶圓要從背面磨到只剩幾十微米（一微米是千分之一公釐），跟一根頭髮的粗細差不多。這麼薄的矽很容易彎、很容易裂，挖孔、對準、焊接都更難。
• 熱散不出去：疊在中間和下面的那幾層，被別的晶片蓋住，熱不容易散出去；旁邊又緊貼著很燙的處理器。DRAM 一熱，電漏得更快，就得補得更勤；太燙，就超出它能好好工作的範圍。
• 步驟多、材料貴：挖孔、磨薄、一層一層疊、焊、再測，比一般記憶體多出很多步驟，有些用的是像晶圓廠的機台和作法。下面墊的中介層，也是用做晶片的方法做的，比做電路板貴得多。

下次看到新聞，可以這樣讀

• 「AI 晶片缺 HBM」「HBM 供不應求」：這種疊起來的記憶體做得不夠多。一顆 AI 晶片旁邊要配好幾疊，記憶體不夠，處理器做好了也組不成一整顆。
• 「12 層、16 層 HBM」：一疊裡疊了幾層 DRAM 晶片。層數越多，一疊放得下的資料越多，也越難做。
• 「HBM3」「HBM4」：第幾代的 HBM。它的規格是業界一起訂的公開標準，第一版在 2013 年；HBM4 的標準，把一疊的資料線從上一代的 1,024 條加倍到 2,048 條，一秒搬得動的資料也跟著變多。
• 「記憶體牆」：處理器算得越來越快，記憶體送資料跟不上，兩邊之間的那道落差。

在 fab24hr 裡

遊戲裡沒有 HBM，也沒有疊起來的晶片。遊戲裡的晶片「螢火」是一顆虛構的助聽器晶片，在封測廠裝進一個 SiP 小模組，模組裡只有一顆晶片，用打線接出去。

最接近的是封測廠的封裝線：在「打工人的一天」的「今天你是」卡片上點「封測廠」，左右滑到封裝製程工程師，顧的就是切割、黏晶、打線、封膠這幾站。切割機的說明寫著，晶圓要先從背面磨薄，再切開。晶圓測試區也看得到「先測過、只拿好的」：切開之前，每一顆都測過，只有好的會往下一站。

遊戲裡的公司、晶片、人物都是虛構的；HBM 是什麼、為什麼難做，照公開的一般資料寫，文中「每一層 95% 是好的」是假設的數字。其他行話可以到「半導體晶圓廠的行話，白話解釋」查。