ニュースの「HBM」とは？ AIが特別なメモリを必要とする理由

ニュースでよく見る「HBM」は、広帯域メモリ（High Bandwidth Memory）の略です。DRAMというメモリのチップを何層も積み重ね、シリコンを貫く細い穴で上下をつなぎ、プロセッサのすぐとなりに置いたもので、一度にたくさんのデータを運べます。ニュースが「AI向けのチップにHBMが足りない」と言うとき、足りないのはこれです。なぜ大事なのかを知るには、まずAI向けのチップがどこで行き詰まるのかから話しましょう。

メモリは何をしているの？

パソコンやAIのサーバーの中では、プロセッサが計算をし、メモリが「いま使っているデータ」を置いておきます。台所にたとえると、プロセッサは料理人、メモリはそばの冷蔵庫です。食材は冷蔵庫から出さないと、鍋に入れられません。

このデータを置いておくメモリは、たいていDRAMというチップです。0か1かを、とても小さなコンデンサ（電気を少しためておける部品）に電気がたまっているかどうかで覚えています。電気は少しずつ漏れていくので、数十ミリ秒ごとに全部をため直す必要があり、電源を切るとデータは消えます。メモリとプロセッサのほかの違いは「メモリとプロセッサは何が違う？」へ。

AI向けのチップは、なぜ「データ運び」で行き詰まるの？

AIの計算は、つきつめれば大量の数を掛けたり足したりすることです。その数は多すぎてプロセッサ自身には入りきらないので、となりのメモリに置いておき、使うときに運んできます。たとえばチャットボットが質問に答えるとき、少しずつ文字を出すたびに、モデルの大量の数をメモリから読み出して1回ずつ使います。

プロセッサの計算はとても速いのに、データが十分に速く届かなければ、止まって待つしかありません。包丁さばきがとても速い料理人なのに、助手が冷蔵庫から一度に少しずつしか食材を持ってこられない。料理人は、ほとんどの時間を待って過ごすことになります。

しかも、この差は広がり続けています。ある大学の研究が過去20年のサーバーのハードウェアを調べたところ、計算の速さはおよそ6万倍になったのに、メモリがデータを送る速さはおよそ100倍にしかなっていませんでした。この差を「メモリの壁」と呼ぶ人もいます。

データを運ぶには、エネルギーもたくさん使います。ある研究の見積もりでは、チップの外のメモリからデータを1回読むのに、簡単な足し算1回の数百倍のエネルギーがかかることがあります。だからAI向けのチップに必要なメモリは、たくさん入るだけでなく、1秒間にたくさんのデータを送り出せることが大切です。これを「帯域幅」といいます。HBMの名前にある「広帯域」は、このことです。

HBMは、ふつうのDRAMとどう違うの？

HBMの中身もDRAMで、データの覚え方は同じです。違うのは、並べ方とつなぎ方です。

ふつうのパソコンのメモリは、いくつかのDRAMチップをそれぞれパッケージに入れ、細長い小さな回路基板（メモリモジュール）に並べて、マザーボードに差し込んだものです。プロセッサからは数センチ離れています。メモリモジュール1枚が一度に送れるのは、0か1を64個並べた分です。

HBMは、3つのことが違います。

1. 積み重ねる：DRAMのチップを何層も重ねて、ひとつの積み重ねにします。最新の世代であるHBM4の公開規格には、4層、8層、12層、16層があります。いちばん下には、プロセッサとのやりとりを受け持ち、テストも手伝う土台のチップが入ることがよくあります。
2. シリコンを貫いてつなぐ：各層にとても細い穴をあけて金属を詰め、信号がチップを突き抜けて上下に通るようにします。この穴をシリコン貫通電極（TSV）といいます。層と層のあいだは、とても小さな突起（バンプ）ではんだ付けします。
3. プロセッサのすぐとなりに置く：積み重ねたままプロセッサのとなりに置き、どちらもたいていはインターポーザという薄いシリコンの板の上に載せます。インターポーザの配線は、回路基板よりずっと細く、ずっと密です。この横に並べる置き方は、ニュースの「先端パッケージ」の記事で説明しました。

こうして、HBMの積み重ね1つには1,024本のデータ線があり、0か1を1,024個並べて一度に送れます。メモリモジュール1枚の16倍で、最新の世代ではさらに倍になります。1本1本の線が速いとはかぎりません。HBMが速いのは、線が多いからです。制限速度は同じまま、道路を64車線から1,024車線に広げたようなものです。AI向けのチップのとなりには、この積み重ねがいくつも置かれることが多く、合わせるとさらに広くなります。

なぜ積み重ねて、そこまで近くに置くのでしょう。千本を超える線をプロセッサにつなぐには、ふつうの回路基板では引けないほど細く密な配線が要るので、たいていはインターポーザを使います。そしてプロセッサのとなりの場所はかぎられているので、メモリを増やすときは上へ積みます。道が短くなるぶん、0か1を1個送るのに使うエネルギーも少なくてすみます。

HBMは、なぜ高くて、つくるのが難しいの？

• どの層も良品でなければならない：積み重ねのうち1層でも不良だったり、1か所でもつながっていなくて直せなかったりすると、全体が使えません。仮の数字で計算してみましょう。各層が良品である確率が95%なら、8層積んで全部が良品になる確率はおよそ3分の2、12層なら半分を少し超えるくらいです。ニュースの「歩留まり」の記事で見た掛け算と同じです。だから各層は積む前にテストし（ウェーハテスト）、良品だけを積みます。
• どの層もとても薄く削る：層が多いほど、積み重ね全体が高くなりすぎないよう、1層ずつを薄くしなければなりません。ウェーハを裏から削って、数十マイクロメートル（1マイクロメートルは1000分の1ミリ）しか残しません。髪の毛の太さと同じくらいです。ここまで薄いシリコンは曲がりやすく割れやすいので、穴をあけるのも、位置を合わせるのも、はんだ付けするのも難しくなります。
• 熱が逃げにくい：まん中や下のほうの層はほかのチップにふさがれていて、熱が逃げにくくなります。しかもすぐとなりには、とても熱くなるプロセッサがあります。DRAMは熱くなると電気が漏れやすくなり、ため直す回数を増やさなければなりません。熱くなりすぎると、ちゃんと動ける範囲を超えてしまいます。
• 工程が多く、材料も高い：穴をあけ、薄く削り、1層ずつ積み、はんだ付けし、もう一度テストする。ふつうのメモリより工程がずっと多く、なかには半導体工場のような装置ややり方を使うものもあります。下に敷くインターポーザもチップをつくる方法でつくるので、回路基板をつくるよりずっと高くつきます。

次にニュースで見たら、こう読める

• 「AI向けのチップのHBMが足りない」「HBMが供給不足」：この積み重ねたメモリが、十分につくれていないということです。AI向けのチップにはとなりにいくつもの積み重ねが必要で、メモリが足りなければ、プロセッサができていても1個のチップに組み上がりません。
• 「12層」「16層のHBM」：1つの積み重ねに、DRAMのチップが何層重なっているか。層が多いほど1つに入るデータは増え、つくるのも難しくなります。
• 「HBM3」「HBM4」：HBMの何世代目か。仕様は業界が一緒に決める公開の規格で、最初の版は2013年に出ました。HBM4の規格では、1つの積み重ねのデータ線を、前の世代の1,024本から2,048本へ倍にしていて、1秒間に運べるデータも増えています。
• 「メモリの壁」：プロセッサの計算はどんどん速くなるのに、メモリからのデータが追いつかない。その差のことです。

fab24hrでは

ゲームにはHBMも、積み重ねたチップも出てきません。ゲームのチップ「Glowmere」は架空の補聴器用チップで、後工程工場で小さなSiPモジュールに入ります。モジュールの中のチップは1個だけで、ワイヤボンディングで外へつなぎます。

いちばん近いのは、後工程工場の組立ラインです。「工場の一日」の「今日のあなたは」カードで「後工程工場」を押し、組立プロセスエンジニアまで左右にスワイプすると、ダイシング、ダイボンド、ワイヤボンディング、モールドを受け持ちます。ダイシング装置の説明には、ウェーハをまず裏面から削って薄くしてから切ると書いてあります。ウェーハテストのエリアでも「先にテストして、良品だけを使う」ようすが見られます。切り分ける前に1個ずつテストし、良品だけが次の工程へ進みます。

ゲームに出てくる会社・チップ・人物は架空です。HBMとは何か、なぜつくるのが難しいのかは、公開されている一般的な資料をもとに書いています。「各層が良品である確率95%」は仮の数字です。ほかの用語は「半導体工場の業界用語を、やさしく解説」へ。