半導体入門講座・第26回
先端パッケージと新しい材料：縮めるだけではない
プロセッサの計算はどんどん速くなるのに、メモリからデータを送る速さが追いつかず、この「メモリの壁」のせいでAIチップはよく止まって待つことになります。メモリを積み重ねてプロセッサのすぐとなりに置く、チップを1つのパッケージにまとめる、遠い道のりは光で送る。どれもこの壁と関係があります。材料を変える道も加えて、この道筋がわかれば、ニュースに次々出てくる新しい言葉がつながります。
わかること
- メモリの壁とは何か、つまりプロセッサがなぜよく止まってデータを待つのか、データを運ぶほうがなぜ計算より電気を使うのか、そしてなぜAIがいちばん強くぶつかるのかを説明できる。
- キャッシュ、HBM、チップレット、2.5D、3Dがそれぞれ何をしているかを説明でき、これらの道はいっしょに使えること、どれにも代償があることを知る。
- ワイドバンドギャップの材料とシリコンフォトニクスがそれぞれどんな問題を解くのかを区別でき、どちらもシリコンや銅線を全部置き換える話ではないことを知る。
要点の解説
メモリの壁：計算は速いのに、データが届かない
プロセッサは計算を受け持ち、メモリは計算に使うデータを置いておきます。この2つは伸びる速さが違います。1980年代半ばから2000年代初めまで、プロセッサは毎年およそ5割以上速くなりましたが、メモリからデータを1つ読むときの待ち時間は、1年で1割も縮みませんでした。メモリチップがいちばん重んじるのは、たくさん入って安いことで、速さは二の次です。データが届かなければ、プロセッサはどれだけ速く計算できても止まって待つしかありません。この差をメモリの壁と呼びます。いちばん強くぶつかっているのはAIです。モデルの数字は多すぎてプロセッサには入りきらず、外のメモリに置かれます。チャットボットが文章を少し出すたびにその多くを読み出し、1人のためだけに計算するときは、運んできた数字1つを掛け算1回と足し算1回くらいに使うともう次の数字なので、計算する回路は多くの時間を待って過ごします。ある研究が20年分のサーバーを調べたところ、計算の速さはおよそ6万倍になったのに、メモリがデータを送る速さはおよそ100倍にしかなっていませんでした。データを運ぶには電気もかかります。0と1が切り替わるたびに配線全体に電気をためたり抜いたりし、チップの外のメモリまでは数センチの道のりです。ある研究の見積もりでは、1回読むのに、簡単な足し算1回の数百倍から千倍以上の電気を使うことがあります。
データを近くに置く：キャッシュとHBM
業界のやり方は台所にたとえられます。料理人の手はとても速いのに、食材が遠くの倉庫にあるなら、よく使う食材を手元に置き、倉庫を近くに移し、台車を大きくすればいい。手元にあたるのがキャッシュで、プロセッサと同じチップの上にあり、よく使う数字をそこに置いておけば速く、電気も節約できます。ただキャッシュはSRAMでできていて、1ビット覚えるのにトランジスタを6個使い、場所をとるので、大きなAIのモデルは入りきりません。昔の壁はおもに「1回待つのにどれだけかかるか」でしたが、いまは「1秒にどれだけ送れるか」のほうがよく話題になります。そこで、メモリ（DRAM）のチップを何層も積み重ねて、プロセッサのとなりに置きます。これがHBM（広帯域メモリ）です。積み重ね1つにデータ線が1,024本あり（最新の世代はさらに倍）、ふつうのパソコンのメモリモジュール1枚が一度に送るのは、0か1を64個並べた分だけです。線が多いので一度にたくさん送れ、道のりが短いので0か1を1つ送る電気も少なくてすみます。そのかわり、どの層も良品でなければならず、とても薄く削る必要があり、熱も逃げにくく、高くてつくるのが難しいのです。
チップを1つにまとめる：チップレット、2.5D、3D
HBMをプロセッサのすぐとなりに置けるのは、先端パッケージのおかげです。計算するチップとメモリ、または計算するチップ何個かを、1つのパッケージに入れます。最新の世代のAIチップのとなりにHBMを並べるように、これらの道はよくいっしょに使われます。組み合わせ方はおもに2つ。とても細い配線を描いた薄い板（インターポーザ。シリコンでつくることが多い）の上に横に並べるのが2.5D、そのまま積み重ねて、シリコンを貫いて金属を詰めた細い穴でつなぐのが3Dです。回路基板の上の数センチの配線を通るのに比べて、道は短く、線も多いので、データは速く届き、電力も少なくてすみます。大きなチップを、チップレットと呼ばれる小片に分けることもよくあります。チップが大きいほど、ウェーハの上の欠陥に当たりやすく、使えるものの割合（歩留まり）が下がり、露光装置は1回に1区画ずつしか焼けず、いちばん大きなチップはもうほぼ1区画の大きさだからです。それぞれつくってテストしてから組み合わせ、計算を受け持つ部分は最新の世代で、新しい世代でつくってもあまり小さくならない部分は、何世代か前の安くて安定したつくり方でつくります。そのかわりパッケージは難しく高くなり、中の1個が不良なら1組まるごとむだになります。積み重ねる場合はチップをとても薄く削らなければならず、あいだにはさまれた層は熱も逃げにくくなります。
ほかの2つの道：遠い道のりは光で、材料を変える
データを速く送るほど、銅線で届く距離は短くなり、信号を立て直す電気も増えます。そこで、サーバーのラックとラックのあいだのような遠い道のりでは、電気を光に変えて光ファイバーで送ります。シリコンフォトニクスは、チップをつくる方法で、シリコンの上に光を通す細い道や、電気を光に、光を電気に変える小さな部品をつくる技術です。CPO（コパッケージド・オプティクス）は、さらに「電気を光に変える」部分を、データを送り分けるチップと同じパッケージの中に移します。電気は数ミリから数センチ走るだけで光に変わります。材料を変える道が解くのは別の問題です。炭化ケイ素と窒化ガリウムのバンドギャップ（電子が電気を通すために跳び上がらなければならない「段差」）は、シリコンのおよそ3倍の高さで、ワイドバンドギャップ材料と呼ばれます。高い温度や電圧に耐えられ、電力を扱うスイッチにするとむだが少なく、電気自動車や急速充電器に使われています。ただ、結晶を育てるのが難しく、プロセッサやメモリはこの強みを生かせないので、チップの大半は今もシリコンでつくられています。多くがまだ研究や立ち上げの段階にある道もあります。簡単な計算をメモリの中でやってしまうこと（いちばん安上がりな運び方は、運ばないこと）や、超ワイドバンドギャップ（中国語圏では「第4世代半導体」）と呼ばれる酸化ガリウムやダイヤモンドを使うことです。
よくある誤解
- よく聞くワイドバンドギャップ半導体（中国語圏でいう「第3世代半導体」）は、「2ナノ」より新しい世代のプロセスだ。
- 実はこの「世代」は、チップをつくる材料の話です。たいてい炭化ケイ素と窒化ガリウムのことで、新しい世代のシリコンのプロセスではありません。「2ナノ」は同じ面積にスイッチをいくつ詰められるかの話、炭化ケイ素や窒化ガリウムは高い電圧や大きな電流、熱に耐えられるかの話です。電力を扱うスイッチは大きな電流を通すので、もともと大きくつくり、いちばん細い線は要りません。両者は別の問題を解いていて、どちらが進んでいるということはありません。
- よく聞くニュースが「銅線から光へ」と言うのだから、これからはチップの中も光で計算するようになる。
- 実はニュースに出てくるシリコンフォトニクスは、たいてい「送る」ためのもので、光で「計算する」話ではありません。チップの中の計算は、いまもトランジスタがしています。「銅線から光へ」は、たいてい、どんどん速く、長くなっていく区間が光に変わるという話で、チップの中や、すぐ近くのチップどうしは、いまもほとんど電気です。光にもまだ難しさがあります。シリコンはほとんど光らず、光ファイバーはとても正確に合わせる必要があり、レーザーは熱に弱いのです。
必読
- メモリの壁とは？ チップの計算は速いのに、データが追いつかない理由
- ニュースの「先端パッケージ」とは？ チップを横に並べたり積み重ねたりする理由
- ニュースの「HBM」とは？ AIが特別なメモリを必要とする理由
関連
遊ぶ
第11章「ボールが浮いた」から：シューフイと組立ラインを歩き、チップが抵抗やコンデンサといっしょに小さなモジュールに収まるのを見る →
考える
- 大きなチップをチップレットに分ければ、歩留まりがよくなるかもしれず、お金もいちばん必要なところに使えます。でも、つなぐための場所が余分に要り、パッケージングも難しくなり、中の1個が不良なら1組まるごとむだになります。あなたなら、どんなチップなら分ける価値があると考えますか？ どんなチップなら1個のままにしますか？
- メモリの壁に対しては、キャッシュを増やす、HBMをもっと並べる、といった道があり、メモリの中で計算する研究も進んでいます。どの道にも代償があります。AIで質問に答えるだけの機械をつくるとしたら、まずどの道にお金をかけますか？ 決める前に、何を知りたいですか？
授業の教材：スライド
この回の要点、図、装置、問いをまとめたスライドです。そのまま投影することも、自分のプリントに入れることもできます。
スライドをダウンロード（PPTX）300 KBスライドをダウンロード（PDF）466 KB
授業や非営利の目的なら無料で使えます。fab24hrと明記してください。販売することや、自分の作品として使うことはできません。 誤りを見つけたら報告
この記事を引用する「半導体入門講座・第26回：先端パッケージと新しい材料：縮めるだけではない」fab24hr、更新。https://fab24hr.com/ja/learn/beyond/