メモリーをGPUの真上に載せる——SamsungのzHBMは何を解決し、何を難しくするのか？

When Distance Becomes Architecture

Samsungが開発中の新しいメモリー「zHBM」を題材に、AIチップの性能を決めるのは計算力ではなく「データをどれだけ短い距離で運べるか」になりつつある、と解説した記事です。

記事はまず、次のAIチップ競争は「計算する回路をもっと増やす」ことでは勝てない、という前提から始まります。難しいのは、増やした計算回路を遊ばせずに済むだけの速さでデータを供給し続けること、しかも電力の使い道がどんどんデータ運搬に食われていく状況でそれをやることです。

現在のAIチップは、GPU（画像処理から発展した、AIの計算を担う半導体）などのアクセラレーター（AI専用の計算チップ）の隣に、HBM（広帯域メモリー。DRAMのチップを何層にも積み重ねて、大量のデータを高速にやりとりできるようにしたメモリー）を並べて配置しています。HBMはすでに「縦に積む」ことでデータの通り道を短くしていますが、積み終わった塊そのものはアクセラレーターの「横」に置かれたままです。zHBMの「z」は縦方向のZ軸を指し、その塊をアクセラレーターの「真上」に載せてしまおうという設計です。最後に残った横方向の接続を、縦方向に置き換えるわけです。Samsungは2026年8月のFMS（メモリー業界の技術カンファレンス）でこの構想を示しました。記事の言葉を借りれば、メモリーを計算回路のどこに物理的に置くかということ自体が、独立した設計上の変数になりつつある、ということです。

なぜ数ミリの距離が問題になるのでしょうか。データは移動しても摩耗しません。エネルギーを食うのは、配線や回路の節点を充電したり放電したりする動作そのものです。配線が長くなるほど電気的な負荷（動かすべき電荷の量）が増え、高速で信号を送ろうとすれば、より強力な送信回路と、より複雑な受信回路が必要になります。記事はこれを E ≈ αCV² という関係式で示しています。エネルギーは、信号が切り替わる頻度、電気的な負荷、そして電圧の二乗に比例して増える、という意味です。メモリーを近づけることは、この式のうち「負荷」を減らす作業にあたります。

今のHBMも、短い配線を大量に並列に走らせるという形で、すでにこの理屈に沿っています。zHBMはその延長線上で、積み終わったHBMの塊とプロセッサーの間の「最後のひと区間」をさらに短くします。ここで記事は境界線をはっきり引いています。zHBMが縮めるのは、主にホスト側の物理インターフェース（チップ同士が信号をやりとりする回路）とパッケージ内の配線です。DRAMの内部で行の情報を呼び出し、微弱な電荷を読み取り、読み出しで壊れたデータを書き戻し、積層の中を通して送り出す——この一連の動作に必要なエネルギーは、zHBMでは消えません。

では、システム全体の電力はどこに消えているのでしょうか。CEA-Leti（フランスの半導体研究機関）のJean-René Lèquepeys氏は2026年に、LLM（大規模言語モデル）システムのエネルギー内訳を次のように見積もっています。

• データの移動とメモリーアクセス：約40%

• チップ間をつなぐ配線（インターコネクト）：約30%

• 計算そのもの：約10%

• 電源変換：約10%

• 冷却：約10%

正確な比率は処理する仕事の中身によって変わりますが、大まかな結論ははっきりしています。データを運ぶコストは、計算するコストの何倍にもなる、ということです。

一方で、zHBMがどれだけワット数を減らせるのかは、現時点では計算できないと記事は正直に書いています。2025年のIntelの論文は、7.2Gb/秒で動くHBM3のホスト側インターフェースについて0.5pJ/bit（ピコジュール毎ビット。1ビット送るのに必要なエネルギー）という数字を報告していますが、同じ一台の装置についてDRAMの中核部分、積層内の配線、パッケージ、プロセッサー側のインターフェースまで通したエネルギーの内訳を公開している資料が存在しないためです。

もう半分の問題は帯域幅（1秒あたりに運べるデータ量）です。記事はこれを具体的な計算で示しています。

• 700億パラメータのモデルを1パラメータ4ビットで保存すると、重みは約35GB

• 少数のリクエストを処理する「デコード」の局面では、1トークン（AIが扱う文章の最小単位）生成するたびに、その35GBをほぼ全部読み出す必要

• 毎秒30トークンを生成するなら、約1.05TB/秒の読み出し

• NVIDIAのB200はHBM3E 180GBで1GPUあたり8TB/秒

• AMDのMI355Xは288GBで8TB/秒

ただしこの1.05TB/秒はベンチマークではない、と記事は釘を刺します。複数のリクエストをまとめて処理する「バッチ処理」を使えば、一度読み出した重みを使い回せますし、実際のシステムがカタログ上のピーク帯域幅を出し続けられるわけでもありません。あくまで「たった一人分の文章生成でも、メモリーの通り道のかなりの割合を食う」という規模感を示すための概算です。

配線が短くなると、単に一定のワット数が節約されるだけではありません。1ビットあたりのエネルギーが下がったぶんを、同じ仕事を少ない電力でこなすことに使ってもいいし、同じ電力枠のままより広い帯域幅を出すことに使ってもいいし、同じモデルを動かすのに必要なアクセラレーターの台数を減らすことに使ってもいい。つまり選択肢が増えるわけです。ただしこの物理的な改善が価値になるのは、メモリーシステム、実行環境、そしてサービスを提供するソフトウェアの層まで効果が届いたあとの話だ、とも記事は述べています。

利用者が体感するのは2つの待ち時間です。1つは「time to first token」、質問してから答えが出始めるまでの待ち時間。もう1つは「inter-token latency」、文字が次々と出てくるときの、その間隔です。zHBMのような「配線を短くする」仕組みが最も効くのは、メモリーの読み出し速度が足かせになるデコードの局面で、後者の間隔を縮め、同時に処理できるリクエストの数を増やす方向に働きます。

Samsungは2026年2月のSemicon Koreaで、zHBMはHBM4の最大4倍の帯域幅と電力効率を実現しうると述べ、FMSの報道では将来のHBM5比でGPUあたり最大8倍の性能、3倍の電力効率という数字も伝えられました。記事はこれらの数字の扱い方に注意を促しています。2つは基準となる比較対象が異なる、別々のロードマップ上の主張であること。SamsungのFMSでの元のスライドや試験条件はまだ公開されていないこと。そして「8倍」はメモリーアクセスの待ち時間が8分の1になるという意味ではなく、GPUあたりの数字にはメモリー容量、ロジック、パッケージング、ソフトウェアの変更が混ざっている可能性があること、です。

物理的な代償のほうは、もっとはっきり見えます。AIアクセラレーターは、パッケージの中で最も高温になる部品のひとつです。熱に弱いDRAMをその真上に載せれば、データの通り道は短くなる代わりに、熱の逃がし方が難しくなります。高価なロジックとメモリーを貼り合わせるため、「複合歩留まりリスク」——どちらか一方の要素が不良になると、完成したパッケージ全体の価値が失われる——も抱えます。さらに、電力の供給方法、不良になった部分を予備の回路で置き換える仕組み、熱による材料の膨張、製造、そして顧客と一緒に設計を詰める作業まで、すべてが問題の一部になります。zHBMはデータ移動という問題をなくすわけではなく、その一部を「3次元集積という、より難しい問題」に置き換える技術だ、というのが記事の整理です。

そして記事は、評価の物差しそのものを問い直して結ばれます。ピーク帯域幅も、毎秒何トークン出せるかも、成績表としては不完全です。より重要なのは「inference goodput」——決められた応答時間の目標、とりわけメモリー待ちのデコード時の文字と文字の間隔を守りながら、1ワットあたり、1ラックあたり、1ドルあたりで何件のリクエストを処理し終えられるか、という指標です。zHBMを採用すべきかどうかも、節約できるワット数の見積もり一発では決まらず、「配線を短くすることで生まれる処理能力が、熱・製造・歩留まりのコストを正当化できるか」で決まります。最後の数ミリの距離が、独立した設計要素になった証拠がzHBMなのだ、と記事は締めくくっています。