AIは、なぜ大量の半導体を使うのか。行列の計算、学習と推論

2026年11月7日 08:52

AI のニュースでは、GPU やメモリ、データセンター、電力といった言葉が、半導体の話と一緒によく出てきます。

文章を書く AI や画像を見分ける AI の中では、何が計算されているのでしょうか。この記事では、AI の計算の中身が、たくさんの掛け算と足し算の繰り返しであることを確認し、学習と推論の違い、計算の量が増えると何が必要になるかを順に整理します。

半導体が０と１で足し算をする仕組みは、記事「半導体はどうやって計算するのか。オンとオフの０と１、２進数と１０進数、論理回路」で扱いました。

計算・記憶・電力など、働きごとの半導体の種類は、記事「半導体の種類と用途。計算・記憶・電力・光とセンサーの働きから」で扱いました。

本文の［1］のような番号は、押すと出典のページが開きます。

AI の計算は、掛け算と足し算の繰り返し

ニューラルネットワーク

ニューラルネットワークは、人間の脳の神経細胞をモデルとして構想された情報処理の仕組みです［1］。多量のデータから自動的に学習する機械学習には、欠かせないものになっています［1］。

人間の脳では、たくさんの神経細胞がつながり、信号を受け渡しています。ニューラルネットワークでは、この神経細胞に当たる計算の単位を数多く並べ、それぞれのつながりの強さを数で表します。この数を重みと呼び、重みを変えることで、ニューラルネットワークは学習することができます［1］。

１つの計算の単位がしていること

計算の単位の１つは、受け取ったいくつかの数に、それぞれの重みを掛け、その結果を足し合わせます。たとえば、入力が２と３、重みが１と２なら、次のように計算します。

２ × １ ＋ ３ × ２ ＝ ８

このように、掛け算をして、その結果を足していく計算を積和（積の和）と呼びます。計算の単位がしているのは、この積和です（実際には、この後に結果の形を整える計算が続きますが、ここでは積和に絞ります）。

計算の単位を並べると、行列の計算になる

計算の単位は１つではなく、同じ入力を受け取る単位がいくつも並んでいます。先ほどの入力２と３を、重みが３と１の別の単位にも渡すと、２ × ３＋３ × １＝９になります。

このように、重みを縦と横に並べて書くと、まとめて計算しやすくなります。数を長方形に並べたものを行列と呼び、横の並びを行、縦の並びを列といいます［2］。重みを並べた行列の各行と、入力の数の並びとで積和を行うと、計算の単位２つ分の答え（８と９）がまとめて求まります。

入力の数の並びは、文章の AI では、言葉を数の並びに直したものに当たります。言葉を数の並びにする考え方は、記事「文章の「近さ」を数字で測る：embeddingとコサイン類似度を、内積の数学とPythonで図解」で扱いました。

掛け算の回数は、すぐに大きくなる

先ほどの例では、入力が２つ、計算の単位が２つで、掛け算は２ × ２＝４回でした。入力が１０００個、計算の単位が１０００個になると、掛け算は１０００ × １０００＝１００万回になります。

NVIDIA の技術資料は、行列どうしの掛け算（GEMM）を、ニューラルネットワークの多くの計算の基本的な構成要素と説明しています［3］。同じ資料によると、行の数 M・列の数 K の行列と、K 行・N 列の行列を掛けるには、M × N × K 回の積和が必要です［3］。１回の積和は掛け算と足し算の２つの計算で、合わせて２ × M × N × K 回の計算になります［3］。

行列どうしの掛け算が出てくるのは、たとえば、入力を何組もまとめて計算するときです。入力の数の並びを何組も重ねると、入力の側も行列になります。同じ資料は、ニューラルネットワークの全結合層（前の層のすべての答えを、次の層のすべての計算の単位に渡す層）が、行列と数の並びの掛け算や、行列どうしの掛け算で表せると説明しています［4］。

M・N・K がそれぞれ１０００なら、積和は１０億回です。数がそれぞれ１０倍になると、積和の回数は１０ × １０ × １０＝１０００倍に増えます。

行列の大きさと積和の回数。縦・横・奥行きの３つの数を掛けた回数になるため、大きくなると急に増える

層を重ねると、さらに増える

ニューラルネットワークでは、計算の単位を並べた層を、何段も重ねて使います。１つ目の層の答えが、２つ目の層の入力になる形です。

層の数が多いニューラルネットワークを使う機械学習を、深層学習（ディープラーニング）と呼びます［5］。層が増えるほど、行列の計算の回数も増えていきます。

学習と推論

学習：重みを少しずつ直す

ニューラルネットワークは、最初から正しい答えを出せるわけではありません。重みを少しずつ直して、答えが正しくなるようにしていく段階を学習と呼びます。

IBM の解説によると、正解の付いたデータで学ぶ教師あり学習の場合、学習では、予測と正解との誤差を損失関数（誤差の大きさを測る式）で計算し、誤差が小さくなるように、最適化の手順で重みなどの数（パラメーター）を更新します［6］。この更新を、誤差が許容できる大きさになるまで繰り返します。更新された重みが、AI の「知識」に当たります［6］。

誤差から、逆向きにたどって重みを直す

誤差から重みを直すときは、出力の側から入力の側へ、誤差を逆向きに伝えていきます。予測と正解との誤差を小さくするため、出力側から入力側に誤差を伝え、各層の重みを更新する手法を、誤差逆伝播法と呼びます［7］。

つまり、学習では、入力から答えを出す順向きの計算に加えて、誤差を逆向きに伝える計算と、重みを更新する計算が必要になります。これを、たくさんのデータで何度も繰り返します。深層学習は、高性能のコンピューターを使って大量のデータに当てはめることで、高いパターン認識の力を示してきました［5］。

推論：直した重みで答えを出す

学習を終えた重みを使って、新しいデータに対する答えを出すことを推論と呼びます。IBM の解説は、AI の推論を、学習済みの AI のモデルを使って新しいデータについて予測を行うことと説明しています［6］。

推論は、学習と違い、順向きの計算だけで済みます［6］。文章を書く AI に質問を送ったときや、写真の中の物を見分けるときに行われているのは、この推論です。

１回の計算は小さくても、回数が多い

１つのデータあたりで比べると、推論は学習より少ない計算で済みます。ただし、推論は、使われるたびに行われます。

IBM の解説は、おすすめの投稿を表示する仕組みを例に、内容をおすすめするたびに推論を行っていると説明しています［6］。たくさんの人が毎日使う AI では、推論の回数が非常に多くなります。また、同じ解説は、学習と推論は通常は別の段階ですが、完全に分かれているわけではないとも述べています［6］。

学習と推論の流れ。学習は順向きの計算・誤差・逆向きの計算・重みの更新を繰り返し、推論は順向きの計算だけを行う

計算の量が増えると、何が必要になるか

計算する半導体：同時にたくさん計算する

行列の計算では、多くの積和を、互いの答えを待たずに同時に進めることができます。先ほどの例でも、８を求める計算と９を求める計算は、別々に同時に行えます。

このような計算に向くのが GPU です。NVIDIA の資料は、GPU を、計算の区画とメモリの階層からできた、並列性の高い処理装置と説明しています［4］。並列とは、複数の計算を同時に進めることです。GPU の内部のつくりや、CPU との違いは、ここでは扱いません。

メモリ：重みを置いて、読み出す

計算には、重みをすべて置いておく場所が必要です。重みの数は、大きな AI では非常に多くなります。

数を何ビットで表すかによって、必要なメモリの量が変わります。NVIDIA の資料によると、半精度と呼ばれる数の形式（FP16）は１６ビットを使い、単精度（FP32）の３２ビットより少なくて済みます［8］。必要なメモリが少なくなることで、より大きなニューラルネットワークの学習や利用ができるようになります［8］。

仮に、重みが１０００億個ある AI を１６ビット（２バイト）で表すと、２０００億バイト、約２００ギガバイトになります。８ビットが１バイトで、１ギガバイトは１０億バイトとして計算しています。

重みの数とメモリの量。重み１０００億個を１６ビット（２バイト）で表すと、約２００ギガバイト（計算の例）

計算が速くても、読み出しが遅いと待つ

計算する半導体が速くても、メモリから数を読み出すのに時間がかかれば、計算は先に進めません。NVIDIA の資料は、計算にかかる時間が長い場合を「計算が律速」（math limited）、メモリの読み書きにかかる時間が長い場合を「メモリが律速」（memory limited）と呼んで区別しています［4］。律速とは、全体の速さを決めている、最も遅い部分のことです。

同じ資料によると、行列の掛け算は、行列が十分に大きければ計算が律速になりますが、小さい場合はメモリが律速になります［4］。そのため、AI の計算には、計算する半導体だけでなく、データを速く受け渡せるメモリも必要になります。

WSTS（世界半導体市場統計）は、２０２６年春の予測で、２０２６年にメモリの売上が大きく伸びると予測し、その要因として、AI のインフラ、HBM（広帯域メモリ）、計算を高速にする基盤への強い需要を挙げています［9］。

学習に使う計算の量は、年に４〜５倍のペースで増えてきた

AI の動向を調べている Epoch AI は、AI のモデルを集めたデータベースをもとに、学習に使われた計算の量を調べています。２０２４年５月の報告によると、２０１０年から２０２４年５月までに、最近のモデルの学習に使われた計算の量は、年に４〜５倍のペースで増えてきました［10］。

年に４倍のペースが５年続くと、４ × ４ × ４ × ４ × ４＝１０２４倍になる計算です。ただし、同じ報告は、推定の結果が分析の方法の選び方によって変わることや、データベースがすべてのモデルを含むわけではないことも述べています［10］。

学習に使う計算の量の伸び（Epoch AI、２０２４年５月）。年に４倍が５年続くと約１０００倍になる

電力とデータセンター

計算する半導体とメモリを大量に動かすには、電力が必要です。AI の計算は、多くの場合、データセンター（たくさんのサーバーを置き、電力と冷却を備えた施設）で行われます。

AFP の報道（AFPBB News 掲載）によると、国際エネルギー機関（IEA）は２０２５年４月の報告で、このままのペースで推移した場合、世界のデータセンターの電力消費が、２０３０年までに２倍を超え、約９４５テラワット時（テラは１兆）に達し、世界の総電力消費の約３％を占めるとの見通しを示しました［11］。これは、報告の時点の日本全体の電力消費量をわずかに上回る量で、IEA は、その主因として AI を挙げています［11］。同じ報道によると、データセンターは、２０２４年の世界の電力消費の約１.５％を占めていました［11］。

世界のデータセンターの電力消費の見通し（IEA、２０２５年４月、AFP の報道による）

まとめ

機械学習に欠かせないニューラルネットワークの計算の中心は、入力に重みを掛けて足し合わせる積和である
計算の単位を並べると行列の計算になり、行列が大きくなると、積和の回数は縦・横・奥行きの３つの数の積で増える。層を重ねると、さらに増える
学習は、誤差を小さくするように重みを直す段階で、順向きの計算に加えて、誤差を逆向きに伝える計算と重みの更新を、大量のデータで繰り返す
推論は、学習済みの重みで新しいデータに答えを出す段階で、順向きの計算だけで済むが、使われるたびに行われる
計算の量が増えると、同時にたくさん計算できる半導体（GPU など）、重みを置いて速く読み出せるメモリ、それを動かす電力とデータセンターが多く必要になる

AI のニュースで、GPU やメモリ、データセンターの電力の話が出てきたときは、その根元に、膨大な回数の掛け算と足し算があります。学習の話か、推論の話かを分けて読むと、どこでどれだけの計算が必要になるのかを、具体的に考えやすくなります。

免責事項

この記事は、筆者が個人として調べたことをもとに、執筆時点の内容をまとめたものです。分かりやすさを優先し、ニューラルネットワークの計算の細かい手順や例外を省いています。

計算の量や電力の見通しは、各機関が執筆時点で公表していた推定と予測で、今後見直されることがあります。重みの数とメモリの量は、説明のための計算の例で、特定の AI の値ではありません。

投資などの判断の助言ではありません。正確な情報は、出典や各機関・各社の公式の情報で確認してください。この記事の内容を利用して生じた損害については、責任を負いかねます。

NDシステムズについて

NDシステムズは、福岡県久留米市を拠点に、ホームページの制作、業務に合わせた事務のシステムの開発、AI・DX支援を行っています。まずはお気軽に無料相談でご相談ください。