NPUとTPUとは？ AIの計算に絞った専用チップと、GPUとの違い

2026年11月7日 11:12

AI の計算に使う半導体は、GPU だけではありません。

AI の計算だけに絞って設計した専用のチップもあり、その代表が、データセンターで使われる TPU と、スマートフォンやパソコンの中に入っている NPU です。この記事では、汎用のチップと専用のチップの違い、専用にすることで何を省き、何と引き換えにするのか、TPU と NPU の仕組みと歴史、そしてデータセンターで動かす AI と手元の端末で動かす AI の違いを、順に整理します。

AI の計算の中身が、掛け算と足し算（積和）の繰り返しであることは、記事「AIは、なぜ大量の半導体を使うのか。行列の計算、学習と推論」で扱いました。

CPU と GPU の設計の違いは、記事「GPUとは？ CPUとの違いと、AIの計算に向く理由。並列計算とHBM」で扱いました。

本文の［1］のような番号は、押すと出典のページが開きます。

この記事の流れ。汎用と専用の違い、数を目盛りに丸めて回路を小さくする工夫（量子化）、データセンターの TPU、端末の中の NPU、クラウドと端末の分担

汎用のチップと、専用のチップ

CPU と GPU は、いろいろな計算に使える

CPU（中央処理装置）は、コンピューターの中枢を担う電子回路で［1］、性質の違う多くの仕事を順番に処理します。GPU は、もともと画像を描くための半導体で、NVIDIA の解説によると、数千の命令の流れ（スレッド）を同時に実行するのが得意な設計です［2］。

どちらも、プログラムを書き換えれば、さまざまな種類の計算に使えます。このように、用途を限らずに使えるよう作ったものを、汎用のチップと呼びます。

特定の用途のために設計する ASIC

これに対して、特定の用途のために設計する集積回路を ASIC と呼びます。国語辞典では、標準的なメモリーや汎用の集積回路と異なり、特定の用途のために特別に設計された集積回路と説明されています［3］。集積回路は、トランジスタなどの多くの部品を、１枚のチップの上にまとめて作り込んだ回路です。

別の用語辞典では、ASIC は、特定の用途のために設計・生産される IC（集積回路）の総称とされています［3］。この記事で扱う TPU は、AI の計算のために作られた ASIC の一つです。

汎用と専用。CPU と GPU はいろいろな計算に使え、ASIC は特定の用途に絞って設計する

専用にすると、何を省けるのか

Google が TPU について書いた論文の冒頭には、費用・電力・性能を大きく改善するには、これからは特定の分野に絞ったハードウェアが必要だ、と考える設計者が多いという一文があります［4］。

CPU や GPU には、平均の速さを上げるための複雑な仕組みが多く組み込まれています。同じ論文によると、TPU はそうした仕組みを持っていません。理由として、これらの仕組みはトランジスタと電力を使うのに、平均の速さは上がっても、いちばん遅い場合の応答までは速くならないことを挙げています［4］。

論文が挙げている、省いた仕組みの例は、キャッシュ、分岐の予測、命令の順番の入れ替え（アウト・オブ・オーダー実行）などです［4］。キャッシュは、よく使うデータを計算の部品の近くに置いておく小さく速いメモリで、分岐の予測は、プログラムが次にどちらへ進むかを先読みする仕組みです。どちらも、いろいろなプログラムを平均して速く動かすための工夫です。

推論のサービスでは、ほぼすべての問い合わせ（９９パーセント）に、決まった時間内で答えることが求められます。論文は、毎回同じ手順で動く TPU の方式は、この要求に合っているとしています［4］。

引き換えに、向かない仕事がある

専用にすることには、引き換えもあります。Google Cloud の TPU の解説によると、TPU は特定の種類の仕事に合わせて作られているため、場面によっては GPU や CPU を使う方がよいこともあります［5］。

同じ解説では、TPU に向くものとして、行列の計算が中心のモデルが挙げられています［5］。反対に、向かないものの例は、プログラムの流れが何度も枝分かれする計算や、高い精度が必要な計算です［5］。

専用にすることの引き換え。最初の TPU が省いた仕組みと、TPU に向く仕事・向かない仕事（TPU の論文と Google Cloud の解説をもとに作成）

精度を下げて、回路を小さくする

学習は細かい小数で計算する

AI の計算には、重みを調整する学習と、学習を終えたモデルで答えを出す推論があります。TPU の論文によると、今の学習は、ほとんどが小数を含む数（浮動小数点数）で計算されています［4］。浮動小数点数は、とても大きな数からとても小さな数までを、細かく表せる小数の書き方です。

量子化：細かい数を、決まった目盛りに丸める

量子化は、もとは、連続して変わる量を、とびとびの数で表すことを指す言葉です［6］。百科事典では、値の範囲をいくつかの区間に分け、同じ区間に入る値をすべて、その区間を代表する１つの値に置き換える手順と説明されています［6］。物理学の「量子力学」や「量子コンピューター」の量子とは、別の意味で使われています。

身近なもので言えば、物差しの目盛りです。たとえば、−１から１までの範囲を、−１２７から１２７までの整数の目盛りに分けると、目盛り１つ分は約０．００７９になります。

０．２５０ × １２７ ＝ ３１．７５ → 目盛り３２
０．２５３ × １２７ ＝ ３２．１３ → 目盛り３２

０．２５０と０．２５３は、どちらも目盛り３２に丸められます。細かな違いは失われますが、そのかわり、どの数も８ビットで表せる整数１つで済みます。

推論は、８ビットの整数で足りることが多い

TPU の論文は、この量子化によって、浮動小数点数をけたの少ない整数に置き換えると説明しています［4］。その整数は８ビットのことが多く、推論ならたいていそれで足りるとしています［4］。

量子化とは、細かい数を決まった目盛りに丸めること。０．２５０も０．２５３も、目盛り３２になる（−１〜１を−１２７〜１２７の目盛りに分けた場合の例）

８ビットの整数の掛け算は、小さく、少ない電力で済む

同じ論文によると、８ビットの整数の掛け算は、１６ビットの浮動小数点数の掛け算に比べて、電力も回路の面積も、６分の１で済むことがあります［4］。１つの掛け算の回路が小さければ、同じ大きさのチップに、より多くの掛け算の回路を並べられます。

Google が２０１６年に TPU を公表したブログでも、同じ点が説明されています。TPU は機械学習に合わせて作ったため、計算の精度が多少下がっても差し支えなく、その分、１回の計算に使うトランジスタが少なくて済みます［7］。そのため、同じチップで１秒間により多くの計算ができる、という説明です［7］。

精度を下げて、回路を小さくする。８ビットの整数の掛け算は、１６ビットの浮動小数点数の掛け算に比べて、電力・面積とも６分の１にできることがある（TPU の論文の値）

TPU：データセンターのために作られた専用チップ

TPU とは

TPU（Tensor Processing Unit）は、機械学習の計算を速くするために Google が独自に開発した ASIC です［5］。テンソルは、数を縦・横・奥行きなどに並べたもので、行列を一般にしたものです。

なぜ作られたのか

TPU の論文によると、きっかけは２０１３年に示された見通しでした。利用者が１日３分ずつ、深層学習を使った音声認識で音声検索をするようになると、その計算をまかなうためにデータセンターを２倍にしなければならない、というものです［4］。

論文は、これを従来の CPU でまかなうと、とても費用がかかるとしています［4］。

年表

TPU の論文によると、最初の TPU はニューラルネットワークの推論を速くするためのチップで、２０１５年からデータセンターで使われています［4］。目標は、費用あたりの性能を GPU の１０倍にすることで、設計・検証・製造を経てデータセンターで使い始めるまでに、１５か月しかかからなかったとしています［4］。

Google が TPU を公表したのは、２０１６年５月です。公表のブログによると、その時点で、TPU はすでに１年以上データセンターで動いていました［7］。検索の結果をより適切に並べる RankBrain、地図の Street View、囲碁の世界王者と対戦した AlphaGo などにも使われていたとしています［7］。

Google によると、Google Cloud を通して外部の利用者が使える最初の TPU（Cloud TPU）は、２０１８年に登場しました［8］。２０２５年４月には、第７世代の TPU「Ironwood」が発表されました［8］。発表によると、チップ１つあたり１９２ギガバイトの HBM（広帯域メモリ）を持ち［8］、最大で９２１６個のチップをつないで使えるとしています［8］。

TPU の年表。２０１３年の見通しから、２０１５年のデータセンターでの使用、２０１６年の公表、２０２５年の第７世代まで

中心にある、行列の掛け算の部品

TPU の論文によると、最初の TPU の心臓部は、行列の掛け算を行う部品です。この部品には、８ビットの数の掛け算と足し算を受け持つ小さな部品（MAC）が、６万５５３６個並んでいます［4］。並びは縦２５６個 × 横２５６個で、マイナスの値を含む整数（符号付き）も、含まない整数（符号なし）も扱えます［4］。

２５６ × ２５６ ＝ ６万５５３６（個）

この部品は、最大で毎秒９２兆回（９２TOPS）の計算ができます［4］。TOPS は、１秒間に何兆回の計算を行えるかを表す単位で、国語辞典では、一般に１TOPS は毎秒１兆回の整数の計算を行えることを意味すると説明されています［9］。

数を手渡しで回す「シストリックアレイ」

この行列の掛け算の部品は、シストリックアレイという方式で動きます。まず、たとえで考えます。

ふつうの計算の部品は、数を使うたびにメモリから読み出し、答えをメモリへ書き戻します。倉庫と作業台を何度も行き来するようなもので、行き来のたびに時間と電力がかかります。

シストリックアレイは、バケツリレーに似ています。メモリから一度取り出した数を、並んだ計算の部品（セル）が隣へ手渡しで回し、途中の答えも、そのまま隣へ渡していきます。Google の解説によると、途中の答えはすべて、メモリを通さずに計算の部品どうしで直接受け渡されます［10］。入力の数は一度読むだけで、書き戻さずに何度も使い回せます［10］。

ふつうの計算とシストリックアレイ。毎回倉庫（メモリ）を往復するか、一度取り出した数を隣へ手渡しで回すか

同じ解説によると、「シストリック」という名前は、データが波のようにチップの中を流れていく様子が、心臓が血液を送り出す様子に似ていることから付けられました［10］。

積和が、セルを流れていく様子

AI と半導体の記事で使った例、２ × １＋３ × ２＝８を、セル２つで計算する様子を、単純にして追ってみます。上のセルには重み１、下のセルには重み２を、あらかじめ入れておきます。

１つ目の時点：数２が上のセルに入り、２ × １＝２。途中の答え２を、下のセルへ渡す
２つ目の時点：数３が下のセルに入り、３ × ２＝６。上から受け取った２に足して、８
答えの８が、いちばん下の、答えをためる部品に届く

数を読むのは一度だけで、途中の答え２も、メモリに書き戻さずに下のセルへ渡しています。

積和がセルを流れていく様子（仕組みを単純にした模式図）。２ × １の答えを下へ渡し、３ × ２を足して８

実際は、セルが格子の形に並ぶ

実際のシストリックアレイでは、セルが縦と横の格子の形に並んでいます。論文によると、別々の方向から来たデータが、一定の間隔でセルに届き、そこで組み合わされます［4］。最初の TPU では、データは左から流れ込み、重みは上から読み込まれます［4］。

答えは、行列の掛け算の部品の下にある、答えをためておく部品（アキュムレーター）に集まります［4］。論文は、この方式によってバッファー（データを一時的に置くメモリ）の読み書きが減り、電力を節約できるとしています［4］。

今の Google Cloud の TPU でも、行列の掛け算の部品（MXU）は、１２８ × １２８のシストリックアレイだと説明されています［5］。

格子に並んだシストリックアレイ（模式図）。データは左から流れ込み、重みは上から読み込んでおく。各セルが掛けて足し、答えは下のアキュムレーターに集まる

CPU の指示で動く、補助のチップ

最初の TPU は、CPU を載せたサーバーに、拡張用の差し込み口（PCIe）でつなぐ補助のプロセッサー（コプロセッサー）として作られました［4］。TPU が自分で命令を取りに行くのではなく、サーバーの側が TPU に命令を送り、実行させる仕組みです［4］。

論文は、この点で TPU は、GPU よりも、小数の計算を受け持つ補助の部品（FPU）に近い存在だとしています［4］。今の Google Cloud の解説でも、TPU で動かす部分以外のプログラムは、TPU をつないだサーバー（ホスト）の側で動くと説明されています［5］。

同じ時期の CPU・GPU との比較

論文の著者らは、Google のデータセンターで実際に行っている推論の仕事を使って、TPU を同じ時期の CPU や GPU と比べています。それによると、TPU は平均で約１５〜３０倍速く［4］、電力あたりの性能（TOPS/W）は約３０〜８０倍でした［4］。

これは、２０１５年ごろの製品どうしを、Google 自身の推論の仕事で比べた結果です。NVIDIA の GPU にも、その後の Volta という世代から、行列の計算を速くする Tensor コアという部品が加わりました［11］。今の製品どうしを比べた数ではない点に注意が必要です。

NPU：スマートフォンやパソコンの中の、AI の部品

NPU とは

NPU（Neural Processing Unit）は、国語辞典では、ニューラルネットワークを組み込んだ人工知能専用のプロセッサーと説明されています［12］。ニューラルネットワークは、入力に重みを掛けて足し合わせる計算を、何層にも重ねた AI の仕組みです。

同じ辞典によると、NPU を使うと、これまでクラウドで行われていた画像認識・自然言語処理・生成 AI などの推論を、効率よく端末だけで行えます［12］。主に整数の計算に対応し、同じ処理を CPU や GPU で行う場合に比べて、速く、消費電力が低いことが利点とされています［12］。

１つのチップの中に、CPU や GPU と同居する

スマートフォンやパソコンの NPU は、多くの場合、独立したチップではなく、１つのチップの中の部品として入っています。IBM の解説によると、スマートフォンやノートパソコンなど、一般向けの製品の多くは、NPU をほかの補助のプロセッサーと一緒に、SoC（システム・オン・チップ）と呼ぶ１つのチップに載せています［13］。

SoC は、化学の辞典では、CPU だけを集積したチップではなく、同じ基板の上に、論理回路、信号処理、メモリーなどを集積したものとされています［14］。１つのチップの中で、CPU・GPU・NPU などが、それぞれ得意な仕事を受け持つ形です。

スマートフォンやパソコンの SoC（模式図）。１つのチップの中に、CPU・GPU・NPU・メモリーの接続などが同居する

製品の例

Apple は、２０１７年９月に発表した A11 Bionic というチップに、「ニューラルエンジン」を載せました。発表によると、ニューラルエンジンは２つの区画（デュアルコア）でできていて、毎秒最大６０００億回の計算ができます［15］。特定の機械学習の計算のために作られ、顔による認証（Face ID）などの機能を支えるとしています［15］。

Apple の機械学習の研究チームの解説では、この Apple Neural Engine は、Apple のチップの中で機械学習の推論を受け持つ部品で、少ない電力で多くの計算をこなすと説明されています［16］。最初の世代は、２０１７年の iPhone X に使われた A11 チップに入ったものです［16］。

Microsoft は、２０２４年５月に、AI のために設計した新しい種類の Windows パソコン「Copilot+ PC」を発表しました。発表によると、Copilot+ PC には、毎秒４０兆回以上（４０TOPS 以上）の計算ができる新しいチップが載ります［17］。最初の Copilot+ PC に使う Snapdragon X のシリーズは、NPU で４５TOPS の計算ができる SoC だとしています［17］。

ただし、計算の回数の数え方や、どの精度の数で数えるかは、各社の発表で同じとは限りません。年や会社の違う数を並べて、単純に比べることはできません。

端末の中の NPU の例。２０１７年の A11 Bionic のニューラルエンジンと、２０２４年の Copilot+ PC（各社の発表）

データセンターの AI と、手元の端末の AI

エッジ AI：端末の側で計算する

AI の計算を、データセンター（クラウド）ではなく、手元の端末の側で行うことをエッジ AI と呼びます。国語辞典では、AI に必要な処理をクラウド上ではなく端末側で行うことと説明され、自動運転の危険回避をはじめ、すぐに処理する必要がある場面で使われるとされています［18］。ニュースの用語解説では、エッジは「端」を意味し、端末の側でデータをすぐ処理できるのが特徴とされています［18］。

端末で計算することの利点

同じ用語解説では、エッジ AI は、外部のネットワークに頼らなくてもよく、情報漏えいのリスクを抑えられる利点もあるとされています［18］。Apple の研究チームの解説も、端末の中で推論を行えば、そのためのデータはサーバーへ送られず端末にとどまるため、利用者のプライバシーを守ることにもつながるとしています［16］。

Microsoft も、Copilot+ PC の発表で、AI を端末で直接動かせるようになれば、待ち時間・費用・プライバシーといった、これまでの制約がなくなると述べています［17］。通信を待たずに答えが出ることと、データを外に送らずに済むことが、端末で計算する主な利点です。ただし、端末に NPU があっても、AI の機能のどの処理を端末で行い、どの処理をクラウドへ送るのかは、製品や機能ごとに異なります。

端末で計算することの限り

一方で、この用語解説では、エッジ AI は大容量のデータの処理には向いておらず、端末が多いと管理に手間がかかるとされています［18］。端末の NPU は、電池で動く小さな機器に入るため、データセンターの TPU や GPU と比べると、使える電力やメモリには限りがあります。

そのため、大きな AI のモデルの学習や、大きなモデルでの推論は、データセンターで行われることが多くなります。Microsoft も同じ発表の中で、最も充実した AI の使い方は、クラウドと端末が連携して初めて実現できる、という考えを示しています［17］。

データセンター（クラウド）の AI と、端末の AI。大きな計算はクラウド、通信を待たずに済ませたい計算や、外に送りたくないデータの計算は端末

GPU・TPU・NPU の役割の違い

ここまでの話を、３つのチップの役割の違いとしてまとめます。

GPU：多数の計算を同時に進める汎用の並列計算のチップ。学習にも推論にも使われ、AI 以外の計算にも使える
TPU：Google がデータセンターの機械学習のために作った ASIC。行列の計算に絞り、シストリックアレイで電力を節約する
NPU：スマートフォンやパソコンの SoC の中で、AI の推論を少ない電力で行う部品。主に整数の計算を受け持つ

IBM の解説では、GPU は、CPU に比べれば用途が絞られているものの、汎用の計算に向いていると説明されています［19］。一方、NPU は、AI と機械学習の仕事のために作られた専用のプロセッサーとされています［19］。どれか１つがほかを置き換えるのではなく、用途に応じて使い分けたり、組み合わせたりして使われています。

GPU・TPU・NPU の役割の違い。汎用の並列計算、データセンターの専用チップ、端末の中の AI の部品

まとめ

ASIC は、特定の用途のために設計する集積回路。汎用の仕組み（キャッシュや分岐の予測など）を省き、その分を目的の計算に回す
引き換えに、専用のチップは、枝分かれの多い計算や高い精度の計算など、向かない仕事がある
量子化は、細かい数を決まった目盛りに丸めること。推論は、８ビットの整数に丸めても足りることが多く、整数の掛け算は回路が小さく、電力も少なくて済む
TPU は、Google がデータセンターのために作った ASIC で、２０１５年から使われている。中心は、数と途中の答えをバケツリレーのように隣へ手渡しながら掛けて足すシストリックアレイ
NPU は、スマートフォンやパソコンの SoC の中で、AI の推論を少ない電力で行う部品。処理の能力は TOPS で表される
端末で計算するエッジ AI は、通信を待たずに済み、データを外へ送らずに済む。大きな計算はデータセンターで行い、両方を組み合わせて使う

AI のニュースで、新しいチップや「AI PC」といった言葉が出てきたときは、そのチップがどこで（データセンターか、手元の端末か）、何のために（学習か、推論か）使われるのかを見ると、それぞれの役割が分かりやすくなります。

免責事項

この記事は、筆者が個人として調べたことをもとに、執筆時点の内容をまとめたものです。分かりやすさを優先し、チップの内部のつくりの細かい点や例外を省いています。図のチップの中の配置は模式図で、特定の製品の実際の配置ではありません。

製品の性能の数は、各社が発表した値で、測り方の条件は各社で異なります。

投資などの判断の助言ではありません。正確な情報は、出典や各機関・各社の公式の情報で確認してください。この記事の内容を利用して生じた損害については、責任を負いかねます。

NDシステムズについて

NDシステムズは、福岡県久留米市を拠点に、ホームページの制作、業務に合わせた事務のシステムの開発、AI・DX支援を行っています。まずはお気軽に無料相談でご相談ください。