ローカルLLM向けの NVIDIA GPU の選び方

ローカルLLM向けの NVIDIA GPU の選び方をまとめました。

1. はじめに

ローカルLLMを高速に動かしたい場合、最も有力な選択肢のひとつが「NVIDIA GPU」です。
NVIDIA GPUでは「CUDA」を中心としたAI向けソフトウェアが充実しており、多くの推論エンジンや高速化技術を利用できます。

一方、ゲーム用GPUを選ぶ感覚で、CUDAコア数が多いGPUを選べばよいというわけではありません。

ローカルLLMでは特に、

を見る必要があります。

今回は、主にデスクトップ向けの「GeForce RTX」と「RTX PRO」を中心に見ていきます。

2. NVIDIA GPUがLLMに向いている理由

2-1. CUDAエコシステム

NVIDIA GPU最大の強みは「CUDA」です。
LLM向けの主要な推論エンジンや高速化ライブラリの多くがCUDAを中心に開発されています。

特に、

などを利用したい場合、NVIDIA GPUが第一候補になります。

新しいモデルや量子化方式、高速化手法についても、CUDA環境が早く対応することが多いのが特徴です。

2-2. 専用VRAM

一般的なNVIDIA GPU搭載PCでは、

とメモリが分かれています。

LLMをGPUだけで高速に動かす場合は、

ことが重要です。

例えばPC本体に128GBのRAMがあっても、GPUが16GBなら、GPUだけで高速に扱えるモデルは主に16GBのVRAMに制約されます。

VRAMを超えた部分をCPU RAMへオフロードすることもできますが、PCIe経由の転送が必要になり、速度が大きく低下する場合があります。

そのため、ローカルLLM用GPUでは、

のが基本になります。

3. LLM性能を見るための指標

3-1. VRAM容量

最も重要なのが「VRAM容量」です。

LLMではモデル本体だけでなく、

などにもVRAMを使用します。

モデル本体のサイズは概算で、

です。

27Bモデルなら、

程度になります。

したがって16GB GPUなら27Bの4bit、32GB GPUなら27Bの8bitなどがひとつの目安になります。

ただし、実際にはKVキャッシュなども必要なので、

とは考えず、ある程度の余裕が必要です。

3-2. メモリ帯域

次に重要なのが「メモリ帯域」です。

これは、

を示します。

LLMのDecodeでは、トークンを1つ生成するたびに大量のモデル重みを読み出します。

そのため、特にバッチサイズが小さいローカルLLMでは、

という特徴があります。

例えばBlackwell世代では、

となっています。RTX 5090は32GB GDDR7と512bitメモリインターフェイスを搭載するハイエンドモデルです。

VRAM容量が、

を決めるのに対して、メモリ帯域は、

に大きく関係します。

4. PrefillとDecode

LLMの推論処理は、大きく「Prefill」と「Decode」に分けられます。

4-1. Prefill

「Prefill」は、入力したプロンプトを最初に処理する部分です。
例えば、

場合、その入力をまとめて処理するのがPrefillです。
Prefillでは大量の行列演算を並列処理するため、

が重要になります。
Prefillが高速だと、

などを素早く読み込めます。
コーディングエージェントでは特に重要です。

4-2. Decode

「Decode」はPrefill後に、

です。
一般的に表示される、

などの生成速度は主にDecode速度です。
Decodeではモデル重みを繰り返し読み出すため、

という特徴があります。
したがって、LLM用GPUを見るときはCUDAコア数やAI TOPSだけでなく、

を見ることが重要です。

4-3. TTFT

もうひとつ重要なのが「TTFT」（Time To First Token）です。
これは、

です。

長いプロンプトではPrefillに時間がかかるため、TTFTも長くなります。
LLMの体感速度を見る場合は、

の3つを見ると理解しやすくなります。

5. RTX 30 / 40 / 50シリーズの違い

5-1. RTX 30シリーズ

RTX 30シリーズは「Ampere」世代です。
現在新品で積極的に選ぶ世代ではありませんが、ローカルLLMでは「RTX 3090」が現在でも特徴的です。

RTX 3090は、

を搭載しています。
中古価格次第では、

として候補になります。
最新GPUと比べるとPrefill性能や電力効率は劣りますが、ローカルLLMではGPU世代よりVRAM容量が重要になるケースも多いためです。

5-2. RTX 40シリーズ

RTX 40シリーズは「Ada Lovelace」世代です。
代表的なのが「RTX 4090」で、

という構成です。
RTX 4090は現在でも高速ですが、ローカルLLM用途では、

というVRAM容量の差が大きなポイントになります。

中古価格が十分安ければRTX 4090も有力ですが、新規にハイエンドGPUを購入するのであればRTX 5090の32GBが魅力的です。

5-3. RTX 50シリーズ

RTX 50シリーズは「Blackwell」世代です。

Blackwellでは第5世代Tensor Coreが採用され、「FP4」にも対応しました。NVIDIAはRTX 50シリーズを、コンシューマGPUとして初めてFP4に対応した世代としています。

主なデスクトップGPUは、

です。
ローカルLLM用途では、この中でも、

あたりが特に選びやすい構成です。
RTX 5080は高速ですがVRAMが16GBなので、LLMだけが目的なら、

か、

という選択も考えられます。

6. GeForce RTXとRTX PROの違い

6-1. GeForce RTX

個人がローカルLLMを動かす場合、基本的には「GeForce RTX」が価格性能に優れます。

特にRTX 5090は、

を備えています。
32GB以内に収まるモデルなら、非常に高速なローカルLLM環境を構築できます。

一方で、

になると選択肢がなくなります。

6-2. RTX PRO

さらに大きなモデルを1枚のGPUで扱いたい場合は「RTX PRO」が候補になります。

Blackwell世代では、

などがあります。
RTX PRO 5000は最大72GB GDDR7、1,344GB/sのメモリ帯域を備えています。
RTX PRO 6000 Blackwell Workstation Editionでは、

となります。
96GBあれば、

なども扱いやすくなります。
ただし価格は大きく上がり、NVIDIA MarketplaceではRTX PRO 6000 Blackwell Workstation Editionが1万ドルを超える価格帯で掲載されています。

そのため個人用途では、

という分け方が現実的です。

7. 複数GPUという選択肢

1枚のGPUでVRAMが足りない場合は、

方法もあります。
例えば、

なら、モデルの重みなどを2枚のGPUへ分割することで、32GBを超えるモデルも扱えます。
vLLMでは「Tensor Parallel」による複数GPU推論に対応しており、GPU数を指定してモデルを分散できます。

ただし重要なのは、

という点です。

GPU間通信が必要になるため、

などの影響を受けます。
またRTX 4090などの近年のGeForceではNVLinkに対応していません。
そのため、

の方が構成は簡単です。

一方でRTX PRO 6000などは非常に高価なので、価格次第ではGeForceを複数枚使う構成も候補になります。

8. VRAM容量別の選び方

8-1. 8〜12GB

小型モデルを中心に使う容量です。

Ollamaなどで小型LLMを試す用途には十分です。
ただし、これからローカルLLMを主目的としてGPUを購入するのであれば、できれば16GB以上を選びたいところです。

8-2. 16GB

現在のエントリー〜ミドルレンジで特に選びやすい容量です。

候補としては、

などがあります。

同じ16GBでもRTX 5070 Tiは896GB/s、RTX 5060 Tiは448GB/sなので、Decode速度を重視するならメモリ帯域の大きいGPUが有利です。

8-3. 24GB

中古GPUを含めると非常に使いやすい容量です。
代表的なのが、

です。

といった使い方ができます。
中古RTX 3090は、

する場合に特に面白い選択肢です。

8-4. 32GB

個人のローカルLLM環境では特に魅力的な容量です。
代表的なのが、

です。

という構成になります。
さらにRTX 5090は約1.8TB/sという非常に大きなメモリ帯域を持つため、VRAM内にモデルが収まる条件ではDecode性能も期待できます。
速度を重視する個人向けローカルLLMでは、現在もっとも有力なGPUのひとつです。

8-5. 48〜72GB

この容量になると「RTX PRO」が中心になります。
代表的なのが、

です。

など、大型モデルを1枚のGPUで扱いやすくなります。
ただし価格性能だけで見るとGeForceとの差が大きいため、

という目的が明確な場合に向いています。

8-6. 96GB

「RTX PRO 6000 Blackwell」では96GBを利用できます。

などを1枚で扱えるのが大きな強みです。
一方、価格はRTX 5090を大きく上回ります。
そのため個人用途なら、

との比較も必要になります。

9. RTX 5090 + FreeTokenで大型MoEを動かす

通常、RTX 5090のVRAMは32GBなので、約160GBある「DeepSeek-V4-Flash」の公式チェックポイントをそのままGPUへ載せることはできません。
しかし、MoE向け推論エンジン「FreeToken」を使うことで、RTX 5090 1枚でも実行できます。

9-1. FreeTokenとは

FreeTokenは、VRAMに収まらない大型MoEモデルをNVIDIA GPUで実行するための推論エンジンです。

MoEが推論時に一部のExpertだけを使う性質を利用して、

必要に応じてCPU実行やGPUへの転送を行います。

そのため、

でも、VRAMを大きく超えるMoEモデルを実行できます。

9-2. RTX 5090でDeepSeek-V4-Flash

DeepSeek-V4-Flashは、

のMoEモデルです。

FreeTokenのRTX 5090での研究ベンチマークでは、約22〜25 tok/sという結果が報告されています。

つまり、

ということです。
ただし、速度はCPUやRAM帯域、プロンプト長などによって変化します。

9-3. システムRAMも重要

FreeTokenではモデルの一部をCPU RAMへ置くため、RAM容量とメモリ帯域も重要です。
DeepSeek-V4-Flashでは、

とされてます。128GBでは不足する可能性があります。

10. Mac Studioとの違い

NVIDIA GPUとMac Studioでは、強みがかなり異なります。
NVIDIA GPUは、

が強みです。
そのため、

という特徴があります。

一方Mac StudioではCPUとGPUが大容量のユニファイドメモリを共有します。9月発売予定のM5 Ultraでは最大512GBを利用できます。
したがって、

という傾向があります。

ローカルLLM用途では、

という違いを意識すると選びやすくなります。

関連