
NVIDIA Model Optimizerの使い方。小さく速くする手法を1つの箱にした理由と、始める前に見る3つ
「このモデル、うちのGPUに乗らない」と言われたことはありませんか?
ローカルでAIを動かそうとすると、最初にぶつかる壁がこれです。モデルが大きすぎて、手元のメモリに入らない。入っても遅い。
その壁を低くする作業を「最適化」と呼びます。で、NVIDIAはその手法を、1つの箱にまとめて公開しています。それがNVIDIA Model Optimizer。
この記事では、公式READMEと公式ドキュメント(2026年10月18日確認)だけを根拠に、この道具が何をするものか、NVIDIAがなぜ1つの箱にしたのか、そして始める前に見る3つを書きます。
1つ先に。うちはこの道具を自社のMacで実行していません。あとで書く理由で、動かせる環境がないからです。手順は公式の本文で確かめました。
NVIDIA Model Optimizerとは。モデルを「小さく・速く」する手法の詰め合わせ
公式READMEの最初の説明を、そのまま置きます。
https://github.com/NVIDIA/Model-Optimizer
Model Optimizerは、量子化、枝刈り、ニューラルアーキテクチャ探索、蒸留、投機的デコード、スパース化といった最新の手法を集めたライブラリで、モデルを速くするためのもの。入力はHugging Face、PyTorch、ONNXのモデル。出力は、SGLang、TensorRT-LLM、TensorRT、vLLMといった推論フレームワークでそのまま配備できる量子化済みのチェックポイント。
専門語が並んだので、一言ずつ。
量子化は、モデルの中の数字を粗くして容量を減らすこと。写真の画質を落としてファイルを軽くするのに近い。枝刈りは、使っていない部分を切り落とすこと。蒸留は、大きなモデルの振る舞いを小さなモデルに教え込むこと。投機的デコードは、先回りして答えの候補を出し、待ち時間を減らすこと。
どれも「同じ答えを、小さな箱で、速く出す」ための手法です。
READMEには、2025年1月28日にオープンソース化した、とあります。それまでは「TensorRT Model Optimizer」という名前で、2025年12月8日に今の名前へ改名した。ライセンスはApache-2.0。今月は約1,500スター増えています(GitHub Trending月間・2026年10月8日取得)。
なぜNVIDIAは1つの箱にしたのか
ここが、この記事で旗を立てたいところです。
量子化だけなら、他にも道具があります。枝刈りも、蒸留も、それぞれ専門の実装がある。でもNVIDIAは、それらを1つのライブラリに入れた。
READMEの構成を読むと、理由が見えてきます。入口は3つ(Hugging Face・PyTorch・ONNX)。真ん中で手法を組み合わせる。出口は推論フレームワーク。つまり「入れて、組み合わせて、出す」の一本道を作りたかった。
実際、READMEの最新ニュースには、枝刈りと2段階の蒸留とFP8量子化を組み合わせたチュートリアルが載っています。1つの手法だけでは足りず、組み合わせて初めて効く場面がある。別々の道具だと、組み合わせるたびに変換と確認が挟まる。
NVIDIAの立場で考えると、もう1つ理由があります。GPUを作っている会社として、自分たちのGPUが得意な低精度の形式(FP8やNVFP4)へモデルを持っていく道を、できるだけ短くしたい。READMEに並ぶ公開済みの量子化チェックポイントは、その道を通った実例です。
いや、それって自社のGPUに囲い込みたいだけじゃないの?
半分はそうだと思います。でも、Apache-2.0で公開していて、出口にはvLLMやSGLangも並んでいる。少なくとも「NVIDIAのGPUを持っている人」にとっては、囲い込みより近道として効く設計です。

NVIDIA Model Optimizerの使い方。公式が示す最短の形
公式ドキュメントのPyTorch量子化のページに、最小の形が書いてあります。
https://nvidia.github.io/Model-Optimizer/guides/_pytorch_quantization.html
学習後量子化(PTQ)は、少量のデータでのキャリブレーションで行える、とあります。目安は128〜512件。モデルにデータを流して、各層の数字の分布を測り、どう粗くするかを決める。それがキャリブレーション。
コードは、本質的に1つの関数です。mtq.quantize() に、モデルと、設定と、データを流す関数(forward_loop)の3つを渡す。設定は、どの層をどの形式で量子化し、どのキャリブレーション手法を使うかを決めるもので、公式には INT8_SMOOTHQUANT_CFG、FP8_DEFAULT_CFG、NVFP4_DEFAULT_CFG といった名前の既製の設定が用意されています。
量子化が終わったら、ONNXへ通常のPyTorchの手順で書き出すか、Hugging FaceやMegatronの大規模言語モデルならTensorRT-LLM向けに直接書き出せる、とあります。
つまり手順は、モデルを読む、設定を選ぶ、データを少し流す、書き出す。この4つ。
始める前に見る3つ
ここからが、読者にいちばん役に立つ部分だと思う。
公式のLinux向けインストールのページを読むと、この道具を動かせる環境は、かなりはっきり決まっています。
https://nvidia.github.io/Model-Optimizer/getting_started/_installation_for_Linux.html
1つ目、OSとGPU。対応OSはLinux。CUDAは12.xか13.x。PyTorchは2.8以上。Pythonは3.10以上、3.15未満。CUDAが要るということは、NVIDIAのGPUが要るということです。公式ページはCPUだけで動くかどうかを書いていません。うちの母艦はMacなので、ここで対象外になりました。
2つ目、GPUの世代。NVFP4という最も新しい低精度形式を速く扱う専用カーネルは、計算能力8.9以上のGPU、例としてRTX 40シリーズやL40以降が必要、とあります。古いGPUでも量子化自体はできる形式がありますが、どの形式がどのGPUで速くなるかは、始める前に確かめる項目です。
3つ目、入れ方。コマンドは1行、pip install -U "nvidia-modelopt[all]"。ただし公式は、Model Optimizerが追加の第三者ソフトウェアを取りに行くので、使う前にそれらのライセンス条件を確認するように、と書いています。会社で使うなら、ここを飛ばさないでください。

うちが「母艦で試さない」と決めた日のこと
ここで、うちの失敗を1つ。
2026年9月の終わり、別のローカルAIの道具を記事にする時、「版を見るだけ」「一覧を見るだけ」のつもりで、会社の母艦のMacで確認のコマンドを3つ打ちました。
結果、常駐のアプリとサーバーが立ち上がり、ホームに設定フォルダが新しく作られていました。モデルの取得はしていないし、すぐ止めて消しました。実害は無かった。
でも、怖かった。母艦は30体のAI社員が毎日動いている機械です。「見るだけ」のつもりの1行で、知らない常駐が増えるのは、事故の一歩手前でした。
その日から、題材の道具は母艦で実行しない、と決めました。手順は公式READMEと公式ドキュメントの本文で確かめる。実機で確かめる必要がある時は、起動・常駐・ファイル作成の有無を先に公式で読んでから、別の機械でやる。
今回のModel Optimizerは、そもそもCUDAが要るので母艦では動きません。でも、もし動く環境があっても、同じ順番で確かめます。公式の本文を読む、何が起きるかを知る、それから打つ。
うちはどう使うか。「作る側」でなく「配られたものを選ぶ側」
正直に書きます。うちにはNVIDIAのGPUを積んだLinuxの機材がありません。だからこの道具を自分で回す予定は、今のところ無い。
でも、この道具の存在を知っておく価値はあります。
READMEには、Model Optimizerで量子化済みのチェックポイントがHugging Faceに公開されている、とあります。DeepSeekやLlamaの大きなモデルの、FP8やNVFP4版。これはつまり、自分で量子化しなくても、NVIDIAがこの道具で小さくしたモデルを選べるということです。
ローカルでAIを動かす側の人間にとって、この道具は「使うもの」より「配られたものの出自」として効きます。あのモデルが小さくて速いのは、この箱を通ってきたからだ、と分かる。
それだけで、モデルを選ぶ時の目が1つ増えます。
まとめ:NVIDIA Model Optimizerの使い方は、環境を確かめてから
モデルを小さく・速くする手法を、NVIDIAは1つの箱にまとめた。使い方の芯は、モデルと設定とデータを渡す関数1つ。ただし動く環境はLinuxとNVIDIAのGPUにはっきり限られていて、形式によってはGPUの世代も問われる。
まず今日、自分のGPUの計算能力がいくつかを調べてみてください。8.9以上なら、この箱の最新の形式がそのまま使えます。そうでなければ、この箱を通って配られたモデルを選ぶ側に回るのが、いちばん早い使い方です。
オープンソース研究所 無料OSS×ローカルAI 6大特典
手元のGPUで動くモデルの選び方、量子化済みモデルの見つけ方、ローカルAIを会社の仕事に組み込む手順をまとめました。無料のOSSで自分のAI環境を作りたい人向けです。