Qwen3.8-27B におすすめの推論エンジン

「Qwen3.8-27B」におすすめの推論エンジンをまとめました。

1. はじめに

「Qwen3.8-27B」は、270億パラメータのマルチモーダルLLMです。量子化することで、Apple Silicon MacやNVIDIA GPU搭載PCでもローカル実行できます。

ローカルで動かす場合に迷いやすいのが、「どの推論エンジンを使うか」です。代表的な選択肢には、「Ollama」「llama.cpp」「MLX」「vLLM」「SGLang」などがあります。

さらに最近では、「DSpark」「DFlash 2」などを使った「投機的デコード」(Speculative Decoding) によって、Qwen3.8-27Bの生成速度を高速化する方法も登場しています。

ここでは、次の2つを分けて考えます。

今回は、環境を大きく「Mac」と「NVIDIA GPU」に分けて、おすすめの構成を紹介します。なお、「DGX Spark」もNVIDIA GPU環境の一種として、本記事では「NVIDIA GPU」に含めます。

2. モデルの量子化とデータ形式

LLMでは、重みをどのビット幅・数値形式で扱うかによって、モデルサイズや必要メモリ、推論速度が変わります。まず「16bit / 8bit / 4bit」というビット幅があり、その中に「FP16 / BF16 / FP8 / NVFP4」などの具体的な数値形式があります。

2-1. ビット幅の分類

2-2. 主な数値形式

ビット幅ごとに、複数の数値形式や量子化方式があります。

3. Macのおすすめ推論エンジン

3-1. Ollama - 手軽さを重視

「Ollama」は、ローカルLLMを簡単に取得・管理・実行できるツールです。複雑な環境構築を行わなくても、コマンドだけでモデルを取得して実行できます。

まずQwen3.8-27Bを試してみたい場合には、最も手軽な選択肢です。

3-2. llama.cpp - 汎用性を重視

「llama.cpp」は、GGUF形式のモデルを中心に扱う軽量な推論エンジンです。

Apple SiliconではMetalを利用でき、4bit、6bit、8bitなど、さまざまな量子化モデルを選択できます。MacだけでなくNVIDIA GPUなどにも対応しているため、汎用性が高いのが特徴です。

メモリ容量の限られたMacでQwen3.8-27Bを動かす場合にも有力です。

3-3. MLX - Macで速度を重視

「MLX」は、Appleが開発するApple Silicon向け機械学習フレームワークです。

Apple SiliconのGPUとユニファイドメモリを活用できるため、MacでQwen3.8-27Bを高速に動かしたい場合の有力な選択肢です。

Macをメイン環境にするなら、まず「MLX」と「llama.cpp」を比較するとよいでしょう。

3-4. 投機的デコード - mlx-dsparkで高速化

さらに生成速度を重視する場合には、「mlx-dspark」が候補になります。

mlx-dsparkは、MLX上でQwen3.8-27Bを実行しながら、「DSpark drafter」などを使った投機的デコードを行う推論ツールです。

構成としては、次のようになります。

Qwen3.8-27Bでは、モデルを指定すると対応するDSpark drafterを自動的に取得して利用できます。

mlx-dsparkの公開ベンチマークでは、M4 ProでQwen3.8-27B 8bitを実行した場合、次の結果が報告されています。

4bit版でも約25.3 tok/s、約1.74倍の高速化が報告されています。

そのため、十分なメモリを搭載したMacでは、

が、品質を保ちながら生成速度を高めたい場合の有力な構成です。

4. Macのメモリ別おすすめ

4-1. 24GB

24GB Macでは、基本的に「4bit量子化」が中心になります。

Qwen3.8-27B本体だけでもかなりのメモリを使用するため、長いコンテキストを利用する場合には余裕が少なくなります。

4-2. 32GB

32GBでは、4bit版を比較的余裕を持って利用できます。

mlx-dsparkの4bit構成では約18GBという公開ベンチマークもあり、32GB Macでも利用可能な構成です。

4-3. 48〜64GB

48GB以上になると、「8bit量子化」も有力になります。

mlx-dsparkのQwen3.8-27B 8bit構成では、約29GBのメモリ使用量が報告されています。
そのため、Qwen3.8-27Bを本格的に利用するMacでは、48〜64GB以上あると扱いやすくなります。

4-4. 96〜128GB

96〜128GBでは、モデル本体を載せるメモリにはかなり余裕があります。

長いコンテキストを利用するコーディングエージェントなどでも、大容量のユニファイドメモリを活かしやすくなります。

5. NVIDIA GPUのおすすめ推論エンジン

NVIDIA GPU環境には、GeForce RTX搭載PCやワークステーション、データセンター向けGPUに加えて、「DGX Spark」も含まれます。

5-1. Ollama - 手軽さを重視

NVIDIA GPUでも「Ollama」を利用できます。

モデルの取得からAPIサーバーの起動まで簡単に行えるため、NVIDIA GPU環境でも手軽にローカルLLMを始めたい場合に便利です。

個人でQwen3.8-27Bをチャットやコーディングに使う程度であれば、有力な選択肢です。

5-2. llama.cpp - 汎用性を重視

「llama.cpp」はNVIDIA GPUでも利用でき、CUDAによるGPUアクセラレーションに対応しています。

特にVRAMが少ない環境では、豊富なGGUF量子化モデルを選べる点が強みです。

24GBクラスのGPUなどでは、特に扱いやすい推論エンジンです。

5-3. vLLM - APIサーバーを重視

「vLLM」は、NVIDIA GPUを使った高性能なLLMサーバーとして広く利用されています。

Continuous Batchingなどに対応しており、複数リクエストを効率よく処理できます。

単一ユーザーのローカルチャットよりも、LLMをAPIとして利用したり、複数リクエストを処理したりする用途で強みがあります。

5-4. SGLang - 高速推論を重視

「SGLang」も、NVIDIA GPU向けの高性能な推論エンジンです。

Qwen系モデルや新しい推論高速化技術への対応が速く、Qwen3.8-27Bを高速に動かしたい場合の有力な選択肢です。

速度を追求する場合には、「vLLM」と並んで比較したい推論エンジンです。

5-5. 投機的デコード - DFlash 2で高速化

NVIDIA GPUでさらに生成速度を高めたい場合には、「DFlash 2」を使った投機的デコードがあります。

「DFlash 2」は推論エンジンではなく、投機的デコードで使用する「drafter」です。

Qwen3.8-27B向けの「Qwen3.8-27B-DFlash2」は約2Bパラメータのdraft modelで、単独でQwen3.8-27Bの代わりに利用するものではありません。

構成としては、次のようになります。

DFlash 2は複数の候補トークンを生成し、それをQwen3.8-27B本体がまとめて検証することで生成を高速化します。

H200を使った公式ベンチマークでは、SGLang上のQwen3.8-27Bで、単一リクエスト時に次の高速化が報告されています。

タスクやGPUによって効果は異なりますが、大きな高速化が期待できます。

DFlash 2はSGLangだけでなくvLLMにも対応しているため、NVIDIA GPUで速度を追求する場合には、

が特に注目される構成です。

6. NVIDIA GPUのVRAM・メモリ別おすすめ

6-1. 24GB

24GB GPUでは、「4bit量子化」などが中心になります。

VRAM容量に余裕がないため、まずGGUF量子化を利用する構成が扱いやすいでしょう。

6-2. 32〜48GB

32〜48GBでは、vLLMやSGLangも選択肢に入りやすくなります。

推論エンジンによって対応する量子化方式が異なるため、使用するモデル形式と合わせて選択します。

6-3. 80〜128GB

80〜128GBクラスでは、Qwen3.8-27Bをかなり余裕を持って扱えます。
なお、DGX Sparkは128GBの統合メモリをCPUとGPUで共有する構成のため、H100 / H200などの専用VRAM 80GB以上のGPUとはメモリ構成が異なります。

このクラスになると、単にモデルをメモリへ収めることよりも、推論速度やスループット、長いコンテキストへの対応を重視して推論エンジンを選べるようになります。

7. Unslothの量子化モデル

「Unsloth」では、Qwen公式モデルをベースにした量子化済みモデルが公開されています。ローカル環境でそのまま使いやすく、メモリ容量やGPUに合わせてモデル形式を選べるのが特徴です。

具体的な数値形式としては、NVFP4、FP8、BF16などがあります。特にNVFP4は、RTX 50シリーズやDGX SparkなどのBlackwell GPUで有力な選択肢です。

Unslothのモデルは、Qwen公式モデルよりモデル自体の性能が高いわけではありません。量子化やハードウェア向けの最適化によって、限られたメモリでも動かしやすく、高速な推論環境を構築しやすい点がメリットです。

 関連