見出し画像

【最新ローカルLLM】Qwen3.8 27Bを使ってみた話【Ollama】

Catapp-Art3D

はじめに

少し前にQwen3.8 2.4Tフラッグシップ版がオープンウェイトとして公開されましたが、少し遅れてゲーミングPC（ただしDenseなので24GB VRAM程度は必要）でも動作可能な27B版が公開されました。Ollamaの最新版で対応しています。Ollamaライブラリにも既に登録済みです。

世界で最もローカル利用されているQwen3.6 27Bの後継の期待モデルなので、カウントダウンまで行われ、公開直後はアクセス出来ませんでした。

導入＆設定

アーキテクチャはqwen3.6 27Bと同じqwen3.5のようです。

# ダウンロード
ollama pull qwen3.8

# 情報表示
ollama show qwen3.8
  Model
    architecture        qwen35     
    parameters          27.3B      
    context length      262144     
    embedding length    5120       
    quantization        Q4_K_M     
    requires            0.32.12    

  Capabilities
    completion    
    vision        
    tools         
    thinking      

  Projector
    architecture        clip       
    parameters          460.73M    
    embedding length    1152       
    dimensions          5120       

  Parameters
    top_k                20      
    top_p                0.95    
    draft_num_predict    4       
    min_p                0       
    presence_penalty     0       
    repeat_penalty       1       
    temperature          1

動作確認

※ ollama + OpenWebUIを利用しています

ご乱心して停止しました

「人類には早すぎる」症状です。リリース初日には良くあります。（変更していないollamaそのままの実行です）

パフォーマンス

Ryzen7 5700x 64GB + RTX5060ti-16GB×二枚（32GB）での動作です。num_ctx=128kにしています。

マルチGPU環境で最速で動作させたいため、改造ollamaを利用します。※ 改造といっても、llama-server実行オプションに「--split-mode tensor」をつけただけです

Ollamaライブラリのものを利用すると、デフォルトでMTPが有効になります。

長文生成：42.3 token/s

アーキテクチャも同じなので、Qwen3.6 27Bと同じです。

大学入試数学（東大文系数学）

余裕で正解ですね。83 token/s

論理問題

思考が短いのが優秀な証拠です
余裕で正解です

ミニゲーム：土管ゲーム・グラフィック強化版

ちゃんとAgentic動作（関数・ツール呼出し・コンテキストを分離したサブエージェント動作）します

本出しです（ポン出しといってもAgenticですが）
完璧に動作しています。（最後の生成は83 token/s）

ミニゲーム：横スクロール

ポン出しです
オプションから弾が出ていません

ミニゲーム：横スクロールアクション

某横スクロールアクションゲームを作ってという一行プロンプトです（ポン出し）

※ ミニゲームのプロンプトです

まとめ

世界中の期待を裏切らない凄まじい性能でした。現状の30B帯のモデルの中で飛び抜けた性能である事は確実です。最近公開された（NVIDIA）Muse Glimmerはもちろんのこと、（Google）Gemma4 31Bすら足下に及ばないでしょう。

※ ただし、Qwen3.8の日本語性能はかなり悪いです。簡体字を混ぜてしまいます。日本語処理に関してはGemma4 26B/12Bに勝てません。日本語処理ならGemma4が圧倒的です。

MiniMaxにしてもそうですが、ちょっと怖いぐらい中国オープンウェイトAIが独走しすぎですね。

検閲回答性能も格段に向上しています（不自然になりません）

最初のテスト実行でご乱心しましたが、その後は一切不具合を出さず良い結果を出しています。

Denseモデルなので、24GB以上のハイエンドGPUまたは、筆者のようにミドルクラスのGPU×2（24GB〜32GB）を利用しないと実用的に利用できないと思いますが、しばらくはQwen3.8 27Bが性能面で1〜2世代抜け出して独走しそうです。

一般的なゲーミングPCで動作するMoE版や、9B等のより小型のモデルの登場が期待されます。

以下、関連する記事の【PR】です


いいなと思ったら応援しよう！