
Codex MobileからGoogle Colab CLIでT4を操作し、Unsloth公式Qwen3.5-2B VisionのLaTeX OCRを動かした
前回は、Codex MobileからGoogle Colab CLIを操作し、Colab T4上でQwen3.5-4Bの簡易SFTを試しました。
前回の記事はこちらです。
ただ、そのときの結論はかなり渋いものでした。学習経路は通ったものの、応答品質が明確に改善したとは言えませんでした。
そこで今回は、方針を変えました。
Codex MobileからGoogle Colab CLIを操作してT4 GPUを確保する、という導線は前回と同じです。
そのうえで、自作の小さな日本語データセットではなく、Unsloth公式Notebookが実際に使っているVision向けの例を、そのままColab T4で再現します。
対象にしたのは、Qwen3.5-2B Visionの公式Notebookです。
今回試したこと
今回の実験は、スマホ側のCodex Mobileを起点にGoogle Colab CLIを動かし、Colab T4上で手書き数式画像からLaTeXを出力するVision Language ModelのSFTを回す、というものです。
ポイントは2つあります。
操作面: Codex MobileからGoogle Colab CLIを使ってT4セッションを作り、学習を走らせる
学習面: Unsloth公式Qwen3.5-2B Vision NotebookのLaTeX OCRタスクを再現する
使った構成は次の通りです。
操作経路: Codex Mobile -> Google Colab CLI -> Colab T4
実行環境: Google Colab T4
ベースモデル: unsloth/Qwen3.5-2B
データセット: unsloth/LaTeX_OCR
タスク: handwritten math formula image to LaTeX OCR
学習方式: LoRA / SFT
学習ステップ: 30 step
optimizer: adamw_8bit
learning rate: 2e-4
max length: 2048
seed: 3407
学習パラメータは、公式Notebookに載っている設定に合わせました。
前回の4B実験では「経路確認のために短くした自作SFT」でしたが、今回は公式Notebookの流れに寄せています。
データセットは何だったのか
公式Notebookで使われていたのは、LaTeX OCR用の画像データセットです。
データセット行数は68,686件でした。
今回のサンプルは、データセットの3件目にあたる画像です。

この画像に対して、モデルへ次の指示を投げます。
Write the LaTeX representation for this image.期待されるLaTeXは、ざっくり言うと次のような数式です。
H ^ { \prime } = \beta N \int d \lambda \biggl \{ \frac { 1 } { 2 \beta ^ { 2 } N ^ { 2 } } \partial _ { \lambda } \zeta ^ { \dagger } \partial _ { \lambda } \zeta + V ( \lambda ) \zeta ^ { \dagger } \zeta \biggr \} \ .学習前の出力
まず、学習前のモデルに同じ画像を読ませました。
結果はこうです。
$$H ^ { \prime } = \beta N \int d \lambda \left\{ \frac { 1 } { 2 \beta ^ { 2 } N ^ { 2 } } \partial _ { \lambda } \zeta ^ { \dagger } \partial _ { \lambda } \zeta + V ( \lambda ) \zeta ^ { \dagger } \zeta \right\} .$$正直、学習前の時点ですでにかなり読めています。
括弧が \biggl \{ ... \biggr \} ではなく \left\{ ... \right\} になっているなどの差はありますが、数式の中身はほぼ取れています。
これは「SFTで急にできるようになった」というより、ベースのVisionモデルと公式サンプルの相性がすでに良い、という見方が自然です。
学習結果
公式Notebookの設定で30 stepだけ学習しました。
結果は次の通りです。
train runtime: 約382秒
train samples/sec: 0.628
train steps/sec: 0.078
train loss: 0.1703
epoch: 0.0035
学習対象パラメータ: 約2,311万
全体パラメータに対する学習対象比率: 約1.03%
保存されたadapter: 約88MB
T4でも、この規模なら公式Notebookの学習は通ります。
ただし、30 stepなので「汎用的なOCR性能が上がった」とまでは言えません。
ここで確認できたのは、公式Notebookの学習パスがT4で動き、公式サンプルに対して破綻しない出力が返ることです。
学習後の出力
学習後に同じ画像をもう一度読ませると、出力はこうなりました。
H ^ { \prime } = \beta N \int d \lambda \left\{ \frac { 1 } { 2 \beta ^ { 2 } N ^ { 2 } } \partial _ { \lambda } \zeta ^ { \dagger } \partial _ { \lambda } \zeta + V ( \lambda ) \zeta ^ { \dagger } \zeta \right\} .学習前には $$ ... $$ が付いていましたが、学習後はそれが外れました。
LaTeXの中身は、学習前と同じくかなりきれいです。
今回の範囲では、劇的な変化というより「公式サンプルで、学習前後ともにきれいに読めた」と見るのが正確です。
前回の4B実験よりマシだったのか
これは、かなりマシでした。
前回の4B実験では、学習そのものは通ったものの、評価出力に英語の説明文や内部思考っぽい文が混ざり、狙った日本語応答としては不安定でした。
今回はタスクが違います。チャット応答の品質改善ではなく、画像からLaTeXを読むOCRです。
そのため単純比較はできません。
ただ、実験としての手応えは今回の方が明確です。
Codex MobileからGoogle Colab CLIでT4を操作する導線を再利用できた
公式Notebookの対象タスクがはっきりしている
公式データセットをそのまま使っている
入力画像、期待出力、生成出力を比較しやすい
T4で学習が最後まで通った
学習後も出力が崩れなかった
前回は「SFTの経路は通ったが、品質改善はまだ課題」でした。
今回は「公式NotebookのVision SFTは、T4でも再現でき、少なくとも公式サンプルではきれいに動いた」と言えます。
途中で詰まった点
1つだけ、Colabらしい落とし穴がありました。
最初の試行では、公式Notebookの依存関係を入れる前にColab初期状態のPyTorchを読み込んでしまいました。
その後、公式Notebook側の依存関係で別バージョンのPyTorchが入るため、torchvision周りで不整合が起きました。
具体的には、torchvision::nms のoperatorが見つからない、という種類のエラーです。
対処はシンプルでした。
依存関係のインストール前に import torch しない
バージョン確認はimportではなくメタデータで見る
依存関係を入れたあと、必要ならカーネルを再起動する
ColabでNotebookをスクリプト化するときは、ここを雑にすると詰まります。
公式Notebookを「見た目だけ」なぞるのではなく、実行順序も含めて合わせる必要があります。
今回わかったこと
今回の結論は、前回よりかなり前向きです。
Qwen3.5-2B Visionの公式Notebookは、Colab T4でも動きました。
LaTeX OCRの公式サンプルでは、学習前後ともにきれいな数式が出ました。
ただし、これはまだ広い意味での性能評価ではありません。
確認できたのは、次の範囲です。
Codex MobileからGoogle Colab CLIでColab T4を操作する実行導線
公式Notebookの実行経路
公式データセットの読み込み
Vision用会話データへの変換
LoRA / SFTの30 step学習
adapter保存
公式サンプル画像に対する生成結果
一方で、まだ確認していないこともあります。
別サンプルでのOCR精度
学習前後の定量評価
長めの数式や崩れた手書き画像への耐性
2Bと4Bの同一タスクでの比較
adapterを再ロードした別ランタイムでの再現
なので、今回の記事の結論はこうです。
T4で動く公式Unsloth Vision SFTの例としては、Qwen3.5-2B VisionのLaTeX OCRがかなり良い入口でした。
そして前回に続き、Codex MobileからGoogle Colab CLIを操作してGPU実験を進められる、という点も大きな収穫でした。
前回の4BチャットSFTより、結果の見え方はずっと明確です。
次にやるなら、同じLaTeX OCRタスクで複数サンプルを回し、学習前後の差分をもう少し機械的に評価したいところです。
参考リンク
Google Colab CLI
https://github.com/googlecolab/google-colab-cli
Unsloth Notebooks
Qwen3.5 2B Vision 公式Notebook
Qwen3.5 4B Vision 公式Notebook
Unsloth LaTeX OCR dataset
Original LaTeX OCR dataset
https://huggingface.co/datasets/linxy/LaTeX_OCR
#GoogleColab #Unsloth #Qwen #Qwen35 #生成AI #FineTuning #VisionLanguageModel #Codex