メインコンテンツへスキップ
見出し画像

Codex MobileからGoogle Colab CLIでT4を操作し、Unsloth公式Qwen3.5-2B VisionのLaTeX OCRを動かした

    前回は、Codex MobileからGoogle Colab CLIを操作し、Colab T4上でQwen3.5-4Bの簡易SFTを試しました。

    前回の記事はこちらです。

    ただ、そのときの結論はかなり渋いものでした。学習経路は通ったものの、応答品質が明確に改善したとは言えませんでした。

    そこで今回は、方針を変えました。

    Codex MobileからGoogle Colab CLIを操作してT4 GPUを確保する、という導線は前回と同じです。

    そのうえで、自作の小さな日本語データセットではなく、Unsloth公式Notebookが実際に使っているVision向けの例を、そのままColab T4で再現します。

    対象にしたのは、Qwen3.5-2B Visionの公式Notebookです。

    今回試したこと

    今回の実験は、スマホ側のCodex Mobileを起点にGoogle Colab CLIを動かし、Colab T4上で手書き数式画像からLaTeXを出力するVision Language ModelのSFTを回す、というものです。

    ポイントは2つあります。

    • 操作面: Codex MobileからGoogle Colab CLIを使ってT4セッションを作り、学習を走らせる

    • 学習面: Unsloth公式Qwen3.5-2B Vision NotebookのLaTeX OCRタスクを再現する

    使った構成は次の通りです。

    • 操作経路: Codex Mobile -> Google Colab CLI -> Colab T4

    • 実行環境: Google Colab T4

    • ベースモデル: unsloth/Qwen3.5-2B

    • データセット: unsloth/LaTeX_OCR

    • タスク: handwritten math formula image to LaTeX OCR

    • 学習方式: LoRA / SFT

    • 学習ステップ: 30 step

    • optimizer: adamw_8bit

    • learning rate: 2e-4

    • max length: 2048

    • seed: 3407

    学習パラメータは、公式Notebookに載っている設定に合わせました。

    前回の4B実験では「経路確認のために短くした自作SFT」でしたが、今回は公式Notebookの流れに寄せています。

    データセットは何だったのか

    公式Notebookで使われていたのは、LaTeX OCR用の画像データセットです。

    データセット行数は68,686件でした。

    今回のサンプルは、データセットの3件目にあたる画像です。

    画像

    この画像に対して、モデルへ次の指示を投げます。

    Write the LaTeX representation for this image.

    期待されるLaTeXは、ざっくり言うと次のような数式です。

    H ^ { \prime } = \beta N \int d \lambda \biggl \{ \frac { 1 } { 2 \beta ^ { 2 } N ^ { 2 } } \partial _ { \lambda } \zeta ^ { \dagger } \partial _ { \lambda } \zeta + V ( \lambda ) \zeta ^ { \dagger } \zeta \biggr \} \ .

    学習前の出力

    まず、学習前のモデルに同じ画像を読ませました。

    結果はこうです。

    $$H ^ { \prime } = \beta N \int d \lambda \left\{ \frac { 1 } { 2 \beta ^ { 2 } N ^ { 2 } } \partial _ { \lambda } \zeta ^ { \dagger } \partial _ { \lambda } \zeta + V ( \lambda ) \zeta ^ { \dagger } \zeta \right\} .$$

    正直、学習前の時点ですでにかなり読めています。

    括弧が \biggl \{ ... \biggr \} ではなく \left\{ ... \right\} になっているなどの差はありますが、数式の中身はほぼ取れています。

    これは「SFTで急にできるようになった」というより、ベースのVisionモデルと公式サンプルの相性がすでに良い、という見方が自然です。

    学習結果

    公式Notebookの設定で30 stepだけ学習しました。

    結果は次の通りです。

    • train runtime: 約382秒

    • train samples/sec: 0.628

    • train steps/sec: 0.078

    • train loss: 0.1703

    • epoch: 0.0035

    • 学習対象パラメータ: 約2,311万

    • 全体パラメータに対する学習対象比率: 約1.03%

    • 保存されたadapter: 約88MB

    T4でも、この規模なら公式Notebookの学習は通ります。

    ただし、30 stepなので「汎用的なOCR性能が上がった」とまでは言えません。

    ここで確認できたのは、公式Notebookの学習パスがT4で動き、公式サンプルに対して破綻しない出力が返ることです。

    学習後の出力

    学習後に同じ画像をもう一度読ませると、出力はこうなりました。

    H ^ { \prime } = \beta N \int d \lambda \left\{ \frac { 1 } { 2 \beta ^ { 2 } N ^ { 2 } } \partial _ { \lambda } \zeta ^ { \dagger } \partial _ { \lambda } \zeta + V ( \lambda ) \zeta ^ { \dagger } \zeta \right\} .

    学習前には $$ ... $$ が付いていましたが、学習後はそれが外れました。

    LaTeXの中身は、学習前と同じくかなりきれいです。

    今回の範囲では、劇的な変化というより「公式サンプルで、学習前後ともにきれいに読めた」と見るのが正確です。

    前回の4B実験よりマシだったのか

    これは、かなりマシでした。

    前回の4B実験では、学習そのものは通ったものの、評価出力に英語の説明文や内部思考っぽい文が混ざり、狙った日本語応答としては不安定でした。

    今回はタスクが違います。チャット応答の品質改善ではなく、画像からLaTeXを読むOCRです。

    そのため単純比較はできません。

    ただ、実験としての手応えは今回の方が明確です。

    • Codex MobileからGoogle Colab CLIでT4を操作する導線を再利用できた

    • 公式Notebookの対象タスクがはっきりしている

    • 公式データセットをそのまま使っている

    • 入力画像、期待出力、生成出力を比較しやすい

    • T4で学習が最後まで通った

    • 学習後も出力が崩れなかった

    前回は「SFTの経路は通ったが、品質改善はまだ課題」でした。

    今回は「公式NotebookのVision SFTは、T4でも再現でき、少なくとも公式サンプルではきれいに動いた」と言えます。

    途中で詰まった点

    1つだけ、Colabらしい落とし穴がありました。

    最初の試行では、公式Notebookの依存関係を入れる前にColab初期状態のPyTorchを読み込んでしまいました。

    その後、公式Notebook側の依存関係で別バージョンのPyTorchが入るため、torchvision周りで不整合が起きました。

    具体的には、torchvision::nms のoperatorが見つからない、という種類のエラーです。

    対処はシンプルでした。

    • 依存関係のインストール前に import torch しない

    • バージョン確認はimportではなくメタデータで見る

    • 依存関係を入れたあと、必要ならカーネルを再起動する

    ColabでNotebookをスクリプト化するときは、ここを雑にすると詰まります。

    公式Notebookを「見た目だけ」なぞるのではなく、実行順序も含めて合わせる必要があります。

    今回わかったこと

    今回の結論は、前回よりかなり前向きです。

    Qwen3.5-2B Visionの公式Notebookは、Colab T4でも動きました。

    LaTeX OCRの公式サンプルでは、学習前後ともにきれいな数式が出ました。

    ただし、これはまだ広い意味での性能評価ではありません。

    確認できたのは、次の範囲です。

    • Codex MobileからGoogle Colab CLIでColab T4を操作する実行導線

    • 公式Notebookの実行経路

    • 公式データセットの読み込み

    • Vision用会話データへの変換

    • LoRA / SFTの30 step学習

    • adapter保存

    • 公式サンプル画像に対する生成結果

    一方で、まだ確認していないこともあります。

    • 別サンプルでのOCR精度

    • 学習前後の定量評価

    • 長めの数式や崩れた手書き画像への耐性

    • 2Bと4Bの同一タスクでの比較

    • adapterを再ロードした別ランタイムでの再現

    なので、今回の記事の結論はこうです。

    T4で動く公式Unsloth Vision SFTの例としては、Qwen3.5-2B VisionのLaTeX OCRがかなり良い入口でした。

    そして前回に続き、Codex MobileからGoogle Colab CLIを操作してGPU実験を進められる、という点も大きな収穫でした。

    前回の4BチャットSFTより、結果の見え方はずっと明確です。

    次にやるなら、同じLaTeX OCRタスクで複数サンプルを回し、学習前後の差分をもう少し機械的に評価したいところです。

    参考リンク

    Google Colab CLI

    https://github.com/googlecolab/google-colab-cli

    Unsloth Notebooks

    Qwen3.5 2B Vision 公式Notebook

    Qwen3.5 4B Vision 公式Notebook

    Unsloth LaTeX OCR dataset

    Original LaTeX OCR dataset

    https://huggingface.co/datasets/linxy/LaTeX_OCR

    #GoogleColab #Unsloth #Qwen #Qwen35 #生成AI #FineTuning #VisionLanguageModel #Codex

     
     
    エンジニアの日常を配信します. 画像生成/音楽生成/機械学習/強化学習/深層学習/スポーツAI/資産形成/業務自動化

    あなたへのおすすめ