メインコンテンツへスキップ
見出し画像

【完全攻略】平凡な編集AI「Mage-Flow-Edit」を“最強のエディット神ツール”に覚醒させる方法

    以前の記事で紹介した「Mage-Flow-Edit」。 覚えていらっしゃるでしょうか?

    Turbo版は軽量でとにかく生成スピードが爆速な反面、「編集精度に関しては、巨大なパラメータを持つ他の最新モデルには一歩も二歩も及ばない…」という、ちょっと惜しい評価でした。

    しかし、ここで諦めるのはまだ早い。 実はこのモデル、とんでもない秘められたポテンシャルを持っていたんです。

    結論から言います。 「精度が微妙なら、自分専用の編集LoRAを学習させてしまえばいい」。

    今回は、Mage-Flow-Edit(非蒸留のベースモデル)を最強のピンポイント編集AIへと覚醒させる「LoRA学習のコツ」と、エラーの回避法、さらに実践Tipsと秘技まで余すことなく解説します!


    1. なぜMage-Flow-EditのLoRA学習が“ヤバい”のか?

    画像編集AIの分野において、Mage-Flow-Editが持つ最大の武器は「モデルの小ささと動作の軽さ」です。

    そして、これがLoRA学習において真価を発揮します。

    なんと、1024×1024解像度の画像をControlNet(コントロール画像)付きでAI TOOLKITで80枚の学習させても、VRAM消費量はわずか10GB弱!

    画像

    LoRA学習したことがある方ならこの数字を聞いて「軽いなぁ!」と実感することでしょう。そもそも手持ちのGPUで1024x1024の学習なんて考えたこともありません。ほかの画像生成モデルで同様のエディットLoRAを学習させようとすれば、クラウド環境が必須になります。それがローカルの一般的なGPU環境でサクサク回ってしまう。「手軽に何回でも専用エディットモデルを錬成できる」という点で、既存のどの編集モデルよりも圧倒的に扱いやすいのです。

    「ベースの精度がそこそこ」なら、「特定の編集タスクに特化したLoRA」を載せて精度を100%に引き上げればいい。これが今回の戦略です。

    (後に文字消しLoRAをrank32→16、解像度1024x1024→768x768で17枚学習させたときは12.6GB使用していました。この違いがよくわかっていませんが他のモデルよりVRAM使用量が少ないことに変わりはありません。)

    画像

    2.LoRAを適用して生成してみた

    以前の検証記事で使用した画像を用意し、新しく作成した「画像から文字を消すLoRA」を適用してテストしようとしました。ところが、検証2の画像においては20stepのベースモデルだけで余裕があったようで、LoRAを当てるまでもなく(LoRAなしの状態で)綺麗に文字が消去されました。

    画像

    一見すると問題なさそうですが、ベースモデル(20step)は生成に70秒以上かかり、他のTurbo系モデルの中級パラメータ以上に時間がかかります。これでは実用上のメリットが損なわれてしまいます。

    そこで、重量級のモデルでも消すのが難しいよう、文字を限界まで敷き詰めた「架空のCDジャケット画像」を作成して比較テストを行いました。

    ・架空ジャケットのオリジナル

    画像

    ・ベースモデルで 「remove letters and logos」 で生成した画像

    画像

    あまりに文字やロゴやバーコードなどが多く、途中で削除を諦めている感があります。

    ・ベースモデルに17枚1500ステップ学習させたLoRAを適用して画像生成

    画像

    すべての文字を消し去るまでには至りませんでしたが、LoRAを適用した方が文字やバーコードなどのアイコン類が減りました。シード値によるばらつきはあるものの、全体的にLoRA適用時の方が高く消去できています。

    ・Qwen-image-edit-2511 + 4step LoRA で文字を消した画像

    画像

    mageのベースモデルよりは消せていますがLoRA追加より消せていません。

    ・Flux2.kelein 9B Turbo で文字を消した画像

    画像

    さすがFlux2. 9Bでmage+LoRAより消せているエリアもあります。しかし前回の検証でも言及しましたが、このモデルは顔を再構築してしまっているため、顔の一貫性がありません。AIが得意なオルチャン顔なのでまだ違和感が少ないですが、日本人らしい顔で比較するとかなりの違和感になります。

    これでQwen-image-edit-LoRA 4stepやFlux2 9Bより生成速度の遅いmage-flow-edit ベースモデル+ LoRAにアドバンテージが生まれました。

    背景が調整できていないことやまだ文字を消しきれていないのは時間の都合でLoRA学習は17枚、1500ステップと軽く学習させたので、枚数を増やしステップ数を上げて調整しベストのLoRAを作れば精度は更に上がりそうです。


    3. ControlNetを使ったエディットLoRAの作り方(めちゃくちゃ簡単です)

    「ControlNetを使った学習」と聞くと難しく感じるかもしれませんが、やることはシンプル至極。「ビフォーアフターの画像ペアと、説明文(キャプション)を用意するだけ」です。

    具体的な神ユースケースを2つ紹介します。

    例1:CDジャケットから「文字だけ」を綺麗に消し去るエディット

    今回の検証でも行った「ジャケットの文字消し」。これを100%成功させる専用LoRAを作る手順です。

    1. コントロール画像(ビフォー):文字が入ったCDジャケット画像を用意。

    2. ターゲット画像(アフター):他の生成AI編集やレタッチツールで文字を綺麗サッパリ消した画像を用意。

    3. キャプション設定:

      • コントロール側:remove letters and logos from disc jacket

      • ターゲット側:そのジャケットのデザインに関する簡単な説明文

    これらをペアにして学習させるだけで、「文字消し特化型LoRA」が完成します!

    例2:人物写真を「ブロック玩具風フィギュア」に変換するエディット

    「フィギュア化トレンド」の派生として、今読者にウケそうなのがこれ。人物写真を、積み木調・ブロック玩具風のキャラクターに変換するLoRAです。

    1. コントロール画像(ビフォー):変換したい人物のポートレート写真を用意。

    2. ターゲット画像(アフター):同じポーズ・構図で、ブロック玩具風にレンダリングされた画像を用意(3Dレンダリングツールや他の生成AIで作成)。

    3. キャプション設定:

      • コントロール側:convert portrait to block figure style

      • ターゲット側:blocky toy figure, chunky joints, plastic texture

    これで、ポーズや服装の再現度が高い「ブロックフィギュア変換LoRA」が完成します。SNS映えも狙えるユースケースです。


    4. 【トラブルシューティング】AI TOOLKITでエラーが出た時の対処法

    「AI TOOLKIT」でMage-Flow-EditのLoRA学習を回そうとしたところ……エラーが発生!

    調べてみると、Microsoft公式のリポジトリからモデルファイルが削除(変更)されてしまっていたのが原因でした。

    「終わった…」と思いきや、有志の方がHugging Faceにミラーを残してくれていました!404が出た時には以下の手順で回避できます。

    設定のポイント

    1. AI TOOLKITの New Job パネルを開く。

    2. 作成した2つのデータセットに名前を付けアップロードする

    3. Model の Name or Path を以下に変更する。

    画像

    Mage-Fans/Mage-Flow-Edit-Base 
    あとMage-Flow ではなく、必ず Mage-Flow-Edit を選ぶのが最大のポイント

    • データセットの設定:

      • Target Dataset(学習させたいアフター画像)だけでなく、必ず Control Dataset(ビフォー画像)のパスも指定してください。

    画像

    画像サンプルでは、lettersがアフター、serifuがビフォアーです。

    4.検証用のサンプル出力は2パターンほど設定します。ControlNetに対し、今回の学習データには含めていない「ビフォアー画像」と対応する「キャプション」を指定し、生成時に狙い通りの「アフター画像」へ変換されるかを確認します。なお、LoRA学習を終了するタイミングについても、このAfter画像が適切に生成された段階で判断します。

    画像

    5. 【Tips】実際に経験したこと

    Tip 1:batch size=1にする

    mega側にバグがありbatch size=2にすると、画像サイズのアンマッチのようなエラーが出て停止します。チャッピーなどAIに聞いても画像サイズを何とかしよう、空の画像の対処をしようと間違った方向に進み泥沼に落ちます。VRAMが余っていても残念ですがbatch sizeは1にしましょう。

    Tip 2:コントロール側とターゲット側でキャプションの粒度を揃える

    コントロール側は「何をする指示か」を簡潔に、ターゲット側は「完成イメージの特徴」を具体的に書くと、モデルが変換のロジックを学習しやすくなります。

    Tip 3:データセットは「バリエーション」を意識する

    同じ構図・同じ人物ばかりだと過学習して汎用性が落ちます。角度・照明・背景を少しずつ変えた画像を混ぜることで、実運用での再現性がグッと上がります。

    Tip 4:学習ステップ数は少なめから様子見

    いきなり長時間学習を回すのではなく、まずは少ないステップ数(1000〜2000程度)でサンプル出力を確認し、崩れがないかチェックしてから本番学習に入るのがおすすめです。

    Tip 5:実際の画像生成はTurboじゃないモデルを使う

    ここにあるTurboがついていない通常モデルを使います。STEPは20位、CFG=5が実用的です。T2Iの画像生成ではベースモデルで作成したLoRAをTurbo版に適用してもそれなりに効くのですが、編集では厳しく効果を感じられませんでした。ベースモデル用の4step LoRAでもあればいいのですが。

    画像
    苦手な編集を補完するLoRAなら成功するけど、Mage-flowが学習していないオブジェクトを編集させようとすれば普通のLoRAの何倍もの学習量が必要です。

    5. 【秘技】制限を解き放つ!Text Encoderを「Heretic版」に差し替える方法

    Mage-Flow-Editは標準で「Qwen3-VL」という強力なテキストエンコーダーを採用していますが、標準版はプロンプトの記述によって表現の融通が利かないケースがあります。

    これを、表現の制限が解除されたカスタム版「DreamFast/Qwen3-VL-4b-Heretic」に丸ごと差し替えてしまうのも一つの手です。

    AI TOOLKITのコード構造上、設定ファイルからの指定が効かない仕様になっているため、「キャッシュフォルダへの直接上書き」という裏技を使います。

    手順

    1. ターミナル(コマンドプロンプト)を開き、hf コマンドでHeretic版をダウンロードします。

      1. DOS窓

    hf download DreamFast/Qwen3-VL-4b-Heretic
    • ダウンロードされたファイル群(config.jsonや .safetensors 等)をすべてコピーします。

    • 以下の Hugging Face キャッシュフォルダ内にある text_encoder フォルダを開き、中身をそのまま上書き貼り付けします!

    C:\Users\<ユーザー名>\.cache\huggingface\hub\models--Mage-Fans--Mage-Flow-Edit-Base\snapshots\<ハッシュ文字列>\text_encoder

    • 最後に、データセットフォルダ(datasets/xxx)内に過去のテキストキャッシュ(.pt や .npz)が残っている場合は削除して、学習を再実行します。

    これだけで、内部のText Encoderが完全にHeretic版へとすり替わり、どんな複雑・特殊な命令プロンプトもストレートに解釈してくれる「超絶自由なモデル」へと変貌します!


    まとめ:軽量モデル×専用LoRA=最強の画像編集環境

    「単体では精度がイマイチな軽量モデル」でも、ControlNet付きLoRA学習という強力な武器と組み合わせることで、巨額のVRAMを要する大爆重モデルすら凌駕する「自分専用の神エディットツール」へと昇華させることができます。

    ぜひ自分だけの「特化型エディットLoRA」を錬成してみてください!

     
     
    旧「退職しよう」のAI記事だけこちらで書こうかなと。ローカルGPUで動くAIだけをいじっているので、オンラインサービスには疎いです。

    あなたへのおすすめ