メインコンテンツへスキップ
見出し画像
Photo bydreamy_hare2318

【AIイラストLoRA作成】1000枚超のキャラクターシートを自動で切り抜き・アップスケール・キャプション生成する方法

    🤔 < muse aiってどのくらい優秀なんでしょう?
    画像ファイルの切り抜きとアップスケールをお願いしたいんですけど...。


    ✧ Muse AI( Meta の「Muse Image」や各種のエディターアプリ系サービスなど)は、テキスト指示による画像編集やスタイル変換、複数の画像を参照した合成(テキスト追加やオブジェクト修正など)において非常に高い直感性と生成能力を持っています。

    ただし、具体的な作業内容(切り抜き・アップスケール)に関しては、得意な分野と苦手な分野がはっきり分かれます。

    Muse AIの得意・苦手

    • 透過切り抜き(背景除去)

      • 苦手 〜 標準的: 人物や被写体の切り抜き自体はできますが、アルファチャンネル(背景透過PNG)として正確にエッジを抜く作業は、専用の背景消去 AI(RembgやClipdrop、Photoshopの被写体選択など)に比べると、余計な描画が加わるなど精度が不安定な傾向があります。

    • アップスケール(高画質化・拡大)

      • 得意: ディテールを描き足しながら拡大する処理( 2K / 4K 化など)は強力ですが、AI特有の「元画像にない細部を勝手に創作・補完する(再生成する)」性質が強く出やすい傾向があります。

    実践的な使い分けのアドバイス

    もし「元の画像(テクスチャや輪郭、キャラクターの整合性)を一切崩さずに綺麗に処理したい」という用途であれば、以下のような専用ツールを組み合わせるほうが圧倒的に確実で高品質な結果が得られます。

    画像

    テキストプロンプトで「背景を消して」や「高画質化して」とざっくり指示したいだけであればMuse AIでも手軽に使えますが、精密なコントロールや素材としての正確さを求める場合には、切り抜き・拡大それぞれに特化したモデルやローカル / 専用ツールに任せるのが安全です。


    😶 < なるほど。
    具体的に言うと、1枚の画像内に複数の同一キャラクターが異なるポーズで描かれたイラストが、キャラクター別に分けられたフォルダに大量(1000枚以上)にあるのですが、これを1ポーズずつ切り抜いて必要に応じてアップスケールしたうえで別ファイルとして保存、のようにしたいんです。
    人の手でやるとしたら年を越してしまうので、おすすめで無料のAIアプリを探しているんです。


    1000 枚以上もの画像を「1 ポーズずつのクロップ(自動分割)」 + 「一括アップスケール」する場合、単一のクラウドWebアプリだけで全自動・完全無料で行うのは利用制限(枚数上限や有料壁)にかかりやすいです。

    そのため、
    「① AIによる自動ポーズ・被写体検出クロップ」
    「② AIローカルアップスケール」
    を専門ツールで切り分けて、自動バッチ処理パイプライン
    を組むのが、高速かつ完全無料で年内に終わらせる(数時間 〜 数日で完了する)最も確実なアプローチです。

    以下に、完全無料でローカル PC(またはPython script)で大量処理を完了できる最適ツールと組み合わせを解説します。

    おすすめの組み合わせ構成

    1. ポーズ・キャラ切り抜き: YOLOv8 / SAM ( Segment Anything Model ) などの物体検出スクリプト、または ImageMagick + OpenCV

    2. 高精度アップスケール: Upscayl(デスクトップアプリ)または Real-ESRGAN NCNN(コマンドライン)

    パイプラインの手順・ツール詳細

    STEP 1:1枚のイラストから「各ポーズ」を自動検出して分割クロップ

    1つの画像に複数ポーズが並んでいるイラストから各要素を自動認識して別々に切り出す場合、通常の「背景消去ツール」ではなく「バウンディングボックス(物体検出)による切り出し」が必要です。

    • 手法A:Python + YOLOv8 または Segment Anything Model (SAM)

      • 特徴: AI が人物やイラストのオブジェクト領域を自動で検知し、検出された領域ごとにクロップして保存するスクリプトを組む方法です。

      • 処理速度: GPU(CUDA)が使える環境であれば、1000枚の画像から数千〜万単位のポーズを数分〜数十分で一括自動抽出できます。

      • 環境: Python環境(Google Colabの無料枠でも一発で実行可能)

    • 手法B:ImageMagick / OpenCV(輪郭・余白判定による自動クロップ)

      • 特徴: キャラクター同士の間隔(白背景や単色背景)がはっきり開いているイラストシートの場合、AI検出を使わずとも「Connected Components(連結成分解析)」で自動分割が可能です。

    STEP 2:切り出した各画像をバッチ(一括)アップスケール

    切り出した大量の個別ポーズ画像を、品質を落とさずに超高画質化・アップスケールします。

    • ツール1:Upscayl(PCデスクトップアプリ / Win・Mac対応)

      • 特徴: 完全無料・オープンソースの強力なAIアップスケーラー。

      • バッチ処理: フォルダごとドラッグ&ドロップして「Batch Upscale」を実行するだけで、数千枚のクロップ済み画像をバックグラウンドで一括超高解像度化(2x/4x)できます。

      • 推奨モデル: アニメ・イラスト向けなら digital-art または realesr-animevideov3 を選択すると、破綻を防ぎながら綺麗に拡大可能です。

    • ツール2:Real-ESRGAN-ncnn-vulkan(ポータブル実行ファイル)

      • 特徴: インストール不要のコマンドラインツール。

      • 特徴: realesrgan-ncnn-vulkan.exe -i ./input_crop_folder -o ./output_upscale_folder -n realesr-animevideov3 などのコマンド1本で、フォルダ内の全画像を高速一括アップスケールできます。

    処理の流れイメージ

    [ 元画像1000枚 (複数ポーズ入り) ]
               │
               ▼ (STEP 1: YOLOv8 / SAM / 画像分割スクリプト)
               │
    [ 切り出し済み個別ポーズ画像 (数千枚) ]
               │
               ▼ (STEP 2: Upscayl または Real-ESRGAN のバッチ処理)
               │
    [ 高画質化・拡大済み個別ファイル (完成) ]

    手動でトリミングを行うと膨大な時間がかかりますが、この構成であればPCを数時間動かすだけで全行程が全自動で完了します。


    😊 < GoogleColab でも使えるのは嬉しいですね!
    Upscayl でしたらデスクトップアプリとして入手しているので、役割分担ができそうです。
    GoogleColab で自動クロップするためには、どうしたら良いですか?


    Google Colab(無料枠・GPU利用)を利用して、1枚の画像に複数描かれているポーズやキャラクターをAIに自動検知させ、1枚ずつ綺麗にクロップ(切り出し)してGoogleドライブにZIP保存する実践的なPythonスクリプトをご用意しました。

    物体検出用のディープラーニングモデル( YOLOv8 など)を使う方法もありますが、イラストのレイアウト(背景が白/透明など)や「1枚の画像に複数のキャラクターがバラバラに散らばっている状態」に最も柔軟に対応できるのは、「二値化と輪郭検出(OpenCVのコンポーネント解析)」か、汎用性の高い「YOLOv8(Ultralytics)」による人物・キャラクター検出です。

    ここでは、イラストシートの切り出しに一番失敗が少なく、モデルのダウンロードが不要ですぐに動かせる「OpenCVを使った輪郭自動検出・クロップスクリプト」をご紹介します。
    余白(白背景や透過)で綺麗に区切られているモデルシートならば、これでバッチ処理が可能です。

    Google Colab用 自動クロップスクリプト

    Google Colabノートブックに以下のコードを貼り付けて実行してください。
    Googleドライブ上のフォルダから画像を読み込み、切り出したポーズ画像を1枚ずつ保存し、最後にZIP形式で一括ダウンロードできます。

    [Python]
    
    # 1. Googleドライブのマウント
    from google.colab import drive
    import os
    import cv2
    import numpy as np
    from PIL import Image
    import glob
    
    drive.mount('/content/drive')
    
    # --- 設定項目(ご自身の環境に合わせてパスを変更してください) ---
    INPUT_DIR = '/content/drive/MyDrive/dataset_raw'   # 元画像が入っているGoogleドライブのフォルダ
    OUTPUT_DIR = '/content/drive/MyDrive/dataset_cropped' # 切り出し画像を保存するフォルダ
    os.makedirs(OUTPUT_DIR, exist_ok=True)
    
    # 2. 自動クロップ処理の実行
    def auto_crop_poses(input_dir, output_dir, margin=15):
        image_paths = glob.glob(os.path.join(input_dir, '*.*'))
        print(f"対象画像数: {len(image_paths)}枚")
        
        count = 0
        for img_path in image_paths:
            filename = os.path.splitext(os.path.basename(img_path))[0]
            
            # 画像読み込み(日本語パス対応のためimdecodeを使用)
            img_array = np.fromfile(img_path, np.uint8)
            img = cv2.imdecode(img_array, cv2.IMREAD_UNCHANGED)
            if img is None:
                continue
                
            # アルファチャンネル(透過)がある場合の処理
            if img.shape[2] == 4:
                # 透過部分を除外したマスク作成
                alpha = img[:, :, 3]
                _, thresh = cv2.threshold(alpha, 10, 255, cv2.THRESH_BINARY)
            else:
                # グレースケール化して白背景(250以上)を前提に反転マスク作成
                gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
                _, thresh = cv2.threshold(gray, 245, 255, cv2.THRESH_BINARY_INV)
                
            # 輪郭検出
            contours, _ = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
            
            h_orig, w_orig = img.shape[:2]
            
            for i, cnt in enumerate(contours):
                x, y, w, h = cv2.boundingRect(cnt)
                
                # ノイズ(小さすぎる領域や、画像全体の大部分を占める誤検出)をスキップ
                if w < 50 or h < 50 or (w * h) < (w_orig * h_orig * 0.005):
                    continue
                    
                # マージン(余白)の付与
                x_m = max(0, x - margin)
                y_m = max(0, y - margin)
                w_m = min(w_orig - x_m, w + (margin * 2))
                h_m = min(h_orig - y_m, h + (margin * 2))
                
                # クロップ画像の切り出し
                cropped = img[y_m:y_m+h_m, x_m:x_m+w_m]
                
                # 保存ファイル名
                out_path = os.path.join(output_dir, f"{filename}_pose_{count:04d}.png")
                
                # 保存
                is_success, encoded_img = cv2.imencode('.png', cropped)
                if is_success:
                    with open(out_path, 'f' if False else 'wb') as f:
                        f.write(encoded_img)
                count += 1
                
        print(f"処理完了! 合計 {count} 枚のポーズ画像を切り出しました。")
    
    # 実行
    auto_crop_poses(INPUT_DIR, OUTPUT_DIR)
    

    スクリプトのポイントと運用フロー

    1. 事前準備:
      Googleドライブに適当なフォルダ(例: dataset_raw)を作成し、そこに複数ポーズ入りの画像1000枚をアップロードしておきます。

    2. 自動判定:
      背景が白、または透明な PNG であれば、OpenCV がキャラクターの塊(輪郭)を自動認識して、それぞれを矩形(バウンディングボックス)で囲んで個別の画像ファイルとして切り出します。

    3. ノイズ除外:
      小さすぎるゴミや線画の端切れ(50px未満など)は自動的に無視されるため、きれいにポーズ単位のファイルだけが dataset_cropped フォルダに溜まっていきます。

    4. Upscaylへの連携:
      Colab上で切り出しが終わったら、Googleドライブから切り出された画像フォルダごと手元PCへダウンロード(またはGoogleドライブと同期)、その後で Upscayl のバッチ処理に流し込めば完璧なパイプラインが完成します。


    😮 < へえぇ!
    あらかじめ背景は白か透過で作ってあるので、これで行けそうですね。


    背景が白か透過で整理されているのであれば、先ほどのOpenCVの輪郭検出スクリプトで非常に綺麗に、かつ高速に切り出すことができます。
    余計なAIモデルのロードや重いセットアップも不要なので、1000 枚の大量処理にもストレスなく対応可能です。

    Google Colab で実行する際、もし数が多いと Colab のランタイムが途中で切れてしまうことがあるため、100枚〜200枚ずつフォルダを分けて処理するか、処理状況ログを確認しながら進めるのがスムーズにいかせるコツです。

    モデルシートからの切り出しが完了してUpscaylでの一括高画質化(バッチ処理)まで終われば、いよいよLoRA用の高品質な学習データセットの土台が整いますね。


    😶 < ふむ。
    キャプション付けですが、実写系ではシンプルな(写っているものやシチュエーションのみで、姿勢やポーズは述べない)キャプションにしたところ、柔軟で破綻も少ないLoRAに育ったんです。
    イラスト系も同じ方向性で良いでしょうか。


    イラスト系のLoRA学習におけるキャプション付け(タグ付け)も、基本的なアプローチ(概念の切り分け)は実写系と同じで問題ありません。
    ただし、イラスト特有の「描画スタイル」や「ポーズの自由度」を制御するために、いくつか留意しておきたい重要な違いがあります。

    1. 「ポーズや姿勢をあえて書かない」アプローチのメリットと注意点

    実写系と同様にポーズや姿勢をキャプションから敢えて外すと、生成時に「プロンプトの指示に対するポーズの追従性が非常に高く(自由度が広く)なる」という大きなメリットが得られます。

    • メリット:
      LoRAに特定のポーズが固着(過学習)しにくくなり、さまざまなポーズ指示に柔軟に応答するようになります。

    • 注意点:
      データセットが「1枚の画像に複数の異なるポーズ(イラストシート)」から切り出した大量の単体ポーズ群である場合、ポーズタグを完全に省くと、モデルが「キャラクター固定デザイン」と「頻出する特定ポーズ」を混同して学習してしまうリスクがあります。

    2. イラスト系LoRAにおけるキャプション作法の使い分け

    イラスト学習では、LoRAに「何を学習させたいか(キャラクター / ポーズ / スタイル)」によってキャプションの記述範囲を以下のように調整するのが最も失敗がありません。

    画像

    💡 イラスト系での重要ポイント:
    WD14 Taggerなどの自動キャプショナーを使用する場合、ポーズ関連のタグ(standing, looking at viewer, holding... など)も自動抽出されます。

    • キャラクターLoRAを作る場合: ポーズタグを残しておいた方が、「特定ポーズのクセ」がキャラ自体に固着せず、生成時にプロンプトでポーズを変えやすくなります。

    • 衣装やデザインの再現性を最優先にする場合: ポーズタグを除外・削減し、デザイン要素のみにフォーカスさせる実写風スタイルが有効です。

    3. おすすめの実践手順

    まずは、 WD14 Tagger 等で自動抽出されたデフォルトのタグ構成(ポーズ込み)で一度ベースを作成して、以下のように比較・調整するのが最も安全です。

    1. 基本: WD14 Taggerで全自動タグ付け(キャラクター名や特定の固有名詞タグを追加)。

    2. 検証: 生成時に「ポーズの指示が通りにくい」「特定ポーズばかり出る」と感じた場合のみ、ポーズ系タグを除外して再学習する。


    🤔 < Google Colab上でWD14 Tagger等を使用して、切り出した大量の画像に一括でキャプションファイル(.txt)を生成するスクリプトと手順を教えてください。


    Google Colab上で、切り出し済みの大量の画像に対しWD14 Taggerを使って一括でキャプションファイル(同名の .txt)を生成する自動化スクリプトと手順をご案内します。

    TagGUIなどのUIを起動せずに、Pythonスクリプトから直接WD14 Taggerのモデル(ONNX版)を呼び出して処理するため動作が軽く、何千枚もの画像であっても高速に処理が完了します。

    処理の全体手順

    1. 必要ライブラリのインストール(ONNX Runtime / Hugging Face Hub / PIL等)

    2. モデル・ラベルの自動ダウンロード(WD14 v2 Swinv2 モデルを使用)

    3. 画像フォルダを一括スキャンしてキャプション(.txt)を出力

    Google Colab用 自動タグ付けスクリプト

    以下のコードをColabのセルに貼り付けて実行してください。

    [Python]
    
    # 1. 必要なライブラリのインストール
    !pip install -q onnxruntime-gpu huggingface_hub pillow numpy tqdm
    
    import os
    import glob
    import numpy as np
    from PIL import Image
    from tqdm import tqdm
    import onnxruntime as ort
    from huggingface_hub import hf_hub_download
    from google.colab import drive
    
    # Googleドライブのマウント
    drive.mount('/content/drive')
    
    # --- 設定項目 ---
    # 切り出した画像が入っているGoogleドライブのフォルダパス
    IMAGE_DIR = '/content/drive/MyDrive/dataset_cropped'
    
    # 出力するタグの信頼度スレッショルド(0.35〜0.40程度が標準)
    THRESHOLD = 0.35
    
    # ----------------
    
    # 2. WD14 Tagger (SwinV2) モデルとラベルのダウンロード
    MODEL_REPO = "SmilingWolf/wd-v1-4-swinv2-tagger-v2"
    model_path = hf_hub_download(repo_id=MODEL_REPO, filename="model.onnx")
    csv_path = hf_hub_download(repo_id=MODEL_REPO, filename="selected_tags.csv")
    
    # ラベル(タグ)リストの読み込み
    import pandas as pd
    df = pd.read_csv(csv_path)
    # category: 0=general, 4=character, 9=rating など
    general_tags = df['name'].tolist()
    
    # ONNX Runtime セッションの準備 (GPU優先)
    providers = ['CUDAExecutionProvider', 'CPUExecutionProvider']
    session = ort.InferenceSession(model_path, providers=providers)
    input_name = session.get_inputs()[0].name
    
    # 画像の前処理関数 (448x448リサイズ & BGR変換)
    def preprocess_image(image_path, target_size=448):
        img = Image.open(image_path).convert('RGB')
        
        # アスペクト比を維持したパディングリサイズ
        img.thumbnail((target_size, target_size), Image.BICUBIC)
        pad_img = Image.new('RGB', (target_size, target_size), (255, 255, 255))
        pad_img.paste(img, ((target_size - img.width) // 2, (target_size - img.height) // 2))
        
        # PIL(RGB) -> NumPy(BGR) への変換
        img_array = np.array(pad_img, dtype=np.float32)[:, :, ::-1]
        img_array = np.expand_dims(img_array, axis=0)
        return img_array
    
    # 3. バッチ自動タグ付けの実行
    image_paths = glob.glob(os.path.join(IMAGE_DIR, '*.[pP][nN][gG]')) + \
                  glob.glob(os.path.join(IMAGE_DIR, '*.[jJ][pP][gG]')) + \
                  glob.glob(os.path.join(IMAGE_DIR, '*.[jJ][pP][eE][gG]'))
    
    print(f"処理対象画像: {len(image_paths)} 枚")
    
    for img_path in tqdm(image_paths):
        txt_path = os.path.splitext(img_path)[0] + '.txt'
        
        # すでに.txtが存在する場合はスキップ(再実行時の時短用)
        if os.path.exists(txt_path):
            continue
            
        try:
            input_tensor = preprocess_image(img_path)
            outputs = session.run(None, {input_name: input_tensor})[0][0]
            
            # 設定したThreshold以上の確率を持つタグを抽出
            fetched_tags = []
            for i, prob in enumerate(outputs):
                # 一般タグ(general)のみを対象にし、レーティングやキャラ名は除外
                if prob >= THRESHOLD and df.iloc[i]['category'] == 0:
                    tag_name = general_tags[i].replace('_', ' ')
                    fetched_tags.append(tag_name)
                    
            # カンマ区切りのテキストとして保存
            caption_text = ", ".join(fetched_tags)
            with open(txt_path, 'w', encoding='utf-8') as f:
                f.write(caption_text)
                
        except Exception as e:
            print(f"エラー ({os.path.basename(img_path)}): {e}")
    
    print("\n全画像のキャプション生成が完了しました!")
    

    スクリプトの仕様とポイント

    • 自動で同一フォルダへ保存:
      画像と同じフォルダ(IMAGE_DIR)内に、画像のファイル名と一対一で対応する .txt ファイル(例: pose_0001.png に対する pose_0001.txt)が自動生成されます。

    • アンダースコアの自動変換:
      WD14が出力する looking_at_viewer などのアンダースコア表記を、Kohya_ss 等の学習スクリプトで標準的なスペース区切りへ自動変換して書き出します。

    • 中断・再開に対応:
      途中でGoogle Colabの接続が切れても、既に .txt が存在する画像は自動的にスキップされるため、セルを再実行するだけで続きから処理を再開できます。


    😊 < 大量に生成したモデルシートから自動クロップしてアップスケール、更にはLoRA学習用のタグ付けまで自動化できるだなんて夢のようです。
    完全自動!とまではいかないものの、ステップごとに私のチェックを入れることができるのは、むしろ好都合ですね。
    いずれ、この手順を実戦形式でお伝えできれば、と考えています。

    【 関連記事 】

     
     
    完全無料でAI画像生成を楽しむことに全力を尽くす者です。画像生成するうえで習得した知見やLoRA育成に役立つかもしれない四方山話をCopiloさん、Grokさん、Geminiさんと繰り広げています。アイコンは生成したウチの娘「東郷 文音(とうごう あやね)」です。お見知り置きを!

    あなたへのおすすめ