メインコンテンツへスキップ
見出し画像

2023年5月|ControlNet Tile 実験記

    ── X連載の注釈付きアーカイブ

    はじめに(本記事の位置づけ)

    この記事は、2023年5月に X(旧Twitter)上で公開した
    ControlNet Tile を用いた高解像度化・詳細化の連載を、
    後年参照できるよう 注釈を付けてアーカイブ化したものです。

    当時は理論や用語整理が十分に進んでおらず、
    試行錯誤の中で 偶然安定した数値や設定も多く含まれています。

    本文は当時の投稿内容を尊重し、
    現在の視点からの補足説明のみを注釈として追記しています。
    再定義や最適解の提示は行いません。

    ※本文は当時のままです。
    【補足】は現代視点からの補足解説です。


    2023年5月時点の前提

    • VRAM 6GB〜12GB 環境が一般的

    • Tiled 系 Extension は人柱段階

    • 高解像度化は「壊さずに出るかどうか」が最優先

    理屈よりも、
    まず落ちないこと、意味が壊れないこと
    それが判断基準でした。


    用語解説

    ControlNet Tile

    ControlNetの一種で、画像全体ではなくタイル状に分割した領域ごとに制御をかける方式です。
    この連載では、解像度を上げるためというより、
    元画像の構図・輪郭・関係性を崩さずに細部を書き足す目的で使用しています。
    当時は「構造を固定する」という言語化が十分にされていませんでした。


    Tiled Diffusion

    画像をタイルに分割して拡散処理を行うことで、
    大きな解像度でもメモリ不足を回避しながら生成する手法です。
    この連載では、情報量(描き込み量)を増やす手段として使用していますが、意味や印象が壊れやすい性質があるため、ControlNet Tileと併用しています。


    Tiled VAE

    VAE(画像のエンコード・デコード処理)をタイル分割して行う方式です。
    高解像度生成時のメモリ不足回避と、
    色飛び・色の薄化を抑える目的で使用しています。
    表現を変える技術ではなく、出力を安定させるための補助機構です。


    i2i(image to image)

    既存の画像を入力として再生成する方式です。
    この連載では、新しく描き直すためではなく、
    元画像の意味や構図を保ったまま段階的に調整する前提手法として使われています。


    X連載アーカイブ(注釈付き)

    【1】概論

    やってみよう高画質化【1】

    (1)

    高画質化はAIイラストをしていると、最初に挑戦してみたくなる課題の一つですね。

    特に私は、t2i主体でAIartを楽しんでいたので、出来上がった絵が更に描き混まれていく様は驚きでした。https://t.co/qM0F67LlU1

    — 京野菜 (@kyo8sai_ai) May 27, 2023

    (2)
    画像サイズだけ大きくするならば、画像編集ソフトで編集素材のサイズを大きくすれば「とりあえず」はできます。

    サイズを縦横2倍にした場合、色の粒が4倍になるだけですので、ぼやけたように見えます。

    (わかりやすいように4倍に拡大しています。ぼやけます) pic.twitter.com/96rNHuXouC

    — 京野菜 (@kyo8sai_ai) May 27, 2023

    (3)
    そこで、AIの出番です。

    プロンプトから出来上がっているAIイラストは、適切に処理をすれば、より広いキャンバスに新しい表現を継ぎ足していくことが出来ます。

    プロンプトがなくても、その輪郭線から全体像を見て、色や模様を再配置することもできます。

    — 京野菜 (@kyo8sai_ai) May 27, 2023

    (4)
    今回は、ControlNetのTiled(CNT)、とTiled Diffusion(TD)を使い高画質化を目指します。

    環境は、旧環境GTX1080/6Gでもできた内容です。
    軽作業で美しくがモットーです。

    作業はRTX3060/12Gなので、同等でないこともあります。

    — 京野菜 (@kyo8sai_ai) May 27, 2023

    【補足】ControlNet TileとTiled Diffusion

    ControlNet Tile は構造の安定化、
    Tiled Diffusion は情報量の拡張という性質があります

    (チラシの裏)

    最近はPhotoShopも再サンプリングをして、より自然な拡大ができますし、AI技術を入れたβ版では描き足したりも出来ますので、これからの進化が楽しみです(末恐ろしいところでもあります)

    — 京野菜 (@kyo8sai_ai) May 27, 2023

    【2】実技編

    (1)

    実際に画像とStable Diffusionを使って画像を高画質化していきます。

    使う素材は先日UPした「Twins Fashon」の画像。
    768x1024で出来ています。
    使用機材によっては苦しいときは512x768で作成しても良いと思います。 pic.twitter.com/Q51lijmGau

    — 京野菜 (@kyo8sai_ai) May 28, 2023

    (2)

    まつばさん(@aiart_oekaki)の講座(2)の状態から始めます。

    まつばさんはi2i寄りですので、ContrlNet reference-onlyで、ガチャをして構図を決めています。

    t2i寄りの方は「当り」の1枚を用意してください。

    — 京野菜 (@kyo8sai_ai) May 28, 2023

    【補足】i2i

    i2i(image to image)とは、既存画像からの変換を指す略語です。

    (3)

    この時点で、指まわり・所持品などでおなしなところ、修正できる部分はざっくりと修正しておきます。

    PhotoShopや先に紹介した「Lama Cleaner」もお手軽です。
    足らないパーツをざっくり書いておきます。https://t.co/eZa5Q1n90p pic.twitter.com/XsktJDvLFu

    — 京野菜 (@kyo8sai_ai) May 28, 2023

    (4)

    それではStable Diffusiondを使っていきましょう。
    使用する、素画像を「PNG Info」から「image2image(i2i)」へ情報をコピーします。
    プロンプト表示最終行の下にある「Send to img2img」ボタンになります。

    i2iに、素画像のデータ、プロンプト、画像サイズ、Seed値などがセットされます。 pic.twitter.com/MdriL1WK2z

    — 京野菜 (@kyo8sai_ai) May 28, 2023

    ⚠️注意事項⚠️

    ざっくりと修正するときに、原画を使用すると保存するときにExif情報が上書きされてしまい、保存されているプロンプトが消えてしまいます。

    バックアップのないプロンプトのときは、必ず複製した画像を修正するようにしましょう。

    — 京野菜 (@kyo8sai_ai) May 28, 2023

    【3】簡易mixCTN

    やってみよう高画質化【3】簡易mixCTN

    今回は連載のキモになります。

    前回の確認

    やってみよう高画質化【2】実技編https://t.co/HB77HtuIpx

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    【補足】「簡易マージ+CNT」「簡易mix+CNT」という表現について

    現在の整理では、モデルマージではなく
    構造固定+差分生成に近い挙動です。
    当時は適切な名称が存在しませんでした。

    (1)2次素材の作成

    高画質化する前に必要な道具を揃えます

    AOAOKO [PVC Style Model] https://t.co/mtOwg6SVkF @HelloCivitaiより

    いつも使っている数種類のモデルを用意して下さい。

    ここでは、

    ・Anything V4
    ・BreakDomainRealistic

    を使います。

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    (1ー1)

    追加で使用するモデルは、1次モデルとは大きく味わいが違う物が良いと思います。

    研究の余地があります。

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    (2)i2iとCNT

    (前回)
    原画のデータが「PNG info」から「image2image(i2i)」に転送されています。

    ControlNetを開いて、「Tile」指定、「Single Image」にも画像を登録します。

    i2iとCNに登録することで、画像の生成のぶれを防ぐ目的があります。 pic.twitter.com/3taCJcj7Ob

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    (2−1)TDとTiled VAE

    Tiled Diffusionは使わないのでオフ。

    Tiled VAEは「Enable Tiled VAE」ー「✅️」 pic.twitter.com/QzwUsHqlwH

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    (3)aoaoko

    i2iで使用するモデルを「AOAOKO」に変更します。

    プロンプト、Seedはあったほうが安定します。
    無くても近い画像を出してきますが、全体的にぼやける傾向があります。

    画像サイズは、元となる画像と同じにします。

    この状態で「Generate」します。 pic.twitter.com/MUywr2tK9X

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    (4)3次素材の作成

    同じポーズで、「AOAOKO」のスタイルでAIイラストができました。

    今度はこの「AOAOKO」画像をi2i側に登録します。

    CN側は原画のままです。

    モデルを「BreakDomainRealistic 」や「Anything V4」に切り替えます。

    指定モデルは原画を仕上げたものとは違うものにします。 pic.twitter.com/M6vNhoiEW3

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    (5)Tiled Diffusion

    Tiled Diffusion(TD)を使います。
    今回は2倍で生成します。

    「Method」ー「MultiDiffusion」
    「Upscaler」ー「SwinR_4x」
    「Scale Factor」ー「2」 大きくしたいときは2.5

    Tile部分はGPUによって違うので各自調整してください。 pic.twitter.com/99F2ikImNp

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    【補足】Tile サイズと Overlap

    タイル境界の破綻を抑えつつ、
    処理が落ちない最大値として選ばれていました。
    環境依存が大きく、数値自体に普遍性はありません。

    (6)Tiled VAE

    仕上がりが、2048 x 1536になるので、Tiled VAEも使いましょう。

    生成でエラーが出るときは、TDのサイズを変えてみたり倍率を変えてみてください。うまくいく範囲があると思います。

    「Fast Encoder Color Fix」ー「✅️」色が薄くなるのを防ぎます pic.twitter.com/oNlhhOrEav

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    (7)CNT

    「tile_resample」「control_v11f1e_sd15_tile」
    「Low VRAM」ー「✅️」
    「Control Weight」ー「0.7」
    「Starting Control Step」ー「0」
    「Ending Control Step」ー「1」

    Control Weightで「AOAOKO」側からの影響力を調整します。
    低いほど影響が出ます。 pic.twitter.com/zWRY5nsiRU

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    【補足】Control Weight 0.7 について

    当時使用していたGPU環境(VRAM制限)と、
    元画像の影響を強く残す意図から、
    結果的にこの値が最も安定していました。
    推奨値ではなく、当時の観測結果です。

    (8)Generate

    TD2倍で出力します(1536 x 2048)
    題材などにより2〜2.5で使っています。

    エラーが出るときは、TDのサイズ・倍率 調整などをしてみてください。

    CTNも同時に処理されます。

    TDは「のっぺら」になる傾向があり、CTNは「細かく」なる傾向があります。 pic.twitter.com/19FQ73lgam

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    【補足】「細かくなる」と「のっぺり」

    ここでの「細かくなる」とは、
    情報量が増えることを指しており、
    必ずしも絵として良くなることを意味していません。
    情報量が意味や印象を上回ると、全体が崩れます。

    (9)3次素材完成

    ここで、CNTで細かく書き込まれた画像が生成されます。

    (1)CNT済

    (2)原画

    細部が書き込まれたものになりました。 pic.twitter.com/6JVTyu4bCm

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    (10)4次へいく?

    京野菜の画風では、これ以上のCNTは絵の美しさの喪失になるのでほとんど行ないません。

    更に続けるときは、出てきた3次画像をCTN側に登録をして、モデルを変えて次にすすみます。
    破綻が出たら前に戻る。
    これのくり返しになると思います。

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    【補足】「4次へ行く?」について

    ControlNet Tile を重ねるほど情報量は増えますが、
    全体の調和や意味が薄れる傾向があります。
    当時は「これ以上は美しさを失う」という
    感覚的判断で止めていました。


    【4】まとめ

    やってみよう高画質化【まとめ】

    今回の連載はいかがでしたか?

    やり方は、まつばさん(@aiart_oekaki)から伝授いただいたものです。

    この技術はそのうち思いついて広がるだろうから、まとめて発表したい、との意志をうけてまとめました。

    重ねて、まつばさんには尊敬と感謝を申し上げます。 pic.twitter.com/7evicYIq4E

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    この、「簡易マージ+CTN」の組合せで、生成されるキャラクターは、顔がよく見かける顔では無くなり、個性がでてくるのが特徴です。

    モデルのマージでも同じ事ができますが、新しいモデルが出る度にマージする必要があります。
    技術・環境の問題もあり、誰でもできるものではありません。

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    【補足】「簡易マージ+CNT」という表現

    現在の整理では、モデルマージではなく、
    構造固定と差分生成に近い挙動です。
    当時は適切な名称が存在しませんでした。

    それを、かなり簡易にマージできるこの方法はスゴイと思っています。

    そのうち、このような機能を持ったExtensionが出てくるのかも知れません。

    (以下、関係するリンクになります)

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    背景画像の作り方(まつばさん)

     京すけ( @kyousuke_kyouko )さんバージョンhttps://t.co/hju19fj1PZ

    — 京野菜 (@kyo8sai_ai) May 29, 2023

    まとめ(アーカイブとして)

    この記録は、
    完成された技術解説ではありません。

    • 理屈よりも現象を優先していた時代

    • GPUと相談しながら探った安定域

    • 「これ以上やらない」という判断

    それらを含めて、
    2023年5月という時代の記録です。

    現在の環境での再実装や整理については、
    別記事で改めてまとめる予定です。


     
     
    AIの沼鉱脈掘り 京野菜(きょうやさい)といいます。 主にTwitterでAIartを載せています。                       https://linktr.ee/kyo8sai_ai

    あなたへのおすすめ