
2023年5月|ControlNet Tile 実験記
── X連載の注釈付きアーカイブ
はじめに(本記事の位置づけ)
この記事は、2023年5月に X(旧Twitter)上で公開した
ControlNet Tile を用いた高解像度化・詳細化の連載を、
後年参照できるよう 注釈を付けてアーカイブ化したものです。
当時は理論や用語整理が十分に進んでおらず、
試行錯誤の中で 偶然安定した数値や設定も多く含まれています。
本文は当時の投稿内容を尊重し、
現在の視点からの補足説明のみを注釈として追記しています。
再定義や最適解の提示は行いません。
※本文は当時のままです。
【補足】は現代視点からの補足解説です。
2023年5月時点の前提
VRAM 6GB〜12GB 環境が一般的
Tiled 系 Extension は人柱段階
高解像度化は「壊さずに出るかどうか」が最優先
理屈よりも、
まず落ちないこと、意味が壊れないこと
それが判断基準でした。
用語解説
ControlNet Tile
ControlNetの一種で、画像全体ではなくタイル状に分割した領域ごとに制御をかける方式です。
この連載では、解像度を上げるためというより、
元画像の構図・輪郭・関係性を崩さずに細部を書き足す目的で使用しています。
当時は「構造を固定する」という言語化が十分にされていませんでした。
Tiled Diffusion
画像をタイルに分割して拡散処理を行うことで、
大きな解像度でもメモリ不足を回避しながら生成する手法です。
この連載では、情報量(描き込み量)を増やす手段として使用していますが、意味や印象が壊れやすい性質があるため、ControlNet Tileと併用しています。
Tiled VAE
VAE(画像のエンコード・デコード処理)をタイル分割して行う方式です。
高解像度生成時のメモリ不足回避と、
色飛び・色の薄化を抑える目的で使用しています。
表現を変える技術ではなく、出力を安定させるための補助機構です。
i2i(image to image)
既存の画像を入力として再生成する方式です。
この連載では、新しく描き直すためではなく、
元画像の意味や構図を保ったまま段階的に調整する前提手法として使われています。
X連載アーカイブ(注釈付き)
【1】概論
やってみよう高画質化【1】
— 京野菜 (@kyo8sai_ai) May 27, 2023
(1)
高画質化はAIイラストをしていると、最初に挑戦してみたくなる課題の一つですね。
特に私は、t2i主体でAIartを楽しんでいたので、出来上がった絵が更に描き混まれていく様は驚きでした。https://t.co/qM0F67LlU1
(2)
— 京野菜 (@kyo8sai_ai) May 27, 2023
画像サイズだけ大きくするならば、画像編集ソフトで編集素材のサイズを大きくすれば「とりあえず」はできます。
サイズを縦横2倍にした場合、色の粒が4倍になるだけですので、ぼやけたように見えます。
(わかりやすいように4倍に拡大しています。ぼやけます) pic.twitter.com/96rNHuXouC
(3)
— 京野菜 (@kyo8sai_ai) May 27, 2023
そこで、AIの出番です。
プロンプトから出来上がっているAIイラストは、適切に処理をすれば、より広いキャンバスに新しい表現を継ぎ足していくことが出来ます。
プロンプトがなくても、その輪郭線から全体像を見て、色や模様を再配置することもできます。
(4)
— 京野菜 (@kyo8sai_ai) May 27, 2023
今回は、ControlNetのTiled(CNT)、とTiled Diffusion(TD)を使い高画質化を目指します。
環境は、旧環境GTX1080/6Gでもできた内容です。
軽作業で美しくがモットーです。
作業はRTX3060/12Gなので、同等でないこともあります。
【補足】ControlNet TileとTiled Diffusion
ControlNet Tile は構造の安定化、
Tiled Diffusion は情報量の拡張という性質があります
(チラシの裏)
— 京野菜 (@kyo8sai_ai) May 27, 2023
最近はPhotoShopも再サンプリングをして、より自然な拡大ができますし、AI技術を入れたβ版では描き足したりも出来ますので、これからの進化が楽しみです(末恐ろしいところでもあります)
【2】実技編
(1)
— 京野菜 (@kyo8sai_ai) May 28, 2023
実際に画像とStable Diffusionを使って画像を高画質化していきます。
使う素材は先日UPした「Twins Fashon」の画像。
768x1024で出来ています。
使用機材によっては苦しいときは512x768で作成しても良いと思います。 pic.twitter.com/Q51lijmGau
(2)
— 京野菜 (@kyo8sai_ai) May 28, 2023
まつばさん(@aiart_oekaki)の講座(2)の状態から始めます。
まつばさんはi2i寄りですので、ContrlNet reference-onlyで、ガチャをして構図を決めています。
t2i寄りの方は「当り」の1枚を用意してください。
【補足】i2i
i2i(image to image)とは、既存画像からの変換を指す略語です。
(3)
— 京野菜 (@kyo8sai_ai) May 28, 2023
この時点で、指まわり・所持品などでおなしなところ、修正できる部分はざっくりと修正しておきます。
PhotoShopや先に紹介した「Lama Cleaner」もお手軽です。
足らないパーツをざっくり書いておきます。https://t.co/eZa5Q1n90p pic.twitter.com/XsktJDvLFu
(4)
— 京野菜 (@kyo8sai_ai) May 28, 2023
それではStable Diffusiondを使っていきましょう。
使用する、素画像を「PNG Info」から「image2image(i2i)」へ情報をコピーします。
プロンプト表示最終行の下にある「Send to img2img」ボタンになります。
i2iに、素画像のデータ、プロンプト、画像サイズ、Seed値などがセットされます。 pic.twitter.com/MdriL1WK2z
⚠️注意事項⚠️
— 京野菜 (@kyo8sai_ai) May 28, 2023
ざっくりと修正するときに、原画を使用すると保存するときにExif情報が上書きされてしまい、保存されているプロンプトが消えてしまいます。
バックアップのないプロンプトのときは、必ず複製した画像を修正するようにしましょう。
【3】簡易mixCTN
やってみよう高画質化【3】簡易mixCTN
— 京野菜 (@kyo8sai_ai) May 29, 2023
今回は連載のキモになります。
前回の確認
やってみよう高画質化【2】実技編https://t.co/HB77HtuIpx
【補足】「簡易マージ+CNT」「簡易mix+CNT」という表現について
現在の整理では、モデルマージではなく
構造固定+差分生成に近い挙動です。
当時は適切な名称が存在しませんでした。
(1)2次素材の作成
— 京野菜 (@kyo8sai_ai) May 29, 2023
高画質化する前に必要な道具を揃えます
AOAOKO [PVC Style Model] https://t.co/mtOwg6SVkF @HelloCivitaiより
いつも使っている数種類のモデルを用意して下さい。
ここでは、
・Anything V4
・BreakDomainRealistic
を使います。
(1ー1)
— 京野菜 (@kyo8sai_ai) May 29, 2023
追加で使用するモデルは、1次モデルとは大きく味わいが違う物が良いと思います。
研究の余地があります。
(2)i2iとCNT
— 京野菜 (@kyo8sai_ai) May 29, 2023
(前回)
原画のデータが「PNG info」から「image2image(i2i)」に転送されています。
ControlNetを開いて、「Tile」指定、「Single Image」にも画像を登録します。
i2iとCNに登録することで、画像の生成のぶれを防ぐ目的があります。 pic.twitter.com/3taCJcj7Ob
(2−1)TDとTiled VAE
— 京野菜 (@kyo8sai_ai) May 29, 2023
Tiled Diffusionは使わないのでオフ。
Tiled VAEは「Enable Tiled VAE」ー「✅️」 pic.twitter.com/QzwUsHqlwH
(3)aoaoko
— 京野菜 (@kyo8sai_ai) May 29, 2023
i2iで使用するモデルを「AOAOKO」に変更します。
プロンプト、Seedはあったほうが安定します。
無くても近い画像を出してきますが、全体的にぼやける傾向があります。
画像サイズは、元となる画像と同じにします。
この状態で「Generate」します。 pic.twitter.com/MUywr2tK9X
(4)3次素材の作成
— 京野菜 (@kyo8sai_ai) May 29, 2023
同じポーズで、「AOAOKO」のスタイルでAIイラストができました。
今度はこの「AOAOKO」画像をi2i側に登録します。
CN側は原画のままです。
モデルを「BreakDomainRealistic 」や「Anything V4」に切り替えます。
指定モデルは原画を仕上げたものとは違うものにします。 pic.twitter.com/M6vNhoiEW3
(5)Tiled Diffusion
— 京野菜 (@kyo8sai_ai) May 29, 2023
Tiled Diffusion(TD)を使います。
今回は2倍で生成します。
「Method」ー「MultiDiffusion」
「Upscaler」ー「SwinR_4x」
「Scale Factor」ー「2」 大きくしたいときは2.5
Tile部分はGPUによって違うので各自調整してください。 pic.twitter.com/99F2ikImNp
【補足】Tile サイズと Overlap
タイル境界の破綻を抑えつつ、
処理が落ちない最大値として選ばれていました。
環境依存が大きく、数値自体に普遍性はありません。
(6)Tiled VAE
— 京野菜 (@kyo8sai_ai) May 29, 2023
仕上がりが、2048 x 1536になるので、Tiled VAEも使いましょう。
生成でエラーが出るときは、TDのサイズを変えてみたり倍率を変えてみてください。うまくいく範囲があると思います。
「Fast Encoder Color Fix」ー「✅️」色が薄くなるのを防ぎます pic.twitter.com/oNlhhOrEav
(7)CNT
— 京野菜 (@kyo8sai_ai) May 29, 2023
「tile_resample」「control_v11f1e_sd15_tile」
「Low VRAM」ー「✅️」
「Control Weight」ー「0.7」
「Starting Control Step」ー「0」
「Ending Control Step」ー「1」
Control Weightで「AOAOKO」側からの影響力を調整します。
低いほど影響が出ます。 pic.twitter.com/zWRY5nsiRU
【補足】Control Weight 0.7 について
当時使用していたGPU環境(VRAM制限)と、
元画像の影響を強く残す意図から、
結果的にこの値が最も安定していました。
推奨値ではなく、当時の観測結果です。
(8)Generate
— 京野菜 (@kyo8sai_ai) May 29, 2023
TD2倍で出力します(1536 x 2048)
題材などにより2〜2.5で使っています。
エラーが出るときは、TDのサイズ・倍率 調整などをしてみてください。
CTNも同時に処理されます。
TDは「のっぺら」になる傾向があり、CTNは「細かく」なる傾向があります。 pic.twitter.com/19FQ73lgam
【補足】「細かくなる」と「のっぺり」
ここでの「細かくなる」とは、
情報量が増えることを指しており、
必ずしも絵として良くなることを意味していません。
情報量が意味や印象を上回ると、全体が崩れます。
(9)3次素材完成
— 京野菜 (@kyo8sai_ai) May 29, 2023
ここで、CNTで細かく書き込まれた画像が生成されます。
(1)CNT済
(2)原画
細部が書き込まれたものになりました。 pic.twitter.com/6JVTyu4bCm
(10)4次へいく?
— 京野菜 (@kyo8sai_ai) May 29, 2023
京野菜の画風では、これ以上のCNTは絵の美しさの喪失になるのでほとんど行ないません。
更に続けるときは、出てきた3次画像をCTN側に登録をして、モデルを変えて次にすすみます。
破綻が出たら前に戻る。
これのくり返しになると思います。
【補足】「4次へ行く?」について
ControlNet Tile を重ねるほど情報量は増えますが、
全体の調和や意味が薄れる傾向があります。
当時は「これ以上は美しさを失う」という
感覚的判断で止めていました。
【4】まとめ
やってみよう高画質化【まとめ】
— 京野菜 (@kyo8sai_ai) May 29, 2023
今回の連載はいかがでしたか?
やり方は、まつばさん(@aiart_oekaki)から伝授いただいたものです。
この技術はそのうち思いついて広がるだろうから、まとめて発表したい、との意志をうけてまとめました。
重ねて、まつばさんには尊敬と感謝を申し上げます。 pic.twitter.com/7evicYIq4E
この、「簡易マージ+CTN」の組合せで、生成されるキャラクターは、顔がよく見かける顔では無くなり、個性がでてくるのが特徴です。
— 京野菜 (@kyo8sai_ai) May 29, 2023
モデルのマージでも同じ事ができますが、新しいモデルが出る度にマージする必要があります。
技術・環境の問題もあり、誰でもできるものではありません。
【補足】「簡易マージ+CNT」という表現
現在の整理では、モデルマージではなく、
構造固定と差分生成に近い挙動です。
当時は適切な名称が存在しませんでした。
それを、かなり簡易にマージできるこの方法はスゴイと思っています。
— 京野菜 (@kyo8sai_ai) May 29, 2023
そのうち、このような機能を持ったExtensionが出てくるのかも知れません。
(以下、関係するリンクになります)
背景画像の作り方(まつばさん)
— 京野菜 (@kyo8sai_ai) May 29, 2023
京すけ( @kyousuke_kyouko )さんバージョンhttps://t.co/hju19fj1PZ
まとめ(アーカイブとして)
この記録は、
完成された技術解説ではありません。
理屈よりも現象を優先していた時代
GPUと相談しながら探った安定域
「これ以上やらない」という判断
それらを含めて、
2023年5月という時代の記録です。
現在の環境での再実装や整理については、
別記事で改めてまとめる予定です。