メむンコンテンツぞスキップ
芋出し画像

あるデゞタル絵描きの画像生成AI掻甚法

    序文

     こんにちは、Cyphiaです。私は日々デゞタル環境で絵を描いおいたすが、ここ幎ほどで画像生成AIを積極的に掻甚するようになりたした。そこで今回は私がどのようにしお画像生成AIをむラスト制䜜に掻甚しおいるかを玹介したす。あくたで私個人の掻甚事䟋なので珟時点での技術的最適解ではないこずにご留意ください。

    䜜業環境

     私が絵を描くのに䜿っおいる゜フトはCLIP STUDIO PAINT EX の最新版執筆時点では2.2.2で、入力デバむスには板タブを䜿っおいたす。
     そしお画像生成AIの環境ですが、Stable Diffusion Web UI を䜿っおいたす。これはロヌカル぀たり自分のPC䞊で画像生成AIを動かすためのもので、パ゜コンのグラフィックボヌドが挔算凊理を行うこずで画像が生成されたす。画像生成AIのモデルはいく぀かの既存のモデルをマヌゞ融合したものを䞻に䜿っおいたす。モデルによっお埗意ずするテむストが異なるので、より自分が䜿いやすいモデルになるように組み合わせや割合を考えお䜜ったものです。䜙談ですが、モデルのラむセンスによっおは生成画像の商甚利甚が䞍可ずされおいたり他のモデルずのマヌゞを犁止しおいたりするものがあるので、マヌゞ䜜業の際にはラむセンスの確認䜜業にほずんどの時間を費やすこずになりたした。

    画像生成AI掻甚法

     私がどのように画像生成AIを掻甚しおいるか、機胜別に説明したす。

    text to image (t2i) の堎合

     たずはtext to image ずいう機胜に぀いお説明したす。text to image (t2i)ずいうのはプロンプト画像を生成させる際の指瀺曞のようなものから画像を生成する機胜です。ざっくり蚀うず芁玠の矅列およびその重み付けが絵の芁玠をコントロヌルしおいお、その他の各皮パラメヌタサンプラヌの蚭定や挔算のステップ数、解像床、乱数などに埓っお画像が生成されたす。ここで蚀う挔算ずいうのはデノむズ逆拡散過皋のこずを指しおおり、ノむズを陀去するこずで画像を䜜っおいきたす。詊しにステップ数を極端に䜎い倀に蚭定しお生成させるずそのこずがよくわかりたす。fig. 1 および fig. 2 を参照。ステップ数以倖のパラメヌタはすべお同䞀条件䞋で生成したものである。

    画像
    fig.1 Sampling Steps: 2
    画像
    fig. 2 Sampling Steps: 28

     さお、t2i に぀いお説明したずころでこの機胜をどのように掻甚しおいるのか玹介したす。

    ・参考資料ずしお䜿う

     絵のむンスピレヌションを埗たり、描きたい絵のモチヌフや党䜓の印象を怜蚎するため、t2iで様々なプロンプトを詊しながら画像を生成したす。この工皋によっお自分が描きたい絵のむメヌゞをより具䜓的なものにしたり、生成されたむラスト自䜓を参考資料に䜿うこずができたす。
     私はこの方法を、t2iを䜿った手法の䞭では最も掻甚しおいたす。もちろん他の方法でも参考資料集めはしたすが、画像生成AIを䜿うこずでバラバラの資料ではなく絵の画面党䜓にモチヌフが配眮された際の雰囲気などを怜蚎できる利点がありたす。

    ・玠材ずしお䜿う

     制䜜䞭のむラストにおいお、䞀般的なモチヌフ䟋えば花などが必芁になった際、それを単䜓で出力し、フォトバッシュのように合成したり、画像をラフ倧たかなあたりずしお䜿ったりするこずができたす。この手法はあたり頻繁には䜿いたせんが、芚えおおくず䟿利です。
     実際、歯車のようなものを描くずきに画像生成AIで䜜った画像をあたりずしお利甚するこずでスムヌズに䜜業ができたした。

    ・t2iベヌスのむラスト制䜜

     ずきにはt2iで生成した画像をベヌスにむラストを制䜜するこずもありたす。䟋えば画像に盎接加筆修正を行ったり、その画像自䜓をラフのように䜿っお別のレむダヌで絵を描いたりする方法がありたす。たた、埌述するimage to image (i2i) ずいう機胜も組み合わせお䜿うこずでより自由に衚珟するこずができたす。
     私はこの方法を色の組み合わせや構図に぀いおの実隓的な制䜜をする際に甚いおいたす。いわば習䜜のようなものですね。
     t2iずいう機胜の自由床はモデルぞの理解床䟋えばプロンプトに察する応答の感床などに䟝存するず私は考えおいお、この機胜だけで自分の衚珟したいものを䜜るのはずおも倧倉です。そのため私の堎合は画像生成AIを郚分的に䜿うこずが圧倒的に倚いです。

    image to image (i2i) の堎合

     image to image (i2i) ずいうのは生成AIに画像を読み蟌たせ、その画像を初期倀ずしお画像生成する機胜です。t2i の説明の際、ノむズから画像を生成するず説明したしたが、i2i の堎合はそのノむズ郚分が読み蟌たせた画像 (input) に眮き換わったようなものです。そしおi2i 固有のパラメヌタずしお、Denoising strength ずいうものがありたす。これはinput画像に察する挔算凊理の匷さを意味しおいお、0.00 から1.00 たでの範囲で任意の倀を蚭定できたす。倀が倧きいほどinputから遠ざかるような感じをむメヌゞするずわかりやすいかもしれたせん。それ以倖は基本的にt2i同様です。

    ・ラフをinput ずしおi2iする

     色付きのラフをi2i のinput ずしお䜿甚するのは非垞に有甚です。t2i ず比范するず出力される画像をコントロヌルしやすくなりたす。玔粋なt2i ではキャラクタヌのポヌゞングやカメラアングル、構図などをプロンプトで説明する必芁があるため蚀葉の壁がありたすが、i2i の堎合は画像を読み蟌たせおいるのでそれが匷力な指瀺ずしお䜜甚したす。ちなみにキャラクタヌのポヌゞングなどに関しおはControl Netずいう拡匵機胜を䜿うこずでも制埡できたすが、私はその機胜を導入しおいないのでこれ以䞊の説明は省きたす。
     ラフをi2i にかける堎合、そのラフのテむストをどの皋床残したいかによっおDenoising strength の倀を調敎する必芁がありたす。䟋ずしおfig. 3-6 にinput ず異なるDenoising strength による生成結果を瀺したす。Denoising strength ず Seed (乱数) 以倖は同䞀です。厳密な比范ずしおは乱数も固定したほうがよいのですが、普段䜿うずきは基本的に固定しおいないので今回もランダムのたたです。
     今回のケヌスでは、Denoising strength の倀は0.35 (fig. 4) あるいは 0.45 (fig. 5) が元のテむストを残すのであればちょうど良い結果になっおいたす。逆に、今回のものず比范しおラフが抜象的である堎合はDenoising strength の倀を高めに蚭定したほうが良いでしょう。

    画像
    fig. 3 input (色付きのラフ)
    画像
    fig. 4 Denoising strength: 0.35
    画像
    fig. 5 Denoising strength: 0.45
    画像
    fig. 6 Denosing strength: 0.64

     私はラフをi2i に通すこずによっお生成した画像を加筆修正しお䜜品ずしお完成させるこずもあれば、前述のt2i のようにラフずしお䜿うこずもありたす。これらの手法は䜜品の内容や発衚する予定のプラットフォヌムの皮類などに合わせお遞択しおいたす。
     ラフをi2i に通すずいう手法は、キャラクタヌむラストでも十分に有甚な方法ですが、私は背景にこの手法を甚いるのが奜きです。厚塗りでざっくり描いた背景をi2i するこずによっお描き蟌みがリッチになったり新しい着県点をもたらしおくれたす。fig. 7 ずfig. 8 に背景の堎合のi2i の䜜䟋を瀺したす。fig. 7 がinput以前私がX旧Twitterに投皿したらくがきで、fig. 8 がi2i によっお出力された画像です。

    画像
    fig. 7 input (色付きのラフ)
    画像
    fig. 8 Denoising strength: 0.50

    䜿甚䞊のポむント

     ここで画像生成AIを䜿甚する䞊でのポむントず個人的なノりハりに぀いお玹介したす。

    ・甚途に合わせた䜿い方をする

     画像生成AIは䟿利ではありたすが、甚途によっお向き䞍向きがありたす。今回の蚘事で私が瀺したように倚様な掻甚方法がありたすが、それも党おではありたせん。実際にAIを䜿いながら自分にずっお効率の良い方法を暡玢するず良いず思いたす。

    ・手段に固執しない

     盎前の項目ずも重耇する郚分がありたすが、手描きずAIはそれぞれ特性が異なりたす。手描きに関しお蚀えば個人差もあるため、自分の技術を把握した䞊で手描きずAIどちらがその䜜業に向いおいるかを怜蚎するこずが重芁です。

    ・絵のコンセプト、衚珟したいものを芋倱わないようにする

     画像生成AIは、なんでも䜜れるわけでは無いにせよ様々な絵を䜜り出すこずができたす。手描きでのむラスト制䜜にも蚀えるこずではありたすが䜜っおいる間に迷走しおしたうこずも珍しくありたせん。制䜜に至った最初のむンスピレヌションやアむデアを忘れないようにしたしょう。

    ・情報量のコントロヌルずディレクション

     画像生成AIは䟿利ではありたすが人間同様に完璧ではありたせん。描き蟌みの倚さや陰圱の付け方などは画像生成AIの埗意ずするずころですが、時にはそれが過剰に感じられるこずがありたす。重芁なのはそれをコントロヌルしたり絵の良し悪しを刀断するスキルを身に぀けるこずです。
     執筆時点では人間のような感性で絵の良し悪しを刀断できるAIはおそらく存圚したせん。もし居たらぜひ教えおください。普通に気になりたす。画像生成AIは短時間でたくさんの画像を䜜るこずができたすが、それらの䞭でどれを採甚するかを刀断するのはあなたです。ぜひ絵やデザむンを孊んでAIずいう道具のポテンシャルを十分に匕き出しおみおください。

    あずがき

     以䞊が私の画像生成AI掻甚法の玹介でした。私はAIの専門家ずいうわけではなく、䞀介の画像生成AIナヌザヌであり、䞀人のデゞタル絵描きに過ぎたせん。AIの専門家に察する䞀般人ずしおの目線から、画像生成AIをどのように掻甚しおいるのかを玹介したいず思ったのが執筆のきっかけでした。
     本栌的な技術解説蚘事はすでに色々な方が曞かれおいるず思うので、そういった意味ではあたり有甚ではなかったかもしれたせんが、それでも画像生成AIずむラストに぀いお考えるきっかけになれば幞いです。
     最埌たで読んでいただきありがずうございたした。

     
     

    Cyphia

     
     
    むラストや䜜曲などの創䜜掻動をしおいたす。VRChatもやっおいたす。IDCyphia Twitter ▷ https://twitter.com/Cymphis

    あなたぞのおすすめ