メインコンテンツへスキップ
見出し画像

雑コラをAIでリアルにする!

    先日公開したアニメ絵の実写版を作る記事はおかげさまで好評でした!

    アニメ絵生成の第二弾に行く前に、アニメ絵実写版生成でも威力を発揮する「雑コラ」をAIでリアルにする手法について今回は説明します。

    実はAIアートグランプリの時も「雑コラ」と言われたりしていたのでしたw

    渚の妖精ぎばさちゃん対キモノアゲハ/koizoom1/漫画@gibasachan

    雑コラに見えるけど
    すごい技術
    登場人物より多いモデル
    これはゆるキャラの未来きたな…#AIArtGp pic.twitter.com/5A4wMUJsND

    — Dr.(Shirai)Hakase #AI神絵師本 #技術書典14 (@o_ob) March 12, 2023

    AIといえばラーメン(?)ですが、こんな画像も作れちゃいます!ラーメンの中にいる秘書さん!

    画像
    ラーメンの中にいる秘書さん

    絵面としては結構インパクトがありますが、実は作るのは全然難しくありません!

    という訳でやり方をば。使っているモデルは全てBRAです。

    どうやって作るのか?

    まずは元絵

    ちなみに元の絵はこれです。

    画像
    AI秘書さん!
    画像
    AIラーメン!

    BRAV4で作った秘書さんと、Stable Diffusion 1.5で作ったラーメン。

    コラージュを作る

    これらを切り貼りして作った画像の切り取り枠にも気を使ってないような雑なコラージュにします。

    画像
    雑なコラージュ!

    コラージュの段階では雑も良いところなんですが、AIのチカラでリアリティがアップするんですよ!

    image2imageでリアリティを


    アニメ絵の実写化の記事で書いたimage2imageがここでも力を発揮しています。

    image2imageについては前回の記事を参考にしてください。

    基本はアニメ絵から実写への変換の時と同じです。

    • 低い強度(0.4〜0.6)でimage2imageを行う

    • プロンプトに画像に出てほしい要素を入れる

    プロンプトはシンプルでOK

    かなりシンプルなプロンプトで実現できます。

    jacket tie girl bottomless smiling eating ramen in giant ramen 32K 8K hdr uhd masterpiece best quality professional highly detailed

    太字部分が画像に出てほしい要素を書いているところ。ジャケット、ネクタイ、女の子、デカいラーメン。

    太字じゃないところはクオリティ用のものでコピぺで付けるお約束のようなものです。

    で、こうやって作ったのが再掲載ですがこちらのラーメン秘書さん!

    画像
    シンプルなプロンプトで実現

    これをプロンプトのみ実現しようとすると結構大変で、生成しまくってその中に良いのがあれば……といういわゆる「ガチャ」をかなりやる必要があるんですよね。

    image2imageを使ってもガチャがなくなる訳じゃないんですが、プロンプトのみに比べると1/10以下になります!

    こんなこともできます!

    そして、雑コラからのimage2imageを使うことでこんなことができるように!


    画像
    巨大秘書さんの通勤!
    画像
    もののけ秘書

    プロンプトのみではほぼ無理な本来とは違うサイズ感の表現が容易になるのです!

    顔が変わることへの対策

    実は雑コラをimage2imageすると低いプロンプト強度であっても、大抵顔が変わってしまいます!

    ネタ画像系なら多少顔が変わっても気にならないですが、いわゆる「うちの子」を出したい時に別人になると微妙ですよね。

    例えばこちらの仕事中の女性2人。

    画像
    とぼけた後輩とクールな先輩

    ここでimage2imageでウェディングドレス姿になってもらうと……。

    画像
    顔まで変わっちゃった!

    そんな時もやはりコラージュで解決ですよ!

    新しい画像に元の顔をコラージュします。この時顔を丁寧に切り抜くのではなく顔より少し大きめに切り取ります。


    画像
    手抜きコラージュ

    このコラージュは四角く切り取っていて流石に手を抜きすぎなんですが、あえてこれでやってみましょう!

    inpaintingを使う

    ここで使うのがinpaintingという機能です。このinpaintingがどういう機能かというと「指定した範囲だけを書き換える」というものなのです。

    各サービスでの使い方です。

    mage.spaceの場合はimage2imageの時と同じ画面に行き、「Custom」のボタンを押します。


    画像
    Customボタンを押すとオレンジ色に

    Customボタンを押して画像の上で指を動かすと、オレンジ色に塗られます。初期設定だとものすごく太いのでこれを「brush size」のスライダーで細くしましょう!


    画像
    細くします!

    コラージュした境目をなぞります。微妙にタッチしているところとズレたところが塗られるので注意!

    画像
    顔には絶対触らないこと!

    このときに顔は触らないようにしてください。触ると書き換え範囲になってしまい、顔が変わってしまいます。

    輪郭に触れても輪郭がちょっと変わってしまったりするんですよ。なので、顔よりも少し大きく切り取る必要があるんです!

    そして書き換えですが、この際のプロンプト強度は実際に出力して値を変えながら試すようにしてください。状況によって低い方が良いこともあれば高い方が良いこともあるからです。

    そうすると……。

    画像
    衣装が変わっても顔が元通りに

    顔が元通りになりました!境目はまだ不自然ですが、これは四角ではなくより丁寧に切り取ったり、境目を再度inpaintingすることで調整します!

    Memeplexでもimage2imageの時と同じく、「絵の編集」から行きます。Memeplexでの絵の編集は正方形のものに限られるところに注意してください。

    画像
    Memeplexでは正方形以外は白で余白が埋まる

    ブラシのサイズはファイル選択の下にあるスライダーで行います。

    画像
    ブラシの太さを決める

    後は何色でも構わないので境目を塗ります。


    画像
    境目を塗る色は何でも良いです

    この後に押すボタンが前回と異なります。下にある「インペインティングとして送信」を押しましょう。また、下の方にある小さいボタンを触っちゃうとリセットされてしまうので押さないように。


    画像
    下のボタンには触らないように

    コラージュを活用することで現実にありえない画像を作ったりがしやすくなります。

    この辺りの手法を使うと芸能人や知り合いを水着姿にしたりとか、さらにはピリオドの向こうに行った姿にしたりも簡単にできますが、訴えられないよう非実在の人でやるように!

    応用編

    これを応用して「潰れた顔を復元する」というのをやってみます!

    現実離れした写真や大人数写真、顔が小さく写った写真では、顔が潰れるということがよくあるんですよね。

    先ほどの例に出したもののけ秘書も、実は最初に作った時は顔が潰れていたりしました!

    画像
    画像の顔部分が荒い!

    そこで、顔部分だけを拡大してimage2imageします。


    画像
    顔部分を拡大

    ついでに顔に入れ墨を入れます!

    画像
    赤で入れ墨箇所を塗って
    画像
    image2imageで高画質に!

    後は先ほどと同じくコラージュをします。

    画像
    コラージュ時点でもあまり境目が気にならない

    そして、境目を消す!

    画像
    完成!

    最初の状態より良くなってますよね!手もまだおかしかったりしますがこれも同じように直して行けます。

    最後に

    AI画像生成では呪文(プロンプト)に注目が集まりますが、image2image、inpaintingともに絶大な威力を発揮するのが理解してもらえたのではないかと思います。

    image2imageは「盗作」的な文脈で語られがちなのですが、適切に使って呪文では超えられない壁をぜひ超えてください!

     
     
    株式会社テセラクト代表取締役。東北のITコミュニティや映画、漫画について情報発信します!

    あなたへのおすすめ