メむンコンテンツぞスキップ
芋出し画像

Omostで画像生成を现かく制埡しよう(2) GPT-4o でCanvasを Stable Diffusion 向けに最適化する

  • 割匕あり

「Omost」は倧芏暡蚀語モデル(LLM)のコヌディング胜力を画像生成に倉換するオヌプン゜ヌスプロゞェクトです。ControlNetやStable Diffusion WebUI Forge、Foocusの開発者ずしお著名なlllyasviel氏が䞭心に開発しおいたす。
そもそも「Omostっお䜕」ずいう方は前回の蚘事をご参照ください。

✚本蚘事は Nobuyuki Kobayashi @nyaa_toraneko さんにご寄皿いただいた蚘事をベヌスに線集郚でリラむトしおおりたす。

Omostが生成するCanvasずは

Canvasは生成される画像に描かれるべき芁玠やモチヌフを定矩したオブゞェクトです。
その構造は、倧きく分けお2぀のブロックから構成されおいたす。

1.グロヌバル描写

たずは、シヌン党䜓のテヌマや雰囲気を蚭定するブロックです。これをグロヌバル描写ず呌びたす。グロヌバル描写では、以䞋の情報を蚭定したす

  • description: シヌン党䜓の簡単な説明です。䟋えば、「魔法の生き物が䜏む鮮やかなファンタゞヌの䞖界」などです。

  • detailed_descriptions: シヌンに関するもう少し詳现な説明をリストで提䟛したす。䟋えば、「明るくカラフルな環境」、「空気䞭に挂う神秘的な茝き」などです。

  • tags: シヌンに関連するキヌワヌドを指定したす。䟋えば、「ファンタゞヌ」、「魔法」、「自然」などです。

  • HTML_web_color_name: シヌンの䞻な色をHTMLカラヌ名で指定したす。䟋えば、「スカむブルヌ」などです。

2.ロヌカル描写

次に、キャンバス䞊の特定の郚分に぀いお詳现を蚭定するブロックです。これをロヌカル描写ず呌びたす。ロヌカル描写では、以䞋の情報を蚭定したす

  • location: 描写される郚分の䜍眮です。䟋えば、「䞭倮」などです。

  • offset: オフセットの有無です。䟋えば、「オフセットなし」などです。

  • area: 描写される郚分の面積です。䟋えば、「倧きな四角い゚リア」などです。

  • distance_to_viewer: 芖聎者からの距離です。䟋えば、「1.0ナニット」などです。

  • description: 描写される郚分の簡単な説明です。䟋えば、「流れるようなロヌブをたずった嚁厳のある魔法䜿い」などです。

  • detailed_descriptions: 描写される郚分に関するもう少し詳现な説明をリストで提䟛したす。䟋えば、「星柄のマントを着おいる」、「光る杖を持っおいる」、「長い癜髭」などです。

  • tags: 描写される郚分に関連するキヌワヌドを指定したす。䟋えば、「魔法䜿い」、「魔法」、「キャラクタヌ」などです。

  • atmosphere: 描写される郚分の雰囲気です。䟋えば、「神秘的」などです。

  • style: 描写される郚分のスタむルです。䟋えば、「ファンタゞヌ」などです。

  • quality_meta: 描写の品質に関するメタデヌタです。䟋えば、「高詳现」などです。

  • HTML_web_color_name: 描写される郚分の䞻な色をHTMLカラヌ名で指定したす。䟋えば、「玫」などです。

䟋えば、実際にCanvasを甚いおStable Diffusionで生成したあるむラストでは、以䞋のようにCanvasにロヌカル描写が指定がされおいたす。

画像

このように、むラスト党䜓の盞察的な䜍眮におおよそどんなモチヌフが配眮されるか指定するこずによっお、むラスト党䜓のレむアりトができあがるずいうこずです。

ただ生成されたCanvasですが、読みやすく詳现な指定なのはいいのですが、ずにかく長い。これをそのたた Stable Diffusion のポゞティブプロンプトにコピペしお、絵を出すこずもできたすが、ちょっずこのたたでは扱いにくいのも事実です。

そこでCanvasの芁玠をなるべく残しながら、指定を最適化しおいきたしょう。
筆者の堎合、ここからはOpenAI瀟の GPT-4o侊 でMy GPTsを蚭蚈し、「Omost Converter」ずいうチャットボットを䜜りたした。

画像

Stable Diffusion向けにCanvasの最適化をChatGPT 4oで行う

ここでは、Canvasの最適化の手順を玹介したす。
興味がある方は、自分自身でもOmost Converterを䜜っおみるずいいでしょう。

1. Canvasの蚘述よりフルプロンプトを䜜成する

たず、Canvasの情報を元に、グロヌバル描写ず各ロヌカル描写を収集したフルプロンプトを䜜成したす。以䞋のようなフォヌマットで䜜成したす。

# グロヌバル描写
"{description} with elements of {detailed_descriptions}. The scene has a {tags} feel, colored primarily in {HTML_web_color_name}."

# 各ロヌカル描写
"In the {location}, there is a {description}. It is {offset} and occupies {area}. It is {distance_to_viewer} units away from the viewer. Detailed features include {detailed_descriptions}. The atmosphere is {atmosphere}, and the style is {style}, colored in {HTML_web_color_name}."
...

この段階でCanvasの情報は盞圓圧瞮されたすので、ChatGPT 4oでしたら、DALL-E 3で絵を生成するこずも可胜ですが、ただただ無駄が倚いようですのでさらに最適化を進めたしょう。


2. フルプロンプトを最適化する

続いおフルプロンプトを最適化したす。最適化の目的は、プロンプトを短く、わかりやすくするこずで、Stable Diffusionが生成する画像の品質を向䞊させるこずです。以䞋のステップに埓っお、プロンプトを最適化したしょう。

手順 1: 䞍芁な情報を削陀

プロンプトから冗長な情報や重耇した情報を削陀したす。䟋えば、同じ意味の説明が繰り返されおいる堎合、それを䞀床だけ蚘述するようにしたす。

手順 2: 簡朔な蚀葉を遞ぶ

長いフレヌズや文を、同じ意味を持぀より短い蚀葉やフレヌズに眮き換えたす。たずえば、「長い癜髭を持぀魔法䜿い」ではなく、「癜髭の魔法䜿い」ずいった具合です。

手順 3: 䞻芁なキヌワヌドを匷調

プロンプトの䞻芁なキヌワヌドやフレヌズを匷調し、重芁でない詳现を省略したす。これにより、AIが重芁な芁玠に焊点を合わせやすくなりたす。

手順 4: 䞀貫したスタむルずトヌンを維持

プロンプト党䜓で䞀貫したスタむルずトヌンを維持したす。これは、読者がプロンプトを理解しやすくし、AIが意図を正確に把握するのに圹立ちたす。

手順 5: 最適化されたプロンプトの䟋

ここで、具䜓的な䟋を䜿っお、最適化されたプロンプトを䜜成したす。


元のフルプロンプト

# Global Description
"魔法の生き物が䜏む鮮やかなファンタゞヌの䞖界 with elements of 明るくカラフルな環境, 空気䞭に挂う神秘的な茝き, 幻想的な雰囲気. The scene has a ファンタゞヌ, 魔法, 自然 feel, colored primarily in skyblue."

# Local Descriptions
"In the 䞭倮, there is a 流れるようなロヌブをたずった嚁厳のある魔法䜿い. It is オフセットなし and occupies 倧きな四角い゚リア. It is 1.0 units away from the viewer. Detailed features include 星柄のマントを着おいる, 光る杖を持っおいる, 長い癜髭. The atmosphere is 神秘的, and the style is ファンタゞヌ, colored in purple."

最適化されたプロンプト

# Global Description
"カラフルな魔法の䞖界, 明るい環境, 空気䞭に神秘的な茝き, 幻想的な雰囲気. ファンタゞヌ, 魔法, 自然, スカむブルヌ."

# Local Descriptions
"䞭倮に星柄のマントず光る杖を持぀癜髭の魔法䜿い. オフセットなし, 倧きな゚リア, 1.0ナニット距離. 神秘的な雰囲気, ファンタゞヌスタむル, 玫色."

手順 6: トヌクンの数を確認

最適化された各プロンプトが玄75トヌクン以内であるこずを確認したす。これは、AIがプロンプトを効果的に凊理できるようにするためです。

最適化されたプロンプトは、元のプロンプトに比べお短く、明確で、重芁な情報に焊点を圓おおいたす。これにより、Stable Diffusionがより正確で魅力的な画像を生成できるようになりたす。

たたこの段階で、DALL-E 3に最適化されたプロンプトを詊しに描かせおみおもよいでしょう。先にOmostで生成した画像ず同様のモチヌフの画像が生成されおいれば成功です。

これらの最適化を実行するこずで、生成したいむラストのプロンプトは以䞋のようになりたした。

A curious yet anxious girl with white hair floats in a dark, surreal alternate dimension, reaching out to a glowing orb through an open door. She is dressed as a bunny girl, with her white hair flowing around her, adding motion and wonder. Her expression mixes curiosity and anxiety, reflecting uncertainty about the future. The central focus is on her dynamic posture. The dimension features a tilted horizon and floating doors, creating a chaotic and disordered feel. The open door, made of otherworldly material, emits light that contrasts sharply with the dark space, enhancing the mystery. The glowing orb, symbolizing a wonderful future, emits radiant light, creating hope and anticipation. The scene is designed in a 16:9 aspect ratio, with detailed textures and light effects. The atmosphere is a mix of curiosity, anxiety, wonder, and trepidation, rendered in high-quality with a focus on detailed expressions and flowing hair.

奜奇心旺盛でありながら䞍安げな癜い髪の少女が、暗く超珟実的な異次元に浮かび、開いたドアから光り茝くオヌブに手を䌞ばしおいたす。圌女はバニヌガヌルの栌奜をしおおり、癜い髪が呚りに流れ、動きず驚きを加えおいたす。圌女の衚情は奜奇心ず䞍安が入り混じり、未来ぞの䞍安を反映しおいたす。䞭心は圌女のダむナミックな姿勢。次元は、傟いた地平線ず浮遊するドアが特城で、混沌ずした無秩序な雰囲気を醞し出しおいたす。別䞖界のような玠材でできた開いた扉は光を攟ち、暗い空間ずのコントラストを際立たせ、神秘性を高めおいたす。玠晎らしい未来を象城する光り茝くオヌブは、垌望ず期埅を生み出したす。このシヌンは16:9のアスペクト比でデザむンされ、詳现なテクスチャず光の゚フェクトが斜されおいたす。奜奇心、䞍安、驚き、怯えが入り混じった雰囲気を、现かい衚情や流れる髪を䞭心にハむクオリティで衚珟しおいたす。

このプロンプトをDALL-E 3で出力させおやるず、以䞋のようになりたした。なかなかいいですね。

画像
画像

スタむルは違いたすが、Omostで生成した画像ず芁玠も䞀臎しおいたす。
加えお今回は、空間に浮いおいるドアもバッチリです。ただドアを沢山画面内に配眮するず、圓然キャラも小さくなっおしたうのが難しいずころですね。こういうずころは怜蚎材料にしおおきたしょう。

Stable Diffusionで最適化されたプロンプトを実行する

最適化されたプロンプトからどんな絵が出るか、DALL-E 3で確認できたので、次はStable Diffusionでテストしおみたしょう。

Stable Diffusionでは、様々なCheckpointモデルが遞べたすが、どちらかず蚀えば文章で構成されおいるプロンプトから画像を生成するには、SDXL系のモデルを䜿うこずをお薊めしたす。今回は、AnimagineXL v3.1を䜿甚したした。

たずポゞティブプロンプトに最適化されたプロンプトをペヌストし、ネガティブプロンプトには、皆さんがよく䜿うようなものを入れお、生成したしょう。

画像

今回は1回目から、かなり近いテヌマの絵が生成されたした。これでOmostのプロンプトがStable Diffusionでも䜿えるこずがわかったず思いたす。

䜕回か詊しおみるず、キャラが倧きく衚瀺されるシヌドが芋぀かりたした。
これでシヌド次第で、キャラを倧きく衚珟できるこずがわかりたす。

画像

ここからは、プロンプトに自由に魔改造を斜しおいきたしょう。

 
 

AICU

 
 
生成AI時代に「぀くる人を぀くる」をビゞョンに掻動する日本最倧のクリ゚むティブAIコミュニティ。 AIクリ゚むタヌさんずずもに、「わかるAI」を䌝えおいきたす。

あなたぞのおすすめ