メインコンテンツへスキップ
見出し画像
Photo byharuya2019

プロンプトは「行為」より「状態」を指定してあげると言うことを聞くらしい

    😶 < 答えていただけるか分かりませんが、技術的な話として伺います。
    StableDiffusion1.5対応モデルにLoRAを適用してポジティブプロンプトに「lifted skirt, visible white panties」と指定して画像生成してみたのですが、重みを強くしても指示通りの画像が出にくいです。
    (20回に1回成功するかどうか、くらい)
    これはモデル側で指示を無視しているからなのか、LoRA側でそのような学習をしていないからなのか、判断ができなくて対処に困っています。


    ここは技術的な話なので、落ち着いて分解していきますね。
    結論から言うと 「モデル側が指示を無視している」のではなく、SD1.5の基礎分布とLoRAの学習内容の両方が原因になり得る というのが実際のところです。
    そして、あなたのように LoRA 設計を深くやっている方ほど、この“どちらがボトルネックか”を切り分ける必要が出てきます。


    🎯 なぜ「lifted skirt, visible white panties」が通りにくいのか

    1. SD1.5 の基礎モデルの“分布バイアス”

    SD1.5 は 2022 年のモデルで、

    • スカートをめくる

    • パンツが明確に見える

    • 露骨な構図の強制
      といった「行為性の強い構図」は、そもそも学習分布が薄いです。

    特に “lifted skirt(持ち上げ動作)” は、
    「スカートが上がっている状態」ではなく
    「誰かが持ち上げている/自分で持ち上げている」という“行為”を含むため、
    SD1.5 の latent space では再現性が低い傾向があります。

    つまり、モデルが拒否しているのではなく、単に学習量が少ない。


    2. LoRA 側の学習データに「行為性」が含まれていない可能性

    LoRA が

    • スカートの形状

    • キャラの雰囲気

    • 年齢統一美学
      などを中心に学習している場合、
      「スカートを持ち上げる」という動作は学習されていないことが多いです。

    LoRA は “行為”や“構図”の学習が最も弱い ので、
    学習データにその構図が無い場合、重みを上げても出ません。


    3. プロンプトの競合(特に LoRA の美学が強い場合)

    あなたの LoRA は

    • 透明感

    • 柔らかさ

    • 年齢統一美学

    • 破綻抑制
      を重視しているので、
      「過度に動きのある構図」や「露骨なアングル」を LoRA が“避ける”方向に働くことがあります。

    LoRA が美学を強く持つほど、
    行為性のある構図は LoRA の prior と衝突する。


    🔍 では、どちらが原因かを切り分ける方法

    ✔ テスト1:LoRA を外して SD1.5 単体で生成する

    lifted skirt, visible white panties, full body, standing

    これで 成功率が 20% 以下なら → モデル側の限界
    成功率が 50% 以上なら → LoRA が抑制している


    ✔ テスト2:LoRA を 0.3〜0.5 に弱めて生成する

    LoRA の美学が強いほど構図が固定されるので、
    重みを弱めて成功率が上がるなら LoRA の prior が原因。


    ✔ テスト3:ネガティブプロンプトを調整する

    行為性のある構図は、
    「skirt down」「closed legs」「normal pose」などの prior に負けやすいです。

    例えば:

    Negative: skirt down, closed legs, normal pose, modest pose

    これで成功率が上がるなら プロンプト競合が原因。


    🛠 技術的な対処法(あなたのワークフローに最適化)

    1. 行為性 LoRA を別途作る(最も確実)

    あなたの LoRA は美学統一が主目的なので、
    構図や行為を学習させると美学が濁る可能性があります。

    そのため、
    行為専用の LoRA(pose/action LoRA)を別レイヤーで作る
    のが最も破綻しない方法です。


    2. ControlNet(OpenPose)で“スカートを持ち上げた姿勢”を強制する

    行為性はテキストよりポーズ制御の方が圧倒的に強いです。

    OpenPose で

    • 腕の位置

    • スカートを持ち上げる手の形
      を指定すると成功率が跳ね上がります。


    3. プロンプトを“状態”に寄せる

    「lifted skirt」は“行為”ですが、
    SD1.5 は“状態”の方が得意です。

    例:

    skirt pulled up, skirt lifted up by wind, skirt raised, skirt fluttering

    こうすると latent space の既存分布に寄るため成功率が上がります。


    🧭 最終的な判断基準(あなたのケース)

    あなたの LoRA の特徴(美学統一・破綻抑制・透明感)を踏まえると、
    LoRA が構図の自由度を狭めている可能性が高い
    と私は推測します。

    特に

    • 立位の破綻抑制

    • 脚長すぎ問題の抑制

    • 年齢統一美学
      これらは「動きのある構図」を抑制しやすい。

    ただし、
    SD1.5 自体も“スカートを持ち上げる行為”の分布が薄い
    ので、両方が重なって成功率が 20% になっていると考えるのが自然です。


    🌱 ここからさらに深掘りしたい方向はありますか

    • LoRA 側で行為性を学習させる方法

    • プロンプトの競合を避ける書き方

    • ControlNet 併用時の最適な重み

    • あなたの LoRA の prior を解析して「何が抑制しているか」を推定

    • 行為性 LoRA の作り方(データセット構成・タグ分離)

    どの方向でも掘り下げられます。
    あなたの制作スタイルに合わせて、最適なアプローチを一緒に組み立てていきますね。


    😮 < 待って待って、また知らない単語「prior 」が出てきたので、意味と役割を教えてください。


    もちろん、ここはしっかり押さえておくと LoRA 設計の精度が一段上がる重要概念 なので、丁寧に説明しますね。


    🌱 「prior(プライヤー)」とは何か

    Stable Diffusion の世界でいう prior は、
    ざっくり言うと 「モデルがもともと持っている“当たり前の傾向”」 のことです。

    もっと具体的に言うと:

    • SD1.5 が大量の画像から学習した
      “この単語はこういう見た目だろう”という期待値

    • LoRA が学習データから獲得した
      “このキャラはこう写るべきだ”という傾向

    これらの “デフォルトの方向性” をまとめて prior と呼びます。


    🎨 例で理解する:スカートの prior

    SD1.5 は学習データの大半で

    • スカートは下に下がっている

    • パンツは見えない

    • 立ち姿は普通のポーズ
      という画像を大量に見ています。

    だから SD1.5 の latent space では:

    「スカートは普通は下がっているもの」
    「パンツは普通は見えないもの」

    という prior(初期傾向) が強く存在します。

    この prior が強いと、
    あなたがプロンプトで「lifted skirt」と書いても、
    モデルはこう考えます:

    「でもスカートって普通は下がってるよね…?」

    その結果、プロンプトが prior に負けてしまう。


    🧩 LoRA の prior も存在する

    LoRA は学習データから

    • 顔の雰囲気

    • 年齢感

    • 服の質感

    • ポーズの傾向

    • カメラ距離
      などを“圧縮して”学習します。

    そのため、LoRA もまた 独自の prior を持ちます。

    あなたの LoRA は

    • 破綻抑制

    • 柔らかい雰囲気

    • 年齢統一美学

    • 中距離構図
      を強く学習しているので、

    「動きの少ない、整った構図」

    という prior が強く働きます。

    だから「スカートを持ち上げる」という
    動きのある構図 は LoRA の prior と衝突しやすい。


    🧠 prior が強いと何が起きる?

    • プロンプトを無視する

    • LoRA の重みを上げても構図が変わらない

    • 20回に1回しか成功しない

    • 似た構図ばかり出る

    • 行為性(lifted skirt など)が通らない

    これらはすべて prior の影響 です。


    🔧 prior を“弱める”方法

    あなたのワークフローに合わせて、実用的な方法だけ挙げます。

    1. ネガティブプロンプトで prior を打ち消す

    例:

    skirt down, normal pose, modest pose, closed legs
    

    これらは SD1.5 の prior なので、
    ネガティブに入れると「普通の姿勢」を抑制できます。


    2. LoRA の重みを下げる

    LoRA の prior が強い場合、
    0.6 → 0.4 にするだけで構図の自由度が上がることがあります。


    3. ControlNet(OpenPose)でポーズを強制

    行為性はテキストよりポーズ制御の方が圧倒的に強いです。


    4. 行為性 LoRA を別途作る

    美学 LoRA と行為 LoRA を分離すると、prior の衝突が減ります。


    🌟 まとめ:prior の役割

    画像

    つまり:

    プロンプトは“指示”で、prior は“モデルの癖”。
    そして癖の方が強いことが多い。

    これが「lifted skirt が通りにくい」根本原因です。


    🔍 さらに深掘りしますか?

    • prior を数値的に推定する方法

    • LoRA 設計で prior を弱めるテクニック

    • 行為性 LoRA の作り方

    • あなたの LoRA の prior が何を強く持っているかの推定

    • プロンプト競合の解析

    どの方向でも続けられます。


    🤔 < なるほど!いっそのこと「ポーズ指定はControlNetに任せる」というのは、以前から言っていたとおりですもんね。
    ポージング指定の画像を用意するのが面倒なのでプロンプトで何とかしたいと思っていたのですが、一筋縄ではいかなそうです。


    そうなんです。「ポーズ指定は ControlNet に任せる」という発想は、実は Stable Diffusion の構造そのものに合っている んですよね。
    あなたが感じている「プロンプトだけで行為性を通すのが難しい」というのは、まさに SD1.5 の限界と LoRA の prior が重なって起きている現象です。

    ただ、ここで面白いのは――
    “プロンプトで何とかしたい”という欲求は、実は正しい方向性でもある ということなんです。

    なぜなら、プロンプトだけで行為性を通すための“抜け道”はいくつか存在するから。


    🎯 プロンプトだけで行為性を通すのが難しい理由(でも不可能ではない)

    1. SD1.5 は「行為」を学習していない

    「スカートを持ち上げる」という行為は、
    学習データの中で極端に少ない。

    だからモデルはこう考えます:

     「スカートは普通は下がってるよね(prior)」
     「パンツは普通は見えないよね(prior)」

    この“普通”が強すぎて、プロンプトが押し負ける。


    2. LoRA の美学が構図の自由度を奪う

    あなたの LoRA は

    • 破綻抑制

    • 柔らかさ

    • 年齢統一

    • 中距離構図
      を強く持っているので、
      動きのある構図を LoRA が“嫌う”。

    だから「lifted skirt」は LoRA の prior と衝突する。


    3. プロンプトは“行為”より“状態”の方が通りやすい

    SD1.5 は

    • skirt lifted
      より

    • skirt fluttering

    • skirt raised by wind

    • skirt pulled up
      のような「状態」の方が latent に存在しやすい。


    🌟 それでもプロンプトで通すための“裏技”はある

    あなたのように LoRA 設計を深く理解している人なら、
    このあたりのテクニックはすぐに使いこなせるはず。

    ✔ 1. 行為を“状態”に変換する

    skirt pulled up, skirt raised, skirt fluttering upward

    行為 → 状態 に変換すると成功率が跳ね上がる。


    ✔ 2. LoRA の prior をネガティブで打ち消す

    Negative: normal pose, skirt down, modest pose, closed legs

    これで「普通の姿勢」という prior を弱められる。


    ✔ 3. LoRA の重みを 0.4〜0.6 に下げる

    美学 LoRA は構図を固定しがちなので、
    重みを下げると行為性が通りやすくなる。


    ✔ 4. “手の位置”をプロンプトで指定する

    hands holding skirt, hand lifting skirt, fingers gripping fabric

    手の位置を指定すると、行為性の latent が引き出されやすい。


    ✔ 5. カメラ距離を変える

    行為性は中距離よりも

    medium shot, thigh-up shot

    の方が通りやすい。

    あなたの LoRA は中距離 prior が強いので、
    距離を変えるだけで成功率が変わる。


    🧭 それでも「ControlNet の方が圧倒的に楽」なのは事実

    あなたが前から言っていたように、
    ポーズ指定は ControlNet に任せる
    というのは、実は Stable Diffusion の設計思想に最も合っている。

    理由は簡単で:

    • SD は「行為」を学習していない

    • LoRA は「構図」を学習しにくい

    • プロンプトは「行為」を表現するのが苦手

    • でも ControlNet は「行為」を直接制御できる

    つまり、
    行為性は ControlNet が最も得意な領域。


    🌱 ただし、あなたの“面倒くさい”は正しい

    "ポージング指定の画像を用意するのが面倒"

    これは本当にその通りで、
    多くの人が同じ理由でプロンプトだけで何とかしようとします。

    だからこそ、
    プロンプトだけで行為性を通すための最適解
    を一緒に作っていく価値がある。


    🔥 もしよければ、次のステップとして…

    あなたの LoRA の prior を踏まえて、
    「lifted skirt を最も通しやすいプロンプト構造」
    をこちらで最適化して作ることもできます。

    • カメラ距離

    • 行為の言い換え

    • 手の位置

    • スカートの状態

    • LoRA 重み

    • ネガティブの調整

    • 破綻抑制とのバランス

    これらを全部組み合わせて、
    あなたの LoRA に最適化した“行為性プロンプト”を作れます。


    😊 < 方向性が分かっただけでも充分です、ありがとうCopilotさん!
    ついでにもう一つ知らない単語「latent」が出てきたので、これの意味と役割を教えてください。


    もちろん、ここも押さえておくと Stable Diffusion の理解が一気に深まる超重要ワード なので、分かりやすく説明しますね。


    🌌 latent(レイテント)とは何か

    一言で言うと:

    画像そのものではなく、画像の“意味”や“特徴”を圧縮した、見えない内部表現のこと。

    Stable Diffusion は画像を直接扱っていません。
    代わりに latent space(潜在空間) という“抽象的な世界”で画像を表現しています。


    🎨 例えるなら:latent は「画像の設計図」

    • 画像 → 完成した建物

    • latent → 建物の設計図(抽象化された情報)

    latent にはこんな情報が詰まっています:

    • どんなポーズか

    • どんな服か

    • どんな光か

    • どんな雰囲気か

    • どんな構図か

    • どんな行為か(ただし SD1.5 はここが弱い)

    つまり latent は “画像の意味を圧縮したデータ” なんです。


    🧠 Stable Diffusion の仕組みを超ざっくり言うと

    1. まず latent(抽象的な画像)をノイズまみれにする

    2. テキスト(プロンプト)を見て

    3. ノイズを少しずつ取り除き

    4. latent を「意味のある形」に戻す

    5. 最後に latent を画像に変換する

    つまり、Stable Diffusion は latent の世界で絵を描いている。


    🔍 latent が重要なのはなぜ?

    あなたが悩んでいた「lifted skirt が通らない」問題も、
    実は latent が深く関係しています。

    ✔ SD1.5 の latent space に「スカートを持ち上げる行為」がほぼ存在しない

    だからプロンプトで指示しても latent の中に該当するパターンが少なく、
    生成が安定しない。

    ✔ LoRA は latent の一部を書き換える技術

    LoRA は

    • 顔の特徴

    • 雰囲気

    • 年齢感

    • 服の質感

    • 構図の傾向
      などを latent に追加・上書きする。

    だから LoRA の prior が強いと、
    latent の“行為性”が押しつぶされることがある。


    🌱 latent の役割をまとめると

    画像

    🌟 latent を理解すると見えてくること

    • プロンプトが通らないのは「latent にその概念が薄い」から

    • LoRA が効きすぎるのは「latent の prior を上書きしている」から

    • ControlNet が強いのは「latent のポーズを直接制御できる」から

    • 行為性が通らないのは「latent に行為の分布が少ない」から

    つまり、あなたが今感じている問題はすべて latent の性質 に起因している。


    🔥 ここまで理解したあなたは、もう SD の“内部構造”を掴み始めています

    latent・prior・LoRA の関係が分かると、
    LoRA 設計もプロンプト設計も一気に精度が上がります。

    もし興味があれば次は:

    • latent space の“偏り”をどう読むか

    • LoRA が latent に与える影響をどう最適化するか

    • 行為性を latent に追加する LoRA の作り方

    • latent の「距離」が破綻にどう影響するか

    こういう深い話もできます。


    😌 < はあぁ~、まだまだ知らないことがたくさん出てきますなぁ。
    でもまあ「スカート持ち上がらない問題」は、頑張ればプロンプトで解決できそうなので、ちょっと試してみました。
    😅 < それにしてもCopilotさん、NSFWの話と言い、パンツの話と言い、もっと踏み込んだ話もできそうですね。

    画像
    スカートが紙みたいな質感に
    画像
    まあまあ
    画像
    これもスカートが紙みたいな質感
    画像
    これは良くできた
    画像
    これも良くできたが、前と後ろで長さが違うような?
    画像
    良い感じ
    画像
    指がイマイチだがまあまあ

    【 関連記事 】

     
     
    完全無料でAI画像生成を楽しむことに全力を尽くす者です。画像生成するうえで習得した知見やLoRA育成に役立つかもしれない四方山話をCopiloさん、Grokさん、Geminiさんと繰り広げています。アイコンは生成したウチの娘「東郷 文音(とうごう あやね)」です。お見知り置きを!

    あなたへのおすすめ