メむンコンテンツぞスキップ
芋出し画像

Google Colab で詊す Stable Cascade での新時代のテキスト画像生成

    2024幎2月13日、Stability AIより新モデル「Stable Cascade」がリリヌスされたした。
    https://ja.stability.ai/blog/stable-cascade

    🚀【新登堎】新しいテキストから画像ぞの倉換モデル、Stable Cascadeを玹介したす。WÃŒrstchenアヌキテクチャを基に、誰でも簡単にトレヌニングず埮調敎ができるよう蚭蚈されおいたす。🎚  pic.twitter.com/hKbaVvyKgH

    — Stability AI Japan (@StabilityAI_JP) February 13, 2024

    🚀【新登堎】新しいテキストから画像ぞの倉換モデル、Stable Cascadeを玹介したす。WÃŒrstchenアヌキテクチャを基に、誰でも簡単にトレヌニングず埮調敎ができるよう蚭蚈されおいたす。🎚
    非商甚利甚に限り、チェックポむントず掚論スクリプトを提䟛。埮調敎やControlNet、LoRAトレヌニングのためのスクリプトも公開䞭🔍
    💡高品質、柔軟性、効率性を重芖し、ハヌドりェアの制玄を超えたこの革新的アプロヌチをぜひ䜓隓しおください。
    詳现はこちら→ https://ja.stability.ai/blog/stable-cascade

    Stable Cascade モデルカヌドより

    このモデルは、WÃŒrstchenアヌキテクチャに基づいお構築されおおり、Stable Diffusionのような他のモデルずの䞻な違いは、より小さな朜圚空間で動䜜しおいるこずです。これはなぜ重芁なのでしょうか朜圚空間が小さければ小さいほど、掚論をより速く実行するこずができ、トレヌニングがより䜎コストになりたす。
    朜圚空間はどのくらい小さいのかずいうず、Stable Diffusionは圧瞮率8を䜿甚し、1024x1024の画像を128x128に゚ンコヌドしおいたす。Stable Cascadeは42の圧瞮率を達成し、1024x1024の画像を24x24に゚ンコヌドするこずができたす。そしお、テキスト条件モデルは、高床に圧瞮された朜圚空間で孊習されたす。このアヌキテクチャの以前のバヌゞョンでは、Stable Diffusion 1.5ず比范しお16倍のコスト削枛を達成したした。

    したがっお、この皮のモデルは効率が重芁な甚途に適しおいたす。さらに、ファむンチュヌニング、LoRA、ControlNet、IP-Adapter、LCMなどの既知の拡匵はすべお、この方法でも可胜です。

    モデルの詳现

    Stable Cascadeは、テキストプロンプトから画像を生成するように孊習された拡散モデルです。

    開発者Stability AI
    資金提䟛者Stability AI
    モデルの皮類テキスト画像生成モデル

    モデル゜ヌス

    研究目的には、StabilityCascadeのGithubリポゞトリ
    https://github.com/Stability-AI/StableCascade をお勧めしたす。

    リポゞトリ: https://github.com/Stability-AI/StableCascade
    論文https://openreview.net/forum?id=gU58d5QeGv

    "WÌrstchen: An Efficient Architecture for Large-Scale Text-to-Image Diffusion Models", Pablo Pernias, Dominic Rampas, Mats Leon Richter, Christopher Pal, Marc Aubreville, Published: 16 Jan 2024, ICLR 2024 oral

    モデルの抂芁

    Stable Cascadeは3぀のモデルで構成されおいたす Stage A、Stage B、Stage Cの3぀のモデルで構成され、画像を生成するためのカスケヌドを衚珟しおいたす。ステヌゞAずステヌゞBは、Stable DiffusionにおけるVAEの仕事ず同様に、画像を圧瞮するために䜿甚されたす。しかし、このセットアップでは、より高い画像圧瞮を達成するこずができたす。Stable Diffusionモデルが空間圧瞮係数8を䜿甚し、1024 x 1024の解像床の画像を128 x 128に゚ンコヌドするのに察し、Stable Cascadeは42の圧瞮係数を達成したす。これにより、1024 x 1024の画像を24 x 24に゚ンコヌドしながら、画像を正確にデコヌドするこずができたす。これには、孊習ず掚論をより安䟡に行えるずいう倧きな利点がありたす。さらに、ステヌゞCは、テキストプロンプトが䞎えられるず、24 x 24の小さな朜圚胜力を生成する圹割を果たしたす。
    次の図はこれを芖芚的に瀺しおいたす。

    画像

    今回のリリヌスでは、ステヌゞCのチェックポむントを2぀、ステヌゞBのチェックポむントを2぀、ステヌゞAのチェックポむントを1぀甚意しおいたす。ステヌゞCには10億ず36億のパラメヌタ・バヌゞョンがありたすが、埮調敎に最も劎力を費やした36億バヌゞョンの䜿甚を匷くお勧めしたす。ステヌゞBは7億ず15億のパラメヌタヌ。どちらも玠晎らしい結果をもたらしたすが、15億の方が小さく现かいディテヌルの再構築に優れおいたす。埓っお、それぞれの倧きい方のバヌゞョンを䜿甚した方が、最良の結果が埗られたす。最埌に、ステヌゞAは2,000䞇個のパラメヌタを含み、サむズが小さいため固定されおいたす。


    画像

    Stability AIの評䟡によるず、Stable Cascadeはプロンプトのアラむメントず矎的品質の䞡方においお、ほがすべおの比范で最高のパフォヌマンスを発揮したした。䞊の図は、parti-promptsリンクず審矎的なプロンプトをミックスしたものを䜿甚した人間による評䟡の結果です。具䜓的には、Stable Cascade掚論ステップ数30をPlayground v2掚論ステップ数50、SDXL掚論ステップ数50、SDXL Turbo掚論ステップ数1、WÃŒrstchen v2掚論ステップ数30ず比范したした。

    コヌド䟋

    ⚠ 重芁 以䞋のコヌドを動䜜させるには、PRがWIPである間にこのブランチからディフュヌザヌをむンストヌルする必芁がありたす。
    ※実際に動䜜するGoogle ColabのコヌドはこちらAICUのリポゞトリ

    https://j.aicu.ai/StableCascade

    甹途

    盎接䜿甚

    このモデルは今のずころ研究甚です。想定される研究分野ず課題は以䞋の通りです。

    ・生成モデルの研究
    ・有害なコンテンツを生成する可胜性のあるモデルの安党な展開。
    ・生成モデルの限界ずバむアスの調査ず理解。
    ・芞術䜜品の生成ず、デザむンやその他の芞術的プロセスにおける䜿甚。
    ・教育的たたは創造的なツヌルぞの応甚。

    陀倖される甚途は以䞋の通り。

    範囲倖Out-of-scopeの䜿甚想定の範囲倖
    このモデルは、人物や出来事の事実たたは真実の衚珟ずなるように蚓緎されおいないため、そのようなコンテンツを生成するためにモデルを䜿甚するこずは、このモデルの胜力の範囲倖です。このモデルは、Stability AI の利甚芏定に違反するような方法で䜿甚しないでください。

    制限ずバむアス

    制限事項
    ・顔や人物は䞀般的に正しく生成されない可胜性がありたす。
    ・モデルの autoencoding 郚分は非可逆です。

    掚奚事項
    このモデルは研究目的でのみ䜿甚できたす。

    モデルを始めるには
    https://github.com/Stability-AI/StableCascade をチェックしおください。

    AICU media線集郚より

    WÃŒrstchenノルストヒェンずは小さい゜ヌセヌゞのこずです🌭

    公匏のモデルカヌドのコヌドをベヌスにTextToImageが実行できる Google Colabで動䜜するコヌドを詊隓公開したす。
    https://j.aicu.ai/StableCascade
    䞊蚘のラむセンスに埓い研究目的に限りたす

    ※ロヌカル環境での 公匏 notebook はこちらに存圚したす。

    https://github.com/Stability-AI/StableCascade/blob/master/inference/readme.md

    T4 GPUでの実隓

    画像
    15GBでは足りない

    V100での実隓

    画像
    16GBでも足りない

    V100 ハむメモリ での実隓

    画像
    VRAMが足りない

    A100での実隓

    画像
    17.1GBずいう埮劙なサむズで動きたした

    サンプルコヌドのt2iプロンプトはこのように指定されおいたした。

    prompt = "Anthropomorphic cat dressed as a pilot"
    negative_prompt = ""

    画像

    かなり高粟现な画像を生成しおいたす。高圧瞮にも関わらず、です。
    いろいろ探っおいきたすが、1024x1024の画像生成自䜓は2秒で生成しおいたすA100環境。

    画像

    prior_output の画像サむズを倉えるこずで暪長画像も簡単に生成できたす。
    たたネガティブプロンプトも暙準装備です。

    画像

    せっかくのバレンタむンなので、こんな感じで生成しおいきたす。

    画像
    画像


    画像
    画像

    髪のリムラむト、眉毛、た぀毛の描写、県鏡の半透明の圱が顔に萜ちおいるあたりが玠晎らしいですね。

    画像

    GPU消費量は少しづ぀䞊がっおいきたす。
    初回にロヌドしたモデルで䜕床でも生成できる䞊に、画質も高粟现です。
    珟圚は研究目的に限定されおいたすが、今埌、商甚ラむセンスが期埅されたすね。


    たたこの蚘事ではTextToImageのみ玹介いたしたしたが、リポゞトリの䞭にはリリヌス情報にあるように、埓来の Stable Diffusion でオヌプンに開発されおきた、様々なナヌスケヌスのトレヌニングスクリプトや実行䟋が存圚しおいたす。非垞にシンプルな゜ヌスコヌド矀になっおいたす。

    ・Text to Image
    ・ControlNet
    ・LoRA
    ・画像再構成

    Stable CascadeはStage AずBを䜿っお画像を圧瞮し、Stage Cはテキスト条件孊習に䜿われたす。したがっお、LoRAやControlNetをStage Cのためだけにトレヌニングするのは理にかなっおいたす。

    コヌドベヌスは開発初期です。予期せぬ゚ラヌや最適化されおいないトレヌニングや掚論コヌドに遭遇するかもしれたせん。あらかじめお詫び申し䞊げたす。もしご興味があれば、最新の改善ず最適化を目指しおアップデヌトを続けたす。さらに、アむデアやフィヌドバック、あるいはアップデヌトに貢献しおくださる方々からのご連絡をお埅ちしおおりたす。

    https://github.com/Stability-AI/StableCascade?tab=readme-ov-file
    @misc{pernias2023wuerstchen,
          title={Wuerstchen: An Efficient Architecture for Large-Scale Text-to-Image Diffusion Models}, 
          author={Pablo Pernias and Dominic Rampas and Mats L. Richter and Christopher J. Pal and Marc Aubreville},
          year={2023},
          eprint={2306.00637},
          archivePrefix={arXiv},
          primaryClass={cs.CV}
    }

    远蚘mkshingさんより著者陣にお祝いのツむヌト

    Stable Cascade (WÃŒrstchen v3) by @dome_271 and @pabloppp is out!
    I've been a big fan of WÃŒrstchen since v1 but v3 is absolutely the best as their results are shown.
    code: https://t.co/C42ZIBDo3n
    Big congrats to both of you and @StabilityAI! https://t.co/ELbwEdxbf7 pic.twitter.com/an5sODdpyM

    — mkshing (@mk1stats) February 13, 2024

    Stable Cascadeが Google Colab T4 16GBで動くコヌドも

    Also, I hacked to run the Stable Cascade on Colab free plan (T4 16GB)!
    Enjoy! #stablecascade
    colab: https://t.co/C33RSn5uSy

    — mkshing (@mk1stats) February 14, 2024

    ありがずうございたす


     
     

    AICU

     
     
    生成AI時代に「぀くる人を぀くる」をビゞョンに掻動する日本最倧のクリ゚むティブAIコミュニティ。 AIクリ゚むタヌさんずずもに、「わかるAI」を䌝えおいきたす。

    あなたぞのおすすめ