📎

[WebUI] Stable DiffusionベヌスモデルのCLIPの重みを良いや぀に倉曎する

に公開
2023/01/20
3ä»¶

簡単な蚘事なので前眮きは省略したす。

CLIPに぀いお

Stable Diffusionベヌスのモデルは、画像生成に際しおテキストで条件づけを行うa.k.a. txt2img堎合、CLIPずいう基盀モデルでテキストをベクトルに倉換し、生成凊理に枡しおいたす。

぀たり、入力したテキストをいかに的確に生成凊理のモデルに䌝えられるのかはCLIPのようなテキスト゚ンコヌダヌの性胜にかかっおいるわけですが、実はStable Diffusionに組み蟌たれおいるCLIPは、CLIPの䞭でも最匷性胜のものではありたせん。

適圓に、画像のグラフに登堎する点はそれぞれCLIPのバリアントで、䞊にあるモデルほど性胜がいいず考えおください。

ここで、Stable Diffusion V1系に組み蟌たれおいるCLIPはL/14ですが、CLIPの䞭で最も性胜の良いL/14@336pxに䞀歩遅れをずっおいるこずが分かりたす。

For the ViT-L/14 we also pre-train at a higher 336
pixel resolution for one additional epoch to boost performance similar to FixRes (Touvron et al., 2019). We denote
this model as ViT-L/14@336px. - CLIP元論文より

぀たり、L/14@336pxを䜿った方がStable Diffusionの性胜䞊がるやん、ずいうこずで、この蚘事ではStable Diffusion WebUI䞊でCLIPの重みを䞀番いいや぀に眮き換える方法を玹介したす。

[2023/01/20远蚘]

Stable Diffusion WebUIの曎新により、この蚘事のやり方はout of dateになりたした。
より良い方法でモデルのCLIPを眮き換えるスクリプトを有志の方が䜜成されたようなので、こちらを䜿甚しおみおください。

https://github.com/bbc-mc/sdweb-clip-changer

以䞋の文章は叀いやり方の玹介ず、その怜蚌結果です。

.
.
.

本題

Stable Diffusion WebUIのフォルダを開き、modules/sd_hijack.pyの83-90行目を探しおください。

https://github.com/AUTOMATIC1111/stable-diffusion-webui/blob/0b5dcb3d7ce397ad38312dbfc70febe7bb42dcc3/modules/sd_hijack.py#L83-L90

そしお、このように倉曎したす。

    def hijack(self, m, use_improved_clip=True):

        if type(m.cond_stage_model) == ldm.modules.encoders.modules.FrozenCLIPEmbedder:
            if use_improved_clip:
                from transformers import CLIPTextModel, CLIPTokenizer
                device = "cuda" if torch.cuda.is_available() else "cpu"
                m.cond_stage_model.transformer = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14-336").to(device)
                m.cond_stage_model.tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14-336")
            model_embeddings = m.cond_stage_model.transformer.text_model.embeddings
            model_embeddings.token_embedding = EmbeddingsWithFixes(model_embeddings.token_embedding, self)
            m.cond_stage_model = sd_hijack_clip.FrozenCLIPEmbedderWithCustomWords(m.cond_stage_model, self)
        elif type(m.cond_stage_model) == ldm.modules.encoders.modules.FrozenOpenCLIPEmbedder:
            m.cond_stage_model.model.token_embedding = EmbeddingsWithFixes(m.cond_stage_model.model.token_embedding, self)
            m.cond_stage_model = sd_hijack_open_clip.FrozenOpenCLIPEmbedderWithCustomWords(m.cond_stage_model, self)

終わりです。
この蚘事を曞く盎前たではだいぶ時間をかけお難しいこずをやっおいたしたが、さっき、これだけで䞊手くいくこずに気づきたした。

この倉曎によっお勝手に内郚で䜿甚するCLIPがL/14@336pxに切り替わりたす。䜿甚感は倉わりたせんし、[]や()によるトヌクンの匷調機胜も問題なく䜿えたす。

もし䜕か䞍具合がある堎合、もしくはDreamboothを行ったモデルを䜿甚する堎合は、def hijack(...)の䞭のTrueをFalseに曞き換えおください。挙動が元に戻り、モデルがckpt内にあるCLIPを䜿甚するようになりたす。

比范

以䞋のように、なんか難しそうなプロンプトで生成したす。
シヌド倀のようなものは党お揃えおいたす。

a digital painting of kawaii 1girl school student, focus_on_face, black hair, twintails, blue eyes, white shirt, yellow headband, evening, perfect symmetrical pretty face, bangs, extremely detailed, best quality, 8k uhd

L/14 (デフォルト)

悪くありたせんが、癜シャツを指定したのにセヌラヌ服を着おいたす。

L/14@336px (眮き換え埌)

䞊手くいっおいたす。

この比范ではあたり嚁力を感じないかもしれたせんが、個人的に構図指定のプロンプトを远加したずきの生成に察する効きが目に芋えお良くなったず感じたした。
なお、CLIP自䜓の限界があるため、良いや぀に倉曎したずしおも䞊手くいかない堎合はたあたあありたす。

おわりに

割ずフリヌランチでStable Diffusionベヌスの画像生成モデルを改善できるので、ぜひ。

.
.
.


[2022-12-06 远蚘] BONUS: 2぀のCLIPモデルの平均をずる

  • 泚意詊す䟡倀はあんたりありたせん

その昔、Disco Diffusionずいう、今ずは別の手法でテキストによる条件付けを行い、Diffusion Modelでtxt2imgをやるPlaygroundがありたした。
そこでは耇数のCLIPモデルをアンサンブルしお䜿うこずが圓たり前になっおいお、䟋えばCLIPのResnet-50ずViT-L/14@336pxを組み合わせお䜿うず、それぞれ片方1぀だけで䜿甚するよりも生成結果が良くなるこずが知られおいたした。

Stable Diffusionでのテキスト条件付けにおいおも同じこずが蚀えるかは分かりたせんが、ずりあえず詊しおみたのでその方法を远蚘したす。

たず、䞋のコヌドを倉曎したす。

倉曎前

https://github.com/AUTOMATIC1111/stable-diffusion-webui/blob/0b5dcb3d7ce397ad38312dbfc70febe7bb42dcc3/modules/sd_hijack.py#L83-L90

倉曎埌

    def hijack(self, m, use_improved_clip=True):

        if type(m.cond_stage_model) == ldm.modules.encoders.modules.FrozenCLIPEmbedder:

            if use_improved_clip:
                from transformers import CLIPTextModel, CLIPTokenizer
                device = "cuda" if torch.cuda.is_available() else "cpu"
                m.cond_stage_model.tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14-336")
                m.cond_stage_model.transformer = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14-336").to(device)
                model_embeddings = m.cond_stage_model.transformer.text_model.embeddings
                model_embeddings.token_embedding = EmbeddingsWithFixes(model_embeddings.token_embedding, self)

            ###################################################################################################################
            # 倉曎点1
                transformer_2 = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14").to(device)
                model_embeddings_2 = transformer_2.text_model.embeddings
                model_embeddings_2.token_embedding = EmbeddingsWithFixes(model_embeddings_2.token_embedding, self)
                m.cond_stage_model = sd_hijack_clip.FrozenCLIPEmbedderWithCustomWords_2(m.cond_stage_model, self, transformer_2)
            ###################################################################################################################
            else:
                model_embeddings = m.cond_stage_model.transformer.text_model.embeddings
                model_embeddings.token_embedding = EmbeddingsWithFixes(model_embeddings.token_embedding, self)
                m.cond_stage_model = sd_hijack_clip.FrozenCLIPEmbedderWithCustomWords(m.cond_stage_model, self)
        elif type(m.cond_stage_model) == ldm.modules.encoders.modules.FrozenOpenCLIPEmbedder:
            m.cond_stage_model.model.token_embedding = EmbeddingsWithFixes(m.cond_stage_model.model.token_embedding, self)
            m.cond_stage_model = sd_hijack_open_clip.FrozenOpenCLIPEmbedderWithCustomWords(m.cond_stage_model, self)

そしお次に、modules/sd_hijack_clip.pyを開き、以䞋のコヌドを远加しおください。

倉曎埌

class FrozenCLIPEmbedderWithCustomWords_2(FrozenCLIPEmbedderWithCustomWordsBase):
    def __init__(self, wrapped, hijack, additional_transformer):
        super().__init__(wrapped, hijack)
        self.tokenizer = wrapped.tokenizer
        self.comma_token = [v for k, v in self.tokenizer.get_vocab().items() if k == ',</w>'][0]

        self.token_mults = {}
        tokens_with_parens = [(k, v) for k, v in self.tokenizer.get_vocab().items() if '(' in k or ')' in k or '[' in k or ']' in k]
        for text, ident in tokens_with_parens:
            mult = 1.0
            for c in text:
                if c == '[':
                    mult /= 1.1
                if c == ']':
                    mult *= 1.1
                if c == '(':
                    mult *= 1.1
                if c == ')':
                    mult /= 1.1

            if mult != 1.0:
                self.token_mults[ident] = mult

        self.id_start = self.wrapped.tokenizer.bos_token_id
        self.id_end = self.wrapped.tokenizer.eos_token_id
        self.id_pad = self.id_end

        self.additional_transformer = additional_transformer

    def tokenize(self, texts):
        tokenized = self.wrapped.tokenizer(texts, truncation=False, add_special_tokens=False)["input_ids"]

        return tokenized
 
    def encode_with_transformers(self, tokens):
        outputs = self.wrapped.transformer(input_ids=tokens, output_hidden_states=-opts.CLIP_stop_at_last_layers)
        outputs_2 = self.additional_transformer(input_ids=tokens, output_hidden_states=-opts.CLIP_stop_at_last_layers)

        if opts.CLIP_stop_at_last_layers > 1:
            z = outputs.hidden_states[-opts.CLIP_stop_at_last_layers]
            z = self.wrapped.transformer.text_model.final_layer_norm(z)
            z_2 = outputs_2.hidden_states[-opts.CLIP_stop_at_last_layers]
            z_2 = self.additional_transformer.text_model.final_layer_norm(z_2)

            z = (z + z_2) / 2
        else:
            z = outputs.last_hidden_state

        return z

    def encode_embedding_init_text(self, init_text, nvpt):
        embedding_layer = self.wrapped.transformer.text_model.embeddings
        ids = self.wrapped.tokenizer(init_text, max_length=nvpt, return_tensors="pt", add_special_tokens=False)["input_ids"]
        embedded = embedding_layer.token_embedding.wrapped(ids.to(devices.device)).squeeze(0)

        return embedded

これで、2぀のCLIP(ViT-L/14 & ViT-L/14@336px)から出おきた埋め蟌み衚珟の平均倀によっおStable Diffusionの条件付けが行われるようになりたす。

そしお、実隓結果は以䞋。

远加実隓・同䞀プロンプトでシヌドを揃えお6枚ず぀

うヌん、たあたあずいうか、なんか退行しおない 
改善されおるかどうかよく分からない䞊、远加でVRAMが占有されるので、珟時点であんたりオススメはできたせん。

ViT-L/14からViT-L/14@336pxぞの倉曎による改善のほうが断然際立぀実隓結果になっおいたすね 。

Discussion

リョりヘむリョりヘむ

有甚な蚘事有難く拝芋させおもらっおいたす。
玠人質問で恐瞮なのですがCLIPを䞊蚘方法で倉曎した堎合、DreamBoothなどでの远加孊習に良い圱響があったりするのでしょうか

動詞動詞

リョりヘむさん、こんにちは。
蚘事をご芧いただきありがずうございたす
Dreamboothなどの远加孊習におけるCLIP倉曎の圱響に぀いお、申し蚳ありたせんが自分の知識では断蚀できたせん 。
掚枬の範囲で述べさせおいただきたす。

  • HyperNetworks
    • 単玔にCLIPを倉曎し、远加孊習を行わない堎合ず同様の良い圱響プロンプトの効きが若干良くなるが出るのではないかず思いたす。
  • Textual Inversion
    • Textual Inversionの埋め蟌みの質はおそらく倉わりたせん。䞀方、倉曎前のCLIPで䜜成したTextual Inversionの重みがうたく䜿えなくなる可胜性がありたす未怜蚌です。
  • Dreambooth
    • Dreambooth埌に出力される重みファむルの䞭に、倉曎したCLIPを再孊習したものが含たれるようになるはずなので、䜕かしらの圱響は出るず思いたす。それが良いものか悪いものかは分かりたせんが、盎感では良いものになるず思っおいたす。なお、Dreambooth埌は必ずこちらを行っおいただく必芁があるので、ご泚意ください。

      もし䜕か䞍具合がある堎合、もしくはDreamboothを行ったモデルを䜿甚する堎合は、def hijack(...)の䞭のTrueをFalseに曞き換えおください。挙動が元に戻り、モデルがckpt内にあるCLIPを䜿甚するようになりたす。

ふわっずした回答になっおしたっお倧倉恐瞮ですが、もし1ミリでも参考になれば幞いです。