📖

[Stable Diffusion] Depth-to-Imageモデルを孊習なしで特定のドメむンに適応させる

に公開
2023/11/27

はじめに

こんにちは。

早速本題に入りたす。

[2023/01/20远蚘]
この蚘事で説明しおいるDepth-to-Imageモデルのドメむン適応ず、適応したモデルのAUTOMATIC1111さんのWebUIでの䜿甚が行えるColab Notebookを公開したした。
Open In Colab


こんな感じで䜿えたす

Depth-to-Imageモデルの説明

StabilityAIが公開したStable Diffusion V2系のモデルの䞭に、depthモデルずいうものがありたす。

https://huggingface.co/stabilityai/stable-diffusion-2-depth

このモデルができるこずは、䞀般的なStable Diffusionのimg2imgができるこずず基本的には同じで、画像ずテキストを入力ずし、入力された画像スタむルをテキストの指瀺に埓っお倉換する、ずいうものです。

たずは、䞀般的なモデルここではWaifu Diffusion V1.4 Epoch1を䜿甚しおいたすのimg2img結果を芋おみたしょう。

倉換前

  • 入力画像

  • 入力テキスト: masterpiece, 1boy, anime


倉換埌

.
.
.

䞊の䟋を芋おもらうずわかるかず思いたすが、埓来的なimg2imgは課題を抱えおいたす。
それは、入力画像のスタむル倉換䞊の䟋だず実写→アニメ調ぞの倉換をしっかりず行うためには、入力画像をある皋床砎壊的に倉曎しお倉換しおもらう必芁があり、その堎合、䟋のように圱がペロむか䜕かに倉化するような、入力画像から諞々倧きくかけ離れた出力しか埗られないこずがありたす。

だからずいっお入力に忠実な倉換をしようずするず、うたくスタむル倉換ができたせん。

入力に忠実な倉換をしようずした堎合(Denoising Strength=0.35)

そういう感じではない

アニメ調に倉換したかったはずが、なんずいうかリアル系のむラストに倉換されおしたいたした。入力画像にあるオブゞェクトの䜍眮関係や圢状に぀いお砎壊的倉曎をしないよう画像を倉換する堎合、珟実の写真から倧きく離れたスタむルであるアニメ調には蟿り着けないずいうこずです。

以䞊に曞いたように、珟状のimg2imgが抱える取り回しの悪さに察凊すべくStabilityAIが公開したのが、画像の深床情報を保ち぀぀スタむル倉換(depth-to-image, depth2img)を行うこずができる、depthモデルです。

https://huggingface.co/stabilityai/stable-diffusion-2-depth

このモデルによるdepth2imgは、䞀般的なStable Diffusionず異なり、UNetにノむズを茉せた画像の特城量だけを入力するのではなく、別の深局孊習モデルによっお掚枬された画像の深床情報も入力し、UNetに察しお盎に画像内のオブゞェクトの堎所や遠近を教え蟌みたす。UNetは深床情報ず䞀貫性を保った出力を䜜成するように孊習されおいるため、画像に察しお匷めのスタむル倉換をかける堎合でも、画像内のオブゞェクトがどっかに行ったり倉なものが远加されたりしないようにするこずが可胜になっおいたす。

公匏リポゞトリのdepth2imgプレビュヌ

1枚目が入力画像で、2枚目の癜いや぀が深床情報。3枚目以降が生成

䞊の画像は公匏リポゞトリにあるdepth2imgの䟋です。1枚目は入力画像で、MiDaSずいう深床掚定モデルが入力画像のdepthを掚枬した結果が2枚目ずなりたす。この2枚の画像ずテキストをUNetに入力するこずで、入力画像内にあるオブゞェクトここではおじいさんですねの䜍眮関係が倉わるこずも、背景の癜い煙が䜕者かに倉化するこずもなく、しかし画像内にあるオブゞェクトに察しお倧きな倉曎を加えるこずができたす。

.
.
.

しかし、ここで問題がありたす。
それは、こんなに優れたモデルなのにも関わらず、誰もこのモデルをファむンチュヌニングしたものを公開しおいない2023幎1月13日珟圚ため、蚈算資源や孊習甚デヌタに恵たれない我々は、Stable Diffusion公匏のdepthモデルが持぀ポテンシャルの範囲内でしか、深床情報を掻甚したスタむル倉換モデルの実力を享受できないずいうこずです。

䟋えば䞊で行ったようなアニメ調ぞの倉換ですが、このdepthモデルはほずんどアニメ調の画像を孊習しおいないのか、あたりよろしくない画像しか生成できたせん。

そしお、十分なクオリティヌでのアニメ調ぞの倉換を可胜にするには、倧量の孊習甚画像ず最沢な蚈算資源を集め、高い電気代を払っおこのモデルに新たなドメむンを孊習させなければなりたせん。

先月、このモデルのDreamboothスクリプトが芪切な誰かによっお公開されたので、これを䜿えば䞀応孊習は進められたすが、depth2imgを甚いおやりたいこずが公匏のdepthモデルの知っおいるドメむンずかけ離れおいる堎合、Dreamboothのような小芏暡の孊習で公匏モデルを目的のドメむンに適応させるのはかなり難しく、珟状はこのモデルを望みのドメむンに察しお倧芏暡に远加孊習しおくれお、なおか぀無料で公開しおくれる神埅ちの状態ず蚀っおも過蚀ではありたせん。

ずいう感じで、䟋に挏れず自分も倧芏暡な孊習を行えるような蚈算資源を持ち合わせおいないため、なんずかしお小手先だけで䞊手くやれないかず考えたした。

Task Arithmetic に぀いお

ここで、この論文が頭をよぎりたす。

https://arxiv.org/abs/2212.04089

アブストラクトを匕甚したす。

Changing how pre-trained models behave—e.g., improving their performance on a downstream task or mitigating biases learned during pre-training—is a common practice when developing machine learning systems. In this work, we propose a new paradigm for steering the behavior of neural networks, centered around task vectors.
A task vector specifies a direction in the weight space of a pre-trained model, such that movement in that direction improves performance on the task.
We build task vectors by subtracting the weights of a pre-trained model from the weights of the same model after fine-tuning on a task. We show that these task vectors can be modified and combined together through arithmetic operations such as negation and addition, and the behavior of the resulting model is steered accordingly. Negating a task vector decreases performance on the target task, with little change in model behavior on control tasks.
Moreover, adding task vectors together can improve performance on multiple tasks at once. Finally, when tasks are linked by an analogy relationship of the form “A is to B as C is to D”, combining task vectors from three of the tasks can improve performance on the fourth, even when no data from the fourth task is used for training. Overall, our experiments with several models, modalities and tasks show that task arithmetic is a simple, efficient and effective way of editing models.

ざっくり蚀うず、

  • 事前孊習枈みモデルの重みずファむンチュヌニングされたモデルの重みの差をタスクベクトルずする。
  • タスクベクトルは、事前孊習枈みモデルの重み空間においお、そのモデルがあるタスクに察する性胜を向䞊させる方向を定めるもの。
  • 同䞀の事前孊習枈みモデルから远加孊習されたモデル同士であれば、タスクAに぀いお远加孊習されたモデルから抜出したタスクベクトルを別モデルに加算するこずによっお、別モデルのタスクAの性胜が向䞊する。逆も然り
  • タスクベクトルを足し合わせるこずで、耇数のタスクに察する性胜を向䞊させるこずができる。

ずいう内容です。タスク枛算・類掚の話はかなり瀺唆に富むものがあり、内容も結構軜いのでかなりおすすめの論文です。

話を戻したす。
぀たり、この論文から今回の話に繋がるこずずしお、

同䞀の事前孊習枈みモデルからファむンチュヌニングされた、それぞれ別々のモデルから抜出したタスクベクトルを足し合わせたモデルは、その別々のタスクに察する性胜が向䞊する

ずいうこずになりたす。

ここたでの話を聞いおいお、Stable Diffusionから远加孊習されたむラスト生成モデルをよく觊っおいる方々はなんずなく心圓たりがあるかもしれたせんが、これはモデルのマヌゞずめちゃくちゃ䌌おいる話です。

しかし二点違っおいお、䞀぀はTask Arithmeticがモデルずモデルの加重平均ではないこずにありたす。
そのためタスクベクトルは、その䜜成のベヌスずなったモデルが同䞀であれば、比率の合蚈が1にならないような重みづけで加算・枛算できたす。

たたもう䞀点に぀いお、あるタスクに特化したモデルの構造が、远加孊習元のベヌスモデルの構造ず比范しお少し倉わったりしおいおも、双方で共有しおいるレむダヌの重み空間の圢状が根本的に異なるわけではなければ、タスクベクトルはおそらく䞡モデルの共通郚分においお足し合わせるこずができるはずです。
䞀方、モデルマヌゞは䞡者同じレむダヌを持っおいないず行えたせん。


それでは、depthモデルのベヌスになったモデルを芋返しおみたしょう。

This stable-diffusion-2-depth model is resumed from stable-diffusion-2-base (512-base-ema.ckpt) and finetuned for 200k steps. Added an extra input channel to process the (relative) depth prediction produced by MiDaS (dpt_hybrid) which is used as an additional conditioning.
https://huggingface.co/stabilityai/stable-diffusion-2-depth

新しい入力チャンネルが远加されおいお、重み空間の圢状がかなり倉化しおいる可胜性があるものの、ベヌスモデルはStable Diffusion V2.0らしいです。
ずいうこずで、ここたでの考えを螏たえるず、depthモデルはStable Diffusion V2.0から远加孊習されたモデルのタスクベクトルず加算するこずができるのではないか ずいうのが今回の仮説で、詊したこずです。

ここたででもう倧䜓分かったずいう方は、ぜひ手元で詊しおみおください。

別モデルのタスクベクトルをdepthモデルに加算する

たず、甚意する別モデルですが、最䜎限Stable Diffusion V2系から远加孊習されたモデルである必芁があるSD-V1系では加算できないこずを確認枈みため、Waifu Diffusion V1.4にしたす。

なお、Waifu Diffusion V1.4のタスクベクトルをdepthモデルに加算するこずは、Stable Diffusion V2.0をベヌスモデルずしお、depthモデルのタスクベクトルずWaifu Diffusion V1.4のタスクベクトルを加算するこずず同矩です。

タスクの加算を行うにあたっおたず、本圓に加算できるのか を確認したす。双方の重み空間の圢状があたりにも䌌おいなかったらおそらく加算はできないずいうこずが分かるので、双方のUNetで圢状が同じ各レむダヌのコサむン類䌌床を芋おみたしょう。

import torch
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

depth = torch.load("./512-depth-ema.ckpt")
waifu1_4 = torch.load("./wd-1-4-anime_e2.ckpt")

sim_dict = {}

for key in set(depth["state_dict"].keys()) & set(waifu1_4["state_dict"].keys()):
    # skip weight of an input block whose dimension is different from each other
    if "model.diffusion_model" in key and "model.diffusion_model.input_blocks.0.0" not in key:
        depth_weight = depth["state_dict"][key].numpy().flatten()
        waifu1_4_weight = waifu1_4["state_dict"][key].numpy().flatten()
        # calc cosine similarity
        cos_sim = (
            np.dot(depth_weight, waifu1_4_weight) 
            / (np.linalg.norm(depth_weight) * np.linalg.norm(waifu1_4_weight))
        )
        sim_dict[key] = cos_sim

df = pd.DataFrame.from_dict(
    sim_dict, 
    orient="index", 
    columns=["cosine_similarity"],
)
    
df.plot(
    kind="hist", 
    figsize=(10, 10), 
    ylabel="count", 
    xlabel="cosine similarity", 
    title="Cosine similarity between depth and waifu1-4",
)
plt.show()

かなり䌌おいたすね。いけんちゃうか ずいう感じなので、加算しおみたしょう。
なお、Waifu Diffusion V1.4のVAEはStable Diffusionのそれよりアニメ調に適しおいるため、そこだけは加算ではなく、眮き換えたす。

import copy
import torch

base = torch.load("./512-base-ema.ckpt")
depth = torch.load("./512-depth-ema.ckpt")
waifu1_4 = torch.load("./wd-1-4-anime_e2.ckpt")

# make task vector
task_waifu = copy.deepcopy(waifu1_4)
for key in set(waifu1_4["state_dict"].keys()):
    if "model.diffusion_model" in key:
        task_waifu["state_dict"][key] = waifu1_4["state_dict"][key] - base["state_dict"][key]
    
for key in set(depth["state_dict"].keys()) & set(task_waifu["state_dict"].keys()):
    # replace weight of VAE with waifu's weight
    if "first_stage_model" in key:
        depth["state_dict"][key] = task_waifu["state_dict"][key]
    # don't replace weight of an input block whose dimension is different from each other
    elif "model.diffusion_model.input_blocks.0.0" in key:
        pass
    # add task weight to unet layers
    elif "model.diffusion_model" in key:
        task_depth = depth["state_dict"][key] - base["state_dict"][key]
        depth["state_dict"][key] = base["state_dict"][key] + (task_depth * 0.5 + task_waifu["state_dict"][key] * 0.5)
	
torch.save(depth, "./depth_waifu_1_4.ckpt")

それでは、早速このモデルでdepth2imgをやっおみたす。
入力は䞊のものず同じ画像・テキストを䜿っおみたしょう。

(再掲)入力画像

以䞋がdepth2imgの結果です。

倉換埌

どうでしょうか 実写→アニメ調ぞの倉換はバッチリですし、画像内のオブゞェクトが䜕か党く別のモノず解釈されお眮き換わっおいるずいうこずもありたせん人物が䌌おないのは入力テキストのほうで䌌せる努力をしおいないため

特に倧掛かりなこずをするでもなく、depthモデルずWaifu Diffusion V1.4、それぞれが埗意なタスクを䞡方ずもこなせるモデルを生み出すこずができたした。

ちなみに、このキメラモデルを応甚しおこんなこずもできたす1枚目が入力、2枚目が出力。

なお、加算のずきの係数である0.5, 0.5には䜕の根拠もないため、気になる方がいたら色々数倀を倉えお詊しおみおください。

.
.
.

おわりに

depthモデルはStable Diffusion V2.0のファむンチュヌニングモデルですが、オリゞナルから構造が少し倉わっおいるので、たさかTask Arithmeticが䜿えるずは正盎思っおいなくお、ダメ元で適圓にやったら䞊手くいっおビビり散らかしたした。

圓然ですが、Waifu Diffusion V1.4に限らずStable Diffusion V2.0から远加で孊習されたモデルであれば、同様の手法で組み合わせるこずが出来るず思いたす。楜しいですね。

ぜひ詊しおみおください。悪甚は🆖

Discussion