メインコンテンツへスキップ
見出し画像

ピクセル空間を用いた画像生成AI? chroma-radiance-x0 技術解説

    2025年ももう終わるというのに、生成AI界隈では相も変わらず新しい技術が洪水のように押し寄せてきます。
    彼らにはクリスマス休暇というものはないんでしょうか?それとも休暇前の駆け込み発表ラッシュ?
    技術を追いかける側からしてみればたまったものではありませんが、着実に世の中の技術が進歩している証拠でもあるので、ため息つきながら縋りついていくしかありません。
    停滞するよりはマシですからね…。

    というわけで本日取り扱うのは最近一部の界隈(本当に一部すぎる気もしますが…)で話題になっているピクセル空間を用いた画像生成AI、その中でもついにローカルPCで使えるようになったと噂のchroma-radiance-x0の紹介をしていきます。

    ピクセル空間を用いた画像生成AIとはなんぞや

    ピクセル空間を用いた画像生成AIとはピクセル空間を用いた画像生成AIです。

    この話をするためには、そもそも既存の画像生成AIがどうやって画像を作っているかを改めておさらいしておく必要があります。

    StableDiffusionをはじめとするいわゆるDiffusionModelは、すごく簡単に説明すると、原型がわからないほど大量にノイズが載せられたモザイク画像から、入力された生成条件(大抵の場合はテキストプロンプト)をヒントにして、徐々にモザイク画像からノイズを取り除いて行き最終的に画像を作り出すという仕組みになっています。

    いってみれば超高精度モザイク除去機(でっちあげ機能付き)といっても良いでしょう。

    しかし、画像というのは非常に重いデータです。
    例えば、RGB値を持つ512x512の画像にノイズを乗せて、そのまま取り扱おうとするとそれだけでかなりのサイズになってしまい、そもそもメモリ乗らないとか、学習がなかなか進まない等の壁が立ちはだかりました。

    というわけで、頭の良い人は考えました。
    画像をそのまま扱うのではなく、情報を圧縮した上でできる限り元の画像を再現できるデータ形式に変換し、その圧縮されたデータ形式でノイズ除去を学習すれば良いんじゃね?と。

    それが、昨今よく目にするVAEとLatent(潜在表現)です。
    VAEが画像をLatentに変換するための仕組み、Latentが圧縮された画像だと思ってもらえれば大体OKです。
    このLatentは、再度VAEを通すことで画像に戻す事ができます。

    つまりこのLatentに大量のノイズを付与し、ノイズが付与されたLatentから生成条件に従ってノイズを除去、ノイズが除去されたLatentをVAEを用いて再度画像として再構築する、というのが昨今流行りのLDM(Latent Diffusion Model)となります。

    さて、これは計算リソースの消費節約に大変役立ち、学習も進みやすくなったので大変優秀な設計でした。
    ここ数年の画像生成AIの進展はこのLDMが発明されたおかげと言っても過言ではないでしょう。

    が、本来の画像、すなわちピクセル空間を潜在空間に変換することでいくつかのデメリットも存在します。
    やはり情報量を落として圧縮する以上、細かいピクセル間のつながりはLatentに変換したタイミングで失われる事が多く、画像生成時の品質悪化につながるのではと言われていました。

    言われていました。

    具体的には、イラスト生成した時に指先が溶けるのとかはこの潜在空間への変換が良くないんじゃね?と言われていたわけですね。
    が、最近はモデルの表現力が上がった結果、Latentを経由しても指が溶けたりしなくなったので、別にピクセル空間を使わなくても品質の高い画像は作れるよね〜〜といった風潮でした。
    私もそう思います。

    ただ一点、ピクセル空間モデルには良い点があります。
    それが、i2iを行う場合です。

    Diffusion Modelを用いた画像生成の方法には、原型がわからないほどノイズが乗りまくった画像/Latentから生成条件だけを頼りに画像を生成するt2iと、元となる画像に少しだけノイズをのせ、ノイズ除去作業を途中から始めることで元の画像の雰囲気を保ったまま画像を生成するi2iの2種類があります。

    このi2iに関して、ピクセル空間を用いた画像生成AIの方が分があると言われています。
    LDMを用いたi2iは、やってみるとわかるのですが変更したい部分だけを局所的に変更する、というのが意外と難しかったりします。

    これは、i2iであっても一度Latentを経由する際にピクセル間の対応関係が曖昧になりやすく、再画像化した際に元の入力画像を完全に再現することが難しいからだと言われています。

    その点、ピクセル空間を用いた画像生成AIはLatentを経由しないので、ピクセル間の対応関係を高い精度で保持する事ができ、理想的な画像編集ができるのではないかと期待されています。

    が、ピクセル空間を用いようとすると計算量が膨大になり、我々庶民が使うようなPCでは扱えないというのは先ほど述べたとおり。
    故に、ピクセル空間を用いたモデルは大企業がAPIが提供する程度に留まっており、いち個人が自分のPCで動かすモデルとしてはまず選択されないという時代が続いていました。

    しかし、今回紹介するchroma-radiance-x0はこの計算量の問題を克服し、個人のPCでも現実的に動かせるピクセル空間を用いた画像生成AIとしてリリースされたため、注目を集めています。

    chroma-radiance-x0の紹介

    それでは本題。

    解説に入る前に、まずchroma-radiance-x0のアーキテクチャを見ていきましょう。
    アーキテクチャ図はこちら。

    画像

    このchroma-radiance-x0、技術的な解説文章がなく、HFのREADMEにこのアーキテクチャ図だけが載せられているので、この図(と実装コード)から構造を読み解いていきます。

    さて、まず最も注目したいのが、このアーキテクチャ図のどこにもVAEが存在していないという点です。
    これがピクセル空間を使ったモデルと呼ばれる所以ですね。

    chroma-radiance-x0ではVAEを用いる代わりに、512x512の画像を16ピクセルx16ピクセルの細かい画像(パッチ)に分割し、線形層を通した後にDiTに突っ込んでいます。
    図にするとこんな感じ。

    画像

    このようにしてフラット化した768x1024のパッチを、Linear Projection層(線形層)に入力しています。

    線形層以降は割と見覚えのある構造ですね。
    一部を除けば、DiTベースの拡散モデルと構造自体はあまり変わりません。
    ちなみに参考として、SD3のアーキテクチャ図はこちら。

    画像

    SD3とchroma-radiance-x0の対応関係をざっくり表すと恐らくこんな感じの図になるはずです。

    画像

    このようにアーキテクチャの対応付けをすると、chroma-radiance-x0にはあってSD3にはない構造がアーキテクチャ図の左上に存在していることが見えてきます。

    では早速この左上部分の構造について詳しく見ていきましょう。

    画像

    やっていることは非常に単純で、序盤に説明した画像のパッチ分割とほとんど同じ処理をした後、dct_embedと名付けられた謎の埋め込み表現を各パッチにくっつけ、線形層に通すという流れになります。

    MMDiTへの入力に用いたパッチ分割と違う部分としては、RGB値をフラット化せず、dct_embedとconcatしている点ですね。

    そのため、MMDiT側の線形層への入力側は[1024,768] だったのに対し、こちら側は[1024, 256 (16x16), 67 (3 + 64) ]となっています。(3がRGB値、64が新しく作った埋め込み表現)

    ではこのdct_embedとは何なのでしょうか?
    この正体はComfy UIの推論コードを読み解くことで見えてきます。

    上記リンク先にchroma-radiance-x0の推論部分の実装コードが記載されているのですが、その中に「NerfEmbedder」と名付けられたクラスが存在していることが確認できます。
    このクラスに付与された説明コメントが以下です。

    (原文)
    An embedder module that combines input features with a 2D positional
    encoding that mimics the Discrete Cosine Transform (DCT).
    This module takes an input tensor of shape (B, P^2, C), where P is the
    patch size, and enriches it with positional information before projecting
    it to a new hidden size.

    (日本語)
    入力特徴量と離散コサイン変換(DCT)を模倣した2次元位置エンコーディングを組み合わせる埋め込みモジュール。
    このモジュールは形状(B, P^2, C)の入力テンソル(Pはパッチサイズ)を受け取り、位置情報を付加した後に新たな隠れ層サイズへ投影する。

    DCTという単語が出てきましたね。
    どうやら離散コサイン変換の略語のようです。

    ※離散コサイン変換を模倣した2次元位置エンコーディング、と記載されているように、正確にはchroma-radiance-x0は基底関数にcos関数を用いたPositional Encodingを採用しており、純粋な離散コサイン変換をそのまま使っているわけでない点に注意

    補足その1

    まーた数学っぽい単語が出てきたよ…と辟易される方もいるかと思いますのでここで離散コサイン変換の数学的な解説をする事は割愛しますが、このDCTが普段何に使われているか?というのはこの後の話をする上で非常に重要なのでそこだけ深掘りします。
    実はこのDCT、多くの人がかなりの頻度で日々お世話になっている技術なのです。

    それが画像のJPEG圧縮です。

    JPEGの圧縮方式を簡単に説明すると、画像を周波数に変換し、人間が視認しやすい低周波(連続するピクセルがなだらかに変化する部分)の情報を残し、人間が視認しにくい高周波(ノイズのように細かい変化が発生している部分)の情報を丸める圧縮方式です。

    方法としては、画像をいくつかのパッチに分割し各パッチごとにDCTを用いてピクセル空間から周波数空間へ変換、変換された周波数に対して量子化(高周波成分を丸める or 0にする操作)を行うことで圧縮します。

    あらためてchroma-radiance-x0側の処理を見直すと、このJPEG圧縮の前半部分とほとんど同じ操作を行なっていることがわかります。
    ただし、chroma-radiance-x0側では量子化までは行なっておらずピクセル空間から周波数空間への変換にとどまっているため、ここで使われているDCTは圧縮を目的に使用されているわけではありません。

    では何のためにDCTを挟むのか、このヒントは「NerfEmbedder」というクラス名に隠されています。

    皆さんは、NeRF(Neural Radiance Fields)という技術はご存知でしょうか?
    NeRFは3D生成技術の一種で、3D化したい対象を様々な角度から撮った写真をAIが学習し、任意の角度から見たシーンとして再構築できる、という技術となります。

    このNeRFが優れていたのは、それまで再構築が難しいとされていた光の反射を考慮した別視点シーンの再構築を、放射輝度場(Radiance Field)をモデル化することで可能とした点です。

    放射輝度場はかなり簡略化して説明すると、空間のある点から任意の方向に対して、どの程度の量、光が発せられているかを表した値を指します。

    放射輝度場は英語で表すとRadianceという単語になり、NeRF及びchroma-radiance-x0の名前に含まれるRadianceという単語はここから来ているわけですね。

    ただこの後詳しく解説しますが、chroma-radiance-x0はNeRFの文脈を継いだ構造を持っているものの、Radianceそのものはおそらく使っていないので、この名付けは正確なのか?という疑念はなくもないです。

    さて、この放射輝度場を近似したモデルをNN(ニューラルネット)を用いて構築するには、測定したい点の座標(X, Y, Z)と観測者から見た上下左右の視線方向(カメラの向き)を入力し、測定点のRGB値と不透明度を出力するようにモデルを訓練します。

    しかし、生の座標情報を入力として使用するとNNが連続するピクセルがなだらかに変化する部分(低周波成分)ばかり学習し、色の境界部分のように細かい変化が発生している部分(高周波成分)は無視しがちという傾向が発覚しました。

    そこで、NeRFでは三次元の座標空間を三角関数を用いて周波数に変換し、NNが高周波成分を捉えられるような工夫を導入しました。
    これをPositional Encodingと呼びます。

    周波数に変換するとなぜ高周波成分を捉えやすいのか?については以下の資料(18ページあたり)が分かりやすかったので興味のある方はぜひ読んでみてください。

    だいぶ話が逸れましたが、そろそろchroma-radiance-x0の話に戻りましょう。
    chroma-radiance-x0が持つNerfEmbedderというクラスは、名前からもわかる通りNeRFの考え方に基づいて作られています。

    先ほど、NeRFは測定したい点の座標(X, Y, Z)と観測者から見た上下左右の視線方向(カメラの向き)を入力し、測定点のRGB値と不透明度を出力するという話をしました。

    つまりNeRFはある観測地点から特定の座標を見たときにどんな色に見えるか?というのを表現したモデルと言えます。

    chroma-radiance-x0も基本的な考え方は同じです。

    しかし、画像生成モデルであるchroma-radiance-x0には観測者(カメラ)という概念がないので、観測地点が変わるという事がそもそも存在しません。

    ではchroma-radiance-x0は視線方向の代わりに何を入力するのでしょうか?

    ここで一度アーキテクチャ図を見直してみて欲しいのですが、chroma-radiance-x0は最初の入力にnoisy imageを使っています。
    つまりこのモデルは、ノイズ画像から生成条件に沿ってノイズを取り除くことで画像を生成するDiffusion Model(※正確にはFlow Matching)の一種である事が推測できます。

    chroma-radiance-x0がDiffusion Modelであるとすると、視線方向の代わりに何が入力されるのかもおおよそ予想がつきます。
    NeRFにおける視線方向のように入力によって特定座標の色が変わるもの、それはDiffusionModelにおいては生成条件(テキストプロンプト)とtimestep(初期のノイズ画像から今何回ノイズを除去したか)に他なりません。

    このことから、chroma-radiance-x0は座標情報の他に生成条件とtimestepを入力として受け取り、指定された座標から取り除くべきノイズを出力するモデルとして訓練されている事がわかります。

    それはもうRadianceではないのでは?

    ※イメージしやすさのため古典的なDiffusion Modelの枠組みで説明していますが、より正確にはSD3はLatent Modelであり画像ではなく潜在空間上で処理を行っている点、SD3およびchroma-radiance-x0はいずれもFlow Matchingに基づくモデルのため、除去すべきノイズを直接予測しているのではなく各時刻における確率分布の変化を記述するベクトル場を学習している点に注意。(そのため、chroma-radiance-x0のアーキテクチャ図に描かれた最終出力はvelocityとなっている)

    補足その2

    改めて、NerfEmbedderの話をしましょう。
    NerfEmbedder含めたアーキテクチャ左上部分は、chroma-radiance-x0の入力情報として必要な座標情報を作成する部分に該当します。

    しかし、座標情報をそのまま入力すると、高周波数成分の学習が上手に進まないというのはNeRFの論文によってすでに指摘された通り。

    そこで、NerfEmbedderはNeRFを参考に座標情報を周波数に変換しています。
    とはいえ、NeRFは座標情報としてXYZの3次元情報を渡すのに対しNerfEmbedderはあくまでXYの2次元情報を扱うため、NeRFの変換方式をそのまま採用するわけにはいきません。

    そこで、NerfEmbedderでは16x16の2次元パッチ画像に含まれる座標情報を効率よく周波数に変換するために、DCTを模倣したpositional encodingを採用しているのです。

    ここまでが、SD3など既存Latentベースの画像生成AIが持っていない、アーキテクチャ図左上の謎構造の解説となります。

    続いて、アーキテクチャ図中央にあるMMDiT周辺についても触れていきましょう。

    先ほどchroma-radiance-x0は座標情報だけでなく生成条件(テキストプロンプト)とtimestep(初期のノイズ画像から今何回ノイズを除去したか)も入力として使用しているという話をしました。

    MMDiT部分ではこの生成条件とtimestepの特徴を併せ持った潜在表現を作っている…と言いたいところですが、これは正確ではありません。

    MMDiT(およびその後の線形層)部分の出力として期待されているのは、潜在表現そのものではなくNeural Field weights、すなわち重み(パラメータ)です。

    つまりMMDiT部分は、入力された生成条件(テキストプロンプト)とtimestep(初期のノイズ画像から今何回ノイズを除去したか)に応じて、都度新しいNN(ニューラルネットワーク)を動的に出力しているのです。

    いわゆるHyperNetworkというやつですね。

    この点も、SD3のような画像生成AIとは明確に異なります。
    先に示した通り、SD3もMMDiTを内包する似たような構造を持っているわけですが、出力として期待されるのは除去すべきノイズを表現したLatent(Flow matchingの場合はベクトル場)そのものです。

    このことから、SD3を含む既存のDiTベースの画像生成AIとchroma-radiance-x0は、内部構造こそ似通っているもののDiT部分に求められる役割が根本から異なっていると言えるでしょう。

    ちなみに、ここでNNと言っているものはより具体的にいうとGLU (Gated Linear Unit )を内包したMLP(small feed forward neural field heads)を指します。
    GLUのアーキテクチャはこんな感じ。

    画像

    GLUは線形層を三つ持っているのでそれぞれの層に重みが必要となります。

    MMDiT部分の出力形式は線形層通過後に[1024, 49152]となっていますが、これは49152個の重みをGLU内部の線形層にそれぞれ16384個ずつ均等に割り振り、それを各パッチ(16x16=1024個)分用意している事を意味します。

    さてこの16384という数字、分解すると256 x 64として表せます。
    この数字の並びはアーキテクチャ図の中にも出てきていましたね。
    アーキテクチャ図左上で作られる座標情報の出力形式が[1024, 256, 64]となっています。

    つまりこのGLUを含むMLPは、アーキテクチャ図の左上で作られる位置情報を入力する事を前提として設計されていることがわかります。

    そして、このGLUを含むMLPの重みはMMDiTによって入力された生成指示およびtimestepに応じて動的に生成されています。

    よって動的に重み付けされたこのMLPに周波数という形に変換された座標情報を入力することで、テキストプロンプトによって指定された生成条件下にて時刻tにおける特定の座標に関し、除去すべきノイズ(FlowMatchingの場合はベクトル場)を計算する事ができるのです。

    なぜchroma-radiance-x0はピクセル空間を直接扱えるのか?

    さて、最後にして最大の謎である、潜在空間を通さずピクセル空間を直接扱っているのになぜchroma-radiance-x0は現実的なVRAM消費量で学習/推論ができるのか?という疑問を解き明かしていきましょう。

    この謎の答えは、ここまで紹介してきたchroma-radiance-x0のアーキテクチャの中にあります。

    元々拡散モデル、とりわけUnetやDiTなど複雑なNNでピクセル空間を直接扱う場合、内部で膨大な情報を持ち続ける必要がありそれがVRAM消費を大幅に増加させる要因となっていました。

    かといってただ画像を分割してパッチ化するだけでは、ピクセルレベルの滑らかな連続性や高解像度情報の再現に限界があり、生成画像の品質が低下してしまうというジレンマがありました。

    そのため、座標情報をなるべく失わず、かつ入力する情報を圧縮できる手法としてVAE及び潜在空間が使われてきたわけです。

    ですが、ここまで紹介してきた通りchroma-radiance-x0の主軸であるMMDiTは高精度なピクセル空間そのものは保持していません。
    なぜならMMDiTが予測/学習するのはあくまで関数の重みであってピクセル空間ではないから。

    (※MMDiTは各パッチに対応するneural field headsの重みを生成するため、パッチ粒度で丸められたピクセル空間の情報は持っている点に注意)

    chroma-radiance-x0に入力されているのはパッチ単位のトークン列と、生成条件(テキストプロンプト)、timestepの3つだけです。

    そのため、chroma-radiance-x0のMMDiTが扱うのは画像の全ピクセルではなく、パッチ単位のトークン列とテキスト条件に由来する比較的短いトークン列に限られるため、少ないVRAM消費量で賄う事ができます。

    そして、MMDiTの出力で重みづけされたneural field headsに、周波数変換された正確な座標情報を入力することで、VRAM消費を抑えたまま品質を落とさずに画像生成(デノイズ作業)を実行することが可能なのです。

    上記に加え、VRAM消費が重くなりがちな、直接ピクセル空間を取り扱う事になるneural field headsにも工夫が加えられています。

    neural field headsの重みとなるMMDiT部分の出力は、線形層通過後に[1024, 49152]という形式になり、右側の49152という数字が3分割されそれぞれ重みとしてneural field heads内部にあるGLUに割り振られるという話を先ほどしました。

    では、1024という数字の方は何を意味するのかというと、これはここまでに何度も出てきた16ピクセル x 16ピクセルで分割された画像パッチの総数を指しています。

    つまり、MMDiT部分によって動的に出力されるneural field headsの(中のGLUに割り振る)重みは1024パターン存在し、それぞれのパターンが各パッチ専用の重みとして使用される事を意味します。

    故に、画像生成時に除去すべきノイズ(あるいはベクトル場)を予測する際は、各16ピクセル x 16ピクセルのパッチに対して局所的かつ独立した小規模な計算のみを行えばよく、大規模な中間特徴量を保持する必要がありません。

    この点が、使用するVRAM量を(特に推論時に)低く抑えられる主な要因となっています。


    おまけ Vast.aiでchroma-radiance-x0を動かす方法

    ここまで読んで実際にchroma-radiance-x0を触ってみたいな〜と思った人向けに、動かし方だけ記載しておきます。
    VRAM消費量が少ないとはいえそこそこ食うので、誰でも使えるよういつも通りVast.aiでの動かし方になります。

    まずはVast.aiを開きます。
    まだVastに登録していない人は以下のリンクからアカウントを登録してください。

    chroma-radiance-x0はComfy UIを使うことを前提とした推論コードのみが公開されているので、templeteからComfyUIを選びましょう。

    画像

    VRAMは20GBくらいあると動くようですが、今回は余裕を持ってRTX5090を使って環境を構築しました。
    お安く済ませたい人は4090でも動くんじゃないかな〜と思います。

    画像

    ノードが立ち上がったら「Open」ボタンを押し、以下の画面が開いたら「Comfy UI」の下にあるLaunch Applicationをクリックします。

    画像

    すると、見慣れたComfyUIの画面が開くので、以下のリンク先から画像をダウンロードし画面上にドラッグ&ドロップしましょう。

    続いて、モデルをダウンロードし適切なフォルダに配置します。
    配置が必要なのはchroma-radiance-x0本体とText Encoderになります。

    以下のリンクからlatest_x0.safetensorsとt5xxl_fp16.safetensorsをダウンロードし、参考画像のように配置してください。

    画像
    画像

    モデル配置後、再びComfy UIの画面に戻り以下のようにdiffusion modelとCLIPを設定。
    あとは実行ボタンを押せば画像が生成されるはずです。

    画像
    画像
    画像

    ここまで読んでいただきありがとうございました。
    読んでいて面白かった、タメになったという方がいればフォローとスキをよろしくお願いします!

    また、Xでは主に画像・動画生成の話をしていてるので、興味がある方はそちらもぜひ確認をよろしくお願いします!
    https://x.com/GianMattya



    あなたへのおすすめ