メインコンテンツへスキップ
見出し画像

【UiT】HiDream-O1-Imageを使ってみた話【最新ローカル画像生成AI】

    はじめに

    HiDream.ai(中国AIスタートアップ企業)の最新画像生成AI HiDream-O1-Imageが、ComfyUIプリイン・テンプレートで利用可能になったので試してみました。

    一般的な画像生成AIである旧版HiDream、Qwen-ImageやZ-Imageよりも、ERNIE-Imageのようなテキスト+構造化された画像生成を得意とするモデルとの事です。

    HiDream-O1の特徴は、テキストエンコーダーやVAEを外部で扱わず、同一の共有トークン空間へ直接マッピングする「画素レベル統一トランスフォーマー(Pixel-level Unified Transformer:UiT」を利用している事です。

    公開されている説明をそのまま解釈すると、メリットとして、VAEを利用した従来のものに比べて、ピクセル空間の詳細がより直接的に忠実に反映されやすくなるはずです。

    一方で、統合する事が必ずしも良いとは限らず、一長一短あると思います。そういう意味でも、新しい手法の試みとしては面白そうに思います。

    ComfyUIテンプレート

    ComfyUIを最新版にすると、HiDream-O1-Imageが利用可能になります。

    2つのモデルが公開されています。

    • HiDream O1 Full: 汎用性の高い非蒸留ベースモデル

    • HiDream O1 Dev: 高速で高品質な蒸留モデル

    通常は蒸留Dev版で良いと思います。dev版を利用します。

    画像
    ComfyUIテンプレート
    画像
    fp8_scaled版を利用します
    CLIPやVAEはComfyUI互換性のために必要なのだと思います
    画像
    プロンプトエンハンサーとしてGemma4が利用されています。
    画像
    メタ・プロンプトが書かれています

    画像生成テスト

    通常の画像生成(t2i)

    デフォルトはEdit機能が有効になっているので無効(false)にします。画像は入力エラーにならないように、適当な画像を指定しておきます。

    画像
    画像
    プロンプト
    画像
    結果(プロンプトエンハンサーなし)
    画像
    プロンプトエンハンサーをONにします
    画像
    結果(プロンプトエンハンサーあり)

    ComfyUIでLLMを動かすと遅いので、(自動化に拘らなければ)ollamaやLM Studioで作った方が良いかもしれません。

    画像
    Promptエンハンサーの中身(サブグラフ)

    例:ollama + Open WebUIのプロンプトを作成します

    画像
    コピペして
    画像
    最後の出力部だけ変更します

    このメタ・プロンプト&Gemma4 26Bを利用して、HiDream-o1用の画像生成プロンプトを生成します。

    A vintage 1970s Japanese Tokusatsu live-action movie poster with a cinematic 35mm film aesthetic. In the center foreground, a female villainess stands in a commanding pose, wearing ornate, metallic practical-effect armor with reflective chrome textures and a flowing, heavy purple velvet cape; her helmet features sharp, curved black horns. She grips a tall, textured staff topped with a large, luminous purple crystal that emits a soft violet glow. She points the staff toward a massive, textured reptilian kaiju positioned in the midground, which features thick, bumpy scales and glowing purple eyes. The scene is set within a highly detailed miniature industrial landscape, composed of weathered metal pipes, large cylindrical tanks, and layered industrial structures that create depth. In the background, a small, weathered wooden sign is attached to a metal pipe, clearly displaying the black hand-painted Japanese text "安全第一" in a simple sans-serif style. The lighting is dramatic and high-contrast, featuring heavy chiaroscuro, intense rim lighting on the armor, and a slight film grain characteristic of retro celluloid. At the top of the poster, the main title is rendered in large, bold, stylized Japanese kanji "冷酷無比!戦慄の女幹部 魔女帝国の逆襲" in a striking red and gold color. At the bottom edge, a dynamic and dramatic subtitle reads "悪の美学!今、恐怖が支配する!!" in a sharp, impactful white font, perfectly integrated into the cinematic composition.
    画像

    画像編集生成(i2i)

    画像編集AI(最大10枚までの参照画像)としても利用できます。(ライバル)ERNIE-Imageにはない機能です。

    画像
    ImageEdit機能をtrueにします
    画像
    左:入力 右:出力
    「両手を上げる」プロンプト

    ただし、(UiTである事が原因なのかはわかりませんが)画像サイズのピクセル縛りは強いようです。適切なサイズを利用しなければ失敗します。

    画像
    解像度のサイズ

    また、適切なサイズでも、複雑な画像や指示で利用すると失敗します。

    画像
    入出力を2048x2048に揃える
    画像
    プロンプト
    画像
    失敗例①
    画像
    失敗例②
    画像
    失敗例③

    まとめ

    ComfyUI側の問題のような気がしなくもないですが、基本性能だと、ERNIE-Imageの方がかなり高いと思います。

    UiTも想定している効果が出ているとは言い難いと感じます。(まだ人類には早すぎる感じがするので)もう少しComfyUI対応の様子を見た方が良いかもしれません。

    密に繋がったフルアテンションのような構造の場合、高周波成分や詳細に関して「情報を落とさない」とすると、先進的で改善したような表現になりますが、デメリットとして考えると「間違った無視すべきノイズに強く左右される」となってしまいます。

    実際にピクセルの詳細や構造を(従来よりも)保存できていない事は、想定した効果を得られていない可能性が高く、特に不安定である事は、デメリットの部分が強く出てしまってるのではと推測します。

    以下、関連する記事の【PR】です。


     
     
    3Dアート作品や3Dモデルデータも扱っています。最近は専らAIを利用した作品が多いです。 ※ BOOTHにて各種販売も行なっております。 https://lit.link/catappart3d

    あなたへのおすすめ