メインコンテンツへスキップ
見出し画像

Krita-ai-diffusionがZ-ImageのControlNetとQwen-Image-Layeredに対応した話

    はじめに

    Krita-ai-diffusionの最新版1.44.0が新たなAIモデルに(実験的に)対応したので、動作確認とレビューです。

    ただし実験対応のままなので、ボタンひとつで導入できるSD/SDXLやFLUX.1と異なり、既存のQwen-ImageやZ-Imageと同じく、モデルのダウンロードと設定は自分で行う必要があります。

    ※ Krita-ai-diffusion管理の標準ComfyUIサーバーでなく、カスタムComfyUIを利用している場合は、(安定板でない)最新版でなければQwen-Image-Layeredが動作しないようです

    Z-Image-Turbo-Fun-Controlnet-Union対応

    Z-Image-Turbo-Fun-Controlnet-Unionとは?

    Z-Image-Turboで基本的なControlNet操作が可能になります。

    導入と実行

    ※ Krita-ai-diffusionと付属のサーバーのアップデートも必要です

    先にZ-Image-Turbo本体の導入が必要です。Krita-ai-diffusionの標準サーバーを利用している場合は以下のフォルダ下に存在する各フォルダへモデルを格納します

    C:\Users\user\AppData\Roaming\krita\ai_diffusion\server
    • ✅ z_image_turbo_bf16.safetensors→models/diffusion_models

      • ※ bf16は大きいので、fp8やggufモデルの方がおすすめです

    • ✅ qwen_3_4b.safetensors→models/text_encoders

    • ✅ ae.safetensors→models/vae

      • ※ FLUX.1用と同じファイルです

    次にControlnet用のモデルをダウンロードします。※ model_pachesに保存します

    • ✅ Z-Image-Turbo-Fun-Controlnet-Union-2.1.safetensors→models/model_patches

    動作確認します。既存のZ-Image Turboスタイルで、ControlNetの利用が可能になります。

    画像
    ポーズテスト
    画像
    Depth mapテスト
    Prompt: a photo of standing Japanese female idol with a spear and shield.

    Qwen-Image-Layered対応

    Qwen-Image-Layeredとは?

    AIが任意の画像をレイヤーに自動分割してくれるモデルです。

    画像
    3つのレイヤーで分割(本当は、文字・人物・背景にしてほしかったのですが)
    画像
    この手の機能は、画像編集ソフトにとっては革命的に思えますが、

    導入と実行

    必要なモデルをダウンロードします。

    • ✅ qwen_image_layered_fp8mixed.safetensors→models/diffusion_models

    • ✅ qwen_image_layered_vae.safetensors→models/vae

    画像
    Qwen-Image-Layered用のスタイル設定(Krita-ai-diffusion)
    画像
    プロンプトなしで、レイヤー数は3

    正確に時間を計測していませんが、40ステップで15分程度必要でした(RTX 5060ti 16GB)。現状そのままでは使い物になりません

    画像
    オリジナル(Nano Banana Proで生成したもの)
    画像
    Layer 4
    画像
    Layer 3
    画像
    Layer 2

    まとめ

    Z-Imageはまだ全てのモデルを公開していませんが、Stable DiffusionやFLUXが支配的だった領域を、Alibaba系のAIモデルが全部持っていきそうな勢いですね。

    以下、関連する記事の【PR】です


     
     
    3Dアート作品や3Dモデルデータも扱っています。最近は専らAIを利用した作品が多いです。 ※ BOOTHにて各種販売も行なっております。 https://lit.link/catappart3d

    あなたへのおすすめ