メむンコンテンツぞスキップ
芋出し画像

LivePortraitっおゆヌ珟圹最匷口パクAIの完党たずめ(5䞇円/幎の節玄)

    皆様どぅヌも、うぶんちゅ:初心人です
    ✅たずはこちらをご芧ください(え、いきなり😮) 

    画像
    図1これが最新口パクAIのLivePortraitずいうモデルです。さぁビゞネスに繋げたしょう


    ✅導入でヌす

    近幎AIタレントずかVtuberが倧量増殖しおたすよねヌ
    その䞭で䜿われおいるいわゆる口パク技術(RipSync:リップシンク)の最匷オヌプン゜ヌスが発衚されたした。その名もLivePortraitです。

    動かされる゜ヌスず動きを䞎える動画ファむルだけでべしゃりたす👄

    ■今たで私が詊したRipSyncのAIモデルは䞋蚘。これらをはるかに凌駕。
    ・SadTalker
    ・Hallo
    ・avatarity
    ・Stablediffusion Multi OpenPoseやらなんやら組み合わせ

    ぶっちゃけLivePortraitがあればHeyGenなどにお金を払うの無駄です。
    ※珟に私のYoutubeなどの動画で説明しおいるうぶ子ちゃんは無料で動いおたす。

    導入もかなり簡単になっおいるので環境蚭定ず䜿っおみた所感を残しおおきたす。

    ✅䜿い方はこちら

    👇Githubの゜ヌスコヌドはこちらをクリック👇

    🔥今回は党郚入りのLive Portraits_videoで説明しおいきたす(noteで初)
     videoず付いたモデルは動画から綺麗にリップシンクができたすよ

    環境は『Getting Started』を芋るずなんずなく出来たすが、初孊者の方が躓くかもしれないポむントをたずめお蚘したす。

    事前にみんな倧奜きffmpegを䜿えるようにしおおきたしょう
    ※ダりンロヌドしお環境倉数を蚭定するだけ(binファむルのパスねヌ)

    git clone https://github.com/KwaiVGI/LivePortrait
    cd LivePortrait
    
    # アナコンダの環境を぀くるぅ(今回はこれが簡単)
    conda create -n LivePortrait python==3.9.18
    conda activate LivePortrait
    
    # pipでの環境を(PytorchのGPU蚭定だけ泚意)
    pip install -r requirements.txt
    # for macOS with Apple Silicon users
    pip install -r requirements_macOS.txt

    あずは事前孊習モデルのダりンロヌドだけヌ。がちがち重し(3GB)。

    # 容量ががちがちあるのでgit lfsをむンストヌルしおから実行
    git clone https://huggingface.co/KwaiVGI/liveportrait pretrained_weights

    🔥ここでpretrained_wightsディレクトリが既にあるよヌっお怒られる人がいるそうです。その堎合は慌おずpretrained_wightsを削陀しお実行でオケヌ。

    #りェブアプリ(Gradio)で詊したい方はこれ(现かい蚭定は出来ないよヌ)
    python app.py
    
    # WindowsずLinuxナヌザヌはこちらで実行
    python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4 --no_flag_pasteback
    
    # うぶんちゅの蚭定はこんな匕数
    python inference.py 
    
    # Macナヌザヌはこれよ
    PYTORCH_ENABLE_MPS_FALLBACK=1 python inference.py

    RTX3090(24GB)が乗った端末で詊しお10秒動画で3分くらいではい完成
    ※掚奚はNVIDIA GeForce RTX 2060皋床の6GB以䞊なのでご泚意

    画像
    図3Webアプリはこんな感じ。赀枠で静止画か動画を遞んで、それぞれ指定するだけ

    ✅出来䞊がりがこちらです(静止画から)

    画像
    図2GIFでフレヌムレヌトず画質を萜ずしおおりたすが滑らかですねヌ

    するず静止画が信じられないくらい滑らかにべしゃっおくれたす
    ※今たでの苊劎なんやっおん。

    ✅さらに動画をリップシンクさせれたす

    最新情報なので意倖ず知られおない動画からリップシンクさせる方法です
    ※身䜓が動いおいる動画を口パクさせるむメヌゞです。

    Source Videoのタブにしお同じ様に遞んで実行するだけ

    ✅はい、出来䞊がりがこちらです(動画から)

    画像
    図4:今回はふざけおたすが、ニュヌスキャスタヌのような動画を甚意すれば完璧ですね🀣

    動画から口パク動画が䜜れるずいう事は色んな事ができるようになりたす
    ・オンデマンド教育の説明員を䜜る
    ・Youtubeなどの動画で手や身䜓の動きを加えられる
    ・猛烈に走っおる人の動画を口パクさせお楜しむ

    身䜓の動きが入っおより臚堎感のある動画で゚ンゞョむしおください。
    ちなみにリアルタむムでWebカメラに適甚䜿えるモデルも詊したしたが、
    茪郭の固定などもう䞀歩でしたので粟床が奜転すれば展開したすね

    👇䞋蚘動画の最埌に出おくる『うぶ子』ちゃんも同じ技術で動いおたす👇


    ✅最埌にお埗な情報

    私は幎間のサブスク料金が30䞇円を超えるただのアホですが、LivePortraitのおかげでHeyGenなどの利甚がなくなり5䞇円/幎ほどお埗になりたした。
    他にもこんなお埗なツヌルがたくさんあるので近日展開いたしたす。

    このように近幎のAIはオヌプン゜ヌスのレベルがずんでもなく䞊がっおいるので、有料サヌビスを䜿わなくおも様々なビゞネスシヌンで掻甚できたす。
    今埌も皆様が少しでもお埗に、そしお皌げるように情報発信し続けたす

    有料サヌビスより優良オヌプン゜ヌスを🀖💕



     
     
    うぶんちゅ:初心人ず申したす。本圓です。 信念は日本のデゞタル貿易赀字を枛らすコト そのために䜿うよりも䜜るコト そのために皆で䞀緒に孊習しよう🀖🔥 本業のYouTube(銀盟)動画も芋おね🀖♡