【AI動画】 無料でどこまでできる？【Stable Diffusionとか】

↓こんな感じのai動画を作りたくて作り方を調べました。

世界が数秒しか姿を保てなくなってワロタ
https://youtu.be/iE33HF2fzMo

DIE ANTWOORD - AGE OF ILLUSION (Ai VIDEO)
https://youtu.be/Cq56o0YH3mE

課金をすればすぐに作れそうな感じだったけど、
無料で作るのはかなりの制限がある感じでした。

制限の中、何とか作った動画たちです。

いろいろ試したのですが、runwayのGAN1が一番お手軽でハイクオリティでした。無課金では秒数制限がありますが。

スマホでお手軽にai動画変換や、テキストから動画作れるかなあと思ったけど、
スマホだと、どのアプリも課金必須でした。

いろいろ調べていて気付いたのですが、

『世界が数秒しか姿を保てなくなってワロタ』
は、GAN1で作ってると思います。

『DIE ANTWOORD - AGE OF ILLUSION (Ai VIDEO)』
は、deforum Stable Diffusionを使っているのかなあと思います。

こういう新しい概念が分かってくる感じ、面白いなあと思います。

Music used
Warming Light by Jonny Easton
https://www.youtube.com/watch?v=jmrvDx4okis
いい曲であります。


以下、試した記録です。

・まず、自宅のpcにai動画生成の環境を構築しようと考えました。


↓記事を参考にさせていただきました。ありがとうございます。
動画編集ロードマップ
https://freeblog-video.com/stable_diffusion_install/


・大まかな手順

Stable Diffusionを自分のPCにダウンロード
↓
mov2mov導入


・細かい手順
1：Pythonをダウンロード、インストール
2：Gitをダウンロード、インストール
3：Web UI（AUTOMATIC1111）をダウンロード、
4：controlnet、mov2mov導入


・Stable Diffusionを自宅pcで動かす

stable-diffusion-webuiを開き、下から2つ目のwebui-user　バッチファイルをダブルクリック
いろいろダウンロードされる

↓
AssertionError: Torch is not able to use GPU;”というエラー
原因グラボがしょぼいから。

自宅PCのグラボはk620です。

↓
『webui.bat』を適当なエディタ(テキストエディタなどで大丈夫です)で開いて、

set COMMANDLINE_ARGS=

という行をみつけたら、イコールの後に--skip-torch-cuda-testを追記して、保存して閉じます。

↓
RuntimeError: "LayerNormKernelImpl" not implemented for 'Half'

↓

グラフィックカードがhalf floats(半精度浮動小数点数)の計算に対応してないっぽい。
『webui.bat』を適当なエディタ(テキストエディタなどで大丈夫です)で開いて、

set COMMANDLINE_ARGS=

--precision full --no-half --lowvram --opt-split-attention

↓
1枚の画像を出力するのに10分かかりました。
aiやるのにグラボの性能不足を痛感することになりました。

画像一枚出力するのに10分かかるとすると、
１秒の動画を処理するのに、20フレームにしても200分かかる計算になります。
１分だと12000分、8日ちょいかかります。

3dcgをやっていたので、レンダリングの長さには慣れていますが、
これはちょっと、かかりすぎじゃないかな？と思い、
検索した結果、グラボ高すぎるし、
Google Colab 使った方がいいのじゃないだろうか？という結論に達しました。


・Stable DiffusionをGoogle Colabで動かす

↓記事を参考にさせていただきました。ありがとうございます。
【Stable Diffusion】あなただけのAI美女の作り方@Google Colab
https://note.com/toshimaru_news/n/n17de6ef808c9

↓
google driveの容量、たりねー

グーグルフォトを全部ダウンロードして、
削除、容量を確保

↓
手順通りにやったらStable Diffusionうごいた！
画像の生成は1分くらい。
ローカル環境だと10分かかったので、感動します。
controlnet、mov2mov導入もさくっと終わりました。

↓
しかし、無料のアカウント制限で、ブツブツとぎれまくります。
回避方法とか、今後探っていきたいところです。
候補としては、deforum Stable Diffusionを試す、
google colabからModalに移行する、
あたりかなあと思います。


#ai動画
#stablediffusion
#googlecolab
#aivideo