劣化した画像を鮮明に復元する技術 DiffBIRを導入してみた/stablediffusion

今回は拡張機能ではないのですが、このDiffBIRは画像復元技術であり、低品質の画像を高品質に復元する手法みたいです
このプロセスは二つの主要な段階を経て行われ、最終的に事前に訓練されたStable Diffusionを用いて高品質な画像が生成されるそうです

※字幕が必要な方はyoutube設定より字幕を選択ください(jp/En)

?AI Art JAPANを応援したい?
そんなバチクソ漢気のある方はこちらからメンバーシップ登録↓
【特典】
・投稿動画内で使用した厳選画像を翌月限定で配布
・メンバー様限定動画の視聴
・コメントの優先返信
・オリジナル絵文字の使用
・メンバー用バッジ

IOSの方はスマホからメンバーになるボタンが表示されないそうです
PCから来てね?BGM：AIArtJAPAN?
https://www.youtube.com/channel/UCnUecq8x9KbTMEhOVsyCjZA/join

?私たちが導入した方法はコチラ↓

前準備として
・Python3.10が導入されていること(3.10.6でいけました)
・gitのinstall
※上記はSDWEBUIを導入している方は入れてると思われますよ
・Visual Studio 2022のinstall　↓URL
https://visualstudio.microsoft.com/ja/downloads/
Tools for Visual Studio　→　Build Tools for Visual Studio 2022「ダウンロード」をクリック
インストーラーを実行し、左上の ”C++によるデスクトップ開発" にチェックを入れ、インストールをクリック

・CUDA　toolkitの入手
https://developer.nvidia.com/cuda-toolkit-archive
※私の場合はPyTorch 2.1.0+cu121が必要とされていたので、CUDA 12.1.1をinstall

?ここからDiffBIRを構築しますよ?

C:\DiffBIR_Local を作成
（ここはみなさんのpathに置き換えて読んでね）

そのフォルダでcmd

下記コマンドを実行
git clone https://github.com/XPixelGroup/DiffBIR.git

下記コマンドで取得した"DiffBIR"へ移動
cd DiffBIR

移動したら、下記コマンドで仮想環境を作成する
py -m venv venv

下記コマンドでアクティベートする
.\venv\Scripts\activate

※(venv) D:\DiffBIR_Local\DiffBIR　と表記されればOK

インストーラーの更新
py -m pip install --upgrade pip

パイトーチのインストール
pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu118
こっちでいいかも
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

xformersをインストールする
pip install xformers

下記コマンドで"requirements"ファイルを開く
notepad requirements.txt

開かれたファイルの記述を下記に添削して保存

pytorch_lightning==1.4.2
einops
open-clip-torch
omegaconf
torchmetrics==0.6.0
opencv-python-headless
scipy
matplotlib
lpips
gradio
chardet
transformers
facexlib


下記コマンドで追加パッケージを取得する
pip install -r requirements.txt

下記コマンドでtritonをインストールする
pip install https://huggingface.co/r4ziel/xformers_pre_built/resolve/main/triton-2.0.0-cp310-cp310-win_amd64.whl

Successfully installed cmake-3.27.7 triton-2.0.0
※上記が出れば成功

下記URLからモデルをダウンロードする(計16G位)
https://huggingface.co/lxq007/DiffBIR/tree/main

face_full_v1.ckpt
face_swinir_v1.ckpt
general_full_v1.ckpt
general_swinir_v1.ckpt

※上記のファイルを
C:\DiffBIR_Local\DiffBIR
に配置しますよ

そしたら下記のどちらかの起動コマンドを実行でUIが立ち上がり、画像修復もできたらOKです

diffbir起動コマンド
py gradio_diffbir.py --ckpt ./general_full_v1.ckpt --config configs/model/cldm.yaml --reload_swinir --swinir_ckpt ./general_swinir_v1.ckpt --device cuda

diffbir起動コマンド(face用)
py gradio_diffbir.py --ckpt ./face_full_v1.ckpt --config configs/model/cldm.yaml --reload_swinir --swinir_ckpt ./face_swinir_v1.ckpt --device cuda


以上で環境の構築は完了ですが
私の場合、いろいろエラー出てたので下記対応でいけました

xFormersライブラリはPyTorch 2.1.0+cu121と互換性のあるCUDA 12.1を必要としていますが
現在の環境はCUDA 11.8（cu118）で構成されていたので

C:\DiffBIR_Local\DiffBIRで、下記コマンドでアクティベートする
.\venv\Scripts\activate

下記コマンドで現在のPyTorchをアンインストールします：
pip uninstall torch torchvision torchaudio

下記コマンドでCUDA 12.1をinstall
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

Gradioのasyncioエラー対処
Gradioをバージョン3.36.1以上にアップグレードする
pip install --upgrade gradio

上記でバージョンが新しくなった為、gradioの記述構文が変わってたぶん下記のエラーがでた

エラー
TypeError: Image.__init__() got an unexpected keyword argument 'source'

?C:\DiffBIR_Local\DiffBIRにある、”gradio_diffbir.py”ファイルを開いて

input_image = gr.Image(source="upload", type="pil")
を検索して
input_image = gr.Image(type="pil")
に書き換える

エラー
TypeError: Button.__init__() got an unexpected keyword argument 'label'

run_button = gr.Button(label="Run")
を検索して
run_button = gr.Button(value="Run")
に書き換える

エラー
AttributeError: 'Gallery' object has no attribute 'style'. Did you mean: 'scale'?

result_gallery = gr.Gallery(label="Output", show_label=False, elem_id="gallery").style(grid=2, height="auto")
を検索して
result_gallery = gr.Gallery(label="Output", show_label=False, elem_id="gallery")
に書き換える

書き換えたら、”gradio_diffbir.py”を保存して起動コマンド実行でいけましたよ?わーい


?起動用バッチコマンド作成?
好きなとこに.txtファイル作成
下記のコマンドをペーストして保存 → 拡張子を.batに変更
※D:\DiffBIR_Local\DiffBIRの部分はみなさんがDiffBIRをinstallしたpathに変えてくださいね

?顔に特化モデル起動?

@echo off
cd /d D:\DiffBIR_Local\DiffBIR
call venv\Scripts\activate
py gradio_diffbir.py --ckpt ./face_full_v1.ckpt --config configs/model/cldm.yaml --reload_swinir --swinir_ckpt ./face_swinir_v1.ckpt --device cuda
if %ERRORLEVEL% neq 0 pause
venv\Scripts\deactivate

?背景用モデル起動?

@echo off
cd /d D:\DiffBIR_Local\DiffBIR
call venv\Scripts\activate
py gradio_diffbir.py --ckpt ./general_full_v1.ckpt --config configs/model/cldm.yaml --reload_swinir --swinir_ckpt ./general_swinir_v1.ckpt --device cuda
if %ERRORLEVEL% neq 0 pause
venv\Scripts\deactivate


??AIイラストの無料での始め方??

?StableDiffusionWebUI導入～AIイラスト作成までの解説
https://youtu.be/fCGLy6Dw_wc

?stablediffusionの取扱説明書
https://youtu.be/qBRq_RjxfxM


♪効果音/BGM
otologic
https://otologic.jp/

DOVA-SYNDROME
https://dova-s.jp/

MOMIZizm MUSIC
https://music.storyinvention.com/

声：voicepeak

#コメント大歓迎 #チャンネル登録お願いします #AIイラスト #AIコスプレ #stablediffusion #DiffBIR #generativeai #aiart