サイバーグノーシス - colabで構築


高速化の試行錯誤

Google Driveからモデルデータを読み込む（完了）
Installing gfpgan
Installing clip
Installing requirements for CodeFormer
Installing requirements for Web UI
Exiting because of --exit argument

「xformers」はC
deepdanbooru

Installing requirements for Web UI
Launching Web UI with arguments: --share --gradio-debug --gradio-auth a:b
LatentDiffusion: Running in eps-prediction mode
DiffusionWrapper has 859.52 M params.
making attention of type 'vanilla' with 512 in_channels
Working with z of shape (1, 4, 32, 32) = 4096 dimensions.
making attention of type 'vanilla' with 512 in_channels
Loading weights [1d4a34af] from /content/drive/MyDrive/SD-WEBUI/models/Stable-diffusion/animefull.ckpt
Applying cross attention optimization (Doggettx).
Model loaded.
Loaded a total of 1 textual inversion embeddings.
Embeddings: fischl

Web UIに必要な要件のインストール
引数を指定してWeb UIを起動する --share --gradio-debug --gradio-auth a:bを指定する。
LatentDiffusion。eps-predictionモードで実行中
DiffusionWrapperのパラメータは859.52Mです。
512 in_channelsで'vanilla'タイプの注意を作る。
形状(1, 4, 32, 32) = 4096次元のzで作業する。
512個のチャンネルを持つ'vanilla'タイプのアテンションを作成する。
/content/drive/MyDrive/SD-WEBUI/models/Stable-diffusion/animefull.ckpt からウェイト [1d4a34af] をロードしています
クロスアテンション最適化の適用（Doggettx）。
モデルをロード。
テキスト反転の埋め込みを合計1個ロード。
エンベッディング: fischl
  • 再起動の場合（1分）
Installing requirements for Web UI
Launching Web UI with arguments: --share --gradio-debug --gradio-auth a:b
LatentDiffusion: Running in eps-prediction mode
DiffusionWrapper has 859.52 M params.
making attention of type 'vanilla' with 512 in_channels
Working with z of shape (1, 4, 32, 32) = 4096 dimensions.
making attention of type 'vanilla' with 512 in_channels
Loading weights [1d4a34af] from /content/drive/MyDrive/SD-WEBUI/models/Stable-diffusion/animefull.ckpt
Applying cross attention optimization (Doggettx).
Model loaded.

Web UIに必要な要件のインストール
引数を指定してWeb UIを起動する --share --gradio-debug --gradio-auth a:bを指定する。
LatentDiffusion。eps-predictionモードで実行中
DiffusionWrapperのパラメータは859.52Mです。
512 in_channelsで'vanilla'タイプの注意を作る。
形状(1, 4, 32, 32) = 4096次元のzで作業する。
512個のチャンネルを持つ'vanilla'タイプのアテンションを作成する。
/content/drive/MyDrive/SD-WEBUI/models/Stable-diffusion/animefull.ckpt からウェイト [1d4a34af] をロードする。
交差注目最適化(Doggettx)を適用する。
モデルをロード。
テキスト反転のエンベッディングを合計1個ロード。
エンベッディング: fischl
Loaded a total of 1 textual inversion embeddings.
Embeddings: fischl

Colab+DriveでSD-WebUIを構築する

コマンドライン引数の設定

参考：コマンド ラインの引数と設定
arg = "--share --gradio-debug --gradio-auth "+idpass
!COMMANDLINE_ARGS="$arg"
  • 「--share」」shareオプションを使用してオンラインで実行します」
  • 「--debug」 debugオプションを指定してグラディオを起動
  • [--gradio-auth]「username:password」のようにグラデーション認証を設定します。または「u1:p1,u2:p2,u3:p3」のようにカンマ区切りで複数指定
以下の用にコマンドラインの引数を変更する
arg = "--xformers --deepdanbooru --share --gradio-debug --gradio-auth "+idpass

Google Driveに環境構築

  • 以下の作業におけるインストール先のフォルダ名は「SD-WEBUI」とする
  • カレントディレクトリ系がうまくいかない場合、GUIのアイコンでもう一度ドライブにつなぎ直す？

1.接続＆GPUチェック
!nvidia-smi

2.OS再起動。クラッシュとか出るけど気にせず次へ
  • 並列処理を含むプログラムを強制終了させる？
import os
os.kill(os.getpid(), 9)

3.Google Driveをマウントする
from google.colab import drive
drive.mount('/content/gdrive')

4.WebUIのGitをクローン
  • Git Cloneするリンクに、自分のGitアカウントをGitパスワードを含める
  • ローカルリポジトルを作るディレクトリはGoogle ColabにマウントしたGoogle Driveを指定
  • <>は含まない
!git clone https://<自分のGitアカウント>:<Gitパスワード>@github.com/<Gitアカウント>/<リポジトリ>.git "gdrive/My Drive/<ローカルリポジトリを作るディレクトリ>"

5.クローンしたフォルダにカレントディレクトリする
%cd /content/drive/My Drive/SD-WEBUI

6.初期化と各種ライブラリインストール
!COMMANDLINE_ARGS="--exit" REQS_FILE="requirements.txt" python launch.py

7.またOS再起動。クラッシュとか出るけど気にせず次へ

8.Google Drive をマウントし直す？
import os
MOUNT_PATH = "/content/googledrive"

# 各種ライブラリの配置パス
SD_PATH = "/content/"

# Stable Diffusion model config path
MODEL_CONFIG_PATH = os.path.join(SD_PATH, "stable-diffusion", "configs", "stable-diffusion", "v1-inference.yaml")

from google.colab import drive
drive.mount(MOUNT_PATH)

9.WebUIを最新版に更新
  • カレントディレクトリしてGitプル
%cd /content/drive/My Drive/SD-WEBUI
!git pull

10.「models」フォルダに任意の「モデル.ckpt」ファイルを配置する

11.セルを実行し、「Running on public URL」を開く

再起動の場合

1.接続＆GPUチェック
2.OS再起動。クラッシュとか出るけど気にせず次へ
3. Google Drive をマウント
（4.WebUIを最新版に更新する）
5. 実行！「Running on public URL」を開く

ColabでSD WebUI + NAI を動かす

参考：【高速化】Stable Diffusion web UI : AUTOMATIC1111をGoogle colabで便利に使う
デフォルトのweb UIのユーザー名：me、パスワード：qwerty
  • 必要なモデルをダンロードする

Google ColabでStable Diffusionを動かす

一番シンプルなモードでGoogle colabになれる

参考：【簡単・無料】Google colabでStable Diffusion / Waifu Diffusionを使う方法
  • ４つのPythonプログラムをセルにコピペしていく

��Stable Diffusionパッケージをインストール
# ��Stable Diffusionパッケージをインストール
!pip install diffusers==0.3.0 transformers scipy ftfy
��Hugging Faceへのアクセストークンをトークン変数に格納
# ��Hugging Faceへのアクセストークンをトークン変数に格納
MyTOKEN="<HugginFace HubのサイトでコピーしたAccess Tokenをここに入れる>"
��StableDiffusionパイプラインを準備する
# ��StableDiffusionパイプラインを準備する
from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained(
    "CompVis/stable-diffusion-v1-4", 
    use_auth_token=MyTOKEN
).to("cuda")
�ぅ廛蹈鵐廛箸鰺燭┐堂菫�を生成する
# �ぅ廛蹈鵐廛箸鰺燭┐堂菫�を生成する
from torch import autocast

prompt = "japanese girl"
with autocast("cuda"):
    images = pipe(prompt, guidance_scale=7.5).images
images[0].save("output.png")
モデルを切り替える場合 
# モデル：Waifu Diffusion を使用する場合

pipe = StableDiffusionPipeline.from_pretrained(
    "hakurei/waifu-diffusion",                        # 変更箇所はこの行のみ
    use_auth_token=MyTOKEN
).to("cuda")
APIリファレンス
「StableDiffusionパイプライン」のpipeのパラメータ紹介

prompt (str or List[str]) : プロンプト
height (int, optional, defaults to 512) : 生成する画像の高さ
width (int, optional, defaults to 512) : 生成する画像の幅
num_inference_steps (int, optional, defaults to 50) : ノイズ除去のステップ数
guidance_scale (float, optional, defaults to 7.5) : プロンプトに従う度合い (7〜11程度)
eta (float, optional, defaults to 0.0) : eta (eta=0.0 は決定論的サンプリング)
generator (torch.Generator, optional) : 乱数ジェネレータ
latents (torch.FloatTensor, optional) : 事前に生成されたノイジーな潜在変数
output_type (str, optional, defaults to "pil") : 出力種別
return_dict (bool, optional, defaults to True) : tupleの代わりにStableDiffusionPipelineOutputを返すかどうか
戻り値 : tuple or StableDiffusionPipelineOutput
StableDiffusionPipelineOutputのプロパティ

images (List[PIL.Image.Image] or np.ndarray) : 長さbatch_sizeのPIL画像のリスト または shape(batch_size,height,width,num_channels)のnumpy配列。
nsfw_content_detected (List[bool]) : 生成画像がNSFW(not-safe-for-work)かどうかのリスト。

Stable Diffusion web UI(AUTOMATIC1111版)の場合

参考：画像生成AI「Stable Diffusion」を4GBのGPUでも動作OK＆自分の絵柄を学習させるなどいろいろな機能を簡単にGoogle ColaboやWindowsで動かせる決定版「Stable Diffusion web UI(AUTOMATIC1111版)」インストール方法まとめ
  • Google Colabの以下のページに飛ぶ
  • １セルを実行時「不明な理由により、セッションがクラッシュしました。」と表示されるが、そのまま進んで良い
「import sys」でエラーが出た場合
  • 「model.ckpt」については、本来の場所である「/content/stable-diffusion-webui/repositories/stable-diffusion/models/ldm/stable-diffusion-v1/」に見当たらない
  • 画面左側のメニューにあるフォルダアイコンをクリックして構成を確認したところ、「ldm」フォルダ内に「stable-diffusion-v1」フォルダがなく、そもそも「model.ckpt」ファイルが「content」直下に置かれている
  • 手動で当該フォルダを作成して「model.ckpt」ファイルを移動するとインストールは進む
  • １から3のセルを実行していく（４は高精度版のオプション）
  • 「INFO: Application startup complete.」で出えれば成功
  • ３番めの上部にある「INF | Your quick Tunnel has been created! Visit it at (it may take some time to be reachable): |」の真下にあるURLを新しいタブで開く
  • アスカテストを行い確認する

NAIの場合



参考：novelai-colab-ver
  • 上記ZIPの「4chan_ver」→「NovelAILeaks_API_Backend-EN.ipynb」をGoogle colabで開く

colabの基本事項メモ

参考：Google Colabの制限と対策

VRAMメモ

  • cuda対応
  • 12GB以上
  • グラボ2枚挿し　機械学習　CUDA
    • ソフト、マザーボードが対応しているか？
    • SLI」技術？

シェルコマンドの実行

  • 先頭に ! をつけるとシェルコマンドを実行できる
!rembg --version

90分ルール対策

Chromiumブラウザのアドオンを入れる

割り当てられているGPUを調べるコマンド

!nvidia-smi

12時間ルールでリセットされるまでの時間を調べるコマンド

!cat /proc/uptime | awk '{printf("残り時間 : %.2f", 12-$1/60/60)}'

Google Colabの制限

  • RAM：12GB　
  • ディスク：CPU/TPC:最大107GB、GPU:最大68GB
  • 90分ルール : 何も操作せずに90分経つとリセット
  • 12時間ルール : インスタンスが起動してから12時間経つとリセット
  • GPUの使用制限 : GPUを使いすぎるとリセット（上限未公開）

Googleドライブの作業フォルダの作成する

「work」という名前の作業フォルダを作成するコマンド
# 作業用フォルダの作成
from google.colab import drive 
drive.mount('/content/drive')
!mkdir -p '/content/drive/My Drive/work/'
%cd '/content/drive/My Drive/work/'

速度比較

  • ローカル
Japanese girl
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 1829698466, Size: 512x512, Model hash: 925997e9, Batch size: 3, Batch pos: 0, Clip skip: 2, ENSD: 31337
Time taken: 2m 15.55sTorch active/reserved: 3226/4230 MiB, Sys VRAM: 5546/6144 MiB (90.27%)
  • Google colab
Japanese girl
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 1362447817, Size: 512x512, Model hash: 7460a6fa, Batch size: 3, Batch pos: 0
Time taken: 41.70sTorch active/reserved: 5349/6880 MiB, Sys VRAM: 7966/15110 MiB (52.72%)

colabでよく使うMarkdown

  • 「#@markdown」+マークダウン記法
見出し（#）
  • 1個から6個シャープで見出しを記述する。
  • ※シャープと見出し文字の間には半角スペースを1つ入れること
箇条書きリスト(-)
ハイフン、プラス、アスタリスクのいずれかで箇条書きリストを記述可能。
※ハイフン、プラス、アスタリスクと箇条書きの項目の間には半角スペースを1つ入れること

Drive に pip install　する

  • Google Driveをマウントした上で、!pip install --target パス名 モジュール名とすると指定したフォルダにモジュールがインストールされる
!pip install パス名 モジュール名
!pip install --targe /content/drive/MyDrive/Colab\ Notebooks/my-modules/rembg rembg
  • Colabと Notebooks の間に space が入っているので、\ (backslash)でエスケープしておかないとエラーになる

Google Driveをマウントする方法

参考：Google Colabでpython6 〜 Google Drive上へのデータ保存・読み込み
参考：Google ColaboratoryでGoogle Drive上の.pyファイルをインポート

方法：AGUIで


方法B：コマンドで
from google.colab import drive
drive.mount('/content/drive')
  • ポップアップ通知を認証すると「Mounted at /content/drive」と出力される

動作確認

  • ls コマンドで確認すると自分のGoogle Driveのファイルが見られる
! ls "/content/drive/My Drive/Colab Notebooks"
! ls
  • ｃｄで「Colab Notebooks」フォルダまで移動する
%cd /content/drive/My Drive/Colab Notebooks
  • 実際にデータが保存できるか書き込みテストをする
    • numpyのsavetxtを用いて以下のコードを実行する
import numpy as np
data=np.arange(10)
np.savetxt('save_test.txt',data)

同じく読み込みテストを行う
    • ファイルを読み込むには例えばloadtxt()を用いる
rdata=np.loadtxt('save_test.txt')
rdata

直接パス指定する場合
import numpy as np
data=np.arange(10)
path="/content/drive/My Drive/Colab Notebooks/my-modules/rembg"
np.savetxt(path+'/save_test2.txt',data)

Google Driveにパスを通す

  • Google Drive上の見かけと実際のディレクトリの構造が違うので、見かけ上でファイルが正しく配置されていてもパスを通さないとインポート出来ない
  • ノートブックを開いた後にGoogle Drive上でファイルを追加・移動したり、ファイルの内容を変更してもすぐには認識されない
  • モジュールの内容を書き換えた場合、明示的にリロードする必要がある
  • 時間が経過して初期化状態では、Google Driveのマウントとパスを通すコードを実行する必要があるが、pipに関しては実行しなくてもモジュールがimportすることができる

sys.path.append()でパスを通す（こっちのほうがいい？）
import sys
sys.path.append('/content/drive/My Drive/Colab Notebooks/my-modules/各々のプロジェクト')

import module1
module1.hello()
又は
import os, sys
nb_path = '/content/notebooks'
os.symlink('/content/drive/My Drive/Colab Notebooks/my-modules', nb_path)
sys.path.insert(0,nb_path)

importエラーの解消

A;モジュールの内容を書き換えた場合、明示的にリロードする
import importlib
importlib.reload(module1)
B：一度 [Restart] > [Restart rumtime] でランタイムを再起動