NovelAI 5ch Wiki

• https://note.com/kohya_ss/n/nb20c5187e15a これで比べる
• https://huggingface.co/aka7774/frog_bench バッチを用意した

accelerate launchの実行時間を測る。
Windowsだとちょっと大変。
Linuxだと頭にtimeをつければ出てくる。

バッチの時間が変だったら100%になった時の所要時間も併記してくれるといいかも・・・。
環境によるけど30秒から1分くらいの準備時間が別途かかってるはず。

厳密にレギュレーションに従うなら tag v0.4.0(サンプル用意時) で計測するのがお勧め。

GPU	VRAM	CPU	time(秒)	オプション	バージョン	備考	編集
RTX 2070 SUPER	8GB	Ryzen 7 5800X	7m24.127s	--xformers --batch_size 2 --cache_latents		torch2.1,xformers0.0.19 cache_latentsオンで低解像度で大幅に高速化	編集
RTX 2060	6GB	Ryzen 5600X	18m15.98s	--xformers batch_size=2			編集
RX 6650 XT	8GB	Ryzen 5 5600G	24m18.670s	max_data_loader_n_workers=8 num_cpu_threads_per_process 12 xformers使えないのでmem_eff_attn	5050971ac687dca70ba0486a583d283e8ae324e2	torch: 2.0.0+rocm5.4.2 Ubuntu20.04 python3.10 VRAM節約のために画面出力はiGPU	編集
RTX 2070 SUPER	8GB	Ryzen 7 5800X	12m16.307s	--xformers batch_size=3		torch2.1,xformers0.17	編集
RX 6900 XT	16GB	Ryzen 5950X	11m32.561s	--xformersなし --mem_eff_attn追加 環境変数'PYTORCH_HIP_ALLOC_CONF='garbage_collection_threshold:0.9,max_split_size_mb:512''		tensorflow-rocmとbitsandbytes-rocm(本家のissue#107にリンクあり)を使用する。bitsandbytesのモジュールは自動でビルドされないので、別にクローンしてビルドし、出来たものを'venv/lib/python3.10/site-packages/bitsandbytes/'に入れる。	編集
RTX 3060	12GB	Ryzen 3700X	25m2.20s		71b728d5fcfe16f4434e2bf61e75cdfb76f93e14	16h25m2.20s ってテキストには書いてあった Windows11 pro	編集
RTX 3080Ti	12GB	i7 11700F	6m10.22s				編集
GTX 1080Ti	11GB	i9 9900K	27m27.76s		08ae46b	事前にbitsandbytesのGTX10シリーズ対応を実施済み	編集
RTX 2070	8GB	Ryzen 1700X	15m26.935s	batch_size=3 use-8bit-adamなし gradient_checkpointing	08ae46b	WSL2	編集
GTX 1660	6GB	i5 12400	1h17m40.38s	batch_size=1 mixed_precision=no gradient_checkpointing	7c1cf7f4eaf011e3c90e163049f85bdbadb75ef2	GetStartTimeラベルだけ認識されないのでサブルーチンを前に持ってきた Windows11	編集
							編集