NovelAI 5ch Wiki

Stable Diffusion XL（以下「SDXL」と略）。
※SD1.5と異なる点が多いためとりあえず項立て。追記及び編集求む。
Stable Diffusionの新バージョン。品質が大幅に向上した。
SD1.5でろくに生成できなかった指や文字などもある程度生成できる。

Stability.ai公式
SDXL 1.0 をリリースしました

SDXL 1.0は、8GBのVRAMを搭載したコンシューマー向けGPUや、すぐに利用可能なクラウドインスタンスで問題なく動作するはずです。

SDXL 1.0 をリリースしました(公式)

内部構造がSD1.5と違う

基本解像度が1024×1024で精細
パラメータ数が3倍になったためSD1.5よりかなり重い

誰でもわかるStable Diffusion　新バージョン「SDXL」の概要
このブログ（外部リンク）の解説記事が大変わかりやすい

有名なUIは下記の通り

1.webui-user.bat(Linuxはwebui-user.sh)のCOMMANDLINE_ARGSに--medvram-sdxl --precision halfを追加
2(任意, Windowsのみ).NVIDIA コントロールパネルの3D設定で「CUDA - システム メモリ フォールバック ポリシー」を「システム メモリ フォールバックなしを優先」にする
3.VAEはsdxl-vae-fp16-fixを使う
4(任意).内蔵グラフィック搭載CPUならマザーボードの映像端子で映像を出力する。PC起動中につなぎなおした場合は再起動する
環境によるが、これで832x1216のhighres2倍が動くはず。動かないならTiled VAEを有効にする

※fp8を使えば8GBでもmedvram無しで動くが、LoRAの複数適用が実質不可能になる、若干遅くなるなどのデメリットがあるのでfp8モードはおすすめしない

https://github.com/lllyasviel/Fooocus
難しい設定なしでSDXLを試せる。
導入が簡単で軽い。とっつきは良いが機能性が低いため凝ったことはやりにくい(最低限の機能しかない)。

https://github.com/comfyanonymous/ComfyUI
多機能で軽い。「ComfyUIでないとできない」ことが多い。やる気がある人にはComfyUIを強く推奨。本スレの上級者はほとんどComfyUIのはず(ソース無し)。

0139今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ df8e-Xueq)
2024/01/13(土) 18:32:22.34ID:pvPKwx5u0
(略)
一時の恥で聞くわ…
誰かComfyUIでfp8モード起動のやり方教えて下さい！😭💦

0145今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f48-4jqT)
2024/01/13(土) 18:38:58.17ID:+aLVvCTx0
>>139
python main.py --use-quad-cross-attention --fp8_e4m3fn-unet
か
python main.py --use-quad-cross-attention --fp8_e4m3fn-text-enc
　--use-quad-cross-attentionはなくてもおけ
　loraの効きが悪くなるのが嫌なら--force_fp16

ControlNetの作者lllyasvielによる、WebUIのリファクタリング版がリリースされた。バックエンドを1111オリジナルからComfyUIベースに変更している？
https://github.com/lllyasviel/stable-diffusion-web...
低VRAM環境での高速化や使用メモリ削減が見込めるものの、一部Extensionがまだ動かないらしいので上記Githubを要参照。なお、必ずしも1111より速かったりメモリ使用量が少ないわけではない。
「浦島太郎のために」「2024-02-06 stable-diffusion-webui-forgeリリース」を参照。

https://github.com/Panchovix/stable-diffusion-webu...
Forgeをさらにリファクタリングしたもの。新しい機能を試すことができる。

gitとかが苦手な初心者向け
様々なcheckpointやLoRAなどを自動でDLする。取捨選択してモデル等をDLしたい人は通常のWebUIの方がいいかも。
https://github.com/Zuntan03/EasySdxlWebUi

EasySdxlWebUiは簡単にSDXLで画像を生成できるようにします。
ワンクリックインストーラーで古いパソコンでも動作するforge版と、実績のあるAUTOMATIC1111版(a1111)に両対応しており、簡単に使い始められます。
forgeとa1111で多くの設定を共有しており、気軽に両方を使い分けられます。
画像の生成にはインストールだけでなく、webUIの設定、拡張機能のインストールと設定、モデルなどの入手、適切なパラメータ設定などが必要になりますが、これも自動的に設定します。
中身は通常のwebUIと同一ですので、経験が後々無駄になることもありません。

287
今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった(ﾜｯﾁｮｲ)
02/14(水) 12:55:22.69
同じPC WatchのこちらのページでEasySdxlWebUiを知ったんだが、これめちゃくちゃ便利で超絶赤ちゃん向けなのでは…？

https://pc.watch.impress.co.jp/docs/column/nishika...
PC Watchによる紹介(外部リンク)

SDXLのモデルにはBaseとRefinerの2種類あることに注意。Refinerは任意で基本的に不要。
Animagine XL 3.0 tips
本スレでSDXLが普及する発端となったモデル

2025年2月1日時点ではIllustrious-XL-v0.1ベースが主流。

SD1.x/2.xとの互換性はないため注意

StabilityAI(SDXL base)のVAEはfp16ではNaN演算が発生して動かない(真っ黒になる)ため、No-Half VAEの有効化必須。なお、fp32で動かすことになるのでVAEのVRAM使用量や計算量が2倍以上になる
それを修正しfp16で動くものがあるのでそちらの使用をおすすめする
https://huggingface.co/madebyollin/sdxl-vae-fp16-f...

Q 生成画像が灰色っぽくなります。
A 主流のSDXLモデルのほとんどはVAEを内蔵しているためVAE:Noneでいいですが、たまに内蔵されていないものがあります。
有名どころではjs2prony。その場合上記のsdxl-vae-fp16-fixを導入してVAEに指定しましょう。

js2pronyVAEなし

js2pronyVAEあり

コンソールにVAEでNaN云々って出ている場合に該当する。
VAEがNaN演算を起こしたので自動的に重いfp32で計算している。そのため、VAEのVRAM使用量がfp16と比較して二倍になる。

fp16で動くものを使用する。
https://huggingface.co/madebyollin/sdxl-vae-fp16-f...

Stability AI(SDXL base)のVAEはfp32(float)前提のためか、fp16では桁あふれによるNaN演算で動かない。
SDXL Base以外にCivitaiにあるほぼ全てのSDXL用VAEがその影響を受ける。

No-Half VAEを有効にする。なお、fp32で動かすことになるのでVAEのVRAM使用量や計算量が2倍以上になる
それを修正しfp16で動くものがあるのでそちらの使用をおすすめする
https://huggingface.co/madebyollin/sdxl-vae-fp16-f...

稀に以下の画像のように、黒い画像やノイズのみの画像が生成されてしまう事がある。

hakomikan氏によると、1111 WebUI側のバグらしい。特定のプロンプトの組み合わせでテンソルの値が壊れて破綻を引き起こす。
わかりやすく言うと、プロンプトの組み合わせによってはプロンプトの強度指定時にWebUIの不具合で実際の強度がおかしくなる。
https://note.com/hakomikan/n/nb6dd68a1bd9e

WebUIのSettings->Stable diffusion->Emphasis modeをNo normにする。

ローカルの学習
※SDXL学習特有の問題点については編集時点で本スレで試行錯誤中
本スレの頻出質問
https://github.com/RedRayz/Kohya_lora_param_gui
Kohya_LoRA_GUI使用時のVRAM8GB対策
GUI作者からの追記:8GB用のプリセットでVRAM不足になる場合はsd-scriptsを更新してください。VRAM消費が多いバグが修正されています。

0574今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 868c-Jm4m)
2024/01/15(月) 18:08:10.63ID:vI2UfoaK0
>>573
8GB学習行けたんか？
差しつかえなければ設定教えてほしいで

0586今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ fee7-h3fU)
2024/01/15(月) 19:12:32.30ID:K9MCdvrk0
>>574
313スレ39のプリセットに8GB用あるで

0039今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ df30-Qq59)
2024/01/11(木) 10:12:37.38ID:Zvz0VIQ60
LoRA学習GUI用のサンプルプリセットにXL向けも置いてるで
https://mega.nz/folder/ILdnzaxT#gTGQmcPUgdxKlLpIl9...