NovelAI 5ch Wiki

Stable Diffusionの元開発者が設立したベンチャー起業Black Forest Labsが開発している画像生成AIモデル。
API経由での有料画像生成に加え、ライセンスにより使用可能範囲が分かれたモデルデータも公開しており、Huggingfaceからダウンロードできる。

• 公式サイト：https://blackforestlabs.ai/
• huggingface：https://huggingface.co/black-forest-labs

• Pro：APIを通じてのみ提供される最上位モデル。商用利用可
• Dev：モデルが公開されている。モデルは非商用、もしくはBlack Forest Labsとライセンスを結んでのみ利用可。一方、出力された画像は商用利用可（正確な内容は原文を参照のこと）
• Schnell：高速・軽量な公開モデル。商用利用可

APIを介して利用する際は利用料金が発生する。

2024年8月13日現在、ComfyUIとForge（v2.0〜）で利用できる。
ローカル生成にはVRAM12GB↑推奨（12GB未満でも生成自体は可能だが非常に時間がかかる）

https://comfyanonymous.github.io/ComfyUI_examples/...
または、Zuntan03氏(各種easyインストーラの作者)によるインストール用バッチファイルを利用してもよい。 https://x.com/Zuntan03/status/1820046015023722617

プログラム：https://github.com/lllyasviel/stable-diffusion-web...
Checkpoint（devのfp8と軽量なnf4。20stepで生成）：https://github.com/lllyasviel/stable-diffusion-web...
Checkpoint（schnellのnf4。4stepで生成できるが品質は劣る）：https://huggingface.co/silveroxides/flux1-nf4-weig...
こちらもZuntan03氏によるEasyForgeを利用できる。 https://x.com/Zuntan03/status/1822555275380871407

画像AIでは馴染みが薄いが、言語モデル（LLM）では定番の量子化を用いて圧縮したモデル。低〜中VRAMでも現実的なローカル生成が可能になる、24/8/22現在注目の技術。
ComfyUIでの使用には専用のカスタムノードが必要。Forgeはデフォで対応している。VAE（ae.safetensors）・t5xxl（fp16やfp8）・clip_lを別に入手して設定する必要あり。
少なめのVRAMでもそこそこの速度が出るが、Q2は画像が目に見えるレベルで劣化、Q3も気になる人は気になるレベルのため、現実的に実用に耐えるのはQ4以上か。
(dev)https://huggingface.co/city96/FLUX.1-dev-gguf
(schnell)https://huggingface.co/city96/FLUX.1-schnell-gguf

生成テスト用のパラメータ例

Astronaut in a jungle, cold color palette, muted colors, very detailed, sharp focus
Steps: 20, Sampler: Euler, Schedule type: Simple, CFG scale: 1, Distilled CFG Scale: 3.5, Seed: 12345, Size: 896x1152, Model: flux1-dev-bnb-nf4-v2