最終更新:ID:6OXzkG2juw 2024年08月23日(金) 13:37:23履歴
Stable Diffusionの元開発者が設立したベンチャー起業Black Forest Labsが開発している画像生成AIモデル。
API経由での有料画像生成に加え、ライセンスにより使用可能範囲が分かれたモデルデータも公開しており、Huggingfaceからダウンロードできる。
API経由での有料画像生成に加え、ライセンスにより使用可能範囲が分かれたモデルデータも公開しており、Huggingfaceからダウンロードできる。
- 公式サイト:https://blackforestlabs.ai/
- huggingface:https://huggingface.co/black-forest-labs
- Pro:APIを通じてのみ提供される最上位モデル。商用利用可
- Dev:モデルが公開されている。モデルは非商用、もしくはBlack Forest Labsとライセンスを結んでのみ利用可。一方、出力された画像は商用利用可(正確な内容は原文を参照のこと)
- Schnell:高速・軽量な公開モデル。商用利用可
APIを介して利用する際は利用料金が発生する。
2024年8月13日現在、ComfyUIとForge(v2.0〜)で利用できる。
ローカル生成にはVRAM12GB↑推奨(12GB未満でも生成自体は可能だが非常に時間がかかる)
ローカル生成にはVRAM12GB↑推奨(12GB未満でも生成自体は可能だが非常に時間がかかる)
https://comfyanonymous.github.io/ComfyUI_examples/...
または、Zuntan03氏(各種easyインストーラの作者)によるインストール用バッチファイルを利用してもよい。 https://x.com/Zuntan03/status/1820046015023722617
または、Zuntan03氏(各種easyインストーラの作者)によるインストール用バッチファイルを利用してもよい。 https://x.com/Zuntan03/status/1820046015023722617
プログラム:https://github.com/lllyasviel/stable-diffusion-web...
Checkpoint(devのfp8と軽量なnf4。20stepで生成):https://github.com/lllyasviel/stable-diffusion-web...
Checkpoint(schnellのnf4。4stepで生成できるが品質は劣る):https://huggingface.co/silveroxides/flux1-nf4-weig...
こちらもZuntan03氏によるEasyForgeを利用できる。 https://x.com/Zuntan03/status/1822555275380871407
Checkpoint(devのfp8と軽量なnf4。20stepで生成):https://github.com/lllyasviel/stable-diffusion-web...
Checkpoint(schnellのnf4。4stepで生成できるが品質は劣る):https://huggingface.co/silveroxides/flux1-nf4-weig...
こちらもZuntan03氏によるEasyForgeを利用できる。 https://x.com/Zuntan03/status/1822555275380871407
画像AIでは馴染みが薄いが、言語モデル(LLM)では定番の量子化を用いて圧縮したモデル。低〜中VRAMでも現実的なローカル生成が可能になる、24/8/22現在注目の技術。
ComfyUIでの使用には専用のカスタムノードが必要。Forgeはデフォで対応している。VAE・t5xxl・clip_lを別に入手して設定する必要あり。
少なめのVRAMでもそこそこの速度が出るが、Q2は画像が目に見えるレベルで劣化、Q3も気になる人は気になるレベルのため、現実的に実用に耐えるのはQ4以上か。
(dev)https://huggingface.co/city96/FLUX.1-dev-gguf
(schnell)https://huggingface.co/city96/FLUX.1-schnell-gguf
生成テスト用のパラメータ例
ComfyUIでの使用には専用のカスタムノードが必要。Forgeはデフォで対応している。VAE・t5xxl・clip_lを別に入手して設定する必要あり。
少なめのVRAMでもそこそこの速度が出るが、Q2は画像が目に見えるレベルで劣化、Q3も気になる人は気になるレベルのため、現実的に実用に耐えるのはQ4以上か。
(dev)https://huggingface.co/city96/FLUX.1-dev-gguf
(schnell)https://huggingface.co/city96/FLUX.1-schnell-gguf
生成テスト用のパラメータ例
Astronaut in a jungle, cold color palette, muted colors, very detailed, sharp focus Steps: 20, Sampler: Euler, Schedule type: Simple, CFG scale: 1, Distilled CFG Scale: 3.5, Seed: 12345, Size: 896x1152, Model: flux1-dev-bnb-nf4-v2
このページへのコメント
ライセンスを読むとdev版も生成物については商用利用可能なのか?
SchnellはCFG1以外非対応と明言されてるようだけど、DevでもCFG上げるとピンボケしまくるな
仕様上negativeが存在しないらしいので解決にはちょっと時間がかかりそうな
schnellは軽いけどdevにはっきり劣る
devのsteps20は50に劣る気がする(要検証)
取りあえず出すにはeuler simple cfg1
「A cinematic photography of a pretty Japanese girl 〜ing」で主要部分書いてあとは単語の羅列