画像生成AIの情報を纏めるWikiです。



VAE is なに


StableDiffusionにおけるVAEとは、画像と潜在空間を相互に変換する役割を持つニューラルネットワークの一部です¹²。VAEはVariational Auto Encoderの略で、画像を小さな潜在空間にエンコードしてデコードすることで、計算を高速化します¹。VAEは数種類あり、差し替えることで出力画像が変化します²³。
ソース: Bing との会話 2023/3/11
(1) How to use VAE to improve eyes and faces - Stable Diffusion Art. https://stable-diffusion-art.com/how-to-use-vae/ アクセス日時 2023/3/11.
(2) 【Stable Diffusion】VAEを変更して画質を上げる | ジコログ. https://self-development.info/%e3%80%90stable-diff... アクセス日時 2023/3/11.
(3) AUTOMATIC1111版Stable Diffusion web UI上でVAE Mergerを .... https://note.com/mayu_hiraizumi/n/n136bd7b3a156 アクセス日時 2023/3/11.
(4) 画像生成AI「Stable Diffusion」が実はかなり優秀な画像圧縮を .... https://gigazine.net/news/20220921-stable-diffusio... アクセス日時 2023/3/11.

とのことでおおまかに以下のような役割があります
  • 彩度や明度等のイメージ調整
  • 目の書き込みの細部とか輪郭線など非常にこまかい部分の描写

細かい部分の精度が悪いのは学習・生成は8分の1の解像度でやっているためでどうしようもない。しかしそのおかげで一般向けのGPUでも動く。

備考

NAIのVAEはNansエラー(真っ黒)になりやすい。i2iで完全に生成できんってこともある。

VAE

2023年3月現在はほとんどがnai.vaeかAnything.vaeを使っている感じする。
※1: 検証:「VAE比較/検証」の見出しを参照

一般のVAE


NovelAIのVAE
(1)リークのものをTorrentで入手する
(2)orangemix.vae.ptはnaiのVAEを入手性を考慮してリネームして置いただけものです。Torrentめんどくさい用に一応貼っておく
https://huggingface.co/WarriorMama777/OrangeMixs/t...
nai.vae.pt
Windows Defenderがマルウェアの誤検出で勝手に消去するので注意!safetensor変換か除外するとええで
  • Anything3,4およびevt2のVAEはNovelAIのものと一緒(ファイルサイズ、生成結果、MD5ハッシュの一致を確認済み)

Stability AIのVAE
https://huggingface.co/stabilityai/sd-vae-ft-ema-o...
vae-ft-ema-560000-ema-pruned.ckpt
https://huggingface.co/stabilityai/sd-vae-ft-mse-o...
vae-ft-mse-840000-ema-pruned.ckpt

Waifu DiffusionのVAE
https://huggingface.co/hakurei/waifu-diffusion-v1-...
kl-f8-anime.ckpt
kl-f8-anime2.ckpt

naclbit(TrinArt)のVAE
https://huggingface.co/naclbit/trinart_derrida_cha...
autoencoder_fix_kl-f8-trinart_characters.ckpt

SDXL-VAE-FP16-Fix
StabilityAIのSDXL VAEの修正版。fp16でNaN演算が発生する不具合を修正して黒画像やエラーが出ないようにしたもの
https://huggingface.co/madebyollin/sdxl-vae-fp16-f...

参照:AUTOMATIC1111版Stable Diffusion web UI上でVAE Mergerを利用する手順|まゆひら|note - https://note.com/mayu_hiraizumi/n/n136bd7b3a156

NVA部のVAE

  • なんJNVA部★146 - 5ch.net liveuranus
903: 2023/02/12(日)
エラーが出るか出ないかギリギリにNAIのVAEを学習させたのを投下してみる



モデルは上が7th_anime_v3_Cで下はetr_odysseyV2Fixを改良してる途中のもの
特徴としては赤系の発色が強いのとNAIより細かい部分の描写が気持ち程度に変わる
学習元が似ていれば相乗効果があるのかと思ったけど違うみたいでう〜ん・・・
色味の補正用にチューンするぐらいでしか手を出す意味はなさそう?
  • なんJNVA部★147 - 5ch.net liveuranus
7: 2023/02/12(日)

>903と中身は同じなA
NAIより薄くしたいがAnything-v3.0は薄すぎるから丁度いいのが欲しい用のB
ガンマ値を高くした時のような感じになるHighGamma
AnyVAEが色あせるのを逆手に取って作ったセピア風になるSepia
中には--no-half-vaeがいるVAEがあるかもしれん
その時はすまん・・・
anything-v3.0の色あせるVAEってどこで手に入れるんだよってのもあると思うんで入れておいた(extensionのtoolkitで抽出)

🔽: https://mega.nz/file/2B4nVRDD#ujydCsTLubu0PrNcXehS...
  • v449: 2023/03/21(火) 21:03:05.44
彩度はNAIより若干高くてkl-f8-anime2みたいににじまずにNAIよりくっきりした絵になるで
https://civitai.com/models/22354/clearvae


VAE比較/検証


キャラ:ポケモン、背景:garden, で比較検証
eCustomAがはっきりした色彩とぼけの少ない細部描写で優れている感じがあった(キャラの輪郭や背景の花に注目すると分かる)。
(Anything-v3のVAEはもっとくすんでるはずなので参考からは除外してください)

モデル: AOM3A1B(orangemixs)
🔗原寸大:https://files.catbox.moe/d80bpe.webp




別モデル: AOM3(orangemixs)
🔗原寸大:https://files.catbox.moe/rczw9t.webp




1girlテスト
モデル: AOM3A1B(orangemixs)
🔗原寸大:https://files.catbox.moe/mmbhc9.webp

若干、eCustomAは色飽和気味かもしれない? ぱきっとした描写はよき

このページへのコメント

etr_odysseyV2Fixを改良してる途中のもの(緑髪の女の子の方)のデータ個人的にめちゃくちゃほしいです…

0
Posted by 名無し(ID:yKTjFHxcbw) 2023年06月30日(金) 04:13:33 返信数(1) 返信

画風ものでモデルのwiki掲載は避けてるからなんUスレの方で直接聞いてみるとええで

0
Posted by 名無し(ID:rd95pMYI+Q) 2023年07月01日(土) 01:24:04

コメントをかく


「http://」を含む投稿は禁止されています。

利用規約をご確認のうえご記入下さい

Menu

Prompts

  1. 非R18詠唱全文
  1. 顔(目・口・表情)
  2. 構図
  3. 場所・背景
  4. 環境表現
  5. 特徴・年齢・体型・髪型
  6. ポーズ集
  7. 服飾
  8. 亜人・モンスター娘・人外
  9. 食品
  10. その他
  11. 画風
  12. 絵文字
  13. 色一覧
  14. 頻用ネガティブプロンプト
  15. 大量検証結果
  16. 整理用倉庫

編集中メニュー

  1. 未発見のプロンプト
  2. 旧ページ

table拡張js

どなたでも編集できます

メンバー募集!