NovelAI 5ch Wiki

StableDiffusionにおけるVAEとは、画像と潜在空間を相互に変換する役割を持つニューラルネットワークの一部です¹²。VAEはVariational Auto Encoderの略で、画像を小さな潜在空間にエンコードしてデコードすることで、計算を高速化します¹。VAEは数種類あり、差し替えることで出力画像が変化します²³。
ソース: Bing との会話 2023/3/11
(1) How to use VAE to improve eyes and faces - Stable Diffusion Art. https://stable-diffusion-art.com/how-to-use-vae/ アクセス日時 2023/3/11.
(2) 【Stable Diffusion】VAEを変更して画質を上げる | ジコログ. https://self-development.info/%e3%80%90stable-diff... アクセス日時 2023/3/11.
(3) AUTOMATIC1111版Stable Diffusion web UI上でVAE Mergerを .... https://note.com/mayu_hiraizumi/n/n136bd7b3a156 アクセス日時 2023/3/11.
(4) 画像生成AI「Stable Diffusion」が実はかなり優秀な画像圧縮を .... https://gigazine.net/news/20220921-stable-diffusio... アクセス日時 2023/3/11.

とのことでおおまかに以下のような役割があります

• 彩度や明度等のイメージ調整
• 目の書き込みの細部とか輪郭線など非常にこまかい部分の描写

細かい部分の精度が悪いのは学習・生成は8分の1の解像度でやっているためでどうしようもない。しかしそのおかげで一般向けのGPUでも動く。

NAIのVAEはNansエラー(真っ黒)になりやすい。i2iで完全に生成できんってこともある。

2023年3月現在はほとんどがnai.vaeかAnything.vaeを使っている感じする。
2024年5月現在、SDXLが主流になり、ほとんどの場合モデル内蔵のVAEかSDXL-VAE-FP16-Fixを使っている感じする。

NovelAIのVAE
(1)リークのものをTorrentで入手する
(2)orangemix.vae.ptはnaiのVAEを入手性を考慮してリネームして置いただけものです。Torrentめんどくさい用に一応貼っておく
https://huggingface.co/WarriorMama777/OrangeMixs/t...
nai.vae.pt
Windows Defenderがマルウェアの誤検出で勝手に消去するので注意!safetensor変換か除外するとええで

• Anything3,4およびevt2のVAEはNovelAIのものと一緒(ファイルサイズ、生成結果、MD5ハッシュの一致を確認済み)

Stability AIのVAE
https://huggingface.co/stabilityai/sd-vae-ft-ema-o...
vae-ft-ema-560000-ema-pruned.ckpt
https://huggingface.co/stabilityai/sd-vae-ft-mse-o...
vae-ft-mse-840000-ema-pruned.ckpt

Waifu DiffusionのVAE
https://huggingface.co/hakurei/waifu-diffusion-v1-...
kl-f8-anime.ckpt
kl-f8-anime2.ckpt

naclbit(TrinArt)のVAE
https://huggingface.co/naclbit/trinart_derrida_cha...
autoencoder_fix_kl-f8-trinart_characters.ckpt

参照：AUTOMATIC1111版Stable Diffusion web UI上でVAE Mergerを利用する手順｜まゆひら｜note - https://note.com/mayu_hiraizumi/n/n136bd7b3a156 ※VAE Mergerはバグが多い上に更新停止

SDXLはXL専用のVAEが必要。SD1/2用のVAEも動くが酷い結果になる。
SDXL-VAE-FP16-Fix
StabilityAIのSDXL VAEの修正版。fp16でNaN演算が発生する問題を修正して黒画像やエラーが出ないようにしたもの
https://huggingface.co/madebyollin/sdxl-vae-fp16-f...

4チャネルから16チャネルになって精度が向上した。
SD3のcheckpointから抽出して入手できるが、構造の違いによりSD3以外では使えない(エラーになる)。

• なんJNVA部★146 - 5ch.net liveuranus

903: 2023/02/12(日)
エラーが出るか出ないかギリギリにNAIのVAEを学習させたのを投下してみる



モデルは上が7th_anime_v3_Cで下はetr_odysseyV2Fixを改良してる途中のもの
特徴としては赤系の発色が強いのとNAIより細かい部分の描写が気持ち程度に変わる
学習元が似ていれば相乗効果があるのかと思ったけど違うみたいでう〜ん・・・
色味の補正用にチューンするぐらいでしか手を出す意味はなさそう？

• なんJNVA部★147 - 5ch.net liveuranus

7: 2023/02/12(日)

>903と中身は同じなA

NAIより薄くしたいがAnything-v3.0は薄すぎるから丁度いいのが欲しい用のB
ガンマ値を高くした時のような感じになるHighGamma
AnyVAEが色あせるのを逆手に取って作ったセピア風になるSepia
中には--no-half-vaeがいるVAEがあるかもしれん
その時はすまん・・・
anything-v3.0の色あせるVAEってどこで手に入れるんだよってのもあると思うんで入れておいた(extensionのtoolkitで抽出)

🔽: https://mega.nz/file/2B4nVRDD#ujydCsTLubu0PrNcXehS...

• v449: 2023/03/21(火) 21:03:05.44

彩度はNAIより若干高くてkl-f8-anime2みたいににじまずにNAIよりくっきりした絵になるで

https://civitai.com/models/22354/clearvae

キャラ：ポケモン、背景：garden, で比較検証
eCustomAがはっきりした色彩とぼけの少ない細部描写で優れている感じがあった(キャラの輪郭や背景の花に注目すると分かる)。
(Anything-v3のVAEはもっとくすんでるはずなので参考からは除外してください)

モデル: AOM3A1B(orangemixs)
🔗原寸大：https://files.catbox.moe/d80bpe.webp




別モデル: AOM3(orangemixs)
🔗原寸大：https://files.catbox.moe/rczw9t.webp




1girlテスト
モデル: AOM3A1B(orangemixs)
🔗原寸大：https://files.catbox.moe/mmbhc9.webp

若干、eCustomAは色飽和気味かもしれない? ぱきっとした描写はよき