NovelAI 5ch Wiki - 階層マージ


概要

これはSD1.5の情報です!SDXLとの互換性はありません!
StableDiffusionのU-Netの各層に応じたモデルデータのマージを行う

U-Netは構造がその名の通りU字型しており、浅い層が細かいディテール部分を、深い層が全体の構造を担当している
このU-Netの深さに応じてマージ比率を変えてマージするのが階層マージ
簡単に言うと、3D調(リアル風)を保ったままアニメ風のイラスト作成、などが出来る
詳しくはリンク参照

※2022/12/25現在 merge-block-weighted-gui拡張機能のアップデートにより、より詳細なマージ比率を指定できるモード(MBW Each)が追加されていますが、このページに記載している比率数値は特段の表記がない限り従来モード(MBW)用です。

リンク

AbyssOrangeMix

  • OrangeMixs AbyssOrangeMixが階層マージを利用して作成されたモデル
118スレ389
脱がせたくないときはAbyssじゃなくAbyss_baseを使うんや

baseにNAINSFWのエロを足したのがNight
それに更にgapeを足したのが無印や
(halfはgaoeを弱めた版) 

7th

最初は Abyss_7th という名前だったが紛らわしいので 7th だけになった。

https://huggingface.co/syaimu/7th_Layer
https://huggingface.co/syaimu/7th_anime_v2

119スレ873


どのモデルがいい?
・7th_anime_test01(7th_anime_v2.0A) よりアニメに寄せたものでブロンプトへの応答がいい
・7th_anime_test02(7th_anime_v2.0B) 漫画風に
・7th_anime_test02(7th_anime_v2.0C) より漫画風に、ただし少しだけ破綻しやすい

fp16.safetensors


ここで補完してます。

導入方法

1111のextentions(拡張機能)-URLからインストールで以下のURLを入れてインストール
https://github.com/bbc-mc/sdweb-merge-block-weighted-gui

使い方

  1. 1111のMerge Block Weighted タブを選択
  2. modelA欄とmodelB欄にマージしたいモデルを選択
  3. 各層に対するマージ比率を各種インジゲーターで調整、又は右上のPreset Weightedより選択
  4. Output Model Nameに出力するモデル名を入力
  5. Run Margeボタンで実行

より効率的に多数の階層マージと結果出力をまわしたいときは、Merge Numaエクステンションを使用するとよい。

研究報告

各IN-OUT層がどのような部分に効果を及ぼすか、報告のあった効果を記述する。ただし、モデルによってこの層の意味が変わる可能性が高いので、すべてのパターンにおいて当てはまるとは言えない。
現状(2022/12/29現在)もっとも盛んに行われている、NAIベースモデルを対象にした場合の効果と考えた方がよいかもしれない。

出力サンプル・設定等

Hugging Face等でダウンロード可能な成果物(モデル)はスレ民共有モデルページに掲載しています。

AnythingV3とインスタモデルのマージ

AnythingV3・インスタモデル・AnythingV3インスタ配合モデル・Merge Block Weighted標準プリセットの比較

ElyOrangeMixとElysiumのマージ

914 名前:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3b54-e5AJ)[sage] 投稿日:2022/12/19(月) 20:58:35.46 ID:KPb2Nvxk0 [3/4]
ワイもElyOrangeMixとElyで層別マージしてみたから共有するわ
大雑把な方針を得たいからin浅層、in深層、out深層、out浅層の4区画に分けてそれぞれの組み合わせで12個マージモデル作ってみた
ElyAvR-1100やと1,1,1,1,1,1,1,1,1,1,1,1,0.5,0,0,0,0,0,0,0,0,0,0,0,0みたいな感じで6層1ブロックで設定しとる

汎用性あるかはしらんけどいったん以下みたいな雰囲気っぽい
in浅層…陰影とか塗り
in深層…構図、物
out深層…顔などディティール
out浅層…質感

987今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0f38-httI)2022/12/19(月) 23:10:26.01ID:qiE3OptN0
あー分かった気がする
IN浅層=細部の形状=指等
IN深層=大枠の形状=構図
OUT深層=大枠の塗り
OUT浅層=細部の塗り

base alpha設定

271 名前:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0f38-httI)[] 投稿日:2022/12/20(火) 15:36:57.28 ID:cwtfwuIL0 [5/6]
base_alpha検証

という訳で base_α=0→Model A, base_α=1→Model B 確定


305 名前:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 537b-zlOH)[sage] 投稿日:2022/12/20(火) 16:51:53.08 ID:GPDwMx230 [7/7]
分かり易いの出来たわ

ModelA:Any modelB:insta
パラメータ0000・ba0:Anyと同じ
パラメータ0000・ba1:Anyだけど解釈がinsta気味?
パラメータ1111・ba0:instaだけど解釈がany気味?
パラメータ1111・ba1:instaと同じ

全部のパラメータ、0がmodelA、1がmodelB指してる、でいいと思う


653今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (アウアウエー Sae2-l18X)2022/12/21(水) 06:27:06.90ID:BB9aqFM2a>>654
>>646
昨日触ってみた体感だが階層マージは6つで1セット+中間層M00の25層で作られている
浅層00〜05はモデルのベース
深層06〜11は絵の塗り
中間層M00は今の所不明>>162の検証を見る限り絵の土台部分だとは思う
処理はbase_alpha0(ba0)にしたらmodelAをIN00〜11の順に処理→M00→OUT00〜11とモデルを作っていく
聞いていた数字4列の意味だが1001(ba0)なら
IN00〜05を1 IN06〜11を0
OUT00〜05を0 OUT06〜11を1にしている状態で意味としてはAモデルの構図100%貰って塗り100%をBモデルにしている
M00は書いてないからこれからだと分からないというか何してんのか分からん

anyとinstaモデルの層別マージ結果

24今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0f2f-CLTW)2022/12/19(月) 23:47:13.82ID:55EWgxue0>>28>>33>>34>>41
前スレ995 サンガツ
結局jpgだとあらすぎたから自分で小さくした

anyの25層のうち1層をインスタに置き換えてモデル比較したで
Layer18が顔を大分リアルにするからここが顔層なんやろな
ちな24までしかないのはクロップするときに00を入れ忘れたんや

34今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8b1e-CLTW)2022/12/19(月) 23:53:27.19ID:nICEWkdN0
>>24
この検証めちゃくちゃ有用やな

なんとなく見て取れるけど、インスタみたいなリアルモデルをIN00にだけ乗せてあげると手指の描画は良くなったで
1.0にすると流石に影響大きいから0.5超えないくらいがええと思うが

インジゲーターの数字

10 名前:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (アウアウウー Sa9f-XlG+)[sage] 投稿日:2022/12/19(月) 23:39:59.39 ID:wLD2pT87a
これ数値全部0にするとモデルAで
全部1だとモデルBになるんやな
逆やと思ってた
  • base alpha含め全部のパラメータは0がmodelAを、1がmodelBを指してる

114スレ990(115スレ269)設定例

モデルAモデルBWeight values(MBW)base_alpha備考
NAI:0.6+AnythingV3.0:0.4instagram50000+(f222-SD1.5):1.01,0.9,0.7,0.5,0.3,0.1,0,0,0,0,0,0,0,0,0,0,0,0,0,0.1,0.3,0.5,0.7,0.9,11114スレ990(115スレ269)

990 名前:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8a55-hIBn)[sage] 投稿日:2022/12/19(月) 23:14:55.11 ID:+cFYXaW50 [13/13]
プロンプトマスピNSFWだけでこんな感じ
指だけじゃなくて足首とかもリアルになってるのがわかる

269 名前:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8a55-hIBn)[sage] 投稿日:2022/12/20(火) 15:34:32.97 ID:z7FK1nTC0 [1/8]
前スレ>>990のマージモデル比率載せとくわね
値が1に近づくほどインスタ要素強くなるから適宜変える感じで
チナなんでこれで上手くいくのか検討もつかん

116スレ43設定例

モデルAモデルBWeight values(MBW)base_alpha備考
ACertainThing+ (NAI NSFW - NAI SFW))+gape60robotdiffusion1,1,1,1,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0IN00~05のみ1
ACertainThing+ (NAI NSFW - NAI SFW))+gape60robotdiffusion0,0,0,0,0,0,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0IN06~11のみ1
ACertainThing+ (NAI NSFW - NAI SFW))+gape60robotdiffusion0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,1,1,1,1OUT06~11のみ1
ACertainThing+ (NAI NSFW - NAI SFW))+gape60robotdiffusion0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,1,1,1,1,0,0,0,0,0,0OUT00~05のみ1
43今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ ea88-e5AJ)2022/12/21(水) 21:21:36.48ID:Szc2uaWf0
前スレの https://fate.5ch.net/test/read.cgi/liveuranus/1671460483/971 からさらに掘り下げて ACertainThing+ (NAI NSFW - NAI SFW))+gape60 と robotdiffusionの階層マージをやってみたやがこれはさすがにわかりやすい差が出てくるな
もしかしたら階層マージやない普通のマージモデルを作って出力した絵と階層マージで作ったモデルで出力した絵とを見比べたらどのパラメータがどこに効いてるかとか見えてくるんかもしらんなぁ

左から(ACertainThing+ (NAI NSFW - NAI SFW))+gape60)のマージモデル、IN00~05のみ1, IN06~11のみ1, OUT06~11のみ1, OUT00~05のみ1, 100%robotdiffusionや

116スレ649設定例

モデルAモデルBWeight values(MBW)base_alpha備考
ElysiumAnimeV3ElysiumV11,1,1,1,1,1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0,0,0,0,01
↑の合成品Gape600.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.251
649今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 53c3-ZR1D)2022/12/23(金) 02:48:55.23ID:3M4wvqj10
触発されて狂ったように層状マージやりまくったんやがほとんどアカン奴で一番マシな感じなのが
ElysiumAnimeV3とElysiumV1を1,1,1,1,1,1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0
上の合成品とGape60で0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25,0.25
base_alphaは常に1
の面白味のない組み合わせやったわ(ElysiumAnimeV3と比べてかなり落ち着いた構図で破綻少な目やった)
100回位言われてそうやけど層状マージはIN(構図)は全部A、OUT(塗り)は全部B、Mはメインにしたいほう全振りみたいなのが(用途限られるけど)安定しそうやな。これなら通常のマージの素材にも使えそうな気がしてきたで

116スレ652設定例

モデルAモデルBWeight values(MBW)base_alpha備考
ACertainThing+ (NAI NSFW - NAI SFW))+gape60cafe-insta+f222_f2220.2,0.3,0.2,0.2,0.3,0.3,0.2,0.3,0.3,0.1,0.1,0.1,0,0.25,0.25,0.25,0.1,0.1,0.1,0.1,0.1,0.25,0.25,0.1,0.10モデルマージ比率は不明
652今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 6a11-CLTW)2022/12/23(金) 03:24:07.94ID:PF9X6rgq0
一旦マージは止めや言うたが気を取り直してここの検証を参考にチャレンジしてみたで
あんまリアル寄りになるのは好みではないので弱く混ぜた感じや
ACertainThingの色味は残せてる気がする。そしてgapeの肛門拡張を確認すんの忘れてたわ…

短めプロンプト
https://majinai.art/i/-qfc-HK.png
https://majinai.art/i/gYWe44Q.png

長めのプロンプト
https://majinai.art/i/hoqxfIv.png
https://majinai.art/i/dWml3fL.png

参考にならんと思うが一応
ACertainThing+ (NAI NSFW - NAI SFW))+gape60ベースにinstaとf222混ぜたやつをここの検証画像参考に薄く強弱付けてみた
0.2,0.3,0.2,0.2,0.3,0.3,0.2,0.3,0.3,0.1,0.1,0.1,0,0.25,0.25,0.25,0.1,0.1,0.1,0.1,0.1,0.25,0.25,0.1,0.1

116スレ741設定例

モデルAモデルBWeight values(MBW)base_alpha備考
AnyThing-V3.0[6569e224]gape60-fp16[25396b85]1,1,1,1,1,1,1,1,1,1,1,1,0.5,0,0,0,0,0,0,0,0,0,0,0,01
741今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0f38-PSnz)2022/12/23(金) 14:14:06.93ID:sq9ELIgG0>
層別マージよく解らんが塗りをGAPEにするだけでも結構良いわ

746今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0f38-PSnz)2022/12/23(金) 14:28:10.01ID:sq9ELIgG0>
>>743
Any3.0とgape60をINを全部1、OUTを全部0にしただけの雑マージやで

116スレ754設定例

モデルAモデルBWeight values(MBW)base_alpha備考
BloodOrangeMixinstagram50000+(f222-SD1.5):1.01,0.9,0.7,0.5,0.3,0.1,0,0,0,0,0,0,0,0,0,0,0,0,0,0.1,0.3,0.5,0.7,0.9,10114スレ990(115スレ269)設定例と同数値設定、モデルAとbase_alphaが違う
754今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ af20-PniU)2022/12/23(金) 15:14:32.11ID:gQ/lkNW20
https://majinai.art/i/vB0xuKv.png
https://majinai.art/i/qajA30b.png
https://majinai.art/i/Eo3HBCw.png
BloodOrangeMixとInsta+f222を階層マージしたやつ
ほんまたまらん

770今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ af20-PniU)2022/12/23(金) 15:50:23.51ID:gQ/lkNW20
>>762
モデルAにBloodOrangeMix
モデルBにinstagram50000+(f222-SD1.5):1.0

重みは
1,0.9,0.7,0.5,0.3,0.1,0,0,0,0,0,0,0,0,0,0,0,0,0,0.1,0.3,0.5,0.7,0.9,1
baは0

モデルAをBloodOrangeにしてる以外は
wikiの丸パクリやで

785今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ af20-PniU)2022/12/23(金) 16:12:54.38ID:gQ/lkNW20
>>783
あとプロンプトもかなり重要な気がする
Negative promptは余計なもの入れないで
(worst quality:1.4), (low quality:1.4)
くらいにしておいた方がワイは安定した

117スレ73設定例

モデルAモデルBWeight values(MBW)base_alpha備考
HentaiDiffusion17(HD-17)NAI NSFW0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.50※書き込み内容からの推定
↑でマージしたものinstagram50000+(f222-SD1.5):1.01,0.9,0.7,0.5,0.3,0.1,0,0,0,0,0,0,0,0,0,0,0,0,0,0.1,0.3,0.5,0.7,0.9,10negative promptはクソ長いHD製のを使用
73今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 5155-aH43)2022/12/24(土) 00:17:17.80ID:6faiCFti0
https://imgur.com/a/dJdPdoh
無理やり感あるが安定してきた
modelA:HD17:0.5+N〇I:0.5(M00=0,ba=0),modelB:instagram50000+(f222-SD1.5):1.0
Weight values:1,0.9,0.7,0.5,0.3,0.1,0,0,0,0,0,0,0,0,0,0,0,0,0,0.1,0.3,0.5,0.7,0.9,1
(ba=0)(negative promptはクソ長いHD製のを使用)
5枚出してこんな感じHDはウイルスの噂あるので注意
rtx4090はいいぞ

119スレ447設定例(写実系モデルに2次元タグを解釈させる)

モデルAモデルBWeight values(MBW)base_alpha備考
Cafe Unofficial Instagram TEST Model[50b987ae]Waifu Diffusion v1.30.5-層別ではなく通常のマージ
↑でマージしたものNAI NSFW1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,0,0,0,0,0,0,00

Instaモデル、WDモデルともに最新版ではないことに注意。
最新版を使ってもよいが、リアルになりすぎたり(要するにかわいくない)、
2次元系タグを入れると急にリアルさが減ったりと扱いづらい。
旧版を使っていてもrealisticを盛ればだいぶリアルにできるので旧版がおすすめ。

Checkpoint Merger(通常のマージ)でマージすると色が薄くなる問題、Merge Block Weighted(階層マージ)による解決法

559今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ ea88-e5AJ)2022/12/22(木) 22:37:07.48ID:eV+I6f+P0
Checkpoint Mergerでマージすると色が薄くなる問題、Merge Block Weightedで解決できそう

Checkpoint Merger のMultiplierで指定してた値をMerge Block Weightedの IN00〜OUT11まで全部同じ値にして、base_alphaとM00を0にする(=ModelA側に寄せる)と発色がよくなる 

出てくる絵は微妙に変わるけど発色よくなってVAEが必要なくなっただけでも満足や

↓のX/Yは上から
- Checkpoint Mergerでマージしたもの
- Merge Block Weighted で全部↑のMultiplierと同じ値を設定 0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3
- Merge Block Weighted でbase_alphaとM00に0を設定 0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3


612今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7b88-z22/)2022/12/23(金) 00:51:07.68ID:S9OoH/yv0
>>559法とsafetensors変換を併用したらハローアスカ5秒短縮できたやで!
1. naiとnaiで階層マージ vae有効にしておく
2. できたckptをsafetensorsに変換
3. vae無しでハローアスカ
ckpt+vae 42.89
safetensors 37.87
多用するモデルで作っとけば普段使いもいけるでー

※safetensorsに変換する方法はこちら参照


階層マージの知見の輸入


4chanやら韓国やらCvhitaiの海外ニキやらの知見をまとめておく

4chan図

LoRA階層で貼ってるのとおんなじ
赤文字の「背景/小物」のうち、🔺みたいなマークついてるのが背景にあたる層らしい。

韓国図

2023/05/23時点版

356 名前:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 86b4-FIIW)[sage] 投稿日:2023/05/23(火) 13:08:02.29 ID:amuKnONc0
>240
韓国コミュで今月に公開された層別マージ表を日本語訳したで


474 名前:今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7b84-owa4)[sage] 投稿日:2023/05/23(火) 16:53:25.90 ID:iN3nbasn0
>356
サンガツ!
LoRAに無い階層をブラックアウトしてみたんやけどあってるかな・・・
改めてみると結構、色の情報とか差があるんやなー


2023/04/02時点版
https://fate.5ch.net/test/read.cgi/liveuranus/1680...
491:2023/04/02(日) 14:03:55.94
>458>>481
韓国コミュで層別マージの資料があったからこっちも参考にしてほしい


Civitai

レシピを公開してるなかで(ありがたい)参考になりそうなのを選別して貼っとく

▼AresMix 実写モデルだけどアニメモデルのポーズ/構図が効くようにするのに参考になるかも

Base0.7(ここが0.7で合ってるかは自信ない)|Aに実写 Bにアニメモデル




▼kanpiromix
Dreamlikeライセンスの呪いを回避しながらChilloutに近い結果を出すChilloutGenericなるものがレシピで公開されてるようで↓でもベースで使ったりしてるっぽい


スレ書き込み保存:なんU JNVA部│115〜117スレ目の階層マージに関する情報


クソながなので別ページに分離した
個人的に記録していたなんU JNVA部│115〜117スレ目の階層マージに関する有用だと思ったレスのマークや
階層マージに関するスレ書き込み保存