NovelAI 5ch Wiki - ローカルの技術


概要

ここでは内部的検証、コード周り直接触るような高度な研究の知見をまとめておくところです。
導入はローカルの導入方法、UIの使い方のような簡単なTipsはローカルの使い方を参照してください。

[WebUI] Stable DiffusionベースモデルのCLIPの重みを良いやつに変更する


https://zenn.dev/discus0434/articles/7ada798c5cc87...

追加学習に副作用があるかも。

669今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (アウアウウー Sa5b-Z2Iz)2022/11/29(火) 19:44:01.88ID:qCHx1biqa>>675>>684
>606
途中引用してるグラフが性能比較の根拠っぽいけど
あれは2020年の資料なので
グラフ中のViT-L/14ってのは256画像で学習してた数世代前の物
ViT-L/14@336pxはそれを336ピクセルで1epoch回したもの

SDのViT-L/14はその後更に高解像度の512で学習を進めたもの
名前が同じだからややこしいけど多分グラフのViT-L/14と比較して勘違いしたんだと思う
構図指定の効き目が良くなったってのは気のせいなのでは

学習時のOptimizer変更方法

sd_model_hash


現状、PNG Info等とモデルやHNを完全に一致させるのは難しい。

ckptやHNのptについてる8桁のハッシュはファイルの一部のみのハッシュである。


そのため、DBやHNでファイルが増えた場合、ハッシュが衝突しやすい。

ckptは、最初(cmdr版)の頃に model.ckpt とファイル名が固定だったこと、
NAILeakのファイル名が中身を推測しにくいこと、
マージモデルにつくデフォルトの名前が長すぎるなどの理由で、
ユーザーがファイル名を変える可能性が高く、ファイル名を衝突回避に使いづらい。
完全なsha256を実装すると読み込みに時間がかかってしまうが、
キャッシュファイルを作る等の提案が行われている。

HNのptは内部にnameを持っているが、Stepsを完走した場合はnameに反映されない。
ファイル名も配布時に失われたりする。
ckptと比べるとファイルサイズが小さい分、完全なsha256には移行しやすい。

Anything v3は配布時期と配布方法によって数種類のファイルが存在するらしい。
(マルウェアが誤検出されたことが理由かも知れないがわからない)
このファイルはsd_model_hashが異なるので判別は可能である。