ローカルの学習
最終更新：ID:1NhN+40vQg 2024年04月28日(日) 17:34:08履歴
概要 
ここではローカルで行う学習の知見をまとめていきます
追加学習でなにができる？
- 特定のキャラを正確に生成する
- 新たな概念を追加する
- 既存の概念を上書きする
- トッピング感覚で簡単に使用できる(Dreambooth以外)
それぞれの特徴
TextualInversion
Embedding(単語と画像を関連付ける辞書のようなもの)を調整する。
- 学習が遅い
- 再現度は普通
- Negative Promptに適用できる
- モデルが知らないものには効果なし
HyperNetwork
Hypernetworkというネットワークがモデルのウェイトを調整する。
完全上位互換といえるDreambooth-LoRAに取って代わられた。多分もう誰も使ってない。
完全上位互換といえるDreambooth-LoRAに取って代わられた。多分もう誰も使ってない。
- 学習がやや遅い
- 画風を緩く変える程度の効果
- 設定が難しく、Dying Reluといった問題がある
Dreambooth
モデルのウェイト自体を調整する。
- 再現度が高い
- モデルにマージする必要あり
- VRAM消費が多い
LoRA(Low-Rank Adaptation)
Dreamboothから派生。ウェイトの差分を出力する。軽量、高性能、省メモリなため現在主流となっている。
- 再現度が高い
- Dreamboothには劣る。
- 学習が速い
- モデルにマージせずに使える
- 設定項目が非常に多いので初見だと難しいかも
DoRA(Weight-Decomposed Low-Rank Adaptation)
方向ベクトルをファインチューンすることでLoRAの精度と安定性を改善するらしい。
https://arxiv.org/abs/2402.09353
LyCORISに実装された。
LyCORISでnetwork_argsにdora_wd=Trueを指定すると使える。
使用するには1111の1.9.0以降が必要。
https://arxiv.org/abs/2402.09353
LyCORISに実装された。
LyCORISでnetwork_argsにdora_wd=Trueを指定すると使える。
使用するには1111の1.9.0以降が必要。
タグ
コメントをかく