画像生成AIの情報を纏めるWikiです。

概要

ここではローカルで行う学習の知見をまとめていきます

追加学習でなにができる?

  • 特定のキャラを正確に生成する
  • 新たな概念を追加する
  • 既存の概念を上書きする
  • トッピング感覚で簡単に使用できる(Dreambooth以外)
2024年現在はLoRAがおすすめ。軽量、高速、高性能。

それぞれの特徴

TextualInversion

Embedding(単語と画像を関連付ける辞書のようなもの)を調整する。
  • 学習が遅い
  • 再現度は普通
  • Negative Promptに適用できる
  • モデルが知らないものには効果なし

HyperNetwork

Hypernetworkというネットワークがモデルのウェイトを調整する。
完全上位互換といえるDreambooth-LoRAに取って代わられた。多分もう誰も使ってない。
  • 学習がやや遅い
  • 画風を緩く変える程度の効果
  • 設定が難しく、Dying Reluといった問題がある

Dreambooth

モデルのウェイト自体を調整する。
  • 再現度が高い
  • モデルにマージする必要あり
  • VRAM消費が多い

LoRA(Low-Rank Adaptation)

Dreamboothから派生。ウェイトの差分を出力する。軽量、高性能、省メモリなため現在主流となっている。
  • 再現度が高い
    • Dreamboothには劣る。
  • 学習が速い
  • モデルにマージせずに使える
  • 設定項目が非常に多いので初見だと難しいかも
DoRA(Weight-Decomposed Low-Rank Adaptation)
方向ベクトルをファインチューンすることでLoRAの精度と安定性を改善するらしい。
https://arxiv.org/abs/2402.09353

LyCORISに実装された。
LyCORISでnetwork_argsにdora_wd=Trueを指定すると使える。
使用するには1111のdevブランチが必要。

コメントをかく


「http://」を含む投稿は禁止されています。

利用規約をご確認のうえご記入下さい

Menu

Prompts

  1. 非R18詠唱全文
  1. 顔(目・口・表情)
  2. 構図
  3. 場所・背景
  4. 環境表現
  5. 特徴・年齢・体型・髪型
  6. ポーズ集
  7. 服飾
  8. 亜人・モンスター娘・人外
  9. 食品
  10. その他
  11. 画風
  12. 絵文字
  13. 色一覧
  14. 頻用ネガティブプロンプト
  15. 大量検証結果
  16. 整理用倉庫

編集中メニュー

  1. 未発見のプロンプト
  2. 旧ページ

table拡張js

どなたでも編集できます

メンバー募集!