NovelAI 5ch Wiki

1111版限定。

いろんなoptimizerが実装された3rd partyライブラリをインストールする。
1111をインストールしたPython環境中で下記コマンドを実行

$ pip install torch_optimizer

ライブラリに実装されているoptimizerは公式githubを見よう。

textual_inversion/textual_inversion.pyのoptimizer定義部分を任意のoptimizerに差し替えていく。
具体的な場所はころころアップデートで変わるから、エディタから全文検索した方がええで。5267414319ef89c18061127fab971ffc1b5b24adの時点ではココや
https://github.com/AUTOMATIC1111/stable-diffusion-...

書換が必要なのは1行だけ。
ここではデフォルトのAdamWをRangerというoptimizerに変更してみる。

    # textual_inversion.py#L287
    # 変更前
    optimizer = torch.optim.AdamW([embedding.vec], lr=scheduler.learn_rate, weight_decay=0.0)

    # 変更後
    import torch_optimizer as optim
    optimizer = optim.Ranger([embedding.vec], lr=scheduler.learn_rate, weight_decay=0.0)
    print("Use custom optimizer")  # 稼働チェック用のデバッグメッセージ

基本的に他のoptimizerを変える場合も手順は同様。Ragerの部分を別のものに変えるだけ。

書換えたら1111を再起動しいつもどおり学習を実施するだけ。学習開始後、挿入したデバッグメッセージが出ればOK。

hypernetworks/hypernetwork.pyのoptimizer定義部分を任意のoptimizerに差し替えていく。
こちらも場所はころころ変わるので手元で検索推奨。5267414319ef89c18061127fab971ffc1b5b24ad時点ではココ付近。
https://github.com/AUTOMATIC1111/stable-diffusion-...

同じく、AdamW→Rangerに書換えてみる。

    # textual_inversion.py#L447
    # 変更前
    if hypernetwork.optimizer_name in optimizer_dict:
        optimizer = optimizer_dict[hypernetwork.optimizer_name](params=weights, lr=scheduler.learn_rate)

    # 変更後
    if hypernetwork.optimizer_name in optimizer_dict:
        import torch_optimizer as optim
        optimizer = optim.Ranger(params=weights, lr=scheduler.learn_rate)
        print("Use custom optimizer")  # 稼働チェック用のデバッグメッセージ
        # この下のoptimizer_name 変数はstatedict保存時の名称なので変更しなくともOK

こちらも書換え後、再起動して学習を実施するだけ。挿入したデバッグメッセージが出ればOK。

DBに詳しいニキ追記頼む