PonyDiffusionV6XLTips
最終更新：ID:EbKtkhlR0g 2024年10月12日(土) 21:53:12履歴
PonyXLどこ？ 
プロンプトの書き方
Animagineと同様に独特のプロンプトルールがある。詳細は上記civitaiを参照
ケモナー御用達なのでかなり癖がある。
従来のアニメ系モデルとは全く別の思想で制作されたモデルで、いわゆる「マスピ」の概念がない。
欧米のケモノ絵、カートゥーン、ピンナップアートなどが大量に学習されているので、デフォルトでは日本人好みではない絵が出る。
おそらく重要なのはポジにsource_anime,ネガにsource_pony, source_furry, source_cartoon,を入れること。
また、効きの良い絵師タグを入れると安定する。絵師タグを入れないと絵柄のばらつきが激しい。
R18絵を出したい場合、他のモデルとは異なり「nsfw」の代わりに「rating_explicit」を使うこと。といっても指定しなくても勝手に脱ぐことも多いが。
「nsfw」を入れると著しく絵の質が低下する特性がある。
ケモナー御用達なのでかなり癖がある。
従来のアニメ系モデルとは全く別の思想で制作されたモデルで、いわゆる「マスピ」の概念がない。
欧米のケモノ絵、カートゥーン、ピンナップアートなどが大量に学習されているので、デフォルトでは日本人好みではない絵が出る。
おそらく重要なのはポジにsource_anime,ネガにsource_pony, source_furry, source_cartoon,を入れること。
また、効きの良い絵師タグを入れると安定する。絵師タグを入れないと絵柄のばらつきが激しい。
R18絵を出したい場合、他のモデルとは異なり「nsfw」の代わりに「rating_explicit」を使うこと。といっても指定しなくても勝手に脱ぐことも多いが。
「nsfw」を入れると著しく絵の質が低下する特性がある。
公式の記載法
score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up, just describe what you want, tag1, tag2
スレで共有されたもの
score_9, score_8_up, score_7_up, BREAK source_anime, rating_explicit, best quality, masterpiece, uncensored, 1girl,
公式で説明されているレーティングタグ
| rating_safe | 従来のsfw |
| rating_questionable | 基本的に脱がない |
| rating_explicit | 従来のnsfw |
negative prompt
ケモいのやバタ臭い(洋風っぽい)のを目指さないならとりあえず入れとけ
source_pony,source_furry,source_cartoon
姫騎士ニキ
censored, mosaic censoring, bar censor ,border, worst quality, low quality, simple background, white background, realistic, sketch ,muscle , normal quality, jpeg artifacts, depth of field, blurry, messy drawing, amateur drawing, lowres, bad anatomy, bad hands, text, error, missing fingers, fewer digits, extra digits,cropped , greyscale, monochrome, source_furry, source_pony, source_cartoon, comic ,source filmmaker,video ,3d
上記を軽量化。とりあえずこの辺から始めてもいいかも
low quality , bad anatomy, bad proportions, extra legs, deformed anatomy, messy color, deformed fingers, bad, distracted, hyperrealistic,source_furry, source_pony, source_cartoon
3d, video, source filmmakerも入れるのもアリ。
https://civitai.com/models/257749?dialog=commentTh...
ネガのXY Plotによる比較もある。
https://civitai.com/posts/1267427
バタ臭くなりそうな作品名などを入れるのも効果がある。
western_artist,disney,marvel,overwatch,league_of_legends,the_simpsonsがあたりが定番ネガの模様。
サンプル
以下は
ポジ側に source_anime, score_9,
ネガ側に source_cartoon, source_furry, source_pony
を基本とし、バタ臭くなりそうな作品を追加してみたサンプル
ポジに score_9, score_8_up, score_7_up ネガに score_6, score_5
ポジに score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up ネガに score_4, score_5, score_6
このような書き方でクオリティが上がるとの報告もあるが、うまく調整しないと高確率でバタ臭くなるようだ。
https://civitai.com/models/257749/pony-diffusion-v...
ポジ側に source_anime, score_9,
ネガ側に source_cartoon, source_furry, source_pony
を基本とし、バタ臭くなりそうな作品を追加してみたサンプル
ポジに score_9, score_8_up, score_7_up ネガに score_6, score_5
ポジに score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up ネガに score_4, score_5, score_6
このような書き方でクオリティが上がるとの報告もあるが、うまく調整しないと高確率でバタ臭くなるようだ。
https://civitai.com/models/257749/pony-diffusion-v...
推奨事項
Euler aで25ステップ。
VAEは内蔵してるので必要ない。SD1.5用のVAEを適用すると露骨に絵が崩れるので使用するならSDXL用を。
解像度は1024x1024以上(画素数が1024x1024=1048576画素前後)を強く推奨。
サンプラーにEuler aの代わりにRestartを使うと人体の精度が上がるという報告がある。
Restartはやや癖が強い。ガサガサした絵柄になりやすい感じ。
https://civitai.com/models/257749?modelVersionId=2...
プロンプトについて。Ponyでは学習元の絵につけるタグとして、e621というケモナー用danbooru系サイトのタグを使用しているようだ。
https://e621.net/wiki_pages/204（タグwiki）
これが一般的なdanbooru系列とは異なるので、danbooru系のプロンプトに反応しないようならe621のタグに置き換えてみると、もしかしたら通るかもしれない……?
（例えばdanbooru上のfutanariタグはe621ではintersexである。danbooru上のfrom belowはe621でlow-angle viewである。）
VAEは内蔵してるので必要ない。SD1.5用のVAEを適用すると露骨に絵が崩れるので使用するならSDXL用を。
解像度は1024x1024以上(画素数が1024x1024=1048576画素前後)を強く推奨。
サンプラーにEuler aの代わりにRestartを使うと人体の精度が上がるという報告がある。
Restartはやや癖が強い。ガサガサした絵柄になりやすい感じ。
https://civitai.com/models/257749?modelVersionId=2...
プロンプトについて。Ponyでは学習元の絵につけるタグとして、e621というケモナー用danbooru系サイトのタグを使用しているようだ。
https://e621.net/wiki_pages/204（タグwiki）
これが一般的なdanbooru系列とは異なるので、danbooru系のプロンプトに反応しないようならe621のタグに置き換えてみると、もしかしたら通るかもしれない……?
（例えばdanbooru上のfutanariタグはe621ではintersexである。danbooru上のfrom belowはe621でlow-angle viewである。）
プロンプトだけで出せるキャラ、絵師タグ
海外の有志が調べたこちらを参照
https://rentry.org/ponyxl_loras_n_stuff（通称Pony Note） ※一番下のinnate characterのセクション。
こちらのキャラリストは公式のものではないため学習されていないキャラも多く含まれているようだ。
→2024年3月19日頃、再度検証中のようだ。
https://rentry.org/ponyxl_loras_n_stuff（通称Pony Note） ※一番下のinnate characterのセクション。
こちらのキャラリストは公式のものではないため学習されていないキャラも多く含まれているようだ。
→2024年3月19日頃、再度検証中のようだ。
隠しトークン
一見ランダムな英数字のトークンを入力すると、それぞれ特定のイラストレーターやキャラを集中的に学習したと思われる画像が出現することが判明した。詳細は上記Pony NoteのReverse Engineered Hashed Tokensを参照のこと。
最初は3文字のトークンが発見されたが、後に3文字以外のトークンも多くあることが判明している。
望ましくないスタイルをネガティブに入れたり、あるいは良さそうなスタイルをポジティブに入れることで、より安定して好みに合った画像を出せるものと思われる。
本スレによると、ネガに隠しトークンを多数入れてもさほど効果がない、逆に思い通りの画像が出なくなったなどの報告もあるので今後の研究が期待される。
pony系の派生モデルでも本家ほどの効き具合ではないが機能する。
最初は3文字のトークンが発見されたが、後に3文字以外のトークンも多くあることが判明している。
望ましくないスタイルをネガティブに入れたり、あるいは良さそうなスタイルをポジティブに入れることで、より安定して好みに合った画像を出せるものと思われる。
本スレによると、ネガに隠しトークンを多数入れてもさほど効果がない、逆に思い通りの画像が出なくなったなどの報告もあるので今後の研究が期待される。
pony系の派生モデルでも本家ほどの効き具合ではないが機能する。
ネガティブ用トークン
aca,ces（feces=大便）,gpoはグロテスクな画像が重点的に学習されているようなのでネガに入れても損はないだろう。逆にこれらをポジに入れるのは禁物。
0594今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c688-yO80) 2024/03/13(水) 02:46:32.21ID:90RW5TM/0 ワイがebaraで3文字画像見ながら適当にネガ作ったらトークン数大杉になってしまった でもとりあえず入れておくと絵柄LoRAがブレなくなって素直に使えるようになったり手ぐちゃとかの頻度が下がった気がするんやけど他の人の意見も聞いてみたい 人間やgirlが出てなかったり悪影響与えてそうなやつ aca, aer, api, aur, bem, bif, bzi, bzl, frw, gar, gkb, gor, gpc, gpo, gvb, gzl, hnj, kzl, lbv, lwb, mjy, mtd, mwb, mwf, oir, olu, pbi, pdg, pdk, pdl, pdn, pdo, pkm, pzl, qpp, rek, rok, rzl, sbk, sid, smr, tyr, uji, vex, vml, wsp, xie, xio, yle, zac, zbi, zvu, 落書きみたいのとかアクが強かったりするやつ（こっちはなくてもいいかも 背景出にくいのを改善目的で作った） aey, aff, aku, alp, baf, bfu, bip, bks, bku, bwf, bwu, csz, dbu, epg, evg, fbv, fey, ffs, fii, fla, gcg, gcx, gjv, grp, gsf, hag, hbz, hda, ilb, imf, ixz, kmq, kmz, kpm, kwl, kzg, lbq, lek, lpt, luz, lwl, lym, mdf, mdw, mlx, nrf, nvo, nvu, obo, ohw, oii, ojn, owz, oxz, oyz, paf, par, pjy, pme, pml, poo, pri, psm, pvo, pwl, pwn, pxg, qdc, qdl, qlt, rha, rjz, rpz, rrg, rsl, shq, sht, smg, ttp, uhf, ujf, uyf, uyz, vag, vbi, vdc, vdl, ven, vfc, wbi, wnw, wpw, xiq, xlx,
★406より
0776今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった 警備員[Lv.11][芽] (ﾜｯﾁｮｲ c3d9-VQuK) 2024/06/14(金) 20:37:03.40ID:G+Af9ZsM0 3文字でいろいろいじってるとほんとにどうすればいいか分からなくなっていくな。 https://files.catbox.moe/3qx9zh.png みんなはどんなの使ってる？ ポジにクオリティタグ入れんで済むようにいろいろ試行錯誤したけどこれ以上はようわからん ちなみにこの画像は下のプロンプト。モデルはebara2.1 ポジ：girl ネガ：the simpsons, worst quality, bad quality, normal quality, low res, source_cartoon, censored, simple background, bad anatomy, vml, aca, ces, gpo, moro, ybq, tdj, eqg, fwg, ieb, inc, lek, jaf, jap, smg, vfc, zbm, yew, ydl
0805今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった 警備員[Lv.46] (ﾜｯﾁｮｲ 2354-/sG6) 垢版 | 大砲 2024/06/14(金) 21:31:09.59ID:OrMAKNPU0 >>776 ebara1の頃はこのスレで見たgpo, tdj, eqg, wpt, aur, hnj, bry, bfu, cle, cwn, eqg, ewu, bwl, bse,を好んで使っとったが2以降は3文字自体使ってへんな このネガは好みや、ワイも使わせてもらお 0809 警備員[Lv.12][芽] (ﾜｯﾁｮｲ bf62-VQfa) 垢版 | 大砲 2024/06/14(金) 21:36:52.13ID:0P9DUVHH0 三文字はワイ ポジ：uoy, thon, fyx ネガ：aca, ces, gpo, ybq, tdj, eqg, wpt でやっとるわ ポジはSeed固定で一つ一つ試して効果ありそうなの厳選したんやがネガはスレで出てたののコピペや
★409 今までに登場しなかったトークンも多く、スレ内でも注目を集めた
0486今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8b16-EjJt) 2024/06/20(木) 02:06:36.56ID:QgN3a30b0 クオリティタグなし＆3文字つかったネガで、ebara2.1の生成結果を高品質化できないか延々調べてる。 前にここで同じようなの投下したけど無駄がかなりあったことが分かったのでネガにひたすらクオリティに効きそうな３文字入れて効果試したりしてもう一度練り直してみた。 ポジ:girl in cafe, showing panties �“羈啗‐斃僉 ．優�：なし https://files.catbox.moe/w6y7uj.png ��濃いめ色合いで高品質を狙ったの。 ネガ：qlt, lkb, tdj, vml https://files.catbox.moe/dk885z.png �Ｇ�めの色合いで高品質を狙ったの ネガ；rbi, hsn, bol, ilr https://files.catbox.moe/sqc8w0.png ��3文字をできるだけ減らして高品質を狙ったの ネガ：lkb, rbi, ilr https://files.catbox.moe/5i170b.png ��3文字×6まで許容したの ネガ：rbi, hsn, bol, ilr, lkb, qlt https://files.catbox.moe/2g799r.png �Ν◆椨� ネガ：qlt, lkb, tdj, vml, rbi, hsn, bol, ilr https://files.catbox.moe/u094t7.png ※よく言われるaca, ces, gpoは、グロとかスカをさけるためのものなので、 クオリティにはあまり影響しない。 ※クオリティタグなしでこれなら普通に運用できそう。 個人的には�きキΔ△燭蠅�お気に入り。ポジティブプロンプトの利きがよくなって楽しい。
★413
0577 警備員[Lv.34] (ﾜｯﾁｮｲ ded1-tgr5) 2024/06/30(日) 15:57:32.01ID:/v1VhoTI0 ネガティブ3文字の中でもvmlだけ突出して効果が大きい気がする vml…一体何者なんだ…
有用なトークン
トークンの大部分はケモノ系・カートゥーン系の海外アーティストに関連付けられているため有用なものは少ない。
キャラ
| トークン | 名前 |
| aua | 宝鐘マリン |
| lanr | 星街すいせい |
| pitvinm | がうる・ぐら |
アーティスト
| トークン | 名前 | 備考 |
| 8um | ishikei | |
| aze | 不明 | |
| bfg | flou_(flou_art) | 線が特徴的 |
| emc | 不明 | |
| gjem | wamudraws | デフォルメ |
| mdf | mdf_an | |
| mjm | zankuro | デフォルメ |
| nviv | panken | 厚塗りデフォルメ |
| qppp | sty | フラット塗り |
| pci | 不明 | デフォルメ |
| saz | abmayo | |
| thn | xration | |
| vum | bluethebone | 80年代アニメ風 |
バグ
特定のプロンプトでノイズまみれになる
稀に黒い画像やノイズのみの画像が生成されてしまう事がある。
hakomikan氏によると、1111 WebUI側のバグらしい。特定のプロンプトの組み合わせでテンソルの値が壊れて破綻を引き起こす。
わかりやすく言うと、プロンプトの組み合わせによってはプロンプトの強度指定時にWebUIの不具合で実際の強度がおかしくなる。
https://note.com/hakomikan/n/nb6dd68a1bd9e
hakomikan氏によると、1111 WebUI側のバグらしい。特定のプロンプトの組み合わせでテンソルの値が壊れて破綻を引き起こす。
わかりやすく言うと、プロンプトの組み合わせによってはプロンプトの強度指定時にWebUIの不具合で実際の強度がおかしくなる。
https://note.com/hakomikan/n/nb6dd68a1bd9e
解決策
WebUI 1.7以前であれば、プロンプトの語順を変えてみるか以下のExtensionを導入する。
https://github.com/hako-mikan/sd-webui-prevent-art...
1.8以降であれば、SettingsのStable diffusionにあるEmphasis modeをNo normにする。
ただし根本的な解決策ではなく、現在でもまれにノイズ画像が発生する。
https://github.com/hako-mikan/sd-webui-prevent-art...
1.8以降であれば、SettingsのStable diffusionにあるEmphasis modeをNo normにする。
ただし根本的な解決策ではなく、現在でもまれにノイズ画像が発生する。
古い情報
不向きな題材
Ponyの弱点として、背景、メカ、乗り物は学習量が少ないらしく、殴り書きしたようなぼやけた仕上がりになる。
リアル画風を指定すれば背景もある程度詳細になるが、キャラがバタ臭くなるのは避けられない。
これを改善するためのLORAも公開されている。
また、服飾のバリエーションの少なさも指摘されており、ファンタジー風の派手な衣装のキャラなどは出しにくい。
ケモナーの報告によるとR18絵ではメスケモ×人間男の組み合わせとなるように強力な補正がかかるらしく、ケモノ系モデルながらケモノ同士やオスケモ×人間女の組み合わせは出しにくいらしい。
リアル画風を指定すれば背景もある程度詳細になるが、キャラがバタ臭くなるのは避けられない。
これを改善するためのLORAも公開されている。
- Pony and XL- BackgroundPack
また、服飾のバリエーションの少なさも指摘されており、ファンタジー風の派手な衣装のキャラなどは出しにくい。
ケモナーの報告によるとR18絵ではメスケモ×人間男の組み合わせとなるように強力な補正がかかるらしく、ケモノ系モデルながらケモノ同士やオスケモ×人間女の組み合わせは出しにくいらしい。
Animagineとの連携方法
Ponyはプロンプトからの構図を生み出しが良いが、Animagineの方が絵柄が好きと言うときに、AnimagineをRefinerとして使用する方法がある。
WebUIでRefinerにチェックを入れ、Animagine(他のSDXLモデルでも可)を指定し数値を指定する。
全体のステップのうち指定した数値%まではPonyで、それ以降はAnimagineで描画することになるので、Ponyの構図を生かしてAnimagineで仕上げという処理が可能。
WebUIでRefinerにチェックを入れ、Animagine(他のSDXLモデルでも可)を指定し数値を指定する。
全体のステップのうち指定した数値%まではPonyで、それ以降はAnimagineで描画することになるので、Ponyの構図を生かしてAnimagineで仕上げという処理が可能。
学習の注意点
学習も癖が強い。
LoRAなどの学習時のOptimizerにD-Adaptation系とProdigyを選ぶと発散しやすいので、LRを下げるかそれ以外のOptimizerの使用をおすすめする
VAEはsdxl-vae-fp16-fixを使うかno-half-vaeをつけないとlatentキャッシュ中にNaN演算が発生する場合あり。
LoRAなどの学習時のOptimizerにD-Adaptation系とProdigyを選ぶと発散しやすいので、LRを下げるかそれ以外のOptimizerの使用をおすすめする
VAEはsdxl-vae-fp16-fixを使うかno-half-vaeをつけないとlatentキャッシュ中にNaN演算が発生する場合あり。
score学習
Ponyで使用されている独特なクオリティタグ(score_9_upなど)をLoRA学習時のタグにも入れることにより、再現性を高める方法
なんJNVA部★416
https://fate.5ch.net/test/read.cgi/liveuranus/1720...
なんJNVA部★416
https://fate.5ch.net/test/read.cgi/liveuranus/1720...
386: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった <span style="color:green;">警備員[Lv.4][新芽]</span>(JP 0Hcb-F75N) sage 2024/07/08(月) 15:59:31.15 ID:ZsuaVgOHH モデルとの相性でloraの効きが悪いことがあったんだが ふとscoreタグを逆に記載したら効きが良くなって草 流石にクオリティがイマイチやけど 418: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった <span style="color:green;">警備員[Lv.13]</span>(ﾜｯﾁｮｲ ebbf-OR+R) sage 2024/07/08(月) 18:02:51.07 ID:eiKBHRzV0 人物や場所の特徴や構図なんかは細かい方がええと思うけどクオリティタグはある程度絞らんと絵の書き込みや雰囲気が定まらんくてふわっとしてまうイメージや ワイは学習時にはsource_animeとscore_9とだけ入れて実際の生成時はsource_animeとscore_9からscore_4_upまでを使っとるな まぁ学習元モデルによって変わってくるし正解のない話やね 439: <span style="color:green;">警備員[Lv.13]</span>(ﾜｯﾁｮｲ 2388-pk1M) 2024/07/08(月) 19:27:46.52 ID:OFt76uj90 pony学習でscoreタグつける・つけないは未だに答えが見つからないです 無くてもそれなりにできているようにも感じますし、なんだか微妙に再現度が甘い気もします 465: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった <span style="color:green;">警備員[Lv.11]</span>(ﾜｯﾁｮｲ 85e8-o6+b) sage 2024/07/08(月) 21:27:59.67 ID:aB2+LCRY0 ワイの経験やとこうやわ ・Score無しで学習してScore有りで生成：再現度が下がる ・Score無しで学習してScore無しで生成：画像のクオリティが下がる ・Score有りで学習してScore有りで生成：うまく作れる 普通のLoRAなら問題ないんやけど、癖が強い画風やと 下手な絵だと認識されるのかScoreタグで画風が消されることがあるみたいなんや 490: 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった <span style="color:green;">警備員[Lv.22]</span>(ﾜｯﾁｮｲ a527-l588) 2024/07/08(月) 22:35:15.06 ID:06Ei+RU00 >>465 大体同じ感想 加えて言うとGameCGとかNobelartとか素材の出自に合わせてキャプション付けして出力時にタグ入れると再現度が上がる scoreタグ不要のマージモデルで学習すると効果不明になるけど
Controlnetとの相性
原因不明だが一部のControlnetとの相性が悪く、特にOpenposeでの指定ポーズは全く反映されない。
派生モデル
本スレでよく話題になる人気派生モデルを紹介する。
XL_e4P_Mix
https://huggingface.co/okibaV/XL_e4P_Mix
ebara_pony_3と4th Tailを中心にマージしたモデル。
ebara_pony_3と4th Tailを中心にマージしたモデル。
4th tail (anime/hentai)
https://civitai.com/models/282341/
表現力の強化を目指したモデル。
表現力の強化を目指したモデル。
3x3x3mixXL
https://civitai.com/models/464044
背景表現の強化を目指したモデル。リアル風など派生モデルも多数あり。
背景表現の強化を目指したモデル。リアル風など派生モデルも多数あり。
PVC Style Model
https://civitai.com/models/400329/
フィギュア実写画像風のモデル。
フィギュア実写画像風のモデル。
ebara_pony_1、ebara_pony_2.1、ebara_pony_3
消滅。
このページへのコメント
欧米人が好きなモチーフかどうかでバタ臭くなるかが変わるっぽい。東洋龍みたいなアジア人しか描かないモチーフだとアジアの絵柄になるけどガチムチワニ獣人を出すと一生バタ臭くなる。
試しにプロンプトにpixivとかpixiv comissionとかアジア系の絵柄にバイアスかかりそうな語を入れたらめちゃくちゃ脱臭されたのでオヌヌメ
人間じゃ試してないので無理かもだけど
ebaraは理由あって消したんだろうに
ちびたいにすぐ全部上げ直す転載ユーザーには閉口するわ
仕方ない、あそこに関しては消すと増えますが売りだからな。
界隈の発展的にはありがたい面もあるが何だかなぁ・・・
3x背景で頑張ってるのはわかるんだが
うちのプロンプトだとわざわざ室内とかベッドとか指定してやらないと一生自然豊かな背景にしてきて文字通り草生えた
青〇好きすぎだろ
3x3x3mixXLのバージョンをV01からV02に変更してLORAを作成するとNaNのエラーが出るのですが実行環境に問題があるのでしょうか。
学習モデルの指定でV01を指定した場合は正常終了しますがV02にすると以下のエラーが出力されます
RuntimeError: NaN detected in latents:画像名
自分はProdigyはイマイチで、DAdaptationで満足している
scoreタグは使ってない