顔入替ソフトのインストール方法、使用例、How to、TIPS、FAQ等です

注意事項

権利者に許可を得ていないコンテンツの二次利用は著作権法に違反。
また、所謂フェイクポルノを不特定多数が見れる場所に公開すれば名誉毀損(侮辱罪)に該当。
有名人の顔を使用して経済的利益を得ればパブリシティ権の侵害になる。

dstの動画を縮小してトレーニング

dstの動画は、小さくて、顔のどアップでもない場合は学習が速い。DFモデルでのtrainが可能となり、バッチ数は大きくでき、学習が速い。
  1. data_dst.mp4を動画編集ソフトで縮小
  2. そのまま普通にDFモデルなどを使用してtrain
  3. プレビューが十分になったところでtrain中止しconvert
  4. 出来上がったmergedフォルダの画像をTopaz Gigapixel AIなどで、元の大きさに拡大
  5. 8) converted to mp4.batで動画に変換

うまく顔入替えができなかった画像を削除して無音の紙芝居を作成

顔入替えはsrcの画角不足や、src/dstのランドマーク当てが上手く出来なかった場合など、顔入替えに失敗するコマも出てくる
  1. ffmpegはどこのフォルダにいても実行したいので、DFLの抱えている物を、C:\Windowsの下などPATHの通った所にコピーまたは移動
  2. convert後、mergedフォルダの画像を確認して、上手く顔入替えができなかった画像を削除
  3. ファイル名変更君などを使用して、連番の画像に変更(必要性は未確認。この工程は不要かも)
  4. カレントディレクトリをDeepFaceLab\workspace\data_dst\mergedに移動(エクスプローラーで移動して、アドレスバーにcmdと入力)
  5. ffmpeg -framerate 29.97 -i %05d.jpg -vcodec libx265 result.mp4 などで無音の紙芝居を作成 (-framerateはdata_dst.mp4のプロパティで出てくる物に合わせる)

学習効率を上げる仮説

【初期学習】複数人のsrc画像を全部混ぜる/dstは適当に1枚
  • randomwarp/learningmask/lrdropout/trueface等はOFFにして処理速度を上げる
  • ある程度(数万回?)trainする
【本番】ある一人のsrc画像のみにする/dst画像を作りたいものにして通常trainする
  • これをsrcごとに行ってそれぞれの学習を進めていく

学習効率を上げる仮説2

dstを編集して、極端な横顔、上向き顔、俯き顔が無い場合は
4.2) data_src sort by face yaw.bat を使用して横向き顔を左横顔、右横顔フォルダに待避して学習対象から外す
5.2) data_dst sort by face pitch.bat を使用して極端な上向き顔、俯き顔を上向き顔、俯き顔フォルダに待避して学習対象から外す。特に上向き顔
特にdf、dfhdでtrainしている場合

Mask処理なしでの笛動画作成の仮説

  1. dst笛動画のalignedをそのままsrcフォルダにもコピペして、プレビューで舌や笛が違和感がなくなるまで学習
  2. srcのalignedを、作りたいアイドルや女優などのalignedと差し替えて学習
  3. Fan-dstでコンバート

今のところこれで上手くいってるので、mask処理はしたことない
dstにしか存在しない画像を、先にsrcで覚えさせてから学習する方法

Mask処理なしでの笛動画作成の仮説2

srcにdstの顔の前に障害物がある画像を混ぜる(ただしsrcの5%以下)

外部リンク




寄付(任意)について

Amazon.jpギフト券での寄付は受け付けています
  1. AmazonでE-Mailタイプのギフト券を購入(金額は任意)
  2. 自分のアカウントに登録はしない
  3. 下記メールアドレスにAmazonギフト券番号を記載し、通知
  4. tomoe.magica@gmail.com


Seesaa Wiki関連リンク

コメントをかく


「http://」を含む投稿は禁止されています。

利用規約をご確認のうえご記入下さい

どなたでも編集できます