DFLを使用した個人用DeepFakeワークフロー
最終更新：
tomoe_magica 2020年02月13日(木) 13:43:47履歴
次のウォークスルーでは、プロセスとワークフローについて説明します。
これは私にとってはうまくいくものですが、ディープフェイクを作成するための最良または効率的な方法ではないかもしれません。
私はまだこれらを完璧にする方法を学んでいます。
Celebrity Facesetの作成-data_src（有名人）ビデオの収集
ソース：
data_src（有名人）ビデオからの顔の抽出：
どの画像を削除する必要がありますか？
画像の削除方法
dstの顔の再抽出法
関連項目
外部リンク
寄付(任意)について
Amazon.jpギフト券での寄付は受け付けています
Seesaa Wiki関連リンク
これは私にとってはうまくいくものですが、ディープフェイクを作成するための最良または効率的な方法ではないかもしれません。
私はまだこれらを完璧にする方法を学んでいます。
Celebrity Facesetの作成-data_src（有名人）ビデオの収集 
ソース：
- YouTube- 時間の90％をYouTubeで720pまたは1080pの解像度でインタビュー動画を見つけようとする事にさきます
- これらのビデオでは、ターゲットセレブリティの顔がビデオにはっきりと映っていて、複数の表情で異なる方向に動いている必要があります。異なる角度も非常に重要です。
- 次に、ツールを使用してYouTubeビデオをダウンロードします（いずれでも機能します）。
- 映画/テレビ番組 -同様に、有名人が映画やテレビ番組に出演している場合は、それらをダウンロードし、ビデオエディターを使用して有名人が動画に映っているクリップを収集できます。
- このソースは、角度を取得するのが難しい人を見つけるのにも適しています（上または下から見るなど）。
- 画像-必要に応じて使用する最後のソースは、写真撮影、画像ボード、壁紙の画像です。これらの画像はすべてHDである必要があります。
- 表情や角度が異なる一貫した照明を備えた単一の長いインタビュービデオを見つけたら、それをダウンロードし、ビデオの名前を「data_src.mp4」に変更して有名人の顔を抽出します。
- 異なるソースの複数のビデオを使用する必要がある場合は、それらをすべてビデオエディター（Adobe Premiere）に入れ、「data_src.mp4」に名前を変更する前に1つの長いビデオに結合します。
data_src（有名人）ビデオからの顔の抽出：
作成した有名人のビデオに「data_src」という名前を付け、適切なディレクトリ「\workspace」に配置してください。
次に、「2）video data_src 5 FPSからPNGを抽出」を実行します
通常、1 FPSは少なすぎ、10 FPSは多すぎます。
次に、「4）data_src extract faces S3FD best GPU」を実行します
フェイスセットはこのディレクトリにとどまる必要がありますが、Faceセットをクリーンアップできるようになりました。
次に、「4.2.2）data_src sort by similar histogram」を実行します。
これにより、すべての画像がヒストグラムでソートされ、多くの場合、異なる顔がグループ化されます。
次に、このフォルダを手動で調べて、ターゲットの有名人ではない画像、ぼやけている画像、または重複している画像をすべて削除する必要があります。
多くの場合、プログラムdupeGuruを使用して、多くの抽出物がある場合に同様の画像を削除します。
（オプション）「4.1）data_src check result」を実行して、含まれているプログラムXNViewMPを使用して、不要な画像をすばやく表示および削除できます。
（オプション）「4.2.4）data_src sort by dissimilar histogram」を実行することもあります
ほとんど同じように見える場合は、画像の1/4を削除して、フェイスセットのサイズを小さくします。
次に、すべてのdata_src画像/ facesetが揃っていることを確認するために、「4.2.other）data_src util add addmarks debug images」を実行し、有名人の顔を抽出したときに以前に検出された顔のランドマークを示すjpg画像を生成します。
これは基本的に、デバッグイメージと通常のイメージの両方を混合したdata_srcフォルダーを複製するため、ウィンドウの検索機能を使用してデバッグイメージのみを表示できます。
最上部の検索バーを使用して、「_ debug」を検索します。ランドマークの位置がずれている画像をすばやくスクロールして検索し、それらを削除できます（_debugバージョンだけでなく、元の画像も削除してください）。
フェイスセット全体をクリーンアップしたら、ランドマークとの複製であるため、「_ debug」画像を削除できます。
次に、「2）video data_src 5 FPSからPNGを抽出」を実行します
- 通常は5 FPSを使用して、適切なフェースセットに十分な画像があることを確認します。
通常、1 FPSは少なすぎ、10 FPSは多すぎます。
次に、「4）data_src extract faces S3FD best GPU」を実行します
- これにより、facesetが抽出され、調整されます。
フェイスセットはこのディレクトリにとどまる必要がありますが、Faceセットをクリーンアップできるようになりました。
次に、「4.2.2）data_src sort by similar histogram」を実行します。
これにより、すべての画像がヒストグラムでソートされ、多くの場合、異なる顔がグループ化されます。
次に、このフォルダを手動で調べて、ターゲットの有名人ではない画像、ぼやけている画像、または重複している画像をすべて削除する必要があります。
多くの場合、プログラムdupeGuruを使用して、多くの抽出物がある場合に同様の画像を削除します。
（オプション）「4.1）data_src check result」を実行して、含まれているプログラムXNViewMPを使用して、不要な画像をすばやく表示および削除できます。
（オプション）「4.2.4）data_src sort by dissimilar histogram」を実行することもあります
- これは、実際に互いに異なる画像を最初にソートします。
ほとんど同じように見える場合は、画像の1/4を削除して、フェイスセットのサイズを小さくします。
次に、すべてのdata_src画像/ facesetが揃っていることを確認するために、「4.2.other）data_src util add addmarks debug images」を実行し、有名人の顔を抽出したときに以前に検出された顔のランドマークを示すjpg画像を生成します。
これは基本的に、デバッグイメージと通常のイメージの両方を混合したdata_srcフォルダーを複製するため、ウィンドウの検索機能を使用してデバッグイメージのみを表示できます。
最上部の検索バーを使用して、「_ debug」を検索します。ランドマークの位置がずれている画像をすばやくスクロールして検索し、それらを削除できます（_debugバージョンだけでなく、元の画像も削除してください）。
フェイスセット全体をクリーンアップしたら、ランドマークとの複製であるため、「_ debug」画像を削除できます。
どの画像を削除する必要がありますか？
ぼやけた画像は、トレーニングプロセス中に削除する必要があります。
私は通常これらを取り除き、トレーニング中に別の場所に置きます。
新しいフォルダをどこかに作成するだけです。
削除した画像が整列していてぼやけている場合は、トレーニングが完了してから変換する前に、整列したフォルダーに画像を戻します。
下の画像を削除する例をご覧ください。
ぼやけた画像の別の例：以前は、トレーニング中に部分的な顔を削除することをお勧めしましたが、部分的な顔を変換するため、それらのトレーニングがより良いことがわかりました。
したがって、画像が適切に配置されている限り、そのままにしておくことができます。
悪い照明（白く吹き飛ぶ）または暗すぎる、透明な顔（例：シーンの遷移中）もトレーニング中に削除する必要があります。
次の例では、トレーニング中にすべての画像が削除され、一部の画像は適切に配置されていないため削除されます。
眉毛が切れている場合、通常はトレーニングから画像を削除します。data_dst（Pornstar）ビデオからの顔の抽出
女優（または俳優）が有名人のように見えるポルノビデオを見つけた後、ポルノビデオを編集して、必要のないシーン（例：イントロ）、または変なアングルのシーンが適切に変換されないことを切り取ります。
最近、キスシーンも切り取っています。
なぜなら、これらのシーンでの抽出はしばしば間違っており、何百もの画像を手動で抽出するのは本当に苦痛だからです。完全なポルノビデオクリップを作成したら、名前を「data_dst.mp4」に変更し、「\ workspace」にあることを確認します。
私は通常これらを取り除き、トレーニング中に別の場所に置きます。
新しいフォルダをどこかに作成するだけです。
削除した画像が整列していてぼやけている場合は、トレーニングが完了してから変換する前に、整列したフォルダーに画像を戻します。
下の画像を削除する例をご覧ください。
ぼやけた画像の別の例：以前は、トレーニング中に部分的な顔を削除することをお勧めしましたが、部分的な顔を変換するため、それらのトレーニングがより良いことがわかりました。
したがって、画像が適切に配置されている限り、そのままにしておくことができます。
悪い照明（白く吹き飛ぶ）または暗すぎる、透明な顔（例：シーンの遷移中）もトレーニング中に削除する必要があります。
次の例では、トレーニング中にすべての画像が削除され、一部の画像は適切に配置されていないため削除されます。
眉毛が切れている場合、通常はトレーニングから画像を削除します。data_dst（Pornstar）ビデオからの顔の抽出
女優（または俳優）が有名人のように見えるポルノビデオを見つけた後、ポルノビデオを編集して、必要のないシーン（例：イントロ）、または変なアングルのシーンが適切に変換されないことを切り取ります。
最近、キスシーンも切り取っています。
なぜなら、これらのシーンでの抽出はしばしば間違っており、何百もの画像を手動で抽出するのは本当に苦痛だからです。完全なポルノビデオクリップを作成したら、名前を「data_dst.mp4」に変更し、「\ workspace」にあることを確認します。
画像の削除方法
3.2）video data_dst FULL FPSからPNGを抽出して、ビデオを各フレームにカットします。
5）data_dst extract faces S3FDbest GPUを実行して、Dststarの顔を抽出し、選択に基づいてS3FDを使用して整列します。
次に、5.2）data_dst sort by similar histogramを実行して、Dststarの顔をヒストグラムでソートします。
次に、画像を調べて、このフェイスセットをクリーンアップする必要があります。
次に、「5.1）data_dst check results」を実行します。これは、XNViewMPを使用してdata_dstフェイスセットを確認します。
次に、「removed」という名前のフォルダーを作成します。ここで、遮られた、ぼやけた、または部分的な顔を移動します（上記の例を参照）。
また、交換したいdstスターのものではないすべての画像と、顔ではない画像も削除します。data_srcフォルダーを1回通過した後、どのシーンの顔の位置がずれているかを心に留めておきます。
次に、「5.1）data_dst check results debug」を実行します。
これにより、XNViewMPが再び表示されますが、すべてのdata_dstイメージと顔のランドマークが表示されます。画像をすばやくスクロールするか、画像が適切に配置されていない既知のシーンにスキップします。
削除された画像は正しく配置されていないか、完全に見落とされています。
上記の例では、顔が正確ではないことがわかります。
このような小さな間違いは、ディープフェイクの品質を大幅に低下させる可能性があります。
これにより、顔の側面がぼやけたりぼやけたりします。
抽出器がフレーム内の顔を完全に見逃すこともあります。
先に進んでそれも削除します（aligned_debugフォルダー内のみ）
5）data_dst extract faces S3FDbest GPUを実行して、Dststarの顔を抽出し、選択に基づいてS3FDを使用して整列します。
次に、5.2）data_dst sort by similar histogramを実行して、Dststarの顔をヒストグラムでソートします。
次に、画像を調べて、このフェイスセットをクリーンアップする必要があります。
次に、「5.1）data_dst check results」を実行します。これは、XNViewMPを使用してdata_dstフェイスセットを確認します。
次に、「removed」という名前のフォルダーを作成します。ここで、遮られた、ぼやけた、または部分的な顔を移動します（上記の例を参照）。
また、交換したいdstスターのものではないすべての画像と、顔ではない画像も削除します。data_srcフォルダーを1回通過した後、どのシーンの顔の位置がずれているかを心に留めておきます。
次に、「5.1）data_dst check results debug」を実行します。
これにより、XNViewMPが再び表示されますが、すべてのdata_dstイメージと顔のランドマークが表示されます。画像をすばやくスクロールするか、画像が適切に配置されていない既知のシーンにスキップします。
削除された画像は正しく配置されていないか、完全に見落とされています。
上記の例では、顔が正確ではないことがわかります。
このような小さな間違いは、ディープフェイクの品質を大幅に低下させる可能性があります。
これにより、顔の側面がぼやけたりぼやけたりします。
抽出器がフレーム内の顔を完全に見逃すこともあります。
先に進んでそれも削除します（aligned_debugフォルダー内のみ）
dstの顔の再抽出法
「5）data_dst extract faces MANUAL RE-EXTRACT DELETED RESULTS DEBUG」を実行したら、未抽出の顔イメージを再抽出します
削除されましたが、手動モードです。
手動抽出現在、ランドマークは画像上に自動生成されており、カーソルを使用して目的の顔に一致するように移動するだけです。
手動で抽出するときに使用できるキーは次のとおりです。
マウスホイール
これにより、目標の顔が拡大され、ランドマークを適切に配置できます。
マウスの左クリック -これにより、ランドマークがロックされ、ランドマークがわずかに異なる色に変わります。
Enter - Enterをクリックすると、手動で抽出する必要がある次のフレームに移動します。
時間を節約するには、満足するまでカーソルをターゲットの顔の上に移動し、（最初に左クリックする代わりに）Enterをクリックします。
手動抽出をすべて完了するまでこれを続けてください。
アプリはそれらの画像を再抽出します。
これで、トレーニングの準備ができた非常に正確なフェイスセットが作成されます。
削除されましたが、手動モードです。
手動抽出現在、ランドマークは画像上に自動生成されており、カーソルを使用して目的の顔に一致するように移動するだけです。
手動で抽出するときに使用できるキーは次のとおりです。
マウスホイール
- これにより、赤と青のボックスのサイズが変更されます。
これにより、目標の顔が拡大され、ランドマークを適切に配置できます。
マウスの左クリック -これにより、ランドマークがロックされ、ランドマークがわずかに異なる色に変わります。
Enter - Enterをクリックすると、手動で抽出する必要がある次のフレームに移動します。
時間を節約するには、満足するまでカーソルをターゲットの顔の上に移動し、（最初に左クリックする代わりに）Enterをクリックします。
手動抽出をすべて完了するまでこれを続けてください。
アプリはそれらの画像を再抽出します。
これで、トレーニングの準備ができた非常に正確なフェイスセットが作成されます。
関連項目
外部リンク
寄付(任意)について
Amazon.jpギフト券での寄付は受け付けています
- AmazonでE-Mailタイプのギフト券を購入(金額は任意)
- 自分のアカウントに登録はしない
- 下記メールアドレスにAmazonギフト券番号を記載し、通知
- tomoe.magica@gmail.com
Seesaa Wiki関連リンク
タグ
コメントをかく