顔入替ソフト使用例

ここで始める前に、いくつかの用語を示します。

• data_src、src、source、有名人のフェイスセット、有名人のデータセット、ソースデータセット、ソース画像-AIモデルのトレーニングで使用される有名人の画像。
• frame、frames-わかりやすい、workspace / data_src内にある、ビデオから抽出された個々のフレームのみ。
• faces-workspace / data_src / aligned内にある顔の位置合わせされた画像

ソースフェイスセットを作成するには、ディープフェイクの作成に使用するソフトウェアが必要です。このガイドでは、DFL 2.0の使用に焦点を当てています：
GITHUB
Download links:
DOWNLOAD FROM GITHUB
DOWNLOAD FROM GOOGLE DRIVE

ダウンロードダウンロード後、解凍するだけで準備完了です。

良質のソースデータセットを作成するには、被写体のソースマテリアル（写真やビデオなど）を見つける必要があります。
モデルができるように、顔の可能なすべての外観をカバーするために必要なさまざまな表現や角度により、ビデオが優先されます。正しく学んでください。
ビデオと写真を組み合わせることもできます。以下は、ソースデータセットが可能な限り優れているようにするために確認する必要があるいくつかの事項です。

• ビデオ/写真は、考えられる顔/頭の角度のすべてまたは少なくともほとんどをカバーする必要があります
• カメラを上から下、左、右、真っ直ぐ上から見れば、1つのインタビューに頼るのではなく、複数のインタビューを使用するか、映画からクリップを取得するのが最善の方法です。いくつかの小さなバリエーション）。

• ビデオ/写真は、すべての異なる表情をカバーする必要があります
• 口の開閉/目を閉じた/笑顔、眉をひそめた、さまざまな方向を向いた目を含みます-より良い結果を得ることができる表情の多様性はより大きくなります。

• 材料は一貫している必要があります
• 鮮明でシャープで高品質な顔の隣にぼやけた低解像度の圧縮された顔が欲しくないので、見つけることができない、または特定の角度/表現が存在する場合にのみ、見つけられる最高品質のマテリアルのみを使用する必要があります。

低品質/ぼやけたビデオ/写真ならそれを維持する必要があります

• ほとんどは高品質でなければなりません
• 上記のように、いくつかのぼやけた写真/ビデオを使用したままにすることができますが、他の表現/顔の角度が見つからない場合に限ります。

• 照明は一貫している必要があります
• いくつかの小さな影は問題ありませんが、厳しい指向性照明へのインタビューを含めるべきではありません。

可能であれば、影がかなり明るい、カメラからの光、または拡散しているものだけを使用してください。

• 上記のようにすべてのチェックを満たしていることを確認してください。20枚のInstagramフィルターの写真で十分ではありません。

すべてのビデオを収集した後：

1.ビデオから個々のフレームを抽出します。

次の手順は、抽出するビデオ/インタビューが2つある場合で、1つのビデオといくつかの写真しかない場合は、手順2に進みます。
ビデオが少ない場合は、Vegas Pro / Resolve / AE / Premiereなどのビデオ編集ソフトウェアを使用してすべてを1つのdata_src.mp4ファイルに結合することをお勧めします（この場合も、手順2.にスキップして顔を位置合わせします）。

それ以外の場合は、各フレームを1つずつ抽出する必要があります。
これを行うには、最初のソースビデオを "workspace"フォルダーにコピーし、名前をdata_src.mp4に変更し、2）data_srcからビデオdata_srcから画像を抽出して、そこからフレームの抽出を開始 します。
プロセスがフレームの抽出を完了したら、「workspace」フォルダーからdata_src.mp4ファイルを削除し、「data_src」フォルダーに移動して、Ctrl + Aですべてのフレームを選択し、F2で名前を変更して、抽出したすべてのフレームの名前を「srcSET1」のような名前に変更します。
これを行うのは、別のdata_src.mp4ファイルからさらにフレームを抽出し始めるときに、古いフレームを上書きしないようにするためです。次に、次のソースビデオをコピーして、data_srcという名前を付け、抽出して、すべてのファイルを選択し、Ctrl + a、F2、名前の変更、data_srcの削除を行い、別のファイルを重ねて、すべて完了するまで繰り返します。
それが多くの作業のように思われる場合は、それがそうです。
そのため、すべてのビデオを1つに編集して抽出する必要があるので、特に10〜20本のソースビデオがある場合、多くの時間を節約できます。

2.顔を揃えます。

ビデオからすべてのフレームを抽出したら、すべての写真（ある場合）をdata_srcフォルダーにコピーし、4）data_src extract full_face S3FD または4）data_src extract whole_face S3FD （計画している場合）を使用して顔抽出/位置合わせプロセスを実行します
正しいプロセス/方法で抽出する必要のある顔モデル全体のトレーニング）。

抽出が完了すると、「data_src」フォルダー内に「aligned」の新しいフォルダーが作成され、手順1で抽出した写真およびビデオフレームに整列/抽出された顔が表示されます。
このプロセスは完全ではなく、手動でのクリーンアップが必要です。
これは、すべての整列された顔を通過し、すべてのぼやけた、暗い顔と明るい顔、および顔セットを作成している有名人に属していない顔を削除するプロセスです
（スクリプトは、抽出されたすべての顔を検出します）フレーム/写真）または間違って位置合わせされたもの（上下逆に回転など）。

このDFLを支援するために、さまざまな並べ替え方法を含む並べ替えプロセスが用意されています。

[0]ぼかし-画像のぼやけ（コントラストによって決定）で並べ替えます。スロー。
[1]顔のヨー方向-ヨーでソートします（顔が左から右へ）。
[2]顔のピッチ方向-ピッチで並べ替えます（顔を見上げてから見下ろして）。
[3]ソース画像の顔の四角形のサイズ-元のフレームの顔のサイズでソートします（最大の顔から最小の顔へ）。ぼかしよりもはるかに高速です。
[4]ヒストグラムの類似性-ヒストグラムの類似性で並べ替え、最後に似ていない顔は、大幅に異なる外観の顔を削除するのに役立ち、それらをグループ化します。
[5]ヒストグラムの非類似性-上記と同じですが、類似性のない顔が最初にあります。
[6]明るさ-画像/顔全体の明るさで並べ替えます。
[7]色相-色相でソートします。
[8]黒いピクセルの量-完全に黒いピクセルの量で並べ替えます（顔がフレームから切り取られ、部分的にしか見えない場合など）。
[9]元のファイル名-（顔が抽出されたフレームの）元のファイル名で並べ替えます。
[10]画像内の1つの顔-元のフレームにある顔の数の順に顔を並べ替えます。
[11]絶対ピクセル差-画像の動作方法の絶対差で並べ替えます。大幅に異なる顔を削除するのに役立ちます。
[12]最高の顔-ぼかしを含むいくつかの要素で並べ替え、重複/類似した顔を削除します。並べ替え後に必要な顔の数をターゲットにし、顔を破棄して「aligned_trash」フォルダに移動します。
[13]最高の顔の高速化-最高の顔に似ていますが、ぼかしの代わりにソース画像の顔の長方形のサイズを使用して顔の品質を決定します。最高の顔よりもはるかに高速です。

以下は、クリーンアップ前のソースデータセットの例です。顔を使用して何をすべきかに従って色分けされています。



緑 -良い顔/配置。
赤 -ずれて表示され、わずかに回転していることがわかります。これらをデータセットに含めたくないので、削除するか、手動で抽出してみてください。
青 -障害物/オーバーレイ/顔の上のテキスト-データセット全体の少数の顔（5％未満）の小さな障害物だけの場合は、そのままにしておくことができます。
黄-ぼやけた顔、ユニークな角度/表現でない限り削除する必要があります。少量を使用すると顔を一般化するのに役立ちますが、これらの多くも絶対に避けたいです（障害物と同様、5％未満に保つのが最善です）。
紫 -他の人の顔、明らかにそれらを削除する必要があります。
ピンク -顔を切り取ります。顔全体がほんの少しであったり、顔を越えていなかったり、データセット全体で顔がわずか（5％未満）である場合、または固有の角度がある場合は、顔を残すことができます。 /式。
オレンジ-暗い/明るい/露出オーバー/低コントラストの顔に-重い写真/インスタグラムフィルターなどのある画像も一般に削除する必要がありますが、抽出したフレームに戻って編集したり、明るさを上げたり下げたりすることができます。 / contrast / saturation）そして、それらを保持できるように再度抽出します。それらが残っている残りとわずかに異なる場合は、トレーニング中にカラートランスファーを使用してすべてを他の人/ dstに平均化すると仮定します。

その後、クリーンなデータセットが作成されます。あとは、「整列された」フォルダーをzipしてmega/googleドライブにアップロードし、リクエストスレッドでリンクを投稿するだけです。
これにより、クリエイターはリクエストを簡単に処理できるようになります。5.2）data_src util faceset pack を使用し、その後 5.2）data_src util faceset unpackを使用することもできます
ソースデータセット全体を1つのファイルにすばやくパック/アンパックします。

フェイスセットを作成して頑張ってください！

それでも方法がわからない場合は、DFL2.0ガイド/ FAQ：DFL 2.0ガイドを参照してください。