顔入替ソフトのインストール方法、使用例、How to、TIPS、FAQ等です


注:次のFAQは、サポートされなくなったDFL 1.0を念頭に置いて記述されているため、ここの情報の一部は古くなっており、DFL 2.0の機能はありませんが、
全体的には、より頻繁に発生するいくつかの問題の答えを見つけるために引き続き使用できます
DFL 2.0でディープフェイクを作成しているときに遭遇します。

ctrl+fを使用して探しているものを見つけ、一番下までスクロールしていくつかのヒントと便利なものへのリンクを探します。


1. Q:ディープフェイクとは何ですか?

A:ディープフェイクは、人工知能(AI)または機械学習を使用して、個人の顔を別の顔と入れ替える偽のビデオです。

2. Q:ディープフェイクはどのように作られますか?

A:ディープフェイクの作成プロセスは、Pythonでコーディングやコマンドを知らないユーザー向けにプロセスを合理化するために作成されたアプリによって大幅に簡素化されています。
現在更新されている2つの最もアクティブなアプリは、DeepFaceLabとFaceSwapです。

3.Q:みんなが話しているFakeAppとは何ですか?

A:ディープフェイクの初期には、インターネットにディープフェイクを初めて導入したFakeAppというアプリがありました。
ただし、このアプリは現在開発されておらず、他のディープフェイクアプリケーションの進歩にもかかわらず、メディアは誤った情報を受け取り、
これが現在ディープフェイカーによって使用されているアプリであると考えています。FakeAppの使用はお勧めしません。

4. Q:ディープフェイクを作成するのにどれくらい時間がかかりますか?

A:ターゲットビデオの長さ、およびデータ(フェイスセット)の大きさに応じて、説得力のあるディープフェイクを作成するには1〜7日かかります。

5. Q:ほんの数枚の写真でディープフェイクビデオを作成できますか?

A:一般的に、答えはノーになります。フェイスセットを作成して適切なディープフェイクを作成するための推奨される方法は、ビデオを使用することです。
角度と表情が多ければ多いほど良いです。
確かに、わずか数百枚の写真でディープフェイクのビデオを作成することはできますが、動作しますが、結果は納得できません。

6. Q:理想的なフェイスセットサイズはどのくらいですか?

A:data_src(有名人)フェイスセットには、1000〜5000枚の画像をお勧めします。
さまざまな角度や表情を幅広く持っている限り、数は重要ではありません。

7. Q:ディープフェイクがぼやけているのはなぜですか?

A:トレーニング時間が不足している可能性が高いです。
10万回以上の反復トレーニングを行うことをお勧めします。また、フェイスセットが適切に整列されていない可能性があるため、
クリーンであることを確認してください。ガイドのセクションをご覧ください。

8. Q:最終的なディープフェイクビデオでモデルがまばたきしないのはなぜですか?

A:これはおそらく、data_srcに閉じた目の画像がないためです。data_dstが入っているシーンに合うように、十分な量の表情と角度があることを確認してください。

9. Q:トレーニングをいつ停止する必要がありますか?

A:正しい答えはありませんが、一般的なコンセンサスは、プレビューウィンドウを使用して、いつトレーニングを停止して変換するかを判断することです。
停止すべき正確な反復回数や損失値はありません。少なくとも100,000回の反復をお勧めしますが、プレビューウィンドウを使用して判断します。
顔がシャープでプレビューが改善されない場合、モデルはおそらくそれ以上学習しません。
すべてはsrcおよびdstデータセットの品質に依存しますが、 srcにぼやけた画像がある場合、モデルが改善/訓練されない場合があり、
そのデータセットにぼやけた画像がない場合、常にsrcとdstの両方に最適な高品質で鮮明な画像とビデオのみを使用するようにしてください。

10. Q:トレーニングが開始されず、OOM /メモリ不足エラーが発生します。

A:GPUがサポートされていないか、DFLバージョンが間違っているか、VRAMが不足しています。

1. GPUに適切なバージョンのDFLをダウンロードしたことを確認します。
  • CUDA10.1SSEまたはAVXをサポートするNvidia GTX GPUおよびCPU
  • Nvidia GTX / RTX GPUおよびAVXをサポートするCPU向けのCUDA10.1AVX
  • AMDおよびIntel GPU向けのOpenCLSSE

2. GPUがサポートされているかどうかを確認します。 3.5のコンピューティング機能

3. OOMエラーが表示される場合、VRAMが不足していることを意味します。一部のモデルでは、それを修正するために変更できるさまざまな設定があります。:

a)バッチサイズを小さくする(すべてのモデル)
  • バッチサイズを小さくすると、モデルがメモリに同時に読み込む画像が少なくなるため、使用する画像の量は少なくなりますが、
同じ結果を得るには、より高いバッチよりも長くトレーニングする必要があります
サイズ、2-4のような非常に低いバッチサイズもモデルの精度を低下させる可能性がありますが、これは単なる推測であり、100%が真であるとは確認されていません。

b)異なるオプティマイザーモード(SAE / SAEHD)を使用する
  • モード2および3はRAMを使用して、トレーニング速度を犠牲にしてGPU VRAMからデータの一部をオフロードします

c)スタイルパワー(SAE / SAEHD)を使用しない
  • 有効化それらは反復/トレーニング時間を増やし、より多くのvramを使用します。実行に問題があるが、バッチサイズを小さくしたくない場合は、0に設定します。

d)ピクセル損失(SAE)を使用しないでください
  • ピクセル損失のパフォーマンスヒットはわずかです。VRAMが不足したりOOMエラーを取得したりする場合は、無効にしてみてください。

e)学習済みマスク(SAE / SAEHD)を使用しない
  • トレーニング中にマスクを学習すると、VRAMの使用が増加し、トレーニングが遅くなり、反復時間が長くなります。

f)トゥルーフェイストレーニング(SAEHD)をオフにする
  • トゥルーフェイスはVRAMの使用量を増やし、トレーニングを遅くしたり、反復時間を増やしたりします。



これらの2つの設定は、新しいモデルを作成する場合にのみ後で変更できないことに注意してください:

g)解像度を下げてモデルを実行します
  • 実行できるすべての最適化や、まだできないさまざまな機能を無効にしても目的の解像度を実行するには、実行できるまで(16倍)下げるだけです。

h)autoencoderおよびencoder / decoder_chの寸法を小さくします(推奨されません)
  • これらを小さくすると、追加の機能/高解像度モデルを実行できますが、精度が犠牲になります。

詳細については、質問#41 4.までスクロールしてください。エラーが発生した場合は、PCを再起動してください。

11. Q:GPUはサポートされています。バッチサイズを小さく設定し、適切なDFLバージョンを使用していますが、それでもエラーが発生します。

A:ドライバー(GPU)の問題があるか、モデルが壊れているか、使用しているDFLのバージョンと互換性がないか、
データセット(data_srcおよびdata_dst)が壊れている/互換性がない/欠落しています。

1.別のモデルまたは新しいモデルを使用してみてください(モデルフォルダーからモデルファイルをバックアップし、それらを削除して新しいモデルでやり直します)。
それでもエラーが修正されない場合は、データセットに問題がある可能性があります
別のソフトウェアで抽出されたファイルまたはデータセットが欠落しています。
Googleまたはフォーラムの検索機能を使用して、そのエラーの一部を見つけてください。
誰かがすでにそれについて投稿している可能性があります。
そうでない場合は、DFL githubページに移動して報告するか、解決策を探してください

2.すべてを実行してもまだエラーが発生する場合は、PCを再起動して再試行してください。

3.まだ何もですか?フォーラム、Google、GitHubを確認しても何も見つかりませんでしたか?ドライバーやcudaなどの問題を確認してください。
どれも違いがない場合は、新しいスレッドを作成できます(またはgithubページでバグを報告します)。

12. Q:DFLの新しいバージョンでモデルをトレーニングしようとすると、「Xレイヤーを含むウェイトファイルをYレイヤーのモデルにロードしようとしています」という
レイヤーに関するエラーが発生します。

A:DFLには、特にSAEモデル(DFとLIAEの両方のアーキテクチャ)にいくつかの変更が加えられたため、古いトレーニング済みモデルを使用しようとする場合、
再トレーニングまたは新しいモデルの作成が必要になります。

1.古いモデルを再トレーニングするには、すべてのファイルをモデルフォルダーにコピーし、ワードデコーダーを含むすべてのファイルを削除します。
トレーニングを開始すると新しいデコーダーファイルが作成されます。0から開始するよりも少し高速ですが、まだ時間がかかります以前の状態に戻します。

2.または、新しいものを開始します。

古いモデルを引き続き使用する場合は、古いDFLバージョンを使用する必要があります。まず、GPUのDFLをダウンロードします。
  • Nvidia GTX GPUの場合はCUDA9.2SSEまたは10.1SSE
  • Nvidia RTX GPUの場合はCUDA10.1AVX
  • AMDの場合はOpenCLSSEおよびIntel GPU

そして、githubページに移動して、これをダウンロードします:

これにより、_internal/DeepFaceLab内にある古いバージョンのファイルがダウンロードされます。
それらをすべて削除し、githubからダウンロードしたばかりの.zipアーカイブのファイルに置き換えるだけです。
これにより、DFLが07.09から正しいバージョンにダウングレードされます。 SAEモデルの更新前。

13. Q:有名人のデータセットのフレーム数が多すぎることがよくあります。
DFL batファイル以外の重複を削除して「最小フレーム、最大変動」と呼ばれるように縮小するプロセスを自動化するための最適なツールは何ですか?

A:同様の顔を検出して削除しようとするツールがおそらくあります。
私はこれを手動で行います。また、50万未満の場合は、そのままにしておきます。
10k〜15kの写真がない限り、同じような重複するものを削除する必要はありません。

より良い結果を達成するのに役立つユニークな詳細。
データセットをさらにクリーンアップするために、
https://dupeguru.voltaicideas.net/
https://github.com/arsenetar/dupeguru/

14. Q:数千回の反復を行ったモデルをトレーニングしていましたが、プレビューウィンドウで突然黒/白に変わった/奇妙に見える、私の損失値が上がった/ゼロになった。

A:モデルが崩壊しました。つまり、モデルを使用できなくなり、最初からやり直すか、バックアップがある場合はそれらを使用する必要があります。
モデルの崩壊を防ぐには、トレーニングを開始するときにグラデーションクリップを使用します。:

原因の崩壊ができること、
物事の顔/背景スタイルの大国
  • ピクセルの損失
  • その他の理由:一部のモデルには偶数画素損失/風の力なしに折りたたむことができますので、常に勾配クリッピング有効

15. Q:ディープフェイクを作成するには、どのソフトウェアを使用する必要がありますか
fakeappをどのように使用しますか?
fakeappでエラーが発生します
古いfaceswapソフトウェアのリンクはどこですか?

A:DFLまたはFaceSwapを使用してください。他のすべてのソフトウェアは古く、時代遅れで、もうサポートされていません。
DFLガイドとダウンロード
フェイススワップガイドとダウンロード
使いやすく、通常はより良い結果が得られるDFLをお勧めします。また、WebでのDFLのサポートも充実しています。

16. Q:モデルを再トレーニングしたくありませんが、SAEモデルを変更する前に古い/前のDFLバージョンにアクセスできません。どこでダウンロードできますか?

A:ここ


17. Q:どのようにしてこのような格好良いディープフェイクを作りますか?ガイドはありますか?

A:あります。

作成deepfakes上のチュートリアルのための私達のガイド部をチェックします:

ポルノスターの一致/有名ポルノスターのそっくり/ドッペルゲンガーを検索


スレッド区...ポルノ-つ星の

セレブデータセット
他のガイド : ... -チュートリアル

18. Q:Celeb A(data_src)のモデルをトレーニングし、Celeb B(data_dst)をdstとして使用する場合、同じCeleb Aのモデルを使用して新しいCeleb Cと交換できますか?
モデルを再利用できますか?

A:はい、実際にモデルを再利用することをお勧めします。

方法は簡単です。目的地として使用する新しいビデオを見つけ、フレームを抽出し、それらを調整するだけで、
有名人の同じモデルと同じdata_src/sourceデータセット/facesetでトレーニングを開始できます。
モデルを再利用すると、より現実的なモデルが得られます。

19. Q:モデルを事前トレーニングする必要がありますか?

A:再利用と同様に、はい、事前トレーニングが必要です。次の2つの方法があります。

1 .新しいモデルを開始するときに選択できるDFL内の組み込みの事前トレーニング機能を使用します。

2.または、独自のデータセットを使用して、通常どおりモデルをトレーニングします。

20. Q:エラーが表示されます。DeepFaceLabのトレーニングに必要なdflイメージファイルではありません

A:data_src / alignedおよび/またはdata_dst内の画像は、DFLでのトレーニングには有効ではありません。

これはいくつかの原因で発生する可能性があります。

1.有名人の共有データセットの1つを使用している場合、それらはDFLとは異なるソフトウェアまたは古いバージョンで作成されている可能性があります。
ランドマーク/位置合わせデータをさまざまな方法で保存した、さまざまなアプリで抽出された単なる写真です。
それらを修正するために必要なのは、単にアライメントプロセスを実行し、data_srcフォルダー(その中の「aligned」フォルダーではない)に配置し、
「4)data_src extract faces S3FD」を使用して再度アライメントすることです。

2.整列後、gimp / photoshopのdata_srcまたはdata_dstの整列フォルダー内の顔/画像を編集しました。
これらの画像を編集すると、その中に保存されているランドマーク/位置合わせデータが上書きされます
(名前を変更するだけで、Photoshopでの編集、メタデータの変更、ウィンドウの回転など、他の変更によってそのデータが失われます。
これらの画像を修正するには、それらをベースフォルダー(data_src / dst、それらの内部に「整列」されていない)に戻し、元の整列フォルダーの名前を別の名前に変更します。
したがって、新しいもの(aligned_1など)を位置合わせするときにそれらを失い、位置合わせプロセスを実行してから、両方のフォルダを結合し、
これらの古い「悪い」画像を適切に抽出された新しいものに置き換えます。

3. data_src(またはdst)/ alignedフォルダーに、通常の、抽出されていない/位置合わせされたイメージがあります。

21. Q:変換中にエラーが発生します。X.jpg/ pngの顔が見つからず、顔なしでコピーします。

A:data_dst のXフレームでは、整列されたフォルダーに顔が抽出されなかったことを意味します。

これは、実際にはそのフレームに表示される面がなかったため(通常)、
または表示されたが、検出されなかった 角度または障害のために表示されたためです。

それを修正するには、あなたがする必要があります data_dst内に配置されたフォルダーalign_debugからそのフレームに対応する画像を削除し、
「5)data_dst extract faces MANUAL RE-EXTRACT DELETED RESULTS DEBUG」を実行して手動でそれらの顔を抽出します。
手動で顔を検出できます。画面上にそれを行う方法があります。
それらの顔が整列したフォルダに抽出された後、手動整列中に赤いボックスがすべてのランドマークを覆い、適切な位置/回転になっていることに注意してください。
使用できません(変換後にそのフレームにぼやけた顔が生成されます)。

全体として、トレーニングを開始する前に、できるだけ多くの顔を揃えて適切に抽出する必要があります。
この有名人のデータセットガイドとのためのDFLのガイドを読んでどのようにPR epareトレーニング(ひどく整列顔の手動抽出とクリーンアップ)する前に、データセット:
ます。

22. Q:エラーが発生しています:警告:複数の顔が検出されました。別々に扱うことを強くお勧めします。警告:複数の顔が検出されました。
ディレクショナルブラーは使用されません。変換中

A:data_dst/alignedフォルダー内の複数の顔が原因です。

DFL は、data_dstから顔を 抽出/整列するときに、指定されたビデオフレーム/画像で検出できるすべての顔に対してそれを実行します。
複数を検出した場合は、0001_0.jpg 0001_1.jpg 0001_2.jpg(3つの顔を検出した場合)のようなファイルを作成します。

その場合、すべての顔を取り除き、_0 で終わるファイルのみを残す必要があります
(理想的には、トレーニングの前にそれらを削除するので(モデルが不要な顔を学習しないように))、既にトレーニング済みの場合は、変換する前のそれらを削除することができます。

1. これに関する1 つの問題は、DFLが常に同じ接頭辞を持つ同じ顔をグループ化するわけではないため、_0を持つ顔の一部が正しい顔であり、
同時に他のフレームで異なる顔を検出した可能性があることです
丁度、_0は(他の誰かの)間違った顔であり、_1は正しい顔です。その場合は、あなたが移動する必要がありますすべて_1 / _2の/ etcの顔とも別のフォルダにすべての悪い_0面は、
右のものを除くすべての面を削除(I G をNOR _0 / 1月2日のプレフィックス)
次に、aligned_debugからそれらのフレームを削除し、「5)data_dst extract faces MANUAL RE-EXTRACT DELETED RESULTS DEBUG」でそれらのフレームを手動で抽出します。

2. _0を持つすべての面が適切な面であり、他のプレフィックスに間違った面が含まれている場合は、それらを削除します。

3. 3番目の可能性は、DFLが同じ顔を2回検出し、両方が正しく見える場合があり、その後_1を削除しますが、_1が良好で_0が回転/より小さい場合(たとえば、位置合わせが悪い)
したがって、aligned_debugからフレームを削除し、
「5)data_dst extract faces MANUAL RE-EXTRACT DELETED RESULTS DEBUG」を使用して手動抽出を実行することにより、手動抽出を行う必要があります。

23. Q:フレームの変換中(インタラクティブコンバーターの使用の有無にかかわらず)、一部またはすべてのフレームに元の顔が表示されます。

A:コンバーターモードがオーバーレイまたは「オリジナル」以外のその他のモードに設定されていることと、
data_dst.mp4ファイルのすべてのフレームの顔を揃えていることを確認してください。

一部のフレームで元の顔しか表示されない場合は、対応するフレームから検出/位置合わせされていないため、さまざまな理由で発生する可能性があります:
顔が見えにくい極端な角度、ブラー/モーションブラー、障害物など
あなたがそれらを手動で使用してマージされたフォルダとは、再抽出物中/変換中に、元の顔を見た上で、フレームに対応するフォルダdata_dst/aligned_debugから、削除
画像ファイルをその問題を解決するには
「)5 data_dst RE-EXTRACT DELETED RESULTS DEBUG」

場合を顔がまったく表示されない/元の顔のみが表示される(常にオーバーレイモードまたはrawモードで確認する)
data_dst/alignedフォルダー全体またはそのコンテンツが欠落している場合があります。その場合は、すべてを再度抽出/配置します。

すべてを行った場合、data_dst/alignedフォルダーにすべての整列された顔があり、コンバーターは適切なモードに設定され、元の面のみが表示されるので、
おそらく知らないエラーが発生しています
  • その場合は、PCを再起動するか、DFLの異なるバージョンを試してください。

24. Q:ディープフェイクを変換すると、顔/マスクの縁の下/周囲に暗い/明るい輪郭/影ができます。

A:特定のモード(履歴一致)と一部の色転送モードおよびぼかし/侵食を使用する場合のマスキングの問題です。
この問題を引き起こすモードは「Hist Match」です。「Misted Hist Match」と呼ばれる機能があり、文字「Z」で切り替えることができ、変更すると外観が異なりますが、
その下の影は消えます、
  • m(mix-m、sot-m、idt-m、mkl-m)で終わるすべての色転送モードについて。
これらを回避するには、「Erode Mask」の値を大きくしてマスクサイズを小さくし、「Blur Mask」を調整して、このシャドウ/アウトラインが多くならないようにしますが、
継ぎ目を隠すには十分です。

25. Q:トレーニングに使用するモデルがわかりません。どのモデルが最適ですか?

A:状況に応じて、ガイドを読み、自分で実験してください。
DFまたはLIAEアーキテクチャを備えたH128またはSAEをお勧めします。
ほとんどの偽物は、SAE DF、H128、SAE LIAEで処理されます。
TrueFaceと呼ばれる新しいモデルもありますが、まだ非常に実験的であり、将来(おそらく)多くの変更が行われるため、使用しないでください。

26. Q:トレーニング時、これらの0.2513 0.5612の 数値はどういう意味ですか

A:これらは損失値です。それらは、モデルがどれだけうまく訓練されているかを示しています。
ただし、値にある程度落ち着いた後、値の急上昇(上下)が見られない場合は、プレビューウィンドウに焦点を合わせ、歯の分離、美容マーク、鼻、目などの詳細を探して、
焦点を合わせるべきではありません
それらはシャープで見栄えが良く、何も心配する必要はありません。
モデルの崩壊を防ぐために、SAEモデルをトレーニングするときは、常に勾配クリッピングを使用するようにしてください。

27. Q:理想的な損失値とは何ですか、低/高損失値はどうあるべきですか?

A:それはすべて、モデルの種類、設定、データセット、さまざまな要因に依存します。
また、モデル間で等しくないため、たとえばピクセル損失を使用するとすぐにドロップされますが、
ピクセル損失が有効なLIAE SAEモデルの損失値を基本的なH128モデルに処理できるわけではありません。
また、DFL /モデルの更新で変更できますが、現時点(27.09.19)では次のようになります。
-
ピクセル損失なし、スタイルパワーなし、学習マスクなし、CAウェイト有効、マルチスケールデコーダーなし(など) 13.09.19アップデートでSAEモデルから削除されました)
損失値は0.2未満である必要があります。これは、srcとdstの両方の損失値に当てはまります。

28. Q:モデルが崩壊しましたが、どうにかして回復できますか?

A:いいえ。最初からやり直すか、作成した場合はバックアップを使用する必要があります。

29. Q:どのマスクタイプを使用すればよいですか?学んだ?Dst?ファンデスト?それとも他の何か?
これらのマスクタイプは何を意味し、どのマスクタイプが最適ですか?顔の障害物(顔、手、指、その他のもの)をマスクする方法。

A:DFLには多くのマスキングオプションが組み込まれていますが、どのオプションが最適で使用すべきかは、達成しようとしているものによって異なります。

まず、学習したマスクを使用するには、モデルの起動中(新しいモデルのトレーニングを開始するとき)に有効にする必要があります。
トレーニング中に無効にして、コンバータで学習したマスクを選択しようとすると、dst maskオプションと同じように見えます。

learned:トレーニング中に顔の形を学習することで最良の結果を得ようとするマスクです。

dst:dst顔の形状から派生したマスクです(位置合わせ/抽出プロセス中に位置合わせされた顔画像に埋め込まれたランドマークに基づきます)。

FAN-prd:dst形状を考慮せずに、予測された顔の形状(最後の形状)に基づくマスクです。
また、手、指、眼鏡などの障害物を顔から取り除くように訓練されています。
場合によっては見た目が悪くなる可能性があります。
DSTよりもSRCフェイスの形状を維持する必要があります。

FAN-dst:は、予測される顔の形状を考慮せずに、DSTの顔の形状に基づいたマスクです。
また、手、指、眼鏡など、顔から障害物を取り除くように訓練されています。
通常、非常に安定した一貫したマスクを提供しますが、SRCよりもDSTの顔の形状を維持します。

FAN-prd*FAN-dst:予測された顔形状とdst顔形状に基づいたマスクであり、両方のマスクを平均しようとします。
また、手、指、眼鏡などの障害物を顔から取り除くように訓練されています。

learning*FAN-prd*FAN-dst:
上記+訓練中に学んだこと、技術的には最も優れた正確なマスキング方法ですが、トレーニング中に学習マスクを有効にする必要がありますが、
パフォーマンスのペナルティはわずかです。

FAN-dstまたはFAN-prd*FAN-dstまたはlearn*FAN-prd*FAN-dstを使用することを個人的にお勧めします。
FAN-prdはおかしな/悪いマスクを生成するためお勧めしません。 '
data_dstの面に障害物がなく、極端な側面角度はありません。
dstの代わりにlearnedを使用することもできます
(再び、顔に障害物がない場合のみ、口の中の笛/物も障害物なので、BJディープフェイクを行う場合はFANマスクを使用します)。

ヒント:トレーニングで学習マスクを使用すると、少し遅くなります。
トレーニングを開始した後に無効または有効にすることはできませんが、モデルフォルダーの.datファイルを置き換えることでハッキングできます
(常にバックアップを作成します。何かが壊れる場合)。
学習マスクを無効にするには、学習マスクを無効にして新しいモデルを作成し、その.datファイルをコピーして(数回の反復でトレーニングして保存します)、
学習マスクが有効なモデルの古い.datファイルを置き換え、SAE_decoder_dstm / srcm.h5を削除します必要のないファイル(学習したマスク情報を保存します)。
無効になっているモデルで学習マスクを有効にするには、同じことを行い、古いモデルをバックアップし、学習マスクを有効にして新しいモデルを作成し、
.datを置き換えて、dstm/srcmデコーダーファイルをモデルにコピーします。

更新:DFLの最新バージョンでは、ファイルを変更することなく、SAEおよびSAEHDモデルで学習したマスクを有効/無効にできます。

30. Q:有名人のデータセットの画像の数が多すぎることがよくあります。
ソース/ src /有名人データセットに非常に多くの画像を持たずに、多くの顔のバリエーションを取得するために、
組み込みのDFL機能を超えて重複を削除するプロセスを自動化するための最良のツールは何ですか?

A:同様の顔を検出して削除しようとするツールがおそらくあります。私はこれを手動で行います。

50万未満の場合は、そのままにしておきます。10k〜15kの写真がない限り、同じような重複するものを削除する必要はありません。より良い結果を達成するのに役立つ詳細。
さらにデータセットをクリーンアップするために、
https://dupeguru.voltaicideas.net/
https://github.com/arsenetar/dupeguru/

31. Q:有名人のフェイスセットでトレーニングした場合、どうするかさらに顔/画像/フレームを追加しますか?
既存のsrc/source/celebrityデータセットにさらに多様性を追加する方法は?

A:最も安全な方法は、「data_src」フォルダー全体の名前を別の名前に変更するか、一時的に別の場所に移動してから、新しいdata_src.mp4ファイルからフレームを抽出するか、
既にフレームを抽出していくつかの写真を用意して、作成する新しいフォルダーdata_src、その中にコピーしてdata_src抽出/整列プロセスを実行し、
整列した画像を古いdata_src / alignedフォルダーから新しいフォルダーにコピーし、
Windowsから置換またはスキップを求められたら、ファイルの名前を変更するオプションを選択します
そのため、すべてを保持し、古いものを新しいものに置き換えないでください。

32. Q:dst faceset/data_dst.mp4もシャープで高品質である必要がありますか?
dst faceset/dataset/data_dstの一部の顔が少しぼやけたり、影が付いたりすることはありますか?
data_dst/alignedフォルダー内のぼやけた顔をどうするか

A:data_dstをできるだけシャープにし、モーションブラーをできるだけ含まないようにします。

data_dstのぼやけた顔は
いくつかの問題を引き起こす可能性があります:
  • まず、特定のフレーム内の顔の一部が検出されない
  • これにより、変換/マージ中に元の顔が表示されます抽出。
  • 2番目は、他の人が間違って整列される可能性があることです
  • これにより、このフレームの最終的な顔が回転/ぼやけてしまい、すべて間違って見えるだけで、他のぼやけた顔と同様に、
トレーニングと変換に使用するために手動で整列する必要があります。
  • 第三-場合によっては手動で位置合わせしても、顔を正しく検出/位置合わせできない場合があります。
これにより、ぼやけたり、モーションブラーが含まれていたフレームで元の顔が表示されます。
  • モーションブラーを含む、または正しく整列されたぼやけた(シャープではない)顔は、
トレーニングで使用されるモデルがモーションブラーを理解できないため、悪い結果を生む可能性があります。
口のような顔の特定の部分は大きく/広く見える場合がありますまたは単に異なり、モデル(H128 / SAE、実際にはあらゆるトレーニングモデル)は、
これをその部分の形状/外観の変化として解釈するため、予測された顔と最終的な偽の顔の両方が不自然に見えます。
これらのぼやけた顔をトレーニングデータセット(data_dst / alignedフォルダー)から削除し、別の場所に置いてから、変換する前にdata_dst/alignedフォルダーにコピーして、
スワップされた顔がそれらのぼやけた顔に対応するフレームに表示されるようにする必要があります。

SRCデータセットとDSTデータセットの両方を可能な限り鮮明で高品質にする必要があります。
いくつかのフレームのわずかなぼやけは、多くの問題を引き起こさないはずです。影に関しては、これは私たちが話している影の量に依存します。
小さな明るい影はおそらく表示されません。顔の影で良い結果を得ることができますが、多くは悪いように見えます。
できるだけシャープで暗い影をできるだけ少なくして、均等に。

33. Q:ディープフェイクをmp4に変換してmp4に変換しようとすると、reference_fileが見つかりませんというエラーが表示されます。

A:ワークスペースフォルダーにdata_dst.mp4ファイルがありません。削除されていないか確認してください:

それが必要な理由は、3.2)で個々のフレームに分割したにもかかわらず、ビデオdata_dst FULL FPSから画像を抽出する
data_dstフォルダ内にあるのはビデオのフレームだけであり、
元のdata_dst.mp4ファイルのサウンドも必要であるためです。

34. Q:誤ってdata_dst.mp4ファイルを削除して復元できません。マージ/変換されたフレームをmp4ビデオに変換できますか?

A:はい、data_dst.mp4を完全に削除し、それを復元したり、同一のファイルをレンダリングする方法がない場合は、
ffmpegと適切なコマンドを使用して、手動でmp4(サウンドなし)に戻すことができます:
  • start by ...:

\_internal\ffmpeg
フォルダーに移動し、ffmpeg.exeをコピー-マージしたフォルダーに貼り付けます
  • windowsキー+ r(実行)を押してcmdを入力するか、windowsキーを押してcmd/cmd.exeを入力してから検索することでコマンドラインを開きます
  • マージしたフォルダーのアドレスをコピーします(例:D:\DFL\workspace\data_dst\merged)
  • コマンドラインにドライブの文字を入力します。上記の例のように「d:」(引用符なし)を押し、Enterを押します
  • 行D:\>が表示され、次に「cd:FULL_ADDRESS」と入力します、例:「cd D:\ workspace\data_dst\merged」
  • アドレス全体が次のように表示されます:D:\DFL\workspace\data_dst\merged>
  • 次のコマンドを入力します:

ffmpeg -r xx -i%d .jpg -vcodec libx264 -crf 20 -pix_fmt yuv420p result.mp4
  • xxはフレームレート
  • dは、ファイル名に含まれる数字の量を表す数字です。マージされたフレームの名前が15024.jpgの
場合は5、5235.jpgの場合は4、などです。画像がpngの場合、.jpgを変更します。.png
  • crfは品質設定です。20のままにしておくのが最適
です。マージされたファイル名の前にout12345.jpgのような文字がある場合は、%記号の前に「out」を追加します。

「out_2315.png」という名前のフレームを「deepfake」という名前の30 fps .mp4ファイルに変換するコマンドの例。

ffmpeg -r 30 -i out%4.png -vcodec libx264 -crf 20 -pix_fmt yuv420p deepfake.mp4

35. Q:変換を一時停止し、後で再開できますか?変換設定を保存できますか?
変換に失敗しました/変換中にエラーが発生し、%で止まりました。
もう一度開始して、最後に正常に変換/マージされたフレームから変換できますか?


A:はい。デフォルトでは、インタラクティブコンバーターは、進行状況と設定の両方を保存する「モデル」フォルダーにセッションファイルを作成します。

トレーニングを一時停止する場合は、Enterキーを押して(変換の開始と同じ)、一時停止します。
ただし、完全にオフにする/ PCを再起動する必要がある場合は、escを使用して変換を終了し、進行状況を保存するのを待って、次に変換を起動したときに、
インタラクティブコンバータ(Y / N)を選択した後-Yが表示されます
保存/セッションファイルを使用して進行を再開するかどうかを確認するプロンプトが表示されると、コンバーターは適切な設定で適切なフレームに読み込まれます。

変換が失敗し、進行状況が保存されなかった場合は、手動で再開する必要があります。
最初にdata_dstフォルダーをバックアップし、次にdata_dst内の抽出されたすべてのフレームと、data_dst内のalignedおよびalignment_debugフォルダーからすべての画像を削除します
(古いファイルをバックアップして、後で簡単に元に戻すことができるようにします)
フォルダー内の既に変換/マージされたフレームに対応する「マージ」。
次に、コンバーターを起動し、前に使用した設定を入力して残りのフレームを変換し、新しいマージされたフレームをバックアップdata_dstフォルダーの古いフレームと結合し、
通常どおり.mp4に変換します。

36. Q:トレーニング中のプレビューの顔はきれいに見えますが、変換後は顔が悪く見えます。元の顔の一部(顎、眉毛、二重顔の輪郭)が見えます。

A:プレビューの顔は、AIの生の出力であり、元の映像に合成する必要があります。
そのため、顔の形状が異なる場合、またはわずかに小さい/大きい場合、DFLコンバーターが作成するマスクの周囲/外側に元の顔の一部が表示される場合があります。
修正するには、変換設定を変更する必要があります

。-マスクタイプの調整タイプ

については、質問:どのマスクタイプを使用する必要がありますか?を参照してください。
学んだ?Dst?ファンデスト?それとも他の何か?
これらのマスクタイプは何を意味し、どのマスクタイプが最適ですか?
顔の障害物(顔、手、指、その他のもの)をマスクする方法。
  • マスクの浸食(サイズ)とぼかし(フェザリング、エッジのスムージング)の

調整-顔のサイズ(スケール)の調整

注:負の侵食はマスクサイズを増加させ(より多くをカバー)、正は減少させます。

37. Q:最終結果/ディープフェイクに奇妙なアーティファクトがあり、顔が色を変更し、背景から色がにじみ、シームレスモードを使用しているときに、ちらつき/暗く/角の色を変更します。

A:シームレスモードを使用しています。しないでください。代わりに:
  • オーバーレイまたはシームレス以外のモードを使用します。
  • マスク/顔のサイズを小さくして、「Erode Mask」の値を増やして、外側の領域に「触れない」ようにし、その結果、顔/頭の外側の背景/領域の色を取得しないようにし ます。
  • 「ぼかしマスク」を増やして、マスク/顔の端を滑らかにします色の変化の一部を隠す可能性のある値は、マスクサイズを小さくすると、「シームレス」に見えるようになります。

絶対に必要な場合を除き、シームレスを使用しないことをお勧めします。その場合でも、すべての主要な角度とカメラのシフト/ライトの変更で停止して、
アーティファクトが発生しないことを確認することをお勧めします。

38. Q:SAEHDの使用を考えていますが、SAEHDはSAEより優れていますか?SAEHDはSAEよりも厳しいですか?

A:ユーザーと私のテストの報告によると、SAEHDは、新しいトゥルーフェイスモード、顔の一般化のためのランダムワープ、
ピクセル損失の方法の変更などの機能を作り直したため、SAEよりも優れたモデルのようです。

新しいピクセル損失がSAEHDモデルにどのように機能するかを説明しました:

「コードを見て、「ハイブリッド」ピクセル損失値がオンになっていることを確認できます。
SAEはオフの場合DSSIM(画像構造類似性)を使用し、オンの場合は単純なピクセル差を使用します。
https://github.com/iperov/DeepFaceLab /bl...el.py#L423
違いを説明するために、通常のSAEでは、ピクセル損失がオフの場合、2つの画像の構造的な違いを調べ、ピクセル損失がオンの場合、画像の違いを調べます。
後者は詳細を可能にしますが、最初は少し混乱し、モデルが不安定になり、モードが崩壊する可能性があります
(そのため、トレーニングの最後にオンにすることをお勧めしていました)。

SAEHDの場合、両方を使用します。DSSIMの値とピクセルの差を合計しますが、ピクセル損失は以前の5分の1しか重み付けしません。
ピクセル損失値は、オフの場合よりも常に小さいことに気づいたかもしれません。
これは良いことです。これはモデルの初期段階であり、DSSIMに依存していることを意味します。しかし、損失が減少すると、ますますピクセル損失に移行します。
https://github.com/iperov/DeepFaceLab/blob/master/...
IMO SAEHDを実行できれば、はるかに低いバッチレートでも、SAEを使用する理由はもうありません。
SAEHDは、トレーニングをより効率的にする構造的な改善と最適化に満ちています。
SAEをトレーニングする唯一の理由は、古いモデルとのレガシー/後方互換性です。」

DFLの異なるバージョン(9.2 SSE、9.2 AVX、10.1 AVX)および異なるモデル解像度とバッチサイズで有効/無効にするさまざまな機能
(トゥルーフェイス、ランダムワープ、学習マスク)のパフォーマンスの個人的なテスト:

最初のテストセット-ベース設定とセットアップ:
設定:バッチサイズ6、モデル-SAE HD、解像度160、オプティマイザーモード3、グラデーションクリッピングは最初から有効になっています。
ハードウェア:6GB VRAM GPU(GTX 1060)、16GB RAM、i7 4770k 4,4GHz、DFL 9.2 AVX。
変更されている設定:ランダムワープ、トゥルーフェイス、学習マスク。

すべてのテストは同一の条件下で実行され、他のプログラムはバックグラウンドで実行されず、常に新しいモデル、同じデータセットで開始されます。
DFLバージョンは、最新のコミットを含む最新の安定版リリースです。m Github(e013cb0f6baff3e52c61e2612a95afe69d44a941)。

テスト1-すべて無効:ランダムワープ無効、トゥルーフェイス無効、学習マスク無効:起動時に3 OOM、次に2900ms。
テスト2-すべて有効:ランダムワープ有効、トゥルーフェイス有効、学習マスク有効:OOM、起動に失敗します。

テスト3-ランダムワープのみ:ランダムワープが有効、トゥルーフェイスが無効、学習済みマスクが無効:起動時に3 OOM、その後2900ms
テスト4-TRUE FACE ONLY:ランダムワープが無効、トゥルーフェイスが有効、学習済みマスクが無効:OOM、起動に失敗。
テスト5-学習済みマスクのみ:ランダムワープが無効、トゥルーフェイスが無効、学習済みマスクが有効:4 OOM、4000ms不安定

テスト6-ランダムワープ+ TRUEFACE:ランダムワープが有効、トゥルーフェイスが有効、学習済みマスクが無効:OOM、開始に失敗
テスト7-ランダムワープ+学習済みマスク:ランダムワープが有効、トゥルーフェイスが無効、学習済みマスクが有効:OOM、開始

に失敗しました学習済みマスクで実際の顔をテストしません。モデルがこのような低いバッチサイズと低い解像度でトレーニングされた場合、
すべての改善点に気づきにくいので、おそらくより無駄なバッチサイズで128 resでトレーニングする必要があります。

これらの設定で真の顔を実行することはできず、学習したマスクを実行できることは明らかであるため、すべてのバリエーションを実行する必要はありませんでしたが、
不安定であるため、まったく機能しなかった場合と同じです。
学習したマスクには大きなVRAM使用量が必要であり、トレーニングの速度が大幅に低下しますが、GPUを完全にオーバーロードして開始することは十分ではありませんが、
真の顔にはVRAM使用量がさらに多くなければならないため、開始されません。

ランダムワープにはパフォーマンスのペナルティはほとんどないようです。少なくとも、VRAMの使用に関してはあまり見ることができません。
1〜2%遅いトレーニング(エラーのマージン)が良いニュースです。

残念ながら、6GB GPUではこれらのすべての機能を実行することはできません。少なくともこの解像度とバッチサイズ6ではできません。
ただし、学習したマスクはそれほど重要ではなく、他の機能と同じようにしばらくの間常に有効にすることができます。
これらはすべて、トレーニング中に同時にではなく、有効になり、より低い解像度と言えば、より低いバッチおよび/または解像度で動作するはずです:

Res 144、バッチサイズ6、デフォルトのdims、グラデーションクリッピングが有効、フルフェイス、DF SAEHD、OPモード3:

テスト8-ランダムワープ+ TRUE FACE:ランダムワープが有効、トゥルーフェイスが有効、学習マスクが無効:OOMなし、2800ms
テスト9-ランダムワープのみ:ランダムワープが有効、トゥルーフェイスが無効、学習済みマスクが無効:OOMなし、2450ms
テスト10-トゥルーフェイスのみ:ランダムワープが無効、トゥルーフェイスが有効、学習済みマスクが無効:OOMなし、2750ms
テスト11-すべて無効:ランダムワープが無効、トゥルーフェイスが無効、学習済みマスクが無効:OOMなし、2450ミリ秒(ランダムワープが有効の場合と同じ)
テスト12-すべて無効
  1. バッチサイズが大きい-8:OOM、起動に失敗

ランダムワープは反復ごとに50ミリ秒、エラーマージンのみを追加するように見えます。
無効になっているものはすべてランダムワープのみと同じパフォーマンスを持ちます。
おそらく小さなVRAMヒットがあり、真の顔を有効にするとトレーニング速度に少し影響します

6GB GPUの最大バッチサイズは、ランダムワープ+トゥルーフェイスの144に対して6、ランダムワープのみの160に対しては6のように見えます。

テストの3番目のセットは、デフォルトの調光度が低いため、SAEHD(おそらくより厳しいとはいえ)が古いSAEよりも優れているかどうかをチェックすることでした:
設定:バッチサイズ12、RES 128、SAEHD DF、デフォルトの調光度(512、21)、OPモード3 、グラデーションクリッピングが有効、
その他すべてのオプション(トゥルーフェイス、ランダムワープ、学習マスク、スタイルパワー、フェイスフリップなど)が無効:

注:CAの重みとピクセル損失の設定はSAEHDで使用できません。
CAの重みは新しいSAEHDモデルを開始するときに常に読み込まれ、ピクセルの損失が削除されるか、何らかの変更が加えられたため、デフォルトで有効になっていると仮定しています。

テスト13-バッチサイズ12、SAEHD:OOM、起動に失敗-これらの設定は通常のSAEモデルでは問題なく実行されるため、実際にはもっと厳しいようです。
テスト14-バッチサイズ10、SAEHD:OOMなし、2550ミリ秒ですが、不安定でクラッシュします。
テスト15-バッチサイズ12:SAE(同じ設定、同じデータセット、CAウェイトが有効、ピクセル損失が無効)DFL 9.2 AVX:OOMなし、2100ms。
テスト16-バッチサイズ12:SAE、SAEモデルが更新された古いDFLバージョン、9.2 SSE:OOMなし、2100ms。

これにより、通常の非RTX GPU(テンソルコアなし)のAVXと9.2バージョンのDFLのSSEバージョンのパフォーマンスに実質的に違いがなく、
SAEHDが実際には同じ設定でも通常のSAEよりも要求が低いことが確認されました
値は暗くなりますが、その後、CAの重みおよびその他の側面に変更があります(CAの重みまたはピクセル損失設定にアクセスできません)。

パフォーマンスはおそらく10.1 AVXでは遅くなりますが、テストなしではわかりません...

テスト17-バッチサイズ12:SAE、10.1 AVX:OOMなし、2100ms、9.2 SSEおよび9.2 AVXと同じです。
テスト18-バッチサイズ6、SAE HD、DF、RES 160、通常どおり休憩、追加オプションなし
(ランダムワープ、トゥルーフェイス、学習マスク)テスト1と同じ:開始時に3 OOM、その後2900ミリ秒(9.2と同じ) AVX)
テスト19-バッチサイズ6、SAE HD、DF、RES 144、通常どおりの休憩、
ランダムワープおよびトゥルーフェイス有効(学習マスク無効)テスト8と同じ:OOMなし、2800ms(9.2 AVXと同じ)。

CPUがAVX(私の場合はi7 4770k)をサポートしていることを前提としています。

39. Q:ハーフフェイス、ミッド(ミディアム)フェイス、フルフェイスのface_typeモードの違いは何ですか?

A: https://imgur.com/U1EWSvt
フルフェイスは、できるだけ多くの顔をカバーするために推奨されるface_typeモードであり、SAE/SAEHDモデルのデフォルトモードでもあります。
ハーフフェイスモードは、H64およびH128モデルのデフォルトのface_typeモードでしたが、SAE/SAEHDモデルをハーフフェイスとしてトレーニングすることもできます。
中間(中)顔は、半分の顔よりも約30%広い領域をカバーする新しいモードです。

一般に、半分の顔モデルは適切にマスクするのが難しく、顔の一部(眉毛、口の底、顎など)を切り取ることができますが、
顔の詳細を解決するために解像度がより多く使用されるため、より良い詳細を提供します(上記の写真)。
ミッドフェイスモードは、カバレッジとディテールの妥協点となるはずです。

40. Q:ディープフェイクに最適なGPUは何ですか?GPUをアップグレードしたいのですが、どちらを入手すればよいですか?

A: これに対する答えは、ディープフェイクソフトウェアがさらに開発され、GPUがより強力になるにつれて変化しますが、
現在のところ、最高のGPUは、ほとんどのVRAMを備え、一般に高速なGPUです。

パフォーマンスの数値については、SAEスプレッドシートを確認してください。

現在、NVIDIAはAMDよりも高速です。
開始:6GBのメモリを搭載したGPU:GTX 1060 6GB(最大128-144)
より高いモデル解像度の場合:8GBのメモリを備えたGPU:GTX 1070 / 1070Ti / 1080、RTX 2060 Super / 2070/2070 Super / 2080 Super(最大192までの解像度)
さらに高いモデル解像度/より高速なトレーニングの場合:
11GBのメモリを備えたGPUまたは詳細:GTX 1080Ti 11GB、RTX 2080Ti 11GB、Titan RTX 24GB、QUADRO RTX 5000 16GB、QUADRO RTX 6000 24GB(最大256、SAEで最大解像度)


モデルの解像度は、実行中のモデル/ソフトウェアのバッチサイズとタイプに依存することに注意してください。
上記の数値はまったく正確ではなく、8GBの1080で256モデルを実行できますが、SAEなしでは実行できません。
SAEHDのすべての機能を有効にし、高バッチサイズで実行する場合、Titan RTXで192しか実行できない可能性がありますが、追加機能と低バッチサイズで低速です。

41. Q:ae_dims、e_ch_dims、d_ch_dimsはどういう意味ですか?パフォーマンスを高めたり、VRAMの使用量を減らしたりするために、それらを減らすことはできますか?
より良い品質を得るためにそれらを増やすことはできますか?
それらを変更するには?どのような要因/どれだけ変更できますか?

A: Ae_dimsおよびe / d_ch_dimsは、オートエンコーダー/エンコーダー/デコーダーの寸法を制御する設定です。

これらは、パフォーマンスの向上または品質の向上の両方に変更できますが、実際に変更する必要がない限り、デフォルト値のままにしておく必要があります。

次の情報は100%正確ではありません。ロシア語の開発者@ iperovによって書かれたDFLマニュアルから取られたもので、Google翻訳で翻訳され、私によって解釈されます
  • ニューラルネットワークについてほとんど知らない人です。
一部の用語は正しくない可能性がありますが、各オプションがどのように機能し、技術的に面倒な準備ができているかを大まかに理解する必要があります:

a)AE_DIMSは自動エンコーダーの寸法サイズを制御します
  • ネットワークの機能に影響します顔のすべての特徴、表情などを学習/認識します。
値が低すぎると、特定の機能が適切に学習されない可能性があります(開眼/閉眼、さまざまな方向を向いている目、開眼/閉口、歯など)。
SAE DF-512、SAEHD DF-256、SAE LIAE-256、SAEHD LIAE-256のデフォルト設定

。b)E_CH_DIMS はエンコーダーの寸法を制御します
  • 大きなパターン(顔の構造)を学習/認識するネットワークの機能に影響します。
SAE DF-42、SAEHD DF-21、SAE LIAE-42、SAEHD LIAE-21のデフォルト設定

。c) D_CH_DIMS はデコーダーの寸法を制御します
  • 小さなパターン(顔の詳細)を学習/認識するネットワークの機能に影響します。
  • SAE DF-21、SAEHD DF-21、SAE LIAE-21、SAEHD LIAE-21のデフォルト設定。

それらを変更する場合、16などの要因を技術的に使用する必要はありませんが、この要因によってae_dims値を変更し、e/d_ch_dimsで21を下回らないようにすることをお勧めします
それを行いますが、vramの使用量が増加し、トレーニングの実行が大幅に遅くなります。

SAEHDはe/d_ch_dimsを1つの設定にマージし、上記のデフォルトで見ることができるように両方で同じです。

ヒント:

1.バッチサイズを小さくしてトレーニングを開始し、しばらくしてからモデルを大きくすることができます。
これにより、モデルをより速く一般化し(基本形状など)、バッチサイズを大きくすることができます。

次の部分は、DFLマニュアルからのGAN-erからの引用です。

「理由は、バッチサイズを大きくすると降下方向がより正確になりますが、計算にコストがかかるためです。
また、開始するときは、一般的な方向にほとんど関心があります。
その時点で精度のために速度を犠牲にする必要はありません。
バッチサイズについて説明している多くのソースがありますが、例として、これを確認できます

2.モデルの一般化を支援し、トレーニングの初期部分を高速化する他の方法は、サンプルのランダムワープ(random_warp)を有効にし、
モデルが顔を学習したら無効にし、無効にするとすべての詳細がより速く表示されます。
SAEではデフォルトで有効になっていますが、SAEHDでは切り替え可能です。
通常のSAEで無効にしたい場合、新しいSAEHDモデルをトレーニングしたくない場合は、@ fapper93の変更を使用して、これとTrueのような他のSAEHD機能を追加できます
SAEに直面:
https://mrdeepfakes.com/forums/thread-sae-modified...

3. GAN-erからの別のヒント-損失値がしばらくスタックしている場合、またはプレビューでアーティファクトを取得している場合は、srcとdstのデータセットを少し反転させてから元に戻します
(基本的にdata_srcの名前をdata_dstおよびその逆)。

4.いくつかのフェイスのスタックロス/アーティファクトを修正しようとするもう1つのことは、random_flipを少し有効にし、
フェイスを水平に反転させ(ミラーフリップ)、AIに作業用のデータを与え、その後無効にして保持することです。
顔は対称ではないため、それを無効にしてトレーニングすると、顔をより長く有効にすると、顔が誤って表示される可能性があります。

5.最も重要なヒント...
繰り返しますが、多くの場合無視されますが、使用するモデルは問題ではありません。
悪いsrcとdstデータセットがあれば、ディープフェイクは見た目が悪くなります。
ゴミ出し」。srcでシャープ、高解像度、十分な明るさ;、モーションブラー、ノイズ、圧縮アーティファクト、
適切に位置合わせされた画像のみを維持し、高品質で適切に抽出/位置合わせされたdstを使用すると、H64でも良好な結果が得られます
(ただし、実際には使用しないでください。本当に必要な場合は、SAE / SAEHDとH128に固執してください。
それを始めた最初のGal Gadotのディープフェイクが、SAEで行われたさまざまなユーザーによるいくつかの試みよりも優れているように見える理由があります。

マニュアルのその他のヒント:

6. dstより多くのsrcイメージがないことを確認してください。
そうしないと、モデルが適切にトレーニング/収束しない場合があります。
その場合、「ヨーでソートされたネットワークへの顔のフィード」を有効にします。
この設定は、トレーニング中にオン/オフを切り替えることができます。

7. srcフェイスがdstよりも広い場合、適切にトレーニング/収束できない可能性があります。
差が十分に大きく、他のオプションがない場合は、「Src face scale modifier%」を負の値(-5など)で使用します

8 。DFアーキテクチャ(SAE / SAEHDモデル)はより直接的なスワップを保証するため、最終的なフェイスはsrcに似ているはずです。
LIAEはモーフィングを使用するため、SRCのように見えませんが、srcと比較してdstの異なる形状のフェイスにわずかに適応できます(しかし、それほどではありません)。
また、LIAEの場合は、srcに似たdstを使用することをお勧めします。

9.バッチサイズの拡大-顔の一般化の改善、ae / e / d_chの寸法の向上-顔の品質の向上(大小さまざまな詳細)

10.顔スタイルのパワー-顔の顔色、照明、メイクアップのトレーニング/転送スタイル。
高い値または高い値での長時間のトレーニングは、アーティファクトにつながる可能性があり、0.1
バックグラウンドスタイルの値-顔の輪郭/エッジおよびバックグラウンドのトレーニング/トランスファースタイルに固執することをお勧めします
(マスクサイズを増やしてより多くの領域を表示する場合に役立ちます顔の周り)。
高い値または高い値で長時間のトレーニングを行うとアーティファクトが発生する可能性があるため、0.1の値に固執することをお勧めします

「どのようにSAEをスタイルでトレーニングするのが最善ですか?
解決策はありません。すべてはステージに依存します。
10.0の範囲の値でスタイルを試し、15〜25k回の反復後に値を0.1-2.0に減らします。
変更を追跡します。モデル1万回の反復ごとにバックアップファイルを作成します。
プレビューストーリーで何か問題が発生した場合は、モデルファイルをロールバックして値を変更できます。

11. powershellコマンドを使用して、_0(または他のプレフィックス)を持つファイルの名前をすばやく一括変更できます。
たとえば、次のようにできます。
  • data_dstを任意の方法(ヒストグラム、ブラー、ヨーなど)でソートして、不良フレームを見つけます
  • 次に、それらを新しいフォルダにコピーします
  • 元の「aligned 」を別の名前に変更します(「align_1 ")悪い顔の新しいフォルダーの名前を " aligned "に変更できます
  • 次に5.3.otherを使用します)data_dst util元のファイル名を回復します
  • 終了後、すべての悪い顔のある" aligned "フォルダーに移動します元の名前と_0 / _1のようなプレフィックスで見つかった
  • 右クリックしながらCtrlキーを押しながらShiftキーを押しながらPowerShellを開き、次のコマンドを使用します:
get-childitem * .jpg | foreach {rename-item $ _ $ _。name.replace( "_ 0 "、" ")}
  • 異なるプレフィックスを持つファイルがさらにある場合は、_0を_1のような他のプレフィックスに変更してコマンドを再度実行します。
get-childitem * .jpg | foreach {rename-item $ _ $ _ .name.replace( "_ 1"、 "")}
  • この方法では、これらの不良なアライメントされたフレームを「aligned_debug」にコピーすることができます。
次に、置換をクリックして、強調表示されている間にそれらを削除します(たくさんの不良なアライメントがある場合に便利です)
  • 最後に不良なフレームを削除しますフォルダー「aligned」および 「aligned1」の名前を元の名前に戻し、5.3.otherを実行します)data_dst util元のファイル名を復元して元の順序で並べ替えてから
5)data_dst extract faces MANUAL RE-EXTRACT DELETED RESULTS DEBUG to extract face ' "aligned_debug"から削除するだけです。

42. Q:すでに半分の顔でトレーニングを開始した後、顔のタイプ/サイズを変更できますか(また、半分の顔またはフルフェイスなどの別のものに変更したいですか)。

A:いいえ、できません。変更する唯一の方法は、新しいモデルのトレーニングを開始することです。

事前トレーニング済みの共有モデルのいずれかをダウンロードすることをお勧めします。時間を大幅に節約できます。

外部リンク




寄付(任意)について

Amazon.jpギフト券での寄付は受け付けています
  1. AmazonでE-Mailタイプのギフト券を購入(金額は任意)
  2. 自分のアカウントに登録はしない
  3. 下記メールアドレスにAmazonギフト券番号を記載し、通知
  4. tomoe.magica@gmail.com


Seesaa Wiki関連リンク

コメントをかく


「http://」を含む投稿は禁止されています。

利用規約をご確認のうえご記入下さい

どなたでも編集できます