XSegモデルのトレーニングとフェイスセットのマーキング
最終更新：
tomoe_magica 2020年08月20日(木) 23:45:28履歴
XSegモデルのトレーニングとフェイスセットのマーキング 
XSegモデルを使用すると、マージ中に結果の面をマスクして障害物をマスクするために使用されるdst（およびsrc）面の独自のマスクセグメンテーションをトレーニングできます。また、顔全体と顔全体で機能するスタイルパワーの面と背景領域を指定できます。タイプモデル。
（古いFANsegモデルとは異なり）事前トレーニングされたXSegモデルはないため、マージ中に結果の顔がDST /ターゲットビデオ上でどのようにマスクされるかを制御する独自のXSegモデルを作成する必要があります。XSegは、データセットに最適なマスクを作成できるように設計されています。
そのようなモデルは再利用することもできるので、新しいビデオの作成を開始するときに、モデルを最初からトレーニングする必要はありませんが、代わりに既存のモデルを再利用して、新しいマークされた顔にフィードします。srcとdstの両方の面セット/データセットにマークを付けることができるため、XSeg-prd（src）とXSeg-dstを使用するオプションが提供され、それらを組み合わせたり、FANSeg（FAN-dst、FAN-prd）のように両方を学習済みマスクと組み合わせたりすることもできます。 、FAN-dst + prd、FAN-dst +
prd + learned）XSegは、full_face、whole_face、headなどのすべての顔タイプで機能するため、顔のカバレッジを完全に制御でき、髪や障害物を含めたり除外したりできます。
ワークフローはかなり簡単です。ビデオ編集ソフトウェアを使用したり、Mocha Proなどのソフトウェアを使用したロトスコープや手動でさまざまなビデオ編集ソフトウェアの組み込みソリューションを使用してマスクを作成したりすることなく、高品質のマスクを取得するための最良のソリューションです。
新しい利用可能な.batファイル/スクリプトは次のとおりです。
5.XSeg）XSegトレーナー用のdata_dstマスク-編集 -XSegポリゴンで宛先面のマスクされた領域を定義するためのラベルツール。
5.XSeg）XSegトレーナーのdata_dstマスク-フェッチ -XSegポリゴンを含む面をフォルダー "aligned_xseg"にコピーします。ラベル付きの面を収集して、将来のXSegモデルのトレーニングで再利用できるようにするために使用できます。
5.XSeg）XSegトレーナーのdata_dstマスク-削除 -抽出されたフレームからラベル付きXSegポリゴンを削除します。
5.XSeg）XSegトレーナー用のdata_srcマスク-編集 -XSegポリゴンでソース面のマスクされた領域を定義するラベルツール。
5.XSeg）XSegトレーナーのdata_srcマスク-フェッチ -XSegポリゴンを含む面をフォルダー "aligned_xseg"にコピーします。ラベル付きの面を収集して、将来のXSegモデルのトレーニングで再利用できるようにするために使用できます。
5.XSeg）XSegトレーナーのdata_srcマスク-削除 -抽出されたフレームからラベル付きXSegポリゴンを削除します。
XSeg）train.bat -XSegモデルのトレーニングを実行します。
5.XSeg.optional）data_dstのトレーニング済みマスク-適用 -抽出中に作成されたランドマークから派生したデフォルトのfull_faceマスクをトレーニング済みXSegモデルからのマスクに置き換えます。顔/背景スタイルのパワーを妨害された顔で使用する場合にのみ必要です。
5.XSeg.optional）data_dstのトレーニング済みマスク-削除 -削除
5.XSeg.optional）data_srcのトレーニング済みマスク-適用 -抽出中に作成されたランドマークから導出されたデフォルトのfull_faceマスクをトレーニング済みXSegモデルから取得したものに置き換えます。計画した場合にのみ必要です顔が遮られた状態で顔/背景スタイルのパワーを使用する場合。
5.XSeg.optional）data_srcのトレーニング済みマスク-削除 -削除します
使用法： 1.モデルをトレーニングします
- 自明です。この段階では何も変更されません。使用するface_typeのモデルを実行するだけです。顔全体または頭の顔タイプのモデルでスタイルのパワーを使用することの例外-基本的に、顔スワッピングモデル（Quick 96、SAEHD）のトレーニング中にこの機能を使用できるようにする場合は、最初にXSegモデルをトレーニングしてから適用する必要があります両方のデータセットへのトレーニング済みマスク（SRCおよびDST）、そうでない場合、この機能は機能しません。これが機能するためには、顔と背景がどこにあるかを知る必要があるためです。トレーニング時に使用されるデフォルトのマスクは、顔の抽出で顔全体をカバーするだけなので、顔全体と顔全体のモデルでは使用できません。
2. 5.XSeg）XSegトレーナーのdata_dstマスク-編集-DST 面のラベル/マスク。
ボタンのツールチップ/説明を読んで、その機能（en / ru / zn言語がサポートされています）を確認し、包含および/または除外ポリゴンモードを使用して面をマスクします。
100から200の異なるDST顔をマスクします。dstのすべてのフレームで顔をマスクする必要はありませんが、顔の外観が大きく異なるものだけをマスクする必要があります。例：
- 目を閉じている/異なる表情
- 顔/頭の方向が変わっている/角度
- 照明条件/方向が異なります
左上の領域からマスキングを開始し、時計回りの方向に従って、すべてのフレームに対して同じロジックのマスキングを維持します。次に例を示します。
- あごが表示されていない側面の同じ近似あご線
- 同じヘアライン
DST面のマーキング（マスキング）が終了したら、Escを押して保存し、モデルのトレーニングに移ることができます。 XSeg-DSTを使用します。
あなたはまた、合併にXSeg-PRDを使用したい場合は、SRCはSRCラベリングツールを使用して直面しているマスク/マークを実行する必要があります。
5.XSeg）をXSegトレーナーのためのマスクdata_src -編集
2.1マスキング障害物を
マスキング面があなたにも、おそらくマスクするだろうが障害物を除外/除外して、結果の顔の上にある最終的なビデオに表示されるようにします。これを行うには、次のいずれかを行います。
- 顔の領域を定義するメインマスクに障害物を含めないでください。
- exclude polyモードを使用して、障害物の周囲に追加のマスクを描画します。
障害物をマスキングするときは、障害物のない顔をマスキングするときと同じルールに従って、いくつかのフレームでそれらをマークする必要があります（顔/頭の外観/形状/位置が変化しない場合でも）
- 変更角度
- 表情の変化
- 照明条件の変化
障害物がさらに形を変えたり、顔全体を移動したりする場合は、数回マークする必要がありますが、すべてのフレームのすべての障害物にマークを付ける必要はありませんが、さらにさまざまな障害物がありますさまざまな状況で発生します-マークする必要のあるフレームが増える
3. XSegを実行します）train.bat -XSegモデルをトレーニングします。
- 初めてトレーニングを開始するときに、使用するモデルの顔のタイプ（顔全体、顔全体、頭など）を選択するオプションが表示されます。トレーニングしたモデルに一致するものを選択して、トレーニングを開始します。
- あなたは3つのモード、DSTのトレーニング、SRCの訓練とSRC + DST（歪んだ）がある（スペースを使用して、プレビューモードを切り替えることができます。
- プレビュー進捗プレスP.更新するには
- 。トレーニングを保存して停止するEscキーを
トレーニングチェックプレビュー時には、多くの場合、場合一部の顔のマスクが間違っているか、誤動作/破損しています。編集を再度実行し、問題のある顔を見つけてマスクしてから、トレーニングを再開するか、
最初からやり直してください。XSegモデルのトレーニングを再開するには、すべての「model \ XSeg_ * 'ファイル。他のフォルダに移動することもできます。
Whole_faceのマージで使用可能な新しいマスクモード：
XSeg- prd-予測された顔のXSegマスク-srcフェイスセットの顔はラベル付け/マスクする必要があります。
XSeg-dst -dst面のXSegマスク-dst面セットの面にラベルを付けるかマスクする必要があります。
XSeg-prd * XSeg-dst - XSeg- prd と XSeg-dstの 両方のマスクの最小領域-srcとdstの両方の フェースセットにラベル付け/マスクする必要があります。
workspace \ modelフォルダーにトレーニング済みのXSegモデルが含まれている場合、マージはそれを使用します。それ以外の場合は、XSeg- *マスクモードを使用して透明マスクを取得します。
寄付(任意)について
Amazon.jpギフト券での寄付は受け付けています
- AmazonでE-Mailタイプのギフト券を購入(金額は任意)
- 自分のアカウントに登録はしない
- 下記メールアドレスにAmazonギフト券番号を記載し、通知
- tomoe.magica@gmail.com
Seesaa Wiki関連リンク
タグ
コメントをかく