口パク動画制作解説

こちらの動画の口パク素材動画制作→動画に使用する　までの解説です。
UTAU式人力動画で、成年男性を女々しく・幼く描かれる表現も含みますので苦手の方はご注意を。
※画像はクリックすることで拡大できます。

画像素材の制作

画像素材として、最低限必要とされるのは

本体1枚　(目なし・口なし)
口差分8枚　（あ・あ(大きめ)・い・う・え・お・お(小さめ)・ん）
目差分3枚　（通常・薄目・閉目、自動目パチ以外に手動指定もできる）

以上となります。全部透過Pngファイルで、サイズは一致にしてください。(今度は縦1280横720px)
目差分と口差分は「本体の上のレイヤー」として認識して大丈夫です。
背景や他のアクセサリーなどを独立のレイヤーとして登録するのもできます。
レイヤーの順番も調整できますので、必要がありましたら作りましょう。

口パク動画素材の制作

LipSyncというソフトを利用します。最新バージョンはv2.4.9です。
https://ja.osdn.net/projects/lipsync/downloads/468...　こちらからダウンロードできます。
また、RipSyncも似たような機能ができますが、個人的にはこっちの方の仕様が好きです。

ソフトを起動します。桃色のVSQトラックに右クリックして、「VSQファイルから読み込む」を選んでください。
このソフトはV3以前のソフトなので、VSQxは非対応です。
こちらのツール（https://sdercolin.github.io/utaformatix3/）を利用して.VSQに変換するか、USTを読み込んで使用してください。

緑色の音符に右クリックして、キャラクターを作成し口パクを生成します。

デフォルトのミクさん、リンちゃんとレンくんがいますが、今度はカスタムキャラクターなのでカスタムを選択します。
「キャラクターを編集」で本体や差分画像を指定し、口は「mouth」タグ、目は「eye」タグで登録します。
同じタグが登録している画像は同じトラックに出ます。タグがないレイヤーは同じタグとして扱いされません。

目や背景などデフォルトに用意されていない部分は「追加」をクリックして追加できます。
一番前の☑をチェックすると、デフォルト状態で表示するレイヤーを指定できます。
名前を入力してないまま追加すると、名前部分をクリックできないため編集できなくなりますので要注意。
「ファイル」で現在のキャラクターをファイルとして保存、また保存したキャラクターを読み込むことができます。
RipSync用のRSIファイルを読み込むこともできます。

「OK」をクリックすると、口パクしているキャラクターがキャンパスに追加されます。
今度は使いませんが、複数のキャラクターを同時表示もできます。

デフォルトのビデオサイズと画像サイズが合わない場合は、ここで編集できます。
（謎の1.0バーはスクリーンショットするとき勝手に出てきたミスなので無視してください）

ここで目パチ生成の設定ができます。
間隔ランダムの場合、ctrl+zで戻して何度も生成することで調整できます。

いよいよ出力です。ファイルからaviファイルの出力ができます。
（一枚絵静止画動画の場合、この動画を出力されたこのまま使って大丈夫です。）

「ツール」→「オプション」でffmpegなど指定すればmp4出力もできますが、私はaviutlで読み込んで再生成することにしてます。
透明背景であるRGBaのaviファイルを生成することもできますが、
この大きさでこの長さのaviファイルを複数保存するには正直パソコンのメモリー的な意味でキツイです…(笑)

aviutlで動画素材を使う

いよいよ動画本番です。まずは動画オブジェクトを立ち上げ、音源とタイミング合わせて動画オブジェクト1つを適当に追加します。
これは他オブジェクトのタイミングを取得用のものとなりますので、適当に置いて非表示にして結構です。

そしてキャラクターの画像を置いて動かし、動画の口だけ動かない仮verを作ります。
画像の配置が終わりましたら、タイミング用オブジェクトを頭合わせて分割します。

タイミング用オブジェクトをクリックし、再生位置の数値をコピーします。

先程配置した画像オブジェクトをクリックし、以下の操作を行います。

画像ファイルに動画を合成する際はパソコンによって一気に重くなる場合があるので、
以下の操作は画像の配置が全て終わった後、動画プロジェクトのバックアップを保存することを推奨します。

①「＋」をクリックして「動画ファイル合成」を選択します。
②「参照ファイル」をクリックし、対応する口パク動画素材ファイルを選択します。
③「再生範囲」に先程コピーした再生位置の数値をペーストします。

これで配置された画像が音源のタイミング合わせて歌うように口パクします。

このように背景が欲しい場合、動画素材は背景を入った状態で生成し、配置する画像オブジェクトも背景入りであればOKです。
透過pngに動画ファイルを合成する場合、動画ファイルに背景が入っても画像ファイルの透過部分と合わせて消えますので、
動画に背景あり・なしの両方が必要する場合、背景なしの口パク動画ファイルを生成する必要がありません。

補足：画像にシャドーなどのエフェクトを追加し、ズレが発生する場合はエフェクトの順番を変更し、
「動画ファイル合成」を一番上に移動すれば大丈夫です。

更に補足

背景を明るい緑や青に指定してから、「クロマキー」等を利用すれば、
画像を借りず、口パク動画そのまま背景を透過して使うこともできます。

ですがこの場合、最初から動画ファイルを扱うので、大きいサイズで動かせるとソフトの動きが重くなります。
実際に使用する場面に合わせて、お好みに。

クロマキーに関する説明はこちらを参照：
https://aviutl.info/toumeika/
https://aviutl-douga.com/colorkey/