サイバーグノーシス

public static HSceneProc hsceneProc { get; private set; }

public static VRHScene hsceneProc { get; private set; }

HCtrl.hsceneProc = UnityEngine.Object.FindObjectOfType<HSceneProc>();

HCtrl.hsceneProc = UnityEngine.Object.FindObjectOfType<VRHScene>();

• GUIMgrがヌル？

• KKS-公式VR

• KK版本編VR

• スタジオVR化MOD

• 公式スタジオVRシアター

• セットアップ
  • FinalIKをインストールする

• SkyrimのVRMODではVRIKが使われているが、リグ？の入れ替えはハードルが高くないか？

• 参考になりそうなUnityアセット
  • SteamVR Plugin：https://assetstore.unity.com/packages/tools/integr...
    • クイックスタートガイド：https://valvesoftware.github.io/steamvr_unity_plug...
  • VRTK - Virtual Reality Toolkit - [ VR Toolkit ]　：https://assetstore.unity.com/packages/tools/integr...
  • The Lab Renderer：https://assetstore.unity.com/packages/tools/the-la...
    • 更新が止まっているので修正が必要
    • ネームスペースをVR→XRにする？
• UnityのVRテンプレート（Ver2020.3.19ｆ1）
• カメラリグにコントローラーがくっついている？

• VR化するexeファイルをIPA.exeへドロップする
• 新しく出来たショートカットの起動オプションに「--vr」を追加する

• 次にVR設定に関するXMLを読み込んでいる

• HTC Vive
• Unity 2019.4.9f1→Unity 2017.4.2f2に変更
• SteamVR plugin for Unity v1.2.3
• VRTK v3.3.3→VRTK 3.2.1

renderer.material.SetTexture("_MainTex", new Texture2D(0,0));

• Final IK
• UnityChan_1_2_1

• VRTK_Pointer
• VRTK_StraightPointerRenderer
• VRTK_ControllerEvents

• VRIKのアバター制御

• OSCとはローカルのソケット通信でよく使われるプロトコルである
  • ソケット通信は、インターネットを経由しない環境下での通信をさす
  • OSCはUDP通信（パケットが届いたかどうかの確認はしない）のみで利用される
• OSCを行う場合、送り先のIPアドレスとポート番号を指定する必要がある
• localhost（自分のIPアドレスに通信するとき、「127.0.0.1」

• VMCProtocolMonitor.exeを起動すると待受状態になります。
• setting.jsonにて、待受ポートを設定します。
  • ListModeをtrueにするとListモードになります。ブラウザ(既定で http://127.0.0.1:8888/ )に一覧で表示します。
  • ListModeをfalseにするとStreamモードです。コンソールに受信したそのまま表示します。(この場合HTTPサーバーは起動しません)

• 通信データは，アドレスパターン（たとえば /kozPhone/uniVRtutorial2/message）とそれに続く引数の列（たとえば 320 150 "Game Over"）からなる
  • 引数としては，整数（int32）・実数（float）・文字列などが使える
• 「サーバ」と「クライアント」
  • データを受信するUnity が「サーバ」となり，センサなどデータを送信するのが「クライアント」となる

• 現在、更新が行われていない（Unity Ver2020.3LTSで動作確認　2021.3LTSでは動かず）
• GitHubからダウンロードした圧縮ファイルの中から src フォルダを取り出し、Unity プロジェクトの Assets フォルダに入れる

public void Init()
{
    CreateServer("uniVRtutorial2", 8001);
}

• Unity ビジュアルスクリプディング（VS）を使っている（旧Bolt）
  • プロジェクト設定で一度初期化する必要がある？

• OSCでは受信側がサーバー、送信側がクライアントと呼ぶが、VMC Protocolでは以下の用に定義している

• SteamVRが立ち上がったことを確認する

• SlimeVRと接続を確認する

• スクリプトで以下の処理を行う
  • 必要なGameObjectを作成する
  • 作成GameObjectに対応するコンポーネントをアタッチする
  • GameObjectの親子関係を設定する
• 上記のスクリプトと、GameObjectに取り付けたコンポーネント（スクリプト）をDLL化する

using EVMC4U;　

• ExternalReceiver（OSCの総合管理？）
  • CameraReceiver （VMC側のカメラ関係？）
  • CommunicationValidator（構文エラーチェック関係？）
  • DeviceReceiver（VRデバイス関連？）
  • DirectionalLightReceiver（VMC側のライト設定？）
  • InputReceiver（VMC側の入力関連？）
• WaistTracker（腰トラ用）

• ExternalReceiver
• using uOSC;

• WaistTracker

• ハードコーディングした箇所の修正
  • uOscServer→port番号
  • DeviceAttacher→ public string DeviceSerial = "human://WAIST";
• 要らない機能の削除
• DLL時の簡略化の為に、VRM機能の削除

    public class DeviceAttacher: MonoBehaviour {
    public DeviceReceiver deviceReceiver;
    public string DeviceSerial = "human://WAIST";

    void Start()
    {
        GameObject hoge = GameObject.Find("DeviceReceiver");
        deviceReceiver = hoge.GetComponent<DeviceReceiver>();
    }

• ExternalReceiver
  • uOscServer（必須・そのまま）
  • ExternalReceiver（必須？・VRM、UniGLTF要素を削除）
  • CameraReceiver（要らない？）
  • CommunicationValidator（必須・VRM削除）
  • DeviceReceiver（必須・VRM削除）
  • DirectionalLightReceiver（要らない？）
  • InputReceiver（必須・VRM削除）
• WaistTracker
  • DeviceAttacher（必須・そのまま）

• DLL作成時は「.NET3.5フレームワーク」を使う？
• 5.6.2ｆ1のUnityEngine.DLLを使う？
• OnSceceLoadedでスクリプトを使うシーンを指定する必要がある

• バニラでテストする　

using UnityEngine;
using BepInEx;
using UnityEngine.SceneManagement;

namespace DLL_test_01
{
    [BepInPlugin("org.bepinex.plugins.HOGE001", "HOGE001", "0.0.1")]
    public class Class1 : BaseUnityPlugin
    {
        void Start()
        {
            SceneManager.sceneLoaded += OnSceceLoaded;


        }
        void OnSceceLoaded(Scene scene, LoadSceneMode mode)
        {
            GameObject Dlight = GameObject.Find("Directional Light");
            Light CharaLight = Dlight.GetComponent<Light>();
            CharaLight.color = Color.blue;

            Debug.Log("TEST_DLL!");
            GameObject cube = GameObject.CreatePrimitive(PrimitiveType.Cube);
            cube.transform.position = new Vector3(2, 0, 0);
        }
    }

}

using UnityEngine;
using HarmonyLib;
using uOSC;

namespace OSC_Send
{
    [HarmonyPatch(typeof(HSceneProc))]
    [HarmonyPatch("MapSameObjectDisable")] // 
    static class Patch_HScene_MapSameObjectDisable
    {
        // 元のMapSameObjectDisableが呼ばれる前に呼ばれるメソッド、戻り値がtrueだと元のメソッドが呼ばれ、falseだと呼ばれない
        static bool Prefix(HSceneProc __instance)
        {
            GameObject OSC_SEND = new GameObject();
            OSC_SEND.name = "OSC_SEND";
            OSC_SEND.AddComponent<uOscClient>();
            return true;
        }
    }

    [HarmonyPatch(typeof(HSceneProc))]
    [HarmonyPatch("Update")]
    static class OSC_Send_Update
    {
        static void Prefix(HSceneProc __instance)
        {
            GameObject hoge01;
            uOscClient osc_s_01;

            hoge01 = GameObject.Find("OSC_SEND");
            osc_s_01 = hoge01.GetComponent<uOscClient>();
            osc_s_01.Send("/uOSC/sample", "hoge", 123.456f, 1);
        }
    }
}

• SteamVR Plugin
• Final IK
• Vive Stereo Rendering Toolkit

• デフォルトではルームスケールになっていて、変更するには Project ウィンドウで SteamVR_Resources/Resources/SteamVR_Settings を選択して、Tracking Space Origin を変更
  • ルームスケールのモードでは、ルームセットアップで設定したプレイエリアの中央の地面に、[CameraRig] を配置する
  • 着席モードでは、VR空間のプレイヤーの頭の位置に、[CameraRig] を配置する

• 新規プロジェクトを「3D」テンプレート（レガシーレンダーパイプライン）で作成する事
• 既存のプロジェクト・シーンを SteamVR 対応にするには、Main Camera を削除または無効化して、Project ビューの SteamVR/Prefabs/[CameraRig] プレハブをシーンの床の中央となる位置に配置する
• Unity でシーンを再生する際には Game ビューの「Maximize on Play」をオンにするとフレームレートが向上する場合がある

• Unityに自作トラッカーを認識させるのはかなり難しい？
  • SteamVR pluginは古い情報しか出てこない、今はメジャーでないのか？（2017〜2018年頃の情報が多い）
  • teamVR PluginはV1とV2では設定の仕方が結構違う
• Virtual Motion Tracker（VMT）を使う？
• EVMC4U - EasyVirtualMotionCaptureForUnity を使う？
• SteamVR Input Live Viewの使い方
• VRデバイスの設定は「SteamVR_Behaviour_Pose」だと思うが…
  • 「Stem VR_Tracked Object」コンポーネントをアタッチすると何故か分からないが反応数する（しかしベースステーションも動いてしまう）

• トラッカーの割当をしておく

• メニューバー「ウィンドウ」→「StemVR Input」

• 「StemVR Input」ウィンドウ→「Open binding UI」

• 実行中のUnityを選ぶプロジェクトを選択する

• VRデバイスのキーバインド設定画面（上手くトラッカーが認識されていればここで表示されるはずだが…）

• 「CameraRIG」のコントローラーを複製→
• 「SteamVR_Behaviour_Pose」→「入力ソース」に先程設定したパーツを指定する

using UnityEngine;
using UnityEngine.XR;

public class Recenterer : MonoBehaviour
{
    void Update()
    {
        // Rキーで位置トラッキングをリセットする（Stationaryでしか動作しない）
        if (Input.GetKeyDown(KeyCode.R))
        {
            InputTracking.Recenter();
        }
    }
}

注意: 39571が使用されているとManagerは動作しません

• 基本的なサンプル：https://gpsnmeajp.github.io/VirtualMotionTrackerDo...
• VMT+uOSCで自作トラッカーでUnityと相互通信が出来る

• Viveトラッカーは定期的に位置・回転を送信してきますが、それをそのままアバターに当てはめてしまうとトラッキングのロストやブレが出たときにアバターにノイズのような動きが現れてしまう
• 体型やトラッカーの補正もしてくれる
• バーチャルモーションキャプチャーのトラッキングデータはOSCで送信することができ、それをUnityで受け取ることが出来る
• トラッキングデータを受信するツール「EVMC4U」
• VRM形式の３Dモデルを使った方が簡単？
  • VMCで動かすVRMモデルと、Unityで動かすモデルはボーン情報が同じである必要がある
  • Unity用のボーン構造なら大体いけるのではないか？
• OSCの送信機能は有料のみ（2022/12現在）

• Ver0.51

• GitHubから「ExternalReceiverPack」をダウンロードし、Unityへインストールする
  • VRMインポーターも一緒に入っている？

• VRMモデルをシーンに配置する
• Assets→EVMC4Uにあるプレハブ「ExternalReceiver」をシーンヒエラルキーにドロップする
• 「ExternalReceiver」のインスペクター「モデル」にVRMモデルを指定する

• 「ExternalReceiver」→「U Osc Sever」のインスペクター「Port」は「3959」で良い？
  • StatusでUnityよVMCとの通信が正常かみる

• VMCのコントロールパネル→詳細設定→モーション受信「OSCでモーション受信を有効にする」にチェックを入れる
  • ポート番号は「39540」？

• EVMC4UをDLL化する？VRMモデルは透明モデルを使う？