FCS内部の処理

この項目では、アクターの画像から表情をトラッキングし、キャラクターの表情に変換するまでの流れについて説明します。

Overview

1. フェイシャルトラッキング

まず、画像からアクターの表情を取得するためにフェイシャルトラッキングを実行します。FCSのオートトラッキング機能では、画像に対してアクターの顔の3次元モデル（アクターモデル）を構築します。これにより、目や口の輪郭や鼻の位置を表す点（ランドマーク）の座標や、表情パラメータ（ARKitブレンドシェイプ）といった情報を取得します。
トラッキングに使用するモデルはパイプラインによって異なり、パイプライン名に”+”がついているものはツークン研究所独自のモデルになります。

動画を処理すると、Videosウィンドウの動画名の下にトラッキング結果（トラッキングシーケンス）が表示されます。異なるトラッキングモデルにより作成されたトラッキングシーケンスは互換性がないのでご注意ください。

トラッキングシーケンス

2. 顔の向きを補正

パイプライン名に”RP”が入っているパイプラインを選択した場合、顔の向きがNeutralのプロファイルと同じ向きになるように補正します。これにより、カメラの揺れやずれによる影響を軽減します。

3. トラッキング情報の取捨選択

コントローラーごとに関連するブレンドシェイプを選択することで、コントローラー値に変換する際に使用するランドマークとブレンドシェイプを限定することができます。

ブレンドシェイプの選択方法

ControllerウィンドウにあるControllerテーブルのヘッダーを右クリックするとコンテキストメニューが表示されるので、

“blendshape”を有効化し

設定したいコントローラーを選択しブレンドシェイプを設定 ※最後にコントローラーの設定を保存する必要があります。

4. キャラクターの表情に変換

ここまでの工程で得られるアクターの表情に対して、類似するプロファイルを選出しその比率を計算します。それぞれのプロファイルに対応したキャラクターの表情を、計算された比率に応じてブレンドすることで、アクターの表情をキャラクターの表情へと変換します。

Solve