Eye Contact

撮影後に、被写体の視線をレンズに向けます。

After Effects Premiere Pro DaVinci Resolve 製品ページ →

1. 概要

Eye Contact

Eye Contactは被写体の目を動かして、視線をレンズに向けます。プロンプターを読んでいるとき、メモを見ているとき、部屋を見回しているときなどに使えます。被写体がレンズを見ているフレームを1つ指定すると、その目がすべてのフレームに適用されます。トラッキングやマスクは不要です。処理するのはレイヤーごとに1つの顔で、フレーム内でいちばん大きい顔が対象です。

はじめに：エフェクトを適用した直後は、フッテージはそのまま表示され、Use Current Frame以外のコントロールはすべてグレー表示になります。被写体がまっすぐレンズを見ていて、目が完全に開き、まばたきしていないフレームに再生ヘッドを移動し、Reference > Set Frame > Use Current Frameをクリックします。すべてのフレームで視線がレンズに向き、ほかのコントロールが有効になります。DaVinci Resolveでは、代わりにリファレンスをエフェクトの2番目の入力に接続します。

エフェクトはリファレンスの目を取り出し、すべてのフレームに合わせて適用します。各フレームの頭の向きに合わせて形を変え、虹彩はレンズを見る位置に丸く描き、まぶたはリファレンスの開き具合にそろえ、フレームのライティングに合わせます。キャッチライトは各フレームのものが残り、まばたきは実際のまばたきに追従し、被写体がすでにレンズを見ているフレームでは元の目がそのまま使われます。メモを見下ろしている、虹彩が目の端に寄っている、まぶたが下がっているなど、元の映像がどうであっても機能します。目のテクスチャは1つのフレームから取るため、リファレンスと頭の角度やライティングが大きく違うフレームでは、細部の自然さが弱くなります。

動作環境

  • Mac：顔のモデルはCore MLを通じてGPUとNeural Engineで動作します。Core MLが失敗した場合はCPUで動作します。
  • Windows 64ビット版：NVIDIA GPU（CUDA）があれば使用し、なければCPUを使用します。

2. インストール

2a. Baskl installer（すべてのホストアプリ）

Basklのプラグインはすべて、Baskl installerでインストールします。Baskl installerは、プラグインを動かすローカルエンジンであるAI Machineをセットアップし、Eye ContactをAfter Effects、Premiere Pro、OFXホスト（DaVinci Resolve、Nuke）、MacではFinal Cut Proの正しい場所に配置します。実行する前にホストアプリを終了してください。

macOS

  1. baskl.aiでダウンロードをクリックし、Baskl.Installer.zipを解凍してMac/Baskl Installer.appを開きます。Apple Silicon搭載のMacが必要です。Intel Macではインストーラーが停止します。
  2. macOSに確認された場合は、インターネットからダウンロードしたアプリを開くことを確認し、インストーラーがシステムのプラグインフォルダに書き込めるようにMacのパスワードを入力します。
  3. Let's Get Startedをクリックし、プラグインの一覧でEye Contactを選択してInstallをクリックします。初回のインストールではAI Machineもダウンロードするため、数分かかります。
  4. Installation Completeと表示されたら、ホストアプリを再起動します。エフェクトはBasklカテゴリにあります。

Windows

  1. baskl.aiでダウンロードをクリックし、Baskl.Installer.zipを解凍してWindows\Baskl Installer.exeを実行します。
  2. アプリがデバイスに変更を加えることを許可するかWindowsに確認されたら、はいをクリックします。インストーラーには管理者権限が必要です。
  3. Let's Get Startedをクリックし、プラグインの一覧でEye Contactを選択してInstallをクリックします。NVIDIAのグラフィックカードでは、対応するCUDAビルドをインストーラーが自動で選びます。初回のインストールではAI Machineもダウンロードするため、数分かかります。
  4. Installation Completeと表示されたら、ホストアプリを再起動します。エフェクトはBasklカテゴリにあります。
  • 顔が見つからないフレームは、変更されずにそのまま残ります。

ライセンスの有効化

  • After Effects / Premiere Pro：After Effectsでは、エフェクトコントロールパネルでエフェクトの上部にあるRegister（リセットの隣）をクリックし、ライセンスキーを貼り付けてActivateをクリックします。Premiere Proでは、エフェクトコントロールパネルでエフェクトの右上にある小さなアイコンボタンをクリックすると、同じダイアログが開きます。ライセンスはコンピューター全体に保存されるため、どちらか一方のアプリで登録すれば、もう一方でも使えます。
  • Final Cut Pro（Mac）：ビューアでエフェクトを選択し、ビデオインスペクタでRegisterをクリックして、開いたウィンドウにライセンスキーを入力します。エフェクトはエフェクトブラウザのBasklにあります。Final Cut Proが初めて読み込むときは、起動まで数秒かかります。
  • Resolve / Nuke：エフェクトのコントロールの上部にあるRegisterをクリックし、ライセンスキーを貼り付けて確定します。アクティベート後は、ボタンの表示がLicense Infoに変わります。
  • ライセンスキーの確認方法：baskl.aiで購入した場合は、購入時のメールとアカウント → マイライセンスに記載されていて、コピーボタンでコピーできます。aescripts + aepluginsで購入した場合は、aescripts + aeplugins managerアプリでアクティベートするか、aescriptsのアカウントにあるキーを同じRegisterダイアログに貼り付けます。
  • ライセンスがない場合、Eye Contactは体験版として動作します。すべての機能を使えますが、登録するまでレンダリング結果にウォーターマークが入ります。アクティベートにはインターネット接続が必要です。また、1つのキーを使えるコンピューターの台数には上限があります（マイライセンスに表示されます）。

3. パラメーター

Help and license

Help / Contact

Basklのお問い合わせページを、プラグインのバージョンを入力した状態で開きます。

Register

Resolve：ライセンスウィンドウを開きます。After EffectsとPremiere Proでは、代わりにエフェクト名の横にあるオプションをクリックします。

Look At

After Effectsのみ対応です。

Look At

ヌルオブジェクトなどのレイヤーを選ぶと、レンズの代わりにそのレイヤーを見るようになります。使われるのはレイヤーの位置だけで、ピクセルは使われません。レイヤーを動かすと視線も更新されます。目が動く範囲には限りがあるため、フレームの隅にあるレイヤーを選ぶと、その隅の方向を見るようになります。None（初期値）ではレンズを見ます。

Reference

被写体がレンズを見ているフレームをEye Contactに指定すると、その目がすべてのフレームに適用されます。同じ撮影、同じライティングのフレームで、目が完全に開いていて、ニュートラルな表情で、まばたきしていないものを使ってください。別の撮影のリファレンスでは、ライトの位置が違うため、リファレンス側のキャッチライトが残ります。リファレンスを設定するまでは、フッテージはそのまま表示され、ほかのコントロールはグレー表示になります。DaVinci Resolveではこのグループは表示されません。リファレンスをエフェクトの2番目の入力に接続してください。同じクリップのフレームを使う場合は、FusionページでクリップにTime Stretcherを追加し、Source Timeをそのフレームに設定して、2番目の入力に接続します。

Set Frame

After EffectsとPremiere Pro：Use Current Frameをクリックすると、再生ヘッドの位置のフレームがReference Frameに保存されます。

Reference Frame

目を取り出す、このレイヤーのフレームです。設定後は別のフレーム番号を入力することもできます。-1（初期値）はリファレンスなしを意味します。

Reference Frame（適用前） Reference Frame（適用後）
Reference Frame 31、Eyelid Follow 65%。
Reference Layer

目を取り出す別のレイヤーです。フリーズフレームや本人の写真などを、サイズを問わず使えます。Reference Frameより優先され、Reference Frameを設定すると使えるようになります。DaVinci Resolveでは、エフェクトの省略可能な2番目の入力がこれにあたります。

Fine Tune

Strength

各目を元の位置からリファレンスの位置へどこまで動かすかを設定します。まぶたも一緒に動きます。0%ではフレームは変更されません。0%〜100%（初期値 100%）。

Eyelid Follow

まぶたのラインの位置を、被写体自身のまぶた（0%）からリファレンスのまぶた（100%）の間で設定します。0%〜200%（初期値 65%。100%まで上げるとやりすぎに見えることがあるため）。

Eyelid Follow（適用前） Eyelid Follow（適用後）
Reference Frame 31。適用前：Eyelid Follow 0%。適用後：65%。
Aim Horizontal / Aim Vertical

目が見る位置を動かします。初期値のカメラ方向が合わない顔に使います。Aim Verticalを正の値にすると上を見ます。-100〜100（初期値 0）。

Smoothing

フレーム間で顔のランドマークを安定させます。0%〜100%（初期値 83%）。

Output

Output

エフェクトがレンダリングする内容です。

  • Result 目を動かしたフッテージ（初期値）。
  • Mask コンポジット用のRGBマスク。結果に描かれたとおりの形です。赤：目の開いている部分。緑：見えている部分の虹彩と瞳孔（赤と緑が重なると黄色になります）。青：まぶた。まつ毛の生え際から眉のすぐ下まで、および下まぶたの下までの範囲で、外側の縁はソフトになります。
Output（適用前） Output（適用後）
Reference Frame 31。適用前：Result。適用後：Mask。