生成AIが作った“喋るアバター”を、解説動画に合成してみた結果（Premiere Pro使用）

Creative Reality StudioとHeyGenのAIアバター生成機能について実験してみました。

人間の解説者・プレゼンテーターの変わりとして、AIアバターは実用可能か。解説用に作成された既存の動画を使って、Premiere Proでアバターを合成した手順と結果を公開します。

• 本記事の内容
• Premiere ProでAIアバターを合成する
• 1. 下準備
• 2. アバター（映像）の調整・透過
• 3. 解説タイミングを合わせる
• 4. テキスト（テロップ）を一括で変更する
• 5.出来た映像がこちら
• ◆ HeyGen生成アバターもやってみた
• 補足：喋っていない間、アバターはどうなる？

本記事の内容

前回の記事で作ったAIアバターの映像を、題材にしたPremiere Pro操作解説動画と組み合わせみたいと思います。

ただ、画面録画の映像と組み合わせるにあたって問題が一つあります。
生成したAIアバターの映像は、一定のリズムで喋っています。操作を見せるための間がなく、画面録画の映像と合っていません。

前回の記事では無料で試しているので制限がありましたし、有料会員でも必要な間を全部設定するか否かで消費クレジットが大幅に変わると考えられます。間がないと

Premiere ProでAIアバターを合成する

1. 下準備

元々あった、Premiere Pro解説動画を更していくための下準備をします。
（※新しく作る場合、シーケンスの複製などは必要ないです）

とりあえず、ダウンロードしたAIアバターの映像をシーケンスに読み込み。
テキスト表示用に作ったシーケンスを複製して、AIアバター合成用のものを作ります。

映像・オーディオトラックを1つずつ増やし、AIアバターの映像を配置。
以下ではCreative Reality Studioで生成した方を使いました。

デフォルトだと、ど真ん中に配置されるのでこんな感じになります。

2. アバター（映像）の調整・透過

アバターの背景を透過し、位置や大きさを決めます。
テロップはあると邪魔なので、トラックを非表示+ロック状態にして作業していきます。

まず、背景透過。
ビデオエフェクトのキーイングから、Ultraキーエフェクトをアバターのクリップに追加します

キーカラーのスポイトで、背景色の緑を選択。

これだけだと、背景が半透明になったような微妙な見た目です。

キーカラーの下にある“マットの生成”という項目を展開。
一番下にあるペデスタルの数値を上げていくと、背景が透過されます。
（今回使っている映像は無料版で前面透かしなので、透かしが残ります）

必要に応じて、許容量など他のパラメーターを使って調整します。
別トラックを非表示にして、透明グリッドを表示すると確認しやすいです。

余計な背景がなくなったら、女性アバターの大きさと位置を調整します。
ビデオモーションの位置とスケールで、簡単に設定してしまいましょう。

3. 解説タイミングを合わせる

問題点部分、画面録画の映像と、解説の言葉が欲しいタイミングを合わせていきます。
あまり手間をかけずに出来そうな方法は以下の２つ。

• フレーム保持セグメントなどを使って、間を引き伸ばす
• 言葉に沿ってカットして、喋るときだけ出現させる

2つ目のシンプルに切り分ける方法だと、アバターが表示される・消えるのが繰り返されてちょっと不自然。
ですので、無理やり静止状態を作ってみます。

フレーム保持セグメントで間を作る

映像を見てみると、アバターの女性は停止している間、真顔・手を組んた状態が多いです。
話し始め・話し終わりや、開始フレームもこの状態。

おそらくこれがアバターのデフォルト状態なので、この状態の静止映像を入れて引き伸ばしてみます。

再生ヘッドを動かしながら、アバターがデフォルト状態で止まっているフレームを見つけます。
クリップを右クリックし“フレーム保持セグメントを追加”を選びます
このとき他のすべてのトラックは同期ロックをOFF状態にするか、トラックごとロックするかしてください。同期されているとクリップがズレていきます。

次の動画クリップが喋って良いタイミングまで、静止画部分のクリップを、リップルツールで引き伸ばして合わせます。そして、次の解説の区切りで再びフレーム保持セグメントを追加。長さ調整（引き伸ばし）をして……と、ひらすら繰り返していきます。

4. テキスト（テロップ）を一括で変更する

アバターに合わせてテロップの位置・テキストスタイルを変える必要があれば、調整します。

テキストスタイルの一括変更

テキストスタイルを一括で変更したい場合は、新しいテキストスタイルを作ります。

代表となるクリップを一つ選択して、エッセンシャルグラフィックスで設定します。
今回は、簡単にこんなもんで良いんじゃないでしょうか。

スタイルのプルダウンから“スタイルを作成...”で新規スタイルとして設定を保存します。

同じテキストスタイルを適用したいクリップを、全て選択状態にします。
新しく作成したテキストスタイルをクリップにドラッグすると、選択中のクリップ全てに適用されます。

テキストの位置を一括変更

テキストの位置（X,Y座標）はテキストスタイルに含まれていないので、別途設定が必要です。

一括で変更したい場合はエッセンシャルグラフィックスではなく、ベクトルモーションの位置を使います。

文字を置きたい位置が決まったら、ベクトルモーションの文字をクリックして選択。
色が変わっている状態でコピーしてください。

同じ位置に変更したいクリックをすべて選択。
Ctrl + VもしくはCommand + Vでペーストすると、選択したクリップすべての位置（座標）が置き換わります。

あとは、表示されるテキストと音声の位置を整えればOK。
見本では文字数・時間数の関係で、読み上げる台本を作ったので、それに合わせて文字を打ち替えました。

5.出来た映像がこちら

元々ちょっと不気味だったことに加え、追加した静止画部分でフリーズ。
適当に流し見ている分には良いですが、真剣に見ると怖いですね。

◆ HeyGen生成アバターもやってみた

HeyGenで生成したAIアバターの方でもやってみました。

上と同じく、アバターに喋って欲しいタイミングが来るまで“フレーム保持セグメントを挿入”を使って、静止画で繋いでいます。
違いは、不透明度のマスクを使ってピクチャ・イン・ピクチャっぽくしたことくらいです。

アバター（上半身）が合成されているよりは、静止部分の違和感が少ないのではないでしょうか。
題材の映像が画面録画ですので、こちらの方がまだ見られる仕上がりです。

補足：喋っていない間、アバターはどうなる？

静止画状態で引き伸ばすと不自然すぎたので、動画生成の際にきちんと待機時間を設定したらどうなるかを試してみました。Creative Reality Studioの方は、無料トライアルのクレジットが余っていたので。

こんな感じで、大量にストップウォッチを投入して生成します。

結果がこちら。

ダメじゃん！と思わず叫びたくなりました…。
待機状態のときも、喋っている風に動いていますね。口が動かないだけです。
瞬きをしないのも、ちょっと怖い原因。

HeyGenの方は1動画しか作れないので未確認、ですが、あまり期待はしないほうが良さそう。
ただ、HeyGenで生成された映像を見ると瞬きがありますので、喋らずに画面を見せてもらいたいシーンが多い場合には良いかもしれません。