Diffusae 2
Stable Diffusionとテキストプロンプトで、編集アプリの中でフッテージを描き直します。
1. 概要
Diffusae 2は、生成AIをホストアプリに取り入れます。レイヤーの各フレームをテキストプロンプトに基づいて描き直す（image to image）ため、フッテージのスタイルを変えたり、スケッチを画像にしたり、簡単な指示でショットを編集したりできます。
エフェクト内からダウンロードできる10種類以上のモデルが付属します：Stable Diffusion 1.5と2.1、深度を考慮するStable Diffusion 2、高速なLCM版とTurbo版、SDXLベースのモデル、時間的一貫性モデル、Instruct Pix2Pix、Illusion Diffusion、ControlNet ScribbleとCanny、2つのFLUXモデル。Civitaiの独自のチェックポイントモデルを追加することもできます。
複数のプロンプトをそれぞれのウェイトでブレンドし、ネガティブプロンプトで不要な要素を除外し、Strengthで結果が元の画像からどれだけ離れるかを指定できます。Seedを固定すると、同じ結果を再現できます。
動作環境
- Mac：Apple SiliconまたはIntel。利用可能な場合はGPU（Metal）を使用します。
- Windows 64-bit：利用可能な場合はNVIDIA GPU（CUDA）を使用し、それ以外の場合はCPUを使用しますが、拡散処理は非常に遅くなります。
- モデルのダウンロードにはインターネット接続が必要です。各モデルは約5.5〜7.5 GBで、FLUXモデルは約17 GB（FLUX Mini）と24 GB（FLUX.2 Klein）です。
2. インストール
2a. Baskl installer（すべてのホストアプリ）
Basklのプラグインはすべて、Baskl installerでインストールします。Baskl installerは、プラグインを動かすローカルエンジンであるAI Machineをセットアップし、Diffusae 2をAfter Effects、Premiere Pro、OFXホスト（DaVinci Resolve、Nuke）、MacではFinal Cut Proの正しい場所に配置します。実行する前にホストアプリを終了してください。
macOS
- baskl.aiでダウンロードをクリックし、
Baskl.Installer.zipを解凍してMac/Baskl Installer.appを開きます。Apple Silicon搭載のMacが必要です。Intel Macではインストーラーが停止します。 - macOSに確認された場合は、インターネットからダウンロードしたアプリを開くことを確認し、インストーラーがシステムのプラグインフォルダに書き込めるようにMacのパスワードを入力します。
- Let's Get Startedをクリックし、プラグインの一覧でDiffusae 2を選択してInstallをクリックします。初回のインストールではAI Machineもダウンロードするため、数分かかります。
- Installation Completeと表示されたら、ホストアプリを再起動します。エフェクトはBasklカテゴリにあります。
Windows
- baskl.aiでダウンロードをクリックし、
Baskl.Installer.zipを解凍してWindows\Baskl Installer.exeを実行します。 - アプリがデバイスに変更を加えることを許可するかWindowsに確認されたら、はいをクリックします。インストーラーには管理者権限が必要です。
- Let's Get Startedをクリックし、プラグインの一覧でDiffusae 2を選択してInstallをクリックします。NVIDIAのグラフィックカードでは、対応するCUDAビルドをインストーラーが自動で選びます。初回のインストールではAI Machineもダウンロードするため、数分かかります。
- Installation Completeと表示されたら、ホストアプリを再起動します。エフェクトはBasklカテゴリにあります。
- インストーラーは拡散モデルをダウンロードしません。インストール後、エフェクトのDownload Modelsをクリックし、必要なモデルをダウンロードしてください。ダウンロードはプログレスバーとCancelボタンのある専用のウィンドウで行われるため、ホストアプリはそのまま使用できます。
- 以前のDiffusae 2からの移行ですか？最初のレンダリング時に、以前のインストールのモデル（カスタムのCivitaiモデルを含む）が自動的に移動されるため、もう一度ダウンロードする必要はありません。
- FLUX.2 Kleinを使用するには、最新のBasklのインストールが必要です。読み込めない場合は、最新のBaskl Installerでアップデートしてください。
ライセンスの有効化
- After Effects / Premiere Pro：After Effectsでは、エフェクトコントロールパネルでエフェクトの上部にあるRegister（リセットの隣）をクリックし、ライセンスキーを貼り付けてActivateをクリックします。Premiere Proでは、エフェクトコントロールパネルでエフェクトの右上にある小さなアイコンボタンをクリックすると、同じダイアログが開きます。ライセンスはコンピューター全体に保存されるため、どちらか一方のアプリで登録すれば、もう一方でも使えます。
- Final Cut Pro（Mac）：ビューアでエフェクトを選択し、ビデオインスペクタでRegisterをクリックして、開いたウィンドウにライセンスキーを入力します。エフェクトはエフェクトブラウザのBasklにあります。Final Cut Proが初めて読み込むときは、起動まで数秒かかります。
- Resolve / Nuke：エフェクトのコントロールの上部にあるRegisterをクリックし、ライセンスキーを貼り付けて確定します。アクティベート後は、ボタンの表示がLicense Infoに変わります。
- ライセンスキーの確認方法：baskl.aiで購入した場合は、購入時のメールとアカウント → マイライセンスに記載されていて、コピーボタンでコピーできます。aescripts + aepluginsで購入した場合は、aescripts + aeplugins managerアプリでアクティベートするか、aescriptsのアカウントにあるキーを同じRegisterダイアログに貼り付けます。
- ライセンスがない場合、Diffusae 2は体験版として動作します。すべての機能を使えますが、登録するまでレンダリング結果にウォーターマークが入ります。アクティベートにはインターネット接続が必要です。また、1つのキーを使えるコンピューターの台数には上限があります（マイライセンスに表示されます）。
3. パラメーター
Model
- Model
-
Choose Modelをクリックしてモデルを選択します。コントロールには現在のモデル名が表示されます。デフォルトはSD-Turboです。まだダウンロードされていないモデルにはInstall firstと表示されます。カスタムのCivitaiモデルはリストの一番下に表示されます。
- Download Models
-
モデルウィンドウを開きます。付属モデルのダウンロード、再インストール、削除や、モデルフォルダーを開く操作ができるほか、CivitaiのカスタムCheckpointモデルをID、名前、URLを指定してダウンロードできます（ログインが必要なモデル用に、任意でCivitai APIキーを入力できます）。
Prompts
- Prompt
-
Edit Promptsをクリックして、生成したい内容を記述します。1つ以上のプロンプトを追加し、それぞれにStrengthを設定します。プロンプトは相対的な強さに応じてブレンドされます（100と50の2つのプロンプトは2対1の比重になります）。FLUXモデルはプロンプトを連結し、強さを無視します。
- Negative Prompt
-
Edit Negative Promptをクリックして、避けたい内容を記述します。Guidance Scaleが1より大きい場合にのみ使用されます。高速なLCMモデルとTurboモデル、Instruct Pix2Pix、ControlNetモデル、Illusion Diffusion、FLUXでは無視されます。
Generation
- Strength
-
結果が元のフレームからどれだけ離れるかを指定します。0〜100%（初期値 70%）。低い値ではフッテージが保たれ、高い値ではプロンプトに従います。Instruct Pix2Pix、ControlNetモデル、Illusion Diffusionでは使用されません。
- Quality
-
拡散のステップ数です。ステップが多いほどディテールが増えますが、レンダリングは遅くなります。ステップ数はモデルによって異なります（たとえば標準のStable Diffusionモデルでは14、20、30ステップで、高速なLCM、Turbo、FLUXモデルでははるかに少なくなります）。
- Custom Steps
-
QualityがCustomのときのステップ数です。1〜49（初期値 20）。
- Seed (-1 = random)
-
生成の開始ノイズです（初期値 42）。値を固定すると、再現性のある安定した結果が得られます。-1にすると、レンダリングのたびに新しいランダムなシードが選ばれます。
ControlNet
Illusion Diffusionで使用します。
- ControlNet Strength
-
レイアウト画像が結果をどれだけ強く形づくるかを指定します。0〜200%（初期値 150%）。
- Guidance Start
-
レイアウトによるガイドを開始する、生成過程上の位置です。0〜100%（初期値 0%）。
- Guidance End
-
レイアウトによるガイドを終了する、生成過程上の位置です。0〜100%（初期値 100%）。値を下げると、最終的なディテールでモデルの自由度が高まります。
Advanced
- Guidance Scale
-
モデルがプロンプトにどれだけ厳密に従うかを指定します。0〜50（初期値 7.5）。値が高いほどプロンプトに忠実になります。高速なLCMモデルとTurboモデルでは無視されます。
- Image Guidance Scale
-
Instruct Pix2Pixのみ：結果を元のフレームにどれだけ近く保つかを指定します。0〜10（初期値 1.35）。値が高いほど元の画像が多く残ります。
- Scheduler
-
サンプリング方式です。特定の方式を使う必要がなければ、Autoのままにしてください。FLUXモデルは独自の方式を使い、この設定を無視します。
- Internal Render Size
-
モデルが処理する解像度です。結果はレイヤーサイズに拡大縮小して戻されます。
- Resize Method
-
フレームをInternal Render Sizeに合わせる方法です。Same as Layer Sizeでは使用されません。