評価グラフと実験構造を重ねたAI研究の抽象ビジュアル
NAW / RESEARCH 04

IMAGE: AI生成ビジュアル

RESEARCH / RESEARCH

Runwayが「瞬時の動画生成」への取り組みを解説 — 因果モデル化+蒸留でプロンプトしながらストリーミング生成へ

完成ファイルの待ち時間をなくし、プロンプトしながらフレームを逐次ストリーミングするリアルタイム動画生成の技術方針を公開。双方向モデルを因果的・自己回帰的に作り替えるTeacher forcingと、高速化のためのStudent forcing+2段階蒸留が柱。教育・ゲーム・ロボティクス・シミュレーションへの応用を見込む。

Runwayは研究ブログ「Towards Instant Video Generation」(2026年9月10日公開)で、動画モデルをリアルタイムに生成させるための技術的取り組みを解説した。完成した動画ファイルができるまで待つのではなく、プロンプトを送りながらフレームを逐次ストリーミングする方式を目指す内容だ。

完成待ちからストリーミング生成へ

  • 目標は「プロンプトしながらフレームをストリーミングし、完成ファイルの待ち時間をなくす」リアルタイム動画生成
  • 背景にあるのは、見る側の反応速度と同じ速さで応答する動画が必要になるという見立てで、教育・ゲーム・ロボティクス・シミュレーションなど即応性が求められる領域を挙げている
  • シミュレーション用途では、物理的な妥当性の評価や edge case への即時対応に使えるとしている
  • 同社の汎用世界モデルGWM-1(Gen-4.5を基盤とする自己回帰モデル)とも方向性を共有する内容だが、本記事では一次情報で確認できた範囲のみを述べる

手法の柱:Teacher forcingとStudent forcing

  • 柱は2つで、「Teacher forcing: 因果モデル化」と「Student forcing: 高速化」と説明されている
  • まず双方向のTeacherモデルを凍結し、CriticモデルとともにStudentの生成をTeacherの分布に近づける分布マッチングで、因果的・フレーム逐次の自己回帰生成器を作る
  • 続く蒸留で各フレームの生成を数ステップ程度まで減らし、ストリーミングに足る遅延で出せるようにする
  • 蒸留は2段階で、最初にoff-policy蒸留で強い初期解を作り、次にon-policy蒸留(学習中のロールアウト自体を訓練に使う方式)で誤差蓄積を抑える
  • 具体的な遅延・解像度・fpsなどの数値スペックは、確認した一次情報(同ブログ記事)には記載がないため本記事では断定しない

出典