GAIA-2：より安全な運転支援および自動運転に向けたビデオ生成モデルの限界に挑む

運転支援および自動運転のためのAIをトレーニングし検証するには、多様で複雑、かつ安全性に不可欠なシナリオに触れさせる必要があります。しかし、現実世界でのデータ収集のみに頼る手法は、コストと時間の面で限界があります。突然の割り込み、予測不可能な歩行者の行動、異常気象といった、稀ではあるものの極めて重要な状況を十分な量で捉えることは困難です。

GAIA-2はこの状況を変えます。私たちは、グローバルな自律走行向けにカスタマイズされた最先端のビデオ生成ワールドモデルを発表できることを嬉しく思います。GAIA-1の基盤の上に構築されたGAIA-2は、強化された制御性、拡大された地理的多様性、そしてより広範な車両表現により、合成データ生成の限界を押し広げます。汎用的な生成モデルとは異なり、GAIA-2は走行の複雑さに対応するために専用設計されており、複数のカメラ視点、多様な道路状況、重要なコーナーケースを処理します。主要な走行要因をきめ細かく制御できるGAIA-2は、エンジニアや研究者がより豊かでリアルなトレーニングシナリオを作成することを可能にし、より安全で堅牢な自律走行への道を加速させます。

概要：現実世界の安全のための合成シナリオ生成

生成ワールドモデルは、運転支援および自動運転システムを進化させる強力なツールとして台頭しており、トレーニングや評価のためのスケーラブルで多様な合成データを提供します。汎用的なテキスト・ツー・ビデオやイメージ・ツー・ビデオのモデルとは異なり、ドメイン固有の生成フレームワークは、自車（エゴビークル）の挙動、他の道路利用者の相互作用、そして道路のトポロジー、天候、時刻といった環境要因にわたる、走行ダイナミクスのきめ細かな制御を提供しなければなりません。正確な認識と推論を確実にするためには、複数のカメラ視点間での時空間的な一貫性も同様に重要です。また、曖昧な交差点や予測不可能な歩行者の行動など、稀ではあるが安全性に不可欠なシナリオを合成する能力も、より堅牢で信頼性の高いAI走行システムを構築するために不可欠です。

GAIA-2は、これらの課題に対処するために設計されました。潜在拡散アーキテクチャと広範なドメイン固有の条件付けを組み合わせることで、マルチカメラのビデオ生成を正確に制御することを可能にします。地理的なカバー範囲を英国、米国、ドイツに拡大することで、GAIA-2は多様な走行条件におけるリアリズムと適応性を高めています。完全に新しい走行シーンの生成から、既存の映像への動的なエージェントのシームレスな挿入まで、柔軟な運用モードで長時間の安定したビデオ合成をサポートします。その条件付けパラメータは、自車のアクション変数（速度、ステアリングの曲率など）、環境要因（天候、時刻）、道路構成（走行可能な車線数、制限速度、横断歩道、交差点など）を含む主要な走行要因を網羅しています。このレベルの制御により、GAIA-2は典型的なシナリオと高リスクなエッジケースの両方を生成することができ、自律走行AIモデルのトレーニング、テスト、検証のための強力かつ統合されたフレームワークとなっています。

合成シナリオによる安全性と検証の進化

多様なビデオ生成

GAIA-2は、多様な地理的、時間的、環境的条件に動的に適応することで、シナリオの多様性を新たなレベルへと引き上げます。これは堅牢な検証のための不可欠な要件です。GAIA-2は、複数の国、時刻、天候、道路タイプにわたる走行シーンを合成できます。例えば、英国の左側通行、米国の独特な道路標識、ドイツの欧州式車線表示などを再現することが可能です。

地理的な変動性に加え、GAIA-2は時刻や天候条件の容易な調整を可能にし、夜明け、正午、夜間、あるいは晴天、雨天、霧といった条件間をシームレスに移行させることができます。また、都市部、郊外、高速道路の環境間でのスムーズな適応もサポートしています。

現実的で多様、かつ正確に制御されたシナリオを生成することで、GAIA-2は場所を特定した広範な実世界データ収集への依存を軽減します。これによりテストと検証のワークフローが加速され、AI走行システムが地域を超えて一般化し、ドメインの変化に効果的に適応し、日常的なシナリオとエッジケースの両方で信頼性高く機能するのを支援します。

下のビデオ：GAIA-2によって生成されたシーンの多様性の例。複数の地域（英国、米国、ドイツ）において、異なる照明や天候条件で生成されています。

現実世界のシナリオの拡張

路上テストでは、一般的な交通パターンから稀な安全性に関わる状況まで、広範な現実世界の走行条件を捉えることができます。しかし、記録された各ログは、あるイベントのたった一つの実現例に過ぎません。つまり、特定の環境条件、エージェントの行動、そして特定のアクションセットによって決まる結果の組み合わせの一つです。これらのログは通常、ビデオ映像とラベル付けされた走行アクションをペアにしており、その特定の文脈において操作が適切であったかどうかを示します。貴重ではありますが、この一回限りの視点では、天候、時刻、または周囲の道路利用者の変化など、異なる条件下で展開された可能性のあるあらゆるバリエーションを捉えることはできません。

この限界は、根本的な課題を浮き彫りにしています。それは、現実世界のデータだけでは包括的な検証には不十分であるということです。記録されたすべてのシナリオは、起こり得た結果の一つに過ぎず、エッジケースや稀なイベントのカバー範囲にギャップを残します。GAIA-2は、現実世界のシナリオを拡張・発展させ、異なる条件下で状況がどのように展開するかを探索することで、このギャップを埋めます。これによりテストのカバー範囲とモデルの堅牢性が向上し、AI走行システムが現実に即しながらも、現実世界の走行のあらゆる複雑さに備えることができるようになります。

下のビデオ：他の主要な走行機能は変更せずに、天候と照明条件を調整することで拡張された現実世界のシナリオ

タブ内のビデオ：上段は実際の現実世界のシナリオを示し、下段はその同じシーンの生成された複数のバージョンを表示しています。

特定のアクションに対する観測の生成

GAIA-2は強力な機能を導入しています。それは、ターゲットとなるアクションを条件とした走行シーン全体の合成です。ブレーキ、譲り、Uターンなどのアクションを指定することで、GAIA-2は、そのアクションが必要かつ適切であり続ける、多様で文脈的に妥当なビデオシーケンスを生成します。

重要なのは、これらの生成されたシナリオが固定されたテンプレートの繰り返しではないということです。代わりに、道路レイアウト、交通密度、天候条件、照明にわたって変化し、幅広い条件下での挙動をテストします。このアクション条件付き生成により、シナリオ空間の体系的かつスケーラブルな探索が可能になり、検証が大幅に向上します。AI走行システムをアクション主導の豊富な観測スペクトルにさらすことで、GAIA-2は、稀な状況や高リスクな状況であっても、現実世界のような走行条件下で、より堅牢で安全、かつ一貫した挙動をサポートします。

タブ内のビデオ：特定の自車アクションを中心に構築されたシナリオ。どのアクションに対しても、生成されたビデオはそのアクションが発生し得るあらゆる可能性のある文脈を捉えています。

安全性に不可欠なシナリオのロングテールへの対処

衝突寸前、突然の割り込み、緊急ブレーキなどの安全性に不可欠なイベントは、現実世界のデータで捉えるのが最も困難でありながら、最も重要なシナリオの一つです。現実世界の走行ログにおいてこれらが稀であることは、重大な意思決定のためのシステムを体系的にトレーニングし検証することを困難にします。GAIA-2は、各エージェントの位置、動き、相互作用を明示的に定義できる、高リスクシナリオの正確で制御された生成を可能にすることで、この問題に対処します。衝突前の状況、 緊急操作（急ブレーキなど）、さらには 分布外（OOD）の挙動（ドリフトや突然の障害物など）を積極的にシミュレートできます。

この再現可能で制御されたシナリオ合成は、現実世界のデータセットでは過小評価されている重要なコーナーケースでテストのカバー範囲を拡大します。システムをこれらの制御された環境下での安全性に不可欠な条件にさらすことで、GAIA-2はフェイルセーフ挙動の厳格な検証を可能にし、公道への導入のずっと前にレジリエンスを構築します。

タブ内のビデオ：自車の状態を操作して危険な状況を作り出す能力を示す、安全性に不可欠なシナリオ。

タブ内のビデオ：危険な状況を作り出すために他のエージェントに影響を与える能力を強調する、安全性に不可欠なシナリオ。

未知への挑戦：GAIA-2の分布外（OOD）対応能力

自律走行システムの評価には安全性に不可欠なシナリオが極めて重要ですが、未知の都市、道路タイプ、カメラ構成、交通パターンといった分布外（OOD）条件への汎用能力も、現実世界への導入には同様に重要です。

GAIA-2は、地域、車両プラットフォーム、環境要因にわたって大きな変動を持つ多様なデータセットでトレーニングされています。これにより、驚くべき、珍しい、あるいは完全に斬新な条件を合成することができ、その堅牢性、汎用性、創造的な柔軟性についての洞察を提供します。これらのOODシナリオを合成することで、GAIA-2はドメインの変化に対するAVモデルの堅牢性をテストするための貴重なツールとなり、より汎用的でレジリエンスの高い走行システムをサポートします。

タブ内のビデオ：分布外シナリオへの汎用例。GAIA-2を自車のアクションで条件付けることにより、トレーニング分布の完全に外側にある状態を生成し、トレーニング中に遭遇したシナリオをはるかに超えて拡張することができます。

実用的なアプリケーションとメリット

多様で忠実度の高い走行シナリオを生成するGAIA-2の能力は、運転支援および自動運転の開発に具体的なメリットをもたらします。予測不可能なエージェント、異常気象、珍しい交通パターンといった、一般的な走行条件と捉えどころのないコーナーケースの両方を合成することで、テストのカバー範囲を大幅に拡大し、AI走行モデルが従来のデータ収集で許容されるよりもはるかに豊富なトレーニングおよび評価シナリオに触れることを確実にします。

これにより、路上データに伴うコストやリスクなしに大規模で再現可能なテストが可能になり、イテレーションサイクルが加速されます。開発者は体系的にモデルの弱点を調査し対処することができ、現実世界の環境におけるより迅速な改良とよりレジリエンスの高いパフォーマンスにつながります。シミュレーションと導入の間のギャップを埋めることで、GAIA-2はAI走行システムの安全性、信頼性、および準備状況の向上において重要な役割を果たします。

モデルアーキテクチャとトレーニング

GAIA-2は、高度に制御可能なビデオ生成ワールドモデルであり、自車の操作、動的なエージェント、およびシーンの特徴をきめ細かく制御して、現実的で多様な走行環境をシミュレートするように設計されています。その核となるのは、ビデオトークナイザーと潜在拡散ワールドモデルという2つの主要コンポーネントで、これらが連携して忠実度の高いシミュレーションを生成します。

ビデオトークナイザーは、生のピクセル空間ビデオをコンパクトで意味のある潜在空間に圧縮し、重要な詳細を保持しながら走行ダイナミクスの効率的な表現を可能にします。次に、潜在拡散ワールドモデルが、過去の観測、自車のアクション（速度、ステアリングの曲率など）、動的なエージェントの挙動（3Dバウンディングボックスに基づく）、環境要因（天候、時刻）、および道路属性（車線数、制限速度、自転車・バスレーン、横断歩道、交差点、信号機など）に基づいて、将来の潜在状態を予測します。

GAIA-2は、CLIPエンベディングや走行用に最適化された独自モデルを含む、外部モデルからの潜在的な条件付けもサポートしており、多様な合成データアプリケーションへの適応性を高めています。このアーキテクチャにより、GAIA-2は複数の生成モードで動作できます。将来のフレームの予測、完全に新しいシーンの合成、または既存のビデオシーケンスの修正が可能です。構造化された条件付けを活用することで、GAIA-2は複数のカメラビューにわたる時空間的な一貫性を確保し、多様でスケーラブル、現実的でコーナーケースが豊富なAVシナリオ生成のための強力なツールとなっています。

GAIA-2は、英国、米国、ドイツにわたる多様な地理的、環境的、および走行条件を網羅する、厳選された大規模なビデオシーケンスのデータセットでトレーニングされました。データ収集は、複数の車両プラットフォーム、センサー構成、フレームレートに及び、幅広いリアリズムと適応性を確保しています。モデルの汎用性を向上させるために、バランスの取れたサンプリング戦略を適用し、検証のために特定の地理的地域を除外しました。

GAIA-2のアーキテクチャ、トレーニング手法、および評価の詳細については、テクニカルレポートを参照してください。

テクニカルレポート

GAIA-1からGAIA-2への進化：さらなる制御、リアリズム、およびスケーラビリティ

GAIA-2はGAIA-1に対して大幅な進歩を遂げており、合成データ生成における制御性、リアリズム、および効率性への高まるニーズに応えています。

制御性とリアリズムの拡大：GAIA-2の主な差別化要因の一つは、より広範な制御範囲であり、きめ細かなシナリオのカスタマイズを可能にしている点です。GAIA-1の条件付け機能は限定的でしたが、GAIA-2は複数の地域（英国、米国、ドイツ）をサポートしており、AI走行モデルの新しい走行ドメインへの適応を加速させる地域固有のデータ生成を可能にします。また、ネイティブのマルチカメラビデオ生成を導入し、異なる視点間での空間的および時間的なコヒーレンスを確保しています。これは、マルチビューデータから堅牢な走行ポリシーを学習するために不可欠な機能です。GAIA-2はさらに、より包括的なドメイン固有パラメータのセットを拡張し、研究者が天候条件、道路属性、交通ダイナミクス、およびエージェントの挙動をより高い精度で修正できるようにしています。この強化された制御性により、GAIA-2は、走行モデルのトレーニング、現実世界のデータセットの拡張、または稀ではあるが安全性に不可欠なエッジケースに対するAI走行システムのストレステストなど、ターゲットを絞ったシナリオ生成のためのより強力なツールとなっています。

アーキテクチャの進歩：GAIA-2はまた、より合理化されたビデオ生成パイプラインを導入し、シーンの一貫性と視覚的な忠実度を向上させています。自己回帰トランスフォーマーを介したフレームごとのトークン生成に依存していたGAIA-1とは異なり、GAIA-2は潜在拡散モデルを備えたビデオトークナイザーを採用し、シーケンス全体を連続的な潜在空間にエンコードします。この移行により、時間的な不連続性が排除され、動きの滑らかさが向上し、マルチカメラの空間的コヒーレンスが確保されます。その結果、より安定し、スケーラブルで、現実的な生成フレームワークが実現しました。

これらの強化により、GAIA-2は自律走行のための生成ワールドモデリングにおける新たなベンチマークとして位置づけられ、より豊かでリアル、かつ制御可能な合成走行シナリオを提供します。

下のビデオ：GAIA-1とGAIA-2のビデオ生成能力のサイド・バイ・サイド比較。