GAIA-4：安全で拡張可能な自動運転のためのクローズドループ・シミュレーションを実現するマルチモーダル・ワールドモデル

自動運転2.0の世界における安全性＆シミュレーション

自動運転は、モジュール式スタック（すなわち、分離された認識と計画のコンポーネント）から、単一のネットワークで生のセンサー入力を運転判断にマッピングする運転モデルであるエンドツーエンドAIへと移行しています。これが自動運転2.0であり、モジュール式システムでは決して不可能だった方法で、都市、センサー、車両を越えた自動運転の汎用化を可能にします。

しかし、エンドツーエンドモデルを強力にしている要因そのもの（分離可能な部品ではなく、一つの学習されたシステムであること）が、シミュレーションを含む、業界が歴史的に安全性を証明するために使用してきた多くのツールを機能させなくしています。安全性の論証にかかるコスト、時間、信頼性は極めて重要であり、実世界でのテストだけでは十分ではありません。モデルの性能が向上するにつれて、安全性を検証するために必要な走行距離は急激に増加し、そのほとんどは何事も起きない平穏な走行となります。シミュレーションはこのギャップを埋めますが、エンドツーエンドAIの安全性を証明するために必要なシミュレーションスタックは、再構築される必要があります。

なぜ運転モデルには新しい種類のシミュレーションが必要なのか

シミュレーション 1.0は、モジュール式システム向けに設計されました。認識と計画が別々のコンポーネントであれば、検出精度や軌道誤差など、それぞれ独自の指標とテストで個別に検証できます。オープンループの認識リプレイとクローズドループの計画を組み合わせることさえ可能です。分離可能であることが、それを扱いやすくしていました。

対照的に、エンドツーエンドの運転モデルは分離できません。スコアを付けるための中間的な認識出力も、単独でテストするための計画モジュールも存在せず、振る舞いは単一のネットワークから生じます。評価の唯一の意味のある単位はシステム全体であり、それがどのように振る舞うかによって判断されます。

これは根本的に異なる技術的アプローチであり、異なるシミュレーションツールのセットを必要とします。私たちはこれをシミュレーション 2.0と呼んでいます。これは、一つの行動システムとして運転モデルを評価するために専用設計されたシミュレーションです。

これには2つの要件が伴います。第一に、運転モデルは生のセンサーデータを消費するため、シミュレーターはモデルが実際に走行するすべてのセンサーモダリティにわたって、完全なセンサー体験を忠実に再現しなければなりません。第二に、より根本的なこととして、リプレイやオープンループ評価だけでは不十分です。固定された録画をモデルに見せることは、モデルが何を予測するかを教えてくれますが、その予測が次に起こることを変えることはありません。固定された録画によって未来はすでに決まっているからです。車両が実際に何を行うかを知るためには、ループを閉じ、モデルの決定が次に目にするものを変えるようにしなければなりません。

GAIA-4の導入

GAIA-4は、シミュレーション 2.0の中核となるワールドモデルであり、当社のGAIAワールドモデルシリーズの最新ステップです。重要なのは、エンドツーエンド学習が運転モデルだけでなく、安全性やシミュレーションにも適用されるということです。運転と同様に、エンボディドAI（実体を持つAI）の安全性は、手作業で設計されたものよりも、学習された表現を用いることでより速く向上します。

過去8年間にわたり、Wayveはワールドモデルの開発を先導し、業界全体で自動運転車両のトレーニングと評価の方法を変えてきました。2018年の自動運転用初のワールドモデルに始まり、GAIA-1、GAIA-2、そしてGAIA-3を通じてシミュレーションによる検証を可能にしてきました。

今回のGAIA-4により、ループを閉じることが可能になりました。録画されたシーンを起点として、AI Driverをループに戻した新しいシミュレーション走行を開始できます。モデルが異なる運転判断を下すと、それに応じて受信するセンサー入力も変化します。AI Driverがブレーキをかければシミュレーション上の視点は減速し、ステアリングを切れば次に目にするシーンもそれに合わせて移動します。固定された録画を再生するのではなく、シミュレーターはそれらの決定が作り出す未来（現実世界では起こらなかった未来を含む）を生成します。その一方で、基礎となるシーンは実際に起こったことに固定され、測定の基準となる決定論的なベースラインを提供します。

現実世界に基づいたクローズドループ・シミュレーション

GAIAは、世界を構築するために高精度（HD）マップ、手動で構築されたシーングラフ、プロンプト、あるいは独立したアノテーションスタックに依存しません。録画されたセンサーデータから直接シーンを生成します。GAIAは実際の録画に基づいているため、自車のみを変化させながら、世界を実際に起こったことに忠実に保つことができます。私たちはこれをworld-on-rails（レール上の世界）と呼んでいます。AI Driverのアクションがシミュレーション（位置、視点、受信するセンサーストリーム）を前進させますが、シーン内の他のすべてのエージェントは、現実世界のログで示した通りの挙動を維持します。他の道路利用者は自車に反応しません。交差点に進入しようとしていた車はそのまま進入し、通りを横断していたサイクリストはそのまま横断します。

この制約により、シミュレーションには検証に不可欠な2つの特性が備わります。第一に、他の道路利用者は録画された走行で実際に行ったことを継続するため、実際の行動に基づいた状態が維持されます。第二に、評価が保守的に保たれます。車両、歩行者、サイクリストのいずれもAI Driverに反応して行動を変えないため、シミュレーターが安全上重要な結果を改変してしまうことを防げます。world-on-railsの制約の下で、車両のセーフティオペレーターが介入したシナリオを含む、あらゆるシナリオの安全性の結果を評価できます。

world-on-railsは切り替え可能な機能であり、ワールドモデルの限界ではありません。この制約を緩和することで、他の道路利用者が単に録画を再生するのではなく、自車の行動に反応するリアクティブ・エージェントが得られます。これにより、合流の交渉や交差点での譲り合いなど、実際の相互作用でしかテストできないシナリオが開かれます。シーンの残りの部分は元の録画から変更されません。リアクティブ・エージェントはworld-on-railsの機能を拡張するものです。安全検証において、world-on-railsは元のシーンの保守的で忠実な再現を提供できます。そしてリアクティブ・エージェントは、世界がAI Driverに反応することを可能にすることで、評価できる相互作用の範囲を広げます。

シミュレートされたビデオは実際の録画に基づいており、世界の残りの部分をworld-on-railsに保つようにトレーニングされているため、GAIAは汎用的なワールドモデルよりも高い忠実度と一貫性で録画されたシーンを再構築できます。このタスクのためにGAIAをトレーニングすることで、録画された世界を保存する忠実度が2.5倍向上し、ジェネレーターをクローズドループ・シミュレーターとして使用できる安定したシステムへと変えます。

反実仮想：AI Driverがどう行動したはずかを理解する

実際の運転に基づいたクローズドループ・シミュレーションは、AI Driverを内省しデバッグする方法の一つです。現実の任意の瞬間を取り上げ、一つの要素を変えて、AI Driverがどう行動したかを確認できます。これにより、モデルの挙動をより深く理解することが可能になります。

反実仮想を用いることで、AI Driverのデバッグと内省が可能になります。ループを閉じることで、安全性において最も重要な問いを投げかけることができます。「もしセーフティオペレーターが介入していなかったら、AI Driverはどうしていただろうか？」「前回のモデルが失敗したのと全く同じ状況で、新しいモデルはどう振る舞うか？」これが、路上でのイベントを、モデルの挙動に関する再現可能な診断へと変える方法です。

以下のシナリオでは、安全を確保するために路上のセーフティオペレーターが介入しました。GAIA-4のクローズドループ機能により、その正確な瞬間を取り出し、観測された通りに世界が展開し続けた場合にAI Driverがどう行動したかを問うことができます。

GAIAは大規模なテストを可能にし、フライホイール（弾み車）効果を生み出します。再走行することなく、クローズドループ内のシナリオライブラリを通じて多くの候補運転モデルを実行します。予測された各アクションが生成にフィードバックされるため、すべての実行がモデルの行動に関する真のテストとなります。検証の拡張性は道路の走行距離に依存しなくなり、計算リソースに依存するようになります。これは、すべての候補モデルで実行できるほど効率的であり、デプロイを前進させるのに十分な速さを備えています。

量産型の運転システムは、カメラ、レーダー、ライダーなどの複数のセンシングモダリティに依存しており、これらの信号が個別に組み立てられるのではなく、同じ世界の一部として一貫して生成されるとき、シミュレーションの価値ははるかに高まります。AI Driverを検証するには、シミュレーションが依存するすべてのモダリティを、同じ世界の一部として一貫して生成する必要があります。これもGAIA-4のクローズドループ機能の重要な要素です。

マルチモダリティ：レーダーをループに組み込む

自動運転に有用なシミュレーションは、カメラのリアリズムを超える必要があります。GAIA-4はマルチモーダル生成によってこの機能を拡張し、カメラと並んでレーダーをシミュレーションに導入しました。これは自動運転シミュレーターとしては業界初です。レーダーは冗長性と安全上重要なセンシングにおいて特に重要であり、霧、水しぶき、低照度などの視界不良な悪条件下で堅牢性を提供します。

以下の高速道路のシーンでは、レーダーが先行車と対向車を追跡しており、色分けされたドップラー測定値が自車に対する各物体の相対速度を示しています。これらの検出結果は、後から別途追加されたものではなく、ビデオを生成するのと同じワールドモデルによって生成されています。

マルチモーダル・ワールドモデルは、シミュレーションを実際の意思決定を促す信号に近づけ、シミュレーターが使用可能なモデル入力を生成しているという論拠を強めます。ここでは、車両が減速に失敗した状況において、レーダーがある場合とない場合のGAIAシミュレーションを観察します。これにより、「AI Driverはレーダーがあればこのシナリオをどう処理しただろうか？」と問うことができます。このケースでは、レーダーの追加によってクローズドループの軌道が測定可能なほど変化しており、生成されたレーダーが意思決定に関連する情報を保持し、車両が適切に減速することを保証している証拠となります。

シミュレーターの行動忠実度の測定

自動運転の検証において、シミュレーターは視覚的な忠実度と並んで、行動と結果に基づいて判断されるべきです。当社では、結果の忠実度、クローズドループの忠実度、コンポーネントの忠実度の3つのレベルでシミュレーターを測定しています。

結果の忠実度：シミュレーション走行は、現実世界で観察された結果を再現しているか？これが最終的に重要なことです。つまり、シミュレーションと現実世界の結果が、何が起こったか、そして何よりもどのシナリオが安全上重要であるかについて一致しているかどうかです。これらの結果は、現実世界の運転を評価するのと同じ指標を使用して採点されます。

クローズドループの忠実度：シミュレーションにおけるシステム出力は、路上走行と一致しているか？これにより、AI Driverがどのようにしてその結果に至ったかを確認でき、いかなる乖離も解釈可能になります。エンドツーエンドのクローズドループの忠実度を確認するために、軌道出力の一貫性をテストします。これを可視化する一つの方法は、シミュレーションでAI Driverが計画した軌道と、路上で計画した軌道をフレームごとに比較することです。同じモデルであれば、以下に示すように収束したタイトな「リボン」として両者は一致するはずです。

コンポーネントの忠実度：シミュレーターのコンポーネントは有効か？これは、3Dリアリズムやレーダーの忠実度など、システムとモデルのさまざまな側面に焦点を当て、シミュレーターの各要素を個別にテストすることに重点を置いています。これらの指標の積み重ねが、シミュレーター全体の忠実度に対する信頼につながります。

3Dリアリズムも視覚的忠実度の重要な指標であり、幾何学的一貫性など、生成の各部分を個別にテストします。これにより、交通弱者（VRU）、交通標識、速度制限、車線の特徴、およびシーンのその他の側面の忠実度をどれほど正確に捉えているかを評価します。

元の録画には実際に起こっていたことが収められているため、元の視点から新しい視点へとシーン内のあらゆる要素を幾何学的に投影し、GAIAの生成がそれと一致するかを確認できます。以下のビデオは、自車のポーズを摂動させ、自車がシーン内をナビゲートする間も他の車両や車線境界線が安定したままであることを強調するシナリオを示しています。

また、交通標識や路傍の物体が判読可能で正しく配置されたままであることを保証しつつ、自車が元の経路からどれだけ逸脱できるかも測定しており、シミュレートされた世界が信頼できるままであるという独立した証拠を提供しています。交通標識は運転において特に重要ですが、通常、シミュレーションで再現するのは困難です。

シミュレーター検証の重要な側面は、元の視点や軌道から逸脱した際にも、GAIAの生成が高い忠実度を維持し、車両や歩行者の位置、レーダーポイントの物体追跡方法、交通標識の判読可能性などのシーンの重要な側面が期待通りに保たれることをテストすることです。

レーダーの忠実度の指標の一つは、異なる条件下でレーダーポイントが先行車などのシーンの重要な要素を追跡し続けているかどうかを測定します。自車を加速・減速させるように変更すると、GAIAはそれに応じてインディストリビューション（分布内）なレーダーを生成し、先行車に近づくにつれてドップラーやカバレッジが現実的に変化します。

結果の忠実度、クローズドループの忠実度、およびコンポーネントの忠実度のさまざまな側面を組み合わせ、多くのシナリオにわたって評価することで、シミュレーター全体の精度に対する信頼が得られます。

AI Driver検証の基盤

GAIA-4は、自動運転を検証する新しい方法への道を切り開きます。エンドツーエンドの運転モデルへの移行は業界全体の流れです。エンドツーエンドの自動運転を真剣に構築しているチームは、もはや分解してバラバラにテストすることができないシステムを継承することになり、モジュール式スタック向けに構築されたシミュレーションツールではそれを検証できません。

GAIA-4、特にそのクローズドループ機能は、エンドツーエンドのAI Driverを、いわゆる「ブラックボックス」から、調査、検証、信頼が可能なシステムへと変えます。あらゆる介入をリプレイして精査でき、あらゆるモデルの変更を同じ実際のシナリオに対して測定でき、車両が依存するあらゆるセンサーをテストにかけることができます。この内省、再現性、および証拠こそが、厳格な安全性の論証の基盤となります。マップレスのエンドツーエンドAIは、地理的規模での自動運転への最も現実的な道であり、現実世界に基づいたクローズドループ・シミュレーションこそが、自動車メーカーのパートナーと共に世界中の何百万台もの車両で安全に拡張することを可能にするのです。

GAIAは、商用展開に向けたWayve AI Driver評価の広範なフレームワークである「シミュレーション 2.0」の構成要素の一つです。今後も多くの発表を予定しています。ご期待ください。

謝辞

GAIA-4は、Sofía Dudas、Sofi Toteva、Seva Konjahhin、Qianli Xing、Zhenya Kashin、Pragya Kale、Holly Garvey、Xabier Romero Sáenz、Arvind de menezes pereira、Nathan Tseng、Yibo Chen、Jayson Salkey、Vassia Simaiakiによる主要な研究、エンジニアリング、評価の貢献によって実現しました。