GAIA-3：安全性と評価を強化する世界モデルのスケールアップ

自律走行システムを大規模に評価することは、実世界での自律走行を進める上で極めて重要な課題の一つであり続けています。実世界でのテストは安全性を証明するために不可欠ですが、コストがかかり、物流上の制約があり、データ効率も低下しています。運転モデルが改善され、目に見えるミスが少なくなるにつれて、統計的に意味のある結論を得るために必要な走行距離は急増します。その走行距離のほとんどは何も起こらず、稀な、安全上重要な行動に関する情報はほとんど得られません。

シミュレーションは、この課題を解決する道筋を提供します。仮想環境は、運転モデルの安全で信頼性が高く、再現可能でスケーラブルなテストを可能にします。しかし、その可能性にもかかわらず、既存のシミュレーションアプローチは、最新のエンドツーエンド運転システムに対する意味のある評価を可能にするには不十分です。自律走行テストの長年の標準である手続き型シミュレーターは、正確な制御を可能にするものの、リアリズムに欠けます。3D再構築ベースのシミュレーターは、より高いリアリズムを実現しますが、オクルージョンや動的なエージェントの処理に課題があります。世界モデルにおける当社の最新の進歩は、両者の利点を兼ね備えています。現実環境の静的および動的な要素を捉えつつ、現実的な反事実を生成することで、実世界テストの適用範囲を拡大します。

Wayveは、自律走行車のトレーニングと評価方法における新しいパラダイムを切り開くために、世界モデルの利用を先駆けてきました。将来予測、運転の夢想、鳥瞰図での予測、世界モデルの学習に関する当社の研究に基づき、このビジョンへの第一歩としてGAIA-1（Generative Artificial Intelligence for Autonomy）を導入しました。GAIA-1は、生成モデルがビデオ、テキスト、アクションから学習し、現実的な運転体験を生成できることを示しました。GAIA-2は、マルチカメラによる時空間的に一貫したシーン生成を通じて、より豊かな制御性、より広い地理的範囲、多様な車両エンボディメントを導入することで、その視野を拡大しました。

GAIA-3では、視覚合成のツールであった世界モデルを、自律走行評価の基盤へと変革するという大胆な一歩を踏み出します。GAIA-3は、実物そっくりであるだけでなく、構造化され、目的を持った運転シーンを生成します。これは、安全でスケーラブルな自律走行に向けた進歩を測定し、比較し、加速させるために設計されています。

GAIA-3は、実世界データのリアリズムとシミュレーションの制御性を兼ね備えています。これにより、実際の運転シーケンスを取得し、正確でパラメーター化されたバリエーション（例えば、自車の軌道を変更しつつ、シーン内の他のすべての要素を完全に一貫させる）で再走行させることができます。他のエージェントは動き、照明、天候を変化させず、世界は一貫性を保ちます。この「レール上の世界」アプローチで動作する能力は、生成型世界モデルにとって大きな進歩であり、評価を反応的な測定から、安全性を定義するエッジケースの積極的な探索へと変革します。

以下の例は、プログラムで制御された正弦波状のカメラモーションで生成された連続した高速道路のシーケンスを示しており、GAIA-3が自車の軌道を変更しつつ、他のすべてのシーン要素を長期間にわたって一貫して維持する能力を示しています。

同じ方法論を用いて、NCAPスタイルのテストを仮想的に、かつ大規模に、シミュレートされたテストコース環境と多様な実世界条件の両方で生成することができます。車両の軌道とタイミングは一貫性を保ちつつ、背景、照明、シーンのダイナミクスが変化します。

この機能により、クラッシュおよびニアクラッシュシナリオの体系的な生成が可能になり、実世界データに適用されるのと同じ占有率および軌道メトリクスを使用して評価できます。これにより、スケーラブルで再現可能な安全検証への道が開かれます。

安全上重要な生成における重要なベンチマークは一貫性です。つまり、自車の挙動のみが変化する場合でも、シーンの残りの部分が物理的および視覚的に一貫していることを保証することです。これを検証するために、LiDARでキャプチャされた実世界シーケンスを使用し、自車の軌道を修正してシーンオブジェクトとの衝突を生成します。次に、元の記録からのLiDAR点群を生成されたフレームと位置合わせし、位置ずれや不整合をチェックします。以下に、GAIA-3が安全上重要なシナリオを合成する際にも空間構造とリアリズムを維持することを確認する例を示します。

一貫性の比較：

オフライン評価スイート

実世界での運転は、めったに台本通りにはいきません。急ブレーキ、遅い合流、歩行者の飛び出しなどの予期せぬ出来事は、モデルが環境をどれだけ真に理解しているかを明らかにします。これらの「もしも」の瞬間をオフラインで再現しテストする能力は、自律システムへの信頼を築く上で不可欠です。GAIA-3を使用すれば、これを体系的に行うことができます。

GAIA-3は、アクションコンディショニングを通じて自車の挙動を条件付けし、オプションでWorld-on-Railsの摂動と組み合わせることで、実世界シナリオの制御されたバリエーションを生成できます。単一の記録されたシーケンスから、異なるパラメーターを調整することで、「もしも」のシナリオの家族全体を作成できます。これらの摂動により、モデルがエッジケースから回復する能力や、変化する条件下で安定性を維持する能力を定量的にテストできます。

その結果、スケーラブルで再現可能、かつ測定可能な構造化されたオフライン評価テストスイートが実現します。これらは、静的なリプレイよりも豊富な診断信号を提供し、条件が変化したときにポリシーの挙動がどのように変化するかを明らかにします。GAIA-3の合成介入と路上実験との相関研究は、モデルが相対的なポリシー性能を確実に予測できることを示しており、モデル比較と意思決定のためのオフライン評価の実用的な価値を高めています。

以下の例はこれを示しています。GAIA-3は、左/右に逸脱したり、速すぎたり/遅すぎたりするように調整され（緑色の軌道）、運転モデルは車両を安全な位置に戻すように予測する必要があります（ピンク色の軌道）。

上記のビデオでは、GAIA-3を使用して、5つの異なるシーンで、最適ではない挙動の複数の4例のテストケースを作成しています。それぞれにおいて、GAIA-3は左、右、速すぎ、遅すぎに走行します。世界は一貫性を保ち、「レール上」にあり、運転モデルが回復する能力を評価するための有用な反事実的介入状態を提供していることがわかります。

エンボディメント転送

異なるカメラリグと視野角は、車両間でデータを再利用することを困難にします。エンボディメント転送により、GAIA-3は、ターゲットリグからの少量のペアになっていないサンプルのみを使用して、新しいセンサー構成から同じシーンを再レンダリングできます。

これは、評価スイートを、ペアになったキャプチャを必要とせずに、異なるエンボディメントや自動車OEM車両プログラム間で簡単に転送できることを意味します。以下の例は、GAIA-3がシーンをあるカメラリグから別のカメラリグに転送する方法を示しています。

元のエンボディメント：元のビデオは、5台のRGBカメラ（1台は前方、2台は側面、2台は後方）のリグを搭載した車両から撮影されています。

エンボディメントA：この車両は元のエンボディメントとは異なるメーカーとモデルですが、同様の5カメラ構成です。主な違いは、前方カメラの視界を遮るパネル、左右の前方カメラでより平坦で短いボンネット、そしてより視認性の高いフロントガラスです。GAIA-3は、対向車からの反射を含むシーンからの反射を説得力を持って再現します。

エンボディメントB：これは元のエンボディメントと類似した車両ですが、カメラリグが異なります。前方カメラはより広角でズームアウトされた魚眼レンズを備えています。左右の前方カメラはより外側に傾斜しており、後方カメラはより後方に傾斜してズームインされています。

以下に、この方法論によって達成された一貫性とリアリズムを示すいくつかの例を挙げます。

堅牢性と解釈可能な制御

運転モデルは、外観、照明、またはセマンティクスの変化に直面しても信頼性を維持する必要があります。しかし、これらのバリエーションは、意味のある評価を保証するために測定可能でなければなりません。

私たちは、制御された視覚的多様性を導入し、シーンの基礎となる構造は同じままで、外観が変化することを可能にします。これは、照明、テクスチャ、天候などの要素は変化しても、シーンのジオメトリと動きは一貫していることを意味します。結果として、異なる視覚条件下でのモデル性能を直接比較し、大規模な堅牢性を評価し、特定の視覚的変化がモデルの挙動にどのように影響するかをよりよく理解することができます。

強化とデバッグ

稀な故障モードは実世界での運転では捉えにくく、データカバレッジを制限し、モデルの反復を遅らせます。GAIA-3は、少数の例から学習し、それらを中心に構造化されたバリエーションを生成することで、ブレーキングや合流などのシナリオファミリーを、豊富で物理的に一貫したテストセットへと拡張できます。

これらの稀なイベントは、集中的なテストや再トレーニングのために、より大規模でラベル付けされたスイートに増幅することができ、問題の発見から修正の検証までの時間を短縮します。

以下の例は、特定の挙動である急ブレーキが、実世界でのテストでは再現が難しい状況でのモデル挙動を評価するのに役立つ、制御された分布外のバリエーションとして生成される様子を示しています。同じ挙動は、異なる環境や国にわたって翻訳できます。例えば、米国での高速道路でのブレーキング、日本での都市部でのブレーキング、あるいは青信号での予期せぬ停車などです。

GAIA-3は、稀な分布外の例でデータセットを拡張するのに役立ちます。ここでは、GAIA-3は、特定の故障モード（道路の真ん中での急ブレーキ）を新しいシーンや地理的条件に変換できます。

スケールによる能力向上

世界モデルの進歩は、パラメーターだけでなく、データの多様性、表現力、生成される体験の質といったスケールによって推進されます。

GAIA-3は、自律走行のためのスケーラブルで現実的、かつ制御可能なオフライン評価のために設計された、150億パラメーターの潜在拡散ベースの世界モデルです。この能力をサポートするため、GAIA-3はGAIA-2の5倍の計算量と、3大陸9カ国にわたる約10倍のデータを使用してトレーニングされました。

このデータセットは、歩行者、サイクリスト、標識、交通管制インフラなどの安全上重要なシーン要素を強調しており、モデルが運転シーンを模倣するだけでなく、自律システムに最も関連する要素を理解し再現することを確実に学習します。

GAIA-3は、静的および動的なシーン要素のより鮮明な視覚表現により、明確な改善をもたらします。重要なことに、長い軌道や一時的なオクルージョンの瞬間を通じてシーンの一貫性を維持する、強化された世界モデル能力も示しています。この例は、オクルージョンを通じたリアカメラにおける歩行者の品質と一貫性を示しています。

以下の例は、GAIA-3が、動いている歩行者をリアルに生成し、テキスト標識を鮮明で読みやすくし、重要なランドマークを忠実に生成し、細かいディテールを維持する能力を示しています。