PRISM-1の紹介：静的および動的シーンにおける写実的な再構築

シミュレーションは、自動運転の開発において極めて重要な役割を果たします。安全で再現性があり、費用対効果の高い方法で運転モデルをテストし、改良することを可能にします。実世界でのテストにおける課題は、同じ道路区間であっても、テスト間で条件が大きく異なる可能性があることです。最先端のシミュレーション技術への当社の研究開発投資は、制御されたモデル評価と「もしも」のシナリオの探求を可能にします。

2023年12月に、当社はGhost Gymを発表しました。これは、自動運転に特化した最先端のクローズドループニューラルシミュレーターです。Ghost Gymは、運転モデルを評価および検証するための、一貫したテスト条件を可能にします。この機能は、開発サイクルを加速し、アルゴリズムの迅速な反復とテストを可能にする上で不可欠です。また、車両の視点、位置、速度を変更してシーンを拡張し、さまざまな設定や条件で新しいシナリオを作成して運転モデルを評価する機能もサポートしており、これは安全性にとって特に重要です。

シミュレーションは、評価を向上させるだけでなく、新しい地理的条件への拡大や珍しい気象条件下での運転など、過小評価されている可能性のある新しいシナリオを導入することで、トレーニングデータも改善します。また、当社が検討している新しい車両プラットフォームやカメラ設定に対する運転モデルの適応性を効率的にテストすることも可能にします。

効果的なシミュレーターの重要な側面は、そこで使用される環境のリアリズムです。

本日、当社の新しいシーン再構築アプローチであるPRISM-1を発表できることを嬉しく思います。これは、シミュレーション環境のリアリズムを向上させ、次世代のGhost Gymシナリオを強化します。

動的な都市シーンのシミュレーションにおける課題

自動運転のための都市環境のシミュレーションは、多くの課題を提示します。 おそらく最も困難な技術的課題であり、安全性という観点から最も重要なのは、歩行者、自転車利用者、車両など、予測不可能な行動と多様な外観を示す動的要素を正確に表現することです。 特に歩行者は、変形可能で関節のある形態を持ち、しばしば多様な服装をしています。さらに、都市環境は、変化する天候、移動する歩行者の群れ、変化する信号機、車両のブレーキランプや方向指示器、反射や影などの環境要因といった多くの動的な条件によって特徴付けられます。

従来、シーングラフは、空間的および意味的関係に基づいてシーン要素を階層構造で整理するために使用され、各ノードはオブジェクトを表し、エッジがそれらの相互接続を定義します。この方法は、要素のモジュール式操作を可能にし、全体構造を変更することなく特定の調整を可能にします。その有用性にもかかわらず、シーングラフは、動的な相互作用や複雑な環境条件（移動するグループや可変照明など）に苦戦し、特に密集した都市環境では要素の完全な分離が非現実的なシナリオをシミュレーションする際の限界を露呈する可能性があります。そのモジュール式アプローチに根ざしたこれらの限界は、より複雑なシーンでエラー伝播と複雑さの増加につながります。

これらの課題を克服するには、より適応性が高く柔軟なシミュレーションへの移行が必要であると当社は考えています。

当社の革新的な自動運転のエンドツーエンドアプローチに基づいて、複雑な環境を理解し表現するための新しいアプローチを導入しています。このアプローチは、多様で動的な環境におけるシミュレーションを大幅に強化し、自律システムが複雑な都市景観とどのように相互作用し、対応するかを変革します。

PRISM-1の紹介

PRISM-1は、4Dシーン再構築における大きな進歩を表します。

最小限のエンジニアリング作業で複雑で動的なシーンの再シミュレーションを可能にし、汎用性とスケーラビリティを重視しています。

1. 自己教師ありシーン分離：PRISM-1は、シーン内の静的要素と動的要素を自己教師ありで分離します。これにより、明示的なラベルや事前定義されたモデルの必要がなくなり、追加のセンサーや明示的な3D情報なしで、さまざまなカメラ設定に簡単に汎化できます。
2. 柔軟なフレームワーク。PRISM-1は、都市環境で一般的に見られる多様な要素を効率的に処理します。車両（ブレーキランプ、方向指示器、さらにはワイパーを含む）、自転車利用者、歩行者などの移動要素、およびさまざまな照明条件下での信号機などの可変的に現れるオブジェクトをモデル化できます。PRISM-1はまた、路上の破片、風に舞う葉、トンネルで遭遇する変動する光と反射などの一時的なシーン要素も捉えます。
3. スケーラブルな表現。PRISM-1は、シーンの複雑さが増しても効率を維持します。エンジニアリング作業を最小限に抑えるだけでなく、従来のモデリング技術から通常発生するエラーの伝播も抑制します。

PRISM-1は、私たちが日常的に道路で遭遇する多様なシナリオ全体で効果的にスケールする柔軟な表現を提供します。詳細で高忠実度のシーンを再構築するその能力は、自動運転の動的な世界におけるクローズドループシミュレーションとモデルトレーニングの厳格な要求を満たします。これにより、大規模での迅速な反復が可能になり、運転シーンの再シミュレーションに焦点を当てながら、GAIA-1のような生成モデルはまったく新しいシナリオを生成するために使用されます。

PRISM-1は、幾何学的要素（深度、法線、オプティカルフロー）と意味的要素（セマンティックセグメンテーションや基盤モデルからの特徴など）を統合する帰納的バイアスを組み込むことで汎化を実現します。これは、明示的な3Dラベルなしで画像レベルの2D自己教師あり学習のみに依存しており、追加のセンサーなしで任意のカメラリグ全体にPRISM-1を汎化させることができます。

PRISM-1は、シーンフローを暗黙的に推論し、幾何学的整合性を維持することで、シーン内の変化を正確に理解し表現します。これにより、シミュレーションの信頼性と有効性が向上し、多様で複雑なシーンを処理する上で不可欠です。

新規視点合成

このセクションでは、PRISM-1のさまざまな条件下での能力を紹介し、観測されたカメラパスからの逸脱に焦点を当てます。具体的には、追加のセンサーに依存することなく、環境を走行する車両によってキャプチャされたまばらな画像セットからシーンを再構築します。部分的に見られた、または見られていない視点からのこの再構築は、自動運転アプリケーション用のシミュレーターを構築する際に不可欠です。当社のシミュレーションの主な用途は、異なる動作を示す、または安全上重要な状況を含むクローズドループシナリオで新しいモデルをテストすることであり、これは元のセンサーデータで観測されたパスから逸脱する視点をレンダリングする必要があります。

私たちは通常、移動する車両、歩行者、自転車利用者を含む動的なシーンに遭遇し、それぞれが単一の視点からのみキャプチャされます。さまざまな任意の瞬間に異なる視点からこれらのシーンを再構築することは、大きな課題を提示します。PRISM-1は、シーン要素の外観の時間的変化を特定し追跡することに優れています。車両を剛体で静的なエンティティとして扱う従来のオブジェクト中心のシミュレーションとは異なり、当社のアプローチはそれらの動的な性質を認識し、方向指示器の使用や急ブレーキなどの重要な動作を捉えます—ドライバーや自律システムにとって重要な信号です。PRISM-1は、信号機の変化やブレーキランプの作動を正確にシミュレートでき、現実的な運転シミュレーションに不可欠です。さらに、一時的な照明のアーティファクトや反射を効率的に処理し、さまざまな照明条件や環境の視覚的変化への適応性を示します。

以下の例では、カメラパスを2つの方法で変更することにより、PRISM-1がさまざまな視点からシーンを再構築する能力を示します。「時間の凍結」が発生すると、自車は時間的に固定されたままになり、カメラを左右にパンしてさまざまな角度からシーンを表示します。「位置の凍結」が発生すると、自車は空間的に静止したままになり、周囲の世界が時間的に前後に移動するのを観察します。

以下の例では、信号機、歩行者、車両、およびブレーキランプやワイパーなどの属性を含む、非常に動的なシーンを再構築します。

車、歩行者、ゴミ、箱などで混雑した賑やかな都市の通りの構成を完全に定義することは、事実上不可能です。PRISM-1は、これらの複雑でユニークなシナリオ—業界が「ロングテール」と呼ぶもの—を、モデルの複雑さを増すことなく効果的に処理します。

以下の2つの例では、3D再構成、深度、および3D速度の出力を合成して表示しています。

今後の展望

上記のシナリオは、PRISM-1が多様で任意の運転シーンにおける複雑なダイナミクスをモデル化する能力を示しています。すべてのビデオが、他のエージェントの実際のダイナミクスを正確に反映する再シミュレーションであることに注意することが重要です。再シミュレーションは自動運転のシミュレーションにとって不可欠であり、当社は可能でスケーラブルなものの限界を押し広げ続けています。

反事実と、さまざまな方法でシステムを調査することも、当社のシミュレーション能力の非常に重要な側面です。この例では、歩行者を含むシーンを再構築し、その後、歩行者を削除できることを示します。