Ghost Gym：自動運転のためのニューラルシミュレーター

画像内では、自車（エゴビークル）はグレーで表示されています。

シミュレーションへのデータ駆動型アプローチ

ロンドン中心部のような複雑な都市環境で自動運転車（AV）をテストする場合、同じ走行は二度とありません。—同じ通りであっても、瞬間ごとにシナリオは変動します。そのため、AV技術の開発と安全性の確保には、テストと検証に対する多角的なアプローチが求められます。

従来の路上テストは貴重な洞察を提供しますが、モデルをA/Bテストするための制御された環境を提供することはできず、運用上のリソースも大量に消費します。さらに、多くの「エッジケース」シナリオは、路上でテストするには稀すぎるか、あるいは危険すぎます。シミュレーションはこれらの課題の解決に役立ち、実世界でのテストを強力に補完するものとなります。「オフロード」評価では、特定の走行シナリオを再現して、制御された仮想環境内でモデルのデバッグや評価を行うことができます。さらに、シミュレーションは大規模な合成データの生成をサポートしており、数千もの多様な走行シナリオを活用して包括的なテストとトレーニングを行うことが可能です。

Wayveでは、リアリズム、制御性、多様性、拡張性を高めるために、シミュレーション技術の継続的な改善と拡張を行っています。当社のDNAに忠実に、制御可能でフォトリアルなシミュレーターを確立するための学習ベースのアプローチを模索しています。当社のAIモデルが実世界でどのように運転するかを正確に表現する高品質なシミュレーションを構築するという課題を克服するため、Wayve Infinityなどの従来のプロシージャルベースのシミュレーションツールを進化させ、ニューラルレンダリングの進歩を取り入れました。

本ブログでは、安全で制御された仮想環境において、エンドツーエンドのAIドライビングモデルを効率的にテスト・検証するために、当社のクローズドループ・データ駆動型ニューラルシミュレーターであるGhost Gymをどのように活用しているかについて解説します。

ニューラルレンダラー

Neural Radiance Fields（NeRF）およびその他の同様のニューラルレンダリング技術に関する研究の爆発的な増加は、合成データ生成の分野にパラダイムシフトをもたらしました。WayveのAVがロンドンを走行するたびに、キャプチャされたセンサーデータから、空間と時間の異なる地点でレンダリング可能な世界の4D表現を学習します。実際の走行データからこの世界表現を学習することで、シーンの特性を高い精度とリアリズムで捉え、実世界とシミュレーション世界の間のドメインギャップを狭めています。

対照的に、従来のシミュレーション技術は、視覚的および物理的にリアルにすることが困難な、手作業による膨大なアセットとルールを必要とします。運転のためのMLベースのアプローチがルールベースの手法を凌駕しつつあるのと同様に、学習されたシーン表現は非常に優れたパフォーマンスと拡張性を備えていることが証明されています。

猛烈なペースで研究が続く一方で、現在の手法からプロダクション環境での価値を引き出し始めています。すでに幅広いシナリオを高い精度とリアリズムでシミュレートすることができており、これにより幅広いシナリオにわたって当社の技術を検証し、開発サイクルを加速させることが可能になっています。

高忠実度のシミュレートされたロボット

クローズドループ・シミュレーションにおいて、過小評価されがちですが同様に重要な側面は、ロボットの内部システムのモデリングです。実世界のシナリオでは、モデルの推論や制御メカニズムからドライブ・バイ・ワイヤ・システムに至るまで、ロボット内のさまざまなプロセスが異なる周波数で非同期に動作しており、シミュレーションにおいて細心の注意を払って複製しなければならない複雑なシンフォニーを奏でています。当社のデータ駆動型アプローチに従い、システムは実際の走行から生のセンサーデータとログを収集し、これらの非同期プロセスをオフラインで処理することで、ロボットを可能な限り正確にシミュレートします。

上の図は、このプロセスの簡略化された図であり、4つのコンポーネントのみを示しています—当社のエンドツーエンドAIドライビングモデル、単一のカメラ、コントローラー、およびドライブ・バイ・ワイヤ・システムです。

実際の走行において、これらのセンサーやコンポーネントが動作する際、すべてのイベントのタイミングに関する情報をログに記録することで、これらの非同期プロセスを決定論的な方法で再生することが可能になります。これらのプロセスのモデリングは、実世界で起こることに最も近い運転行動を再現するために不可欠であり、Ghost Gymのシミュレーションに対する高い信頼性をもたらします。

正確な車両ダイナミクスモデル

まず合成センサーデータを生成し、それを高忠実度のロボットエミュレーターに供給して目的のアクションを生成することから始めました。このクローズドループ・シミュレーションの最後のピースとして、シミュレートされた自車のアクションが環境とどのように相互作用してシミュレーション状態を更新するかを慎重に指定する必要があります。

正確な車両ダイナミクスモデルは、制御入力、外力、環境要因への応答など、車両の動きの複雑な物理特性を捉えます。このレベルの詳細は、ロボットのアクションが入力としてフィードバックされるクローズドループ・シミュレーションにおいて不可欠であり、フィードバックループが実世界で起こることを現実的に反映することを保証します。

これら3つのコンポーネント—ニューラルレンダラー、高忠実度のシミュレートされたロボットカー、および正確な車両ダイナミクスモデル—を連携させることで、Ghost Gymは堅牢な仮想テストグラウンドとなり、正確なシーン表現と正確な運転行動でAIドライビングモデルをテストできるようになります。

Ghost Gymを活用したAV2.0開発サイクル

Ghost Gymは、当社のAV2.0開発プロセスの複数のステップを支えています。モデルの失敗をオフラインで再現できることで、個々のコンポーネントの状態を深く掘り下げ、失敗の原因をより明確に把握できます。また、その後「ユニットテスト」を作成して、路上に出る前にモデルやロボティクススタックの回帰を検出することもできます。これらのテストの範囲を広げるために、多様な設定を組み込み、安全で制御された環境でモデルを広範囲に評価することが可能です。

路上でのモデル行動のオフライン再現

介入データは、当社の最も価値のあるデータ信号の一つです。これは、人間のセーフティオペレーターが手動運転による修正を行って車の行動を正したAVテストのセグメントから得られます。この人間によるフィードバックは、安全で有能なドライバーのように運転する方法について当社のモデルを調整するものであり、Ghost Gymで介入を再シミュレーションすることで、将来のモデルが同じエラーを繰り返さないようにすることができます。

以下は、路上テストからの介入の例です。ここでは、AIドライビングモデルが誰もいないゼブラゾーン（横断歩道）で過度に慎重になり、歩行者がいないのに減速しています。これは、走行中のモデルの速度プロットを見ることで確認できます。車両が自律走行しているときはプロットが緑色になり、セーフティオペレーターが車両の制御を引き継いだときは赤色になります。

Ghost Gymでは、特定の介入の4D表現を作成することで、この同じ失敗モードを再現できます。以下のビデオでは、Ghost Gym内で同じAIドライビングモデルを実行し、実際の走行からログに記録された車両速度と比較しています。緑と赤でプロットされた車両の実際の速度に加えて、Ghost Gymでこれを再生したときのシミュレートされたロボットの速度を青で確認できます。モデルがオフラインでも同様の減速行動を示し、青色のプロットが緑色のプロットと密接に一致していることがわかり、シミュレーターの忠実度が検証されています。また、修正ポイントを超えてシミュレーションを継続させることで、介入後にモデルがどのような行動をとったはずかも確認できます。

モデル開発のためのAV2.0ユニットテストの作成

歩行者がいないゼブラゾーンで不必要に減速するモデルを修正するため、当社のモデル開発者は、将来のモデルイテレーションにおいて速度維持の課題に対処することに焦点を当てました。同じ走行シナリオにおいて、より優れた速度の一貫性を確認するため、次のモデルイテレーションをGhost Gymでテストしました。

以下のユニットテストでは、Ghost Gymで走行する新しいモデルの速度を青色で、元のモデルのログに記録された速度を緑/赤のプロットで確認できます。新しいモデルの速度はセグメント全体を通して高く維持されており、このモデルが元のモデルと同じ問題を示していないことを示しています。Ghost Gymでのこのユニットテストにより、研究者は改善に取り組むべき具体的な失敗モードを迅速に把握でき、その後のモデルリリースのための回帰テストとして機能させることができます。

洞察のスケールアップ

上記では、単一のシナリオにおけるドライビングモデルの行動改善の例を示しました。これはデバッグと開発のための有用な第一歩ですが、当社はモデルを実行するための多種多様なシナリオを開発しています。これにより、モデルのパフォーマンスを包括的に測定することが可能になります。

大規模で制御されたシナリオのテストセットでモデルを評価することで、路上テストで可能な範囲をはるかに超えるスケールで、統計的な信頼性を達成できるレベルで異なるシナリオ間のモデルパフォーマンスを定量化し、比較することができます。これにより、大規模なデータに基づいてオフラインでドライビングモデルを検証し、そのパフォーマンスと安全性に高い自信を持つことができます。

以下は、再シミュレーションされた介入の追加例です。 これらの例は、前述のものと同様に、Ghost Gymでモデルの行動をオフラインで再現できる能力を示しており、さらなるユニットテストの作成を可能にします。簡略化のため、再現性の速度グラフのみを表示しています。各例の上には、元の介入の理由と、再現されたモデルの行動を記載しています。

例：ゼブラゾーン（横断歩道）

実世界での行動（緑/赤の線）：モデルが過度に減速したため、セーフティオペレーターが車両速度を上げるための修正を行いました。

再現された行動（青い線）：失敗の理由を再現することができ、修正がなければモデルが減速し続けていたであろうことがわかります。

例：右折

実世界での行動（緑/赤の線）：右折後にモデルが過度に減速したため、セーフティオペレーターが車両速度を上げるための修正を行いました。

再現された行動（青い線）：失敗の理由を再現することができ、修正がなければモデルがわずかに加速していたであろうことがわかります。

例：曲がりくねった道

実世界での行動（緑/赤の線）：この曲がりくねった道で車線を安全に維持するにはモデルの速度がわずかに速すぎたため、セーフティオペレーターが車両速度を下げて車線を維持するための修正を行いました。

再現された行動（青い線）：失敗の理由を再現することができ、修正がなければモデルが車線をわずかに踏み越えていたであろうことがわかります。

今後の展望

Wayveでは、今日のオフロード測定能力を向上させるGhost Gymのようなソリューションを製品化しながら、最先端技術の限界を押し広げ、イテレーションを続けています。Ghost Gymは、モデル開発のイテレーションサイクルを加速・強化できる高忠実度な再シミュレーションを開発するためのインパクトのあるツールであることがすでに証明されています。しかし、ニューラルレンダリングの分野には、レンダリング効率や光源推定など、依然として多くの未解決の研究課題が存在します。

私たちが追求している主な研究分野の一つは、歩行者、バイク、サイクリスト、その他の車両などの動的要素のモデリングです。これは、Wayveの内外を問わず、引き続き熱心な研究分野となっています。これらのエージェントの高レベルで反応的な行動を正確にモデリングすることは、Ghost Gymのクローズドループ・パフォーマンスに影響を与え、未解決の研究課題として残っています。私たちは、GAIA-1の世界モデリング機能を活用して、これらの反応的な行動をモデリングする方法を模索しています。生成的世界モデリングは、過去のコンテキストから異なる妥当な未来のシナリオを作成するための強力なツールにもなり得ます。

また、多様なデータソースや大規模データセットから学習して、シミュレーションの予測能力を高める強力な事前分布を形成するなど、他のアプローチも模索しています。最後に、ニューラルレンダリング技術が進歩するにつれて、それを使用して合成データを生成し、ドライビングモデルの改善、汎用化、および堅牢化を図っていきます。

今後のニューラルレンダリングに関するブログにご注目ください。そこでは、当社のアプローチにおける技術的側面と進歩に焦点を当てます。また、合成データに関するブログでは、開発プロセスを加速させるための分布外（out-of-distribution）合成データの生成アプローチについて詳しく説明する予定です。