世界モデルと運転ポリシーの学習

模倣学習は、機械学習モデルが特定のタスクにおいて人間の行動を模倣することを可能にする手法です。一例として、人間のドライバーによって収集されたエキスパートのデモンストレーションから、都市環境での車両の運転を学習することが挙げられます。人間のドライバーによって収集されたデータには、世界に関する共通の知識が暗黙的に含まれています。この知識を考慮するために、私たちは世界モデルを構築することが不可欠であると考えています。運転モデルに世界モデルを組み込むことは、モデルが学習対象である人間の意思決定を適切に理解し、最終的に、より多くの現実世界の状況に一般化できるようにするための鍵となります。

未来予測および運転の夢想（dreaming about driving）に関する当社の研究に基づき、論文「Model-Based Imitation Learning for Urban Driving」において、世界モデリングと模倣学習を組み合わせたMILEと名付けられたアプローチを提案します。MILEは、オフラインの運転データのコーパスから、世界モデルと運転ポリシーを共同で学習します。MILEは、多様で妥当な未来を想像・可視化することができ、この能力を利用して将来の行動をどのように計画するかを想像することも可能です。当社のモデルは、CARLA運転シミュレーターにおいて最先端の性能を達成しました。従来の手法に対する最大の改善（運転スコアの35%向上）は、新しい町や未経験の気象条件下で当社のアプローチを導入した際に観察されました。この結果は、MILEがいかに従来の手法よりも優れた一般化を達成できるかを強調しています。

モデルアーキテクチャ

MILEの主な構成要素は以下の通りです。

• 観測エンコーダー 自動運転は、静的な環境や動的なエージェントについて3Dで推論する必要がある幾何学的な問題であるため、まず画像の特徴を3Dにリフトアップします。次に、事前定義されたグリッドを使用して、3D特徴ボクセルを鳥瞰図（BEV）にサムプーリングします。ボクセル特徴をBEVにサムプーリングした後でも、BEV特徴の高次元性は確率的世界モデルにとっては過剰です。そのため、畳み込みバックボーンを使用して、BEV特徴をさらに1次元ベクトルに圧縮します。
• 確率的モデリング 世界モデルは、事前分布（実行されたアクションの後に何が起こるかの推測）の分布を事後分布（実際に何が起こったかの証拠）に一致させるように学習されます。
• デコーダー 観測デコーダーとBEVデコーダーは、StyleGAN [Karras et al. 2019] に似たアーキテクチャを持っています。予測は学習された定数テンソルとして始まり、最終的な解像度まで段階的にアップサンプリングされます。各解像度において、潜在状態は適応的インスタンス正規化（AdaIN）を用いてネットワークに注入されます。これにより、潜在状態が異なる解像度で予測を調整できるようになります。さらに、運転ポリシーが車両制御を出力します。
• 時間的モデリング 時間は、潜在的なダイナミクスをモデル化するリカレントネットワークによってモデル化され、前の潜在状態から次の潜在状態を予測します。
• イマジネーション（想像） 観察された過去のコンテキストから、モデルは未来の潜在状態を想像し、それらを使用して運転ポリシーを用いたアクションの計画と予測を行うことができます。未来の状態は、デコーダーを通じて可視化および解釈することも可能です。

過去の観測から、当社のモデルは妥当で多様な未来を想像し、予測された未来に基づいて異なるアクションを計画することができます。MILEが交差点に接近する例でこれを実証します。信号は青で、前方の車両に追従しています。

多様で妥当な未来の予測

「予測シナリオ1」では、信号は青のままです。MILEは正しく運転の継続を決定し、前方の車両に追従します。

上記の可視化では、以下を示しています。

• カメラ観測（モデルへの入力）
• 正解（グラウンドトゥルース）の鳥瞰図セグメンテーション（モデルへの入力ではない）
• 予測された鳥瞰図セグメンテーション
• 車両制御（モデルからの出力）

セグメンテーションの可視化において、灰色は走行可能領域と車線境界線、黒色は自車、青色は他車、水色は歩行者を表します。信号機の停止線は交通方向に垂直な線で表され、線の色は信号機の状態を表します。カメラ観測と正解セマンティックセグメンテーションが静止したときは、モデルが（観察された過去に基づいて）制御アクションの計画と、それぞれの未来の状態の想像を開始したことを示します。10秒間の予測アクションと未来の鳥瞰図セグメンテーションが表示されます。

「予測シナリオ2」では、モデルは信号が青から黄、そして赤に変わることを想像します。代替の未来ではありますが、モデルは依然として信号の状態に正しく反応しています。また、自車の前方の車両が時間内に停止線を通過し、交差点を通り抜けたことも確認できます。

興味深いことに、MILEが交差点における信号機のロジックを理解していることがわかります。最初の例では、自車の信号が青である間、交差点の別の分岐路の信号は赤です。2番目の例では、自車の信号が赤に切り替わった後、別の分岐路の信号が青になることが確認できます。

車両の制御

MILEは、他車や歩行者の動き、自らの行動の結果、そして世界の状況など、潜在的な未来を想像する能力を持っています。この能力により、当社のモデルは可能性について推論し、最適で最も安全かつ効果的なアクションを選択することができます。この能力によってモデルの基本的な運転性能が向上し、以下の例に示すような高度な状況にもうまく対処できることがわかりました。

歩行者のための停止

当社のモデルは歩行者のために2回停止します。1回目は信号が青になったとき、2回目は右折するときです。

急カーブの走行

交通状況に合わせた減速と赤信号での停止

この例の前に、モデルは学習中に夜間の運転にさらされたことがなかったことに注目してください。それにもかかわらず、一般化して、交通状況に合わせた減速や赤信号での停止といった都市部の交通シナリオに対処することができています。

イマジネーションの中での運転

妥当な未来を想像し、それに応じてアクションを計画するMILEの能力により、モデルはイマジネーションの中で車両を制御することが可能になります。これは、モデルが世界の最新の観測データにアクセスすることなく、車両を正常に制御できることを意味します。これは、現実世界でドライバーが太陽の眩しさや、くしゃみなどによって一時的に視界を失う状況に似ています。どちらのシナリオでも、人間のドライバーは世界を観察する能力を失いますが、それでも車両を制御することは可能です。予測の威力と正確さをさらに実証するために、カメラ観測ではなく、想像された未来の状態のみでモデルを強制的に運転させます。この極限のプレッシャーテストにおいても、当社のモデルは安全かつ効果的に運転し、オートバイを避けるための回避、他車の後ろでの停止、ラウンドアバウトの脱出といった操作を実行できます。これらの例は、想像された未来が単に現実的で妥当であるだけでなく、安全で効果的であり、実際の運転に即座に役立つものであることを示しています。

以下の例では、MILEが新しい観測を取得する可能性を排除することで、この環境認識能力の喪失をシミュレートしています。このモードとデフォルトのモードを2秒ごとに切り替えます。MILEがイマジネーションの中で計画されたアクションを実行している間、ビデオには「IMAGINING」という文字が表示され、カメラ観測はセピア色になります。

他のエージェントの後ろでの停止

当社のモデルは、静止しているエージェントのために減速して停止する必要性を予測し、想像された状態とアクションからこの計画を実行します。

青信号での発進

この例では、赤信号で停止しています。青信号に変わると同時にイマジネーションモードに切り替わり、想像された計画から交差点を正常に通過します。

ラウンドアバウトの通過

当社のモデルは、このラウンドアバウトにおいて複雑な運転操作を実証しています。

停止線での一時停止

ここでMILEは停止線で一時停止し、その後に運転を再開しており、時間的メモリの証拠を示しています。

オートバイを避けるための回避

この最後の例では、当社のモデルは、突然自車線に進入してきたオートバイを正常に避けるための操作を予測しています。これは、MILEが動的エージェントの将来の動きを推論し、それに応じて計画を立てられることのさらなる証拠です。

結論

世界モデリングは、Wayveが機械学習を用いて自動運転の問題を再構築している方法の一つです。当社のテクノロジーを独自のものにしているのは、AI、より具体的にはエンドツーエンドのディープラーニングを活用して車載の「運転インテリジェンス」を開発し、あらゆる電気自動車が、これまで一度も訪れたことのない場所でさえも自律走行できるようにしている点です。それは人間が運転を学ぶ方法とよく似ていますが、より高い信頼性と安全性を備えています。当社のテクノロジーは膨大な運転データで学習されており、運転性能を継続的に向上させ、道路上の変化にシステムを適応させることができます。当社は、全国の公道で電気自動車や小型商用バンを用いた日々のテストを通じて、AI搭載テクノロジーの可能性を示しています。当社はテクノロジーをスケーラブルに設計しており、世界100都市で最初に導入することを目指しています。

arXivで研究論文の全文を読む​​

GitHubでソースコードをチェックする​​