シミュレーション学習、実走行

当社のプロシージャル生成によるシミュレーション環境。

シミュレーションの活用は、現実世界ではコストがかかる、危険である、あるいは稀な状況において経験を積むための強力なアプローチです。例えば、未来の外科医は実際の患者だけでなく、シミュレートされた患者に対しても厳格なトレーニングを行うようになるでしょう。シミュレーションでは、ミスのコストは無視できるほど小さく、貴重な教訓となりますが、実際の患者の場合、ミスは生死を分ける可能性があります。研修医がシミュレートされた手術環境で実際にトレーニングすることと、試験を通じてその環境でテストされるだけであることの間には、微妙ですが重要な違いがあることに注意してください。

同様に、自動運転車がシミュレーションで稀なエッジケースへの対処を広範囲に学習していることを望まないでしょうか？ ほとんどの自動運転車開発企業は、システムの検証のためにシミュレーションを使用しています。当社はシミュレーションで車の運転を学習させ、その習得した知識を現実世界へと転移させています。

当社のエージェントは、現実世界でのデモンストレーションなしに、シミュレーションで運転を学習しました。

その後、これまで見たことのない実際の道路を走行しました。

これは、他の交通主体が限られた比較的交通量の少ない道路での第一歩に過ぎませんが、その結果は注目に値するものだと確信しています。例えば、トレーニングのために構築したシミュレーターの世界は、ランダムに生成されたプロシージャルなコンテンツを含むカートゥーンのようなレンダリングであり、テストを行った道路とはいかなる意味でも一致していません。当社のテスト環境には、シミュレーション環境で見られる多様性をはるかに凌ぐ、異なる道路タイプ、照明、天候条件を備えた都市部と農村部の両方の走行が含まれています。それにもかかわらず、学習した知識は、現実世界に存在するさらなる多様性に対処し、汎用化することができました。

当社のエンドツーエンドのゼロショット・フレームワークは、画像変換と行動クローニングを組み合わせています。

シミュレーションと現実世界を2つの異なるドメインとして扱うのではなく、両方を組み合わせるフレームワークを設計しました。これにより、現実のデモンストレーションを一度も見ることなく、シミュレーションでステアリング・ポリシーを学習させながら、現実世界でも同様の挙動を示すことが可能になります。

両方のドメインをどのように橋渡しするかについての詳細な見解として、当社のモデルは、もともと画像変換に使用されていた一対の畳み込み変分自己符号化器（VAE）スタイルのネットワーク（Unsupervised Image-to-Image Translation Networks, UNIT）で構成されています。このモデルは、画像をまず共通の潜在空間Zにエンコードし、次に別のドメインへとデコードすることで、あるドメインから別のドメインへと画像を変換します。モデルのこの部分は、CycleGANに似たドメイン固有の識別器とサイクル一貫性のある再構成損失を用いて、それぞれのドメインの外観に一致するように最適化されています。

2つのドメイン間に既知の整合性や対応関係がなくても、モデルはそれらの間を変換できます。以下は、ケンブリッジの通りの正確な再現に近いものを全く見ていないにもかかわらず、シーンの主要なレイアウトを捉えている例です。現時点では当社のシミュレーション環境に他の動的なエージェントが含まれていないため、前方の車の変換が不自然であることに注意してください。

運転を容易にするために、シミュレートされた道路を走行する車両のステアリング制御cを予測するという補助的なタスクでUNITフレームワークを拡張しました。ここでは、潜在表現を制御ベクトルにマッピングするために追加のデコーダー・ネットワークが使用され、シミュレーションのラベルから教師あり学習が行われます。画像変換器とコントローラーの共同トレーニングを通じて、モデルは現実世界からの明示的な制御ラベルを必要とせずに、現実ドメイン由来の画像で操舵できる制御ポリシーを学習します。詳細は当社の論文をご覧ください。

運転の学習において、シミュレーターの視覚的な忠実度は最優先事項ではないことに注目してください。当社のシミュレーション世界はカートゥーンのようであり、市場にある最新のドライビング・ビデオゲームのような芸術的な細部には遠く及びません。つまり、フォトリアルである必要はないのです。フォトリアリズムよりも、コンテンツの忠実度の方がはるかに重要です。しかし、他のエージェントの行動を効果的にシミュレートすることは重要であり、依然として大きな課題です。

現実世界はまた、私たちがシミュレートできるものよりも大幅に多様で複雑です。これはしばしば「リアリティ・ギャップ」と呼ばれます。ブログ記事「Dreaming About Driving」では、現実世界のデータから直接シミュレーターを構築することが、リアリティ・ギャップを埋めるのに役立つことを示しました。しかし、そこには別の問題があります。収集された走行データのみに基づいて構築されたシミュレーターには、私たちが克服したいエッジケースそのものが欠けてしまうのです。

今後は、現実世界の走行データと慎重に設計されたエッジケースのシミュレーション・シナリオの両方を活用し、自律型エージェントのトレーニングに最適な走行環境を構築しなければなりません。

論文全文をダウンロード

特別な感謝を込めて

素晴らしいロボット車両を製作していただいたStreetDrone社、および車両試験の保険を引き受けていただいたAdmiral社に感謝いたします。