エンドツーエンド深層学習によるドライビングインテリジェンスの新たな挙動

当社は、コンピュータービジョンで周囲の世界を理解し、模倣学習と強化学習で運転を学習するようにシステムを訓練しています。この例では、当社のドライビングインテリジェンスは、複雑な車線配置をナビゲートし、赤信号を無視して走行する車を避け、人間のような自信を持って歩行者のそばを通過することができています。この道路をマッピングしたり、この挙動を誘発するようにシステムを明示的に指定したりしたわけではありません。これは単に、当社の自然な運転データに存在しているのです。これこそが深層学習が達成できることです。

エンドツーエンド深層学習とは？

当社は、感覚入力からモーションプラン出力まで、エンドツーエンド深層学習で運転を学習します。階層的な抽象化レイヤーを形成し、勾配信号を全体にわたって利用することで、ニューラルネットワーク全体を最適化することができます。当社のシステムへの入力は、6台の単眼カメラからのビデオストリームと、いくつかの補助的な感覚情報および通常のカーナビ情報です。当社のニューラルネットワークは数千万のパラメーターを含み、モーションプランを回帰するように学習し、コントローラーが車両上でこれを実行することができます。

さらに、開発、解釈可能性、安全性検証のために、いくつかの中間出力を生成します。これらの中間表現は、モデルで直接使用される特徴ではなく、補助出力および学習ターゲットとして中間潜在状態からデコードされます。これにより、高次元表現の柔軟性を維持しつつ、追加の学習信号と意味的帰納バイアスを提供することでパフォーマンスを加速させます。これらの補助出力の一部はラベル付きデータ（セマンティックセグメンテーションと交通信号状態検出）から学習されますが、ほとんどは自己教師あり学習であり、利用可能な膨大な量のラベルなしデータ（例：深度、幾何学、動き、将来予測）から直接取得されます。

当社は、マルチタスク学習により、様々な信号とデータソースから学習します。

• エキスパートポリシーデータからの模倣学習
• オンポリシーテスト中のセーフティドライバーの介入からの強化学習
• 介入後のセーフティドライバーによる修正措置
• オフポリシーデータからのダイナミクスと将来状態予測のモデリング
• 教師あり学習と自己教師あり学習を用いた、セマンティクス、動き、幾何学の中間コンピュータービジョン表現

これらの学習目標を組み合わせ、ペタバイト規模の運転データから学習することを、私たちはフリート学習と呼んでいます。ここから、ラベル付けされたセグメンテーションデータの必要性を減らすために、例えば教師なし物体発見や対照学習による類似性の手法を用いるなど、より多くの自己教師ありアプローチを展開することで、豊富なラベルなしデータからさらに多くのものを引き出すつもりです。

なぜエンドツーエンド深層学習は自律走行に適したアプローチなのか？

自律走行、特に複雑な都市環境での自律走行は、非常に困難なタスクです。入力は複雑で高次元であり、安全性に対する要求は高く、堅牢性が必要とされます。また、豊かで複雑な都市環境では、知覚と挙動の両方において強力な汎化能力が求められます。このタスクに深層学習よりも適した技術は、世界に存在しないと認識しています。

これまで、深層学習はデバッグが困難で、膨大な量のデータを必要とするため、スケールアップが難しいという課題がありました。しかし、Microsoft Azureとのパートナーシップと、フリート規模のデータを蓄積する戦略、そして機械学習分野における急速かつ豊富な進歩のおかげで、今こそこの課題に取り組むべき時だと感じています。私たちは、完全に学習駆動型の手法が自律モビリティの未来を担うと信じており、ここで共有する進捗は、その短期的な商業的実現可能性に対する強力な証拠となります。

特に、この方法の利点には以下が含まれます。

• スケーラブルなユニットエコノミクス。車両上のモデル推論に必要な計算リソースとセンサー要件は少なく、コストの大部分は深層学習モデルの大規模なトレーニングに移行されます。
• HDマップのコストなしで運用できるため、スケーラビリティと適応性が飛躍的に向上します。主にロンドン中心部での経験にもかかわらず、英国のどの都市でも運用可能です。
• 学習を通じて、人間のラベリングやモーションプランの手作業による作成は不要です。例えば、以下の動画では、二重駐車車両検出システムを設計することなく、二重駐車車両を通過することを学習しました。
• 複雑性の規模に応じてパフォーマンスが向上します。より多くのデータを得たり、より多くのエッジケースを経験したりしても、当社のシステムはルールベースのシステムのように脆くなることはありません。むしろ、当社のシステムは深層学習によってより一般的な概念を抽象化できる、より良い表現を最適化し、結果として汎化能力と運転知能が向上します。

どのような挙動を学習できるのか？

当社は、Microsoft Azure上で、多数のGPU計算ノードを用いた分散学習により、数億のデータポイントを使用してドライビングインテリジェンスを訓練しています。この規模のデータにより、多くの人間がストレスを感じるような運転タスクにおいて、当社のシステムが信頼できる挙動を示すようになりました！特に素晴らしいのは、道路工事のナビゲート、信号機への反応、二重駐車車両の回避など、これらの挙動を実装するために個別のルールやポリシーを手作業で作成する必要がなかったことです。むしろ、当社のエンドツーエンド学習アプローチは、トレーニングデータからこれらのシナリオに汎化することを学習しました。

もちろん、自律走行には知能のデモンストレーション以上のものが必要であり、反復的な堅牢性の統計的証拠が求められます。当社の自律走行車の性能をどのようにテストし測定しているかについては、こちらのブログシリーズをご覧ください。当社のシステムが許容できるほど安全であることをどのように保証しているのでしょうか？安全性に関する戦略については、近日中にさらに詳しく共有する予定です。