自律走行性能の測定 第3回：路上における自律走行の評価

導入前の性能評価

新しいモデルやソフトウェアを路上に導入する際、私たちの最優先事項は常に安全性です。不完全なモデルを車両に導入することは、セーフティドライバーだけでなく、他の道路利用者をも危険にさらす可能性があります。そのため、私たちは常に厳格な運転免許（Driver Licensing）パイプラインを通じてモデルを検証し、このリスクを可能な限り排除しています。

性能の低いモデルを路上に導入することは、コスト面でも非効率です。セーフティドライバーの時間を浪費するだけでなく、データの収集や他のモデルの評価に充てられるはずの車両の貴重な稼働時間を奪うことになります。

ライセンスを発行する前に、私たちは以下のようないくつかの異なるタイプの評価を実施しています。

1. オフライン評価
2. 決定論的シミュレーションシナリオ
3. 大規模ランダムシミュレーションシナリオ
4. 再シミュレーションおよび回帰テスト

オフライン評価は、トレーニング終了後に得られる最初の検証データポイントです。これには、トレーニング中に使用していないテストデータセットを用いてモデルを分析し、認識性能と動作計画性能の両方の指標を測定することが含まれます。

決定論的シミュレーションシナリオは、固定されたシミュレーション環境のセットであり、走行インテリジェンスチームが仮想環境で走行ポリシーを迅速に反復開発するために使用されます。決定論的なシナリオの「ジム」を作成することで、アイデアやモデルを直接比較することが可能になります。シミュレーションは、クローズドループ走行をテストする最も速い方法です。

大規模ランダムテストは、シミュレーション環境内のさまざまなパラメータを調整し、シナリオごとに数千回のシミュレーションを実行することで、クローズドループモデルの性能を定量的に把握するために使用されます。私たちは、運行設計領域（ODD）に適合するよう、あらゆる静的、動的、および環境条件を網羅することを目指しています。これは、仮想世界生成に対する当社の完全なプロシージャルアプローチによって実現されています。

再シミュレーションおよび回帰テストは、実世界での失敗事例のカタログから作成されます。記録された走行ログを処理して再シミュレーションすることで、実世界での失敗をシミュレーション上で再現できます。失敗を正しく再シミュレーションできれば、そのケースを回帰スイートに追加し、新しいモデルが二度と同じ間違いを犯さないことを検証できます。

自律走行機能テスト

路上に出た後、最初に実施するテストは「自律走行機能テスト（AFT）」と呼ばれるものです。このタイプのテストは、機械学習エンジニアによる新機能の開発を支援するために設計されています。

ここでの「機能」とは、新しいセンサー入力から、新しいモデルアーキテクチャの変更、あるいは新しいトレーニングデータセットまで、あらゆるものを指します。これらのテストは通常、総走行距離が短く、外部要因の影響を可能な限り最小限に抑えるため、厳しく制限された運用ドメイン内での動作検証に焦点を当てています。

AFTは、路上導入におけるリスク管理の不可欠な第一歩です。私たちは、以下のようないくつかのシンプルな問いに答えることを目的としています。

定性的に見て、モデルの挙動はシミュレーションで確認したものと一致しているか？

より広いドメインのシナリオにわたる長時間の定量的評価に移行する前に、期待される走行挙動全体に、車線内でのふらつきや不安定なステアリング操作などの予期せぬ副作用がないことを確認する必要があります。また、これらのテストによって、シミュレーションにはまだ追加されていない新しいエッジケースや失敗シナリオが見つかることもよくあります。

AVオペレーションチームは、さらなるテストの継続に同意しているか？

実世界での大規模な評価を継続することが安全かつ有益であると判断されているか？

評価セットテスト

モデルが最初の2つの段階を通過すると、完全な定量的評価のためのライセンスが付与されます。これには以下の要素が組み合わされます。

1. 事前定義されたルートでのテスト
2. 任意の走行探索によるテスト
3. 特定のシナリオや様々な天候・照明条件を能動的に評価するためのターゲットテスト

この実世界評価の目的は以下の通りです。

1. モデルを比較する際に、有意義な統計的推論を行うのに十分な走行データを収集すること
2. 幅広いシナリオでテストを行い、運行設計領域（ODD）全体における性能の全容を把握すること
3. 学習のためのエッジケースをターゲットにし、必要に応じて失敗箇所を特定すること

性能指標に必要なデータの種類はすでに把握しているため、必要なサンプルサイズに達するように、セーフティドライバーに指示して必要に応じて反復的にデータを収集させることができます。

ここで、ODDレベルの指標が、エッジケースや失敗モードをターゲットにする際に真価を発揮します。ルートごと、あるいは介入までの距離といった全体的な指標しかない場合、失敗モードをターゲットにすると指標が悪化してしまいます。管理上、これを避けるようなインセンティブが働いてしまいます。

ODDごとの指標で運用しているため、指標の変化が以下のどちらによるものかを区別できます。

1. 性能の向上
2. ODDの拡大

モデルはこのフェーズで数週間、あるいは数ヶ月を費やすこともあります。最終的に、指標を算出し、自律走行の進捗グラフを追跡し、科学的な厳密さをもって実験を行うのに役立つのは、この評価セットのデータです。

結論

「自律走行性能の測定」シリーズをお楽しみいただけたでしょうか。Wayveが自律走行の性能と安全性の測定という課題に対してどのように取り組んでいるか、より深くご理解いただけたかと思います。しかし、ここにある概念や実装の詳細は、この技術の構築に必要なことを学び続ける中で、常に進化しています。データサイエンス、シミュレーション、そしてスケールアップに向けた体制についての深掘りなど、今後のブログ記事にもご注目ください。

いつものように、ご意見やフィードバックがございましたら、ぜひお気軽にお問い合わせください。皆様からのご連絡をお待ちしております。