安全なAIドライバーの構築

自動運転において、最も困難な状況は、しばしば誰も予期しなかったものです。駐車車両の陰から現れる自転車、予期せぬ道路の迂回、あるいは道路利用者間の見慣れない相互作用は、地図と事前定義されたロジックに基づいて構築されたシステムの限界を露呈する可能性があります。

Wayveでは、エンドツーエンドの具現化されたAIが、このロングテール問題を解決する異なる方法を提供すると長年確信してきました。それは、あらゆる運転状況を事前に記述しようとする一連のルールではなく、経験から学習することによってです。

この種のモデルは「ブラックボックス」であり、運転のような安全性が極めて重要なものには不適格であると仮定されることがよくあります。

その仮定は誤りです。

適切に設計されたエンドツーエンドの運転アーキテクチャは、設計に安全性を組み込み、重要な点で透明性を持ち、明確で独立して保証された安全責任を中心に組織化されながら、最高の人間ドライバーを安全にする判断力を学習することができます。

すべてのルールをプログラミングする代わりに、なぜ運転を学習するのか

運転を学習することは、私たちが解決しようとしている問題の一部に過ぎません。AIドライバーは、何が安全であるべきかも学習する必要があります。

最も安全な人間ドライバーは、ルールブックを暗記しているから安全なのではありません。経験によって、適切なマージンを保ち、状況の展開を読み取り、不確実な場合には減速することを学んだからです。

従来のモジュール型自動運転システムは、あらゆるケースに対応するルールとマップの増え続けるリストとして安全性を捉えようとします。これは狭い、ジオフェンスされた条件下では機能しますが、現実世界は曖昧さに満ちており、道路利用者間の非公式な駆け引きや、リストでは完全に予測できない稀なイベントの組み合わせが存在します。ある時点を超えると、ルールを追加することは能力と安全性の両方を制限する可能性があります。

大規模で多様な実世界の運転データから学習することで、運転モデルはこれまで見たことのない状況にも一般化できるようになります。ドライバーにとって、この一般化能力は単なる性能上の利点ではなく、安全性に関連する能力です。

安全性は後付けではなく、組み込まれている

多くの従来の設計では、運転モジュールが動作を提案し、別個のルールベースの「チェッカー」がそれを承認またはブロックします。

Wayveはその考え方の規律を維持しつつ、さらに踏み込んでいます。安全性は、AIドライバーがどのように判断するかの一部であり、後から適用されるフィルターではありません。あらゆる運転判断は、それが下される瞬間に、運転環境に存在するリスクの理解と、AIドライバー自身の自信の推定によって形成されます。

一つの場面、異なるタスク：「運転方法」と「何が安全か」の区別を維持する

AIドライバーは、実行者と検証者の分離モデルではなく、シーンの共通理解と、その中での明確に専門化されたタスクを組み合わせ、それぞれが運転の異なる側面を担当します。ここでは特に2つが重要です。

• 運転タスクは、どのように動くかを決定します。— 慎重な人が運転するように、スムーズで快適、交通ルールに準拠した行動を生み出します。
• リスク予測タスクは、今何が安全かを決定します。— その瞬間にどれだけの空間、時間、制動距離が必要かを判断します。

これらのタスクは両方ともエンドツーエンドで学習されます。それらの分離は、個別のニューラルネットワークやモジュールではなく、目的、評価、および展開の責任にあります。

これらを別々のタスクとして維持することは、意図的な安全選択です。これは、確立された2つの安全設計原則をサポートします。

• 機能的独立性。各タスクには独自の役割と目的があり、個別のトレーニング目標と評価プロセスがあるため、一方の弱点が自動的に他方を損なうことはありません。これにより、機能的独立性が提供されます。タスクが車載グレードのシステムオンチップ（SoC）上で実行される際にその独立性を維持することで、互いに干渉するのを防ぎます。これは安全エンジニアが「干渉からの自由」と呼ぶものです。これはISO 26262などの規格で確立された原則であり、ISO/PAS 8800に基づくAIベースの車両機能の保証にも関連しています。
• 補完的で多様な冗長性。タスクは同じシーンを異なる視点から評価します。一方は行動と意図について推論し、もう一方は幾何学と物理的限界に焦点を当てます。したがって、これらは確立された「実行者と検証者」の原則の学習版を提供します。2つの視点は重複ではなく異なるため、共通の原因によるエラーの影響を受けにくいです。

学習型安全性の可視化

Wayveは、リスク予測タスクを観測可能にするために、独自の学習型安全エンベロープ（LSE）を開発しました。安全エンベロープは、車両周辺のリスクをリアルタイムで視覚化し、AIドライバーがその瞬間にどの行動を安全または危険と判断し、どれだけのマージンが利用可能かを示します。

安全エンベロープは、手作業でラベル付けされたリスクや固定されたしきい値から構築されるのではなく、データからエンドツーエンドで学習されます。これにより、運転モデルの安全判断の重要な部分が観測可能かつ監査可能になります。エンジニアは、運転モデルが安全と見なしたものを検査し、その判断と結果として生じる運転行動を比較することができます。初期の結果は、安全エンベロープが路上での安全上重要な介入の大部分を軽減することを示しています。

これだけでは、完全な運転システムが安全であると証明されるわけではありません。これは、モデルの安全判断を検査可能な、安全性に関連する表現であり、車両の行動に対して評価され、より広範な安全証拠の本体に組み込むことができます。

固定されたルールベースのチェッカーとは異なり、安全エンベロープは状況に応じて反応し、状況が展開するにつれて必要なマージンがどのように変化するかを示します。

駐車車両の陰から現れる自転車を考えてみましょう。最初は自転車のほとんどが隠れています。自転車の頭が駐車車両の窓から見え始めると、車両前方に赤いゾーンが形成され始めます。AIドライバーは、自転車と自転車が完全に視認できる前に、すでにリスク評価を高めています。

これは、運転データから学習することの重要な利点を示しています。AIドライバーは、危険な状況が発展しているという部分的な証拠に反応することができ、完全なオブジェクトを特定して事前定義されたルールに一致させるのを待つ必要がありません。

AIドライバーが信頼できる時期を知る

3番目のタスクである自己認識は、他の2つを監督します。運転タスクとリスク予測タスクは両方とも、シーンの同じ共通理解に基づいています。自己認識は、その理解を監視し、例えば、見慣れない状況、劣化したセンシング、または低い信頼度などの理由で、もはや信頼できないと判断されたときにそれを認識します。

その場合、適切な是正措置がトリガーされます。「適切」が何を意味するかは、頼りになるドライバーがいるかどうかによって異なります。

• L2+でのハンドオフ型先進運転支援では、人間のドライバーが存在し、責任を負います。運転支援システムは、ドライバーに制御を戻しながら、安全で保守的な行動を維持する必要があります。
• L3での視線不要の自動運転では、自動運転システム（ADS）は作動中に運転タスクを実行し、ドライバーが期待通りに反応しない場合を含め、要求された引き渡し中に安全な制御を維持する必要があります。
• L4での完全自動運転では、車両は人間のフォールバックに頼ることはできません。ADSは自力で安全な状態に到達できる必要があります。

これらの3つのタスクは、エンドツーエンドAIに、人々がしばしば持てないと思い込んでいるもの、すなわち、現実的で監査可能な構造を与えます。それは、どのように行動するか、何が安全か、そしてそもそも行動すべきかどうかという間の明確な職務分担であり、運転アーキテクチャを脆く、断片化されたモジュールに分割することはありません。

共通の学習された理解と、明確に分離され、独立して保証された安全責任のこの組み合わせこそが、エンドツーエンドAIが一般化可能であり、確立された安全原則と両立できる理由です。

業界の他の企業と同じルールブックに従う

Wayveのアプローチは、自動車安全基準に準拠しており、エンドツーエンドの運転モデルが追加の証拠を必要とする場合、確立された手法を拡張します。

ISO 26262に基づく古典的な機能安全は、設計されたソフトウェア、ハードウェア、および車両統合における故障に対処します。SOTIFとして知られるISO 21448は、意図された機能の機能的および性能上の不十分さに起因するハザードに対処します。ISO/PAS 8800は、AIベースの車両機能への保証の議論を拡張し、UL 4600は自律型プロダクトの安全ケースフレームワークを提供します。

既存の標準がエンドツーエンドの運転モデルをどのようにテストするかを完全に規定していない場合、Wayveは厳格な証拠に基づいた手法を追加します。大規模な行動テスト、構造化されたシナリオカバレッジ、不確実性テスト、および透明で監査可能な方法での継続的な監視です。

それをどう証明するか — テスト、シミュレーション、および残存リスク

安全な行動を生み出すことは、仕事の半分に過ぎません。私たちはそれを証拠で検証する必要もあります。

2つの事実がその方法を形作ります。第一に、現実世界にはロングテールが存在します。事前に完全にリストアップできない稀で異常なイベントは、数百万マイル走行してもほとんど現れないかもしれません。路上走行距離だけでは、このロングテール全体にわたる信頼性を効率的に確立することはできません。