e2e AIでロングテールを解決する：「革命は教師あり学習では起こらない」

業界はすでにAIへとシフトしている

幸いなことに、業界は進化しており、人間が作成した概念に不用意に依存することによってもたらされるモデリング不足とドメインのアンダーサンプリングのリスクを認識しています。過去10年間で、ADASの認識の分野は、人間が定義した幅広いサブ概念を着実に捨ててきました。例えば：

• 車線検出に使用されるエッジ検出技術、歩行者検出のための特徴量を手作業で作成する方法、退屈な「オプティカルフロー」操作など、人間が定義したアプローチに代わって、さまざまな深層畳み込みネットワークアーキテクチャが登場しました。
• AIモデルは、2D画像を3D表現に変換するメトリックモデリングタスクにおいて効果的であることが証明されています。これは特に注目に値します。なぜなら、これらの問題に対して情報効率の高い推定量を提供すると想定されていた、閉形式の数学的モデルに基づいて構築された洗練された射影幾何学や統計的信号処理ツールがあるにもかかわらず、AIはこれら厳密に数学的に作成されたモデルをも一貫して凌駕しているからです。

実際、自動運転ソリューションはすでに認識の処理をAIに委ねています。多くのAV1.0システムは、認識パイプラインから人間が設計したサブ概念を単一のエンドツーエンド認識ネットワークに置き換えました。このネットワークは、人間が定義した詳細さで環境をモデル化するようにトレーニングされています。この出力は別のAIネットワークに送られ、そのネットワークはこの特定の環境モデルを解釈して車両の動作を決定します。

この止められないトレンドの自然な次のステップは、残っているボトルネックを取り除き、運転タスクを直接最適化するために環境の表現を学習できるようにすること、言い換えれば、エンドツーエンドの学習アプローチです。

e2e AIという選択肢：自己教師あり学習の採用

皮肉なことに、大規模言語モデル（LLM）の分野が、人間が定義した概念や構成概念（この場合は言語学理論）が、大規模なデータにさらされた場合のe2e AIモデルの内部表現と比較して非効率的であるという否定できない実証的証拠を提供したのです。この認識は、Wayveが2017年の創業以来、LLMの台頭に先駆けて提唱してきた自動運転への革命的なe2eアプローチと完全に共鳴しています。LLM。

Wayveはe2e学習による運転モデルの開発を先駆けて行い、—現在業界が収束しつつある「AV2.0」と呼ばれるトレンドを作り出しました。このアプローチは、単一の非常に表現力の高いAIモデルを使用して、生の車両センサー入力を運転操作に直接変換し、センサーデータを解釈するための人間が定義した概念の必要性を排除します。

このアプローチの中心となるのは自己教師あり学習です。学習問題をシーケンス内の次のデータトークンを予測すること（LLMにおける次の単語、またはWayveのモデルにおける次の運転コマンド）として構成することで、システムは生のラベルなしデータからの教師なし学習で成長します。モデルに投入されるデータが多いほど、AIモデルはその特定のアプリケーションに対してより豊かで表現力豊かなものになります。人間の入力を必要とせずに膨大な運転記録でトレーニングできる能力こそが、自己教師あり学習の力であり魔法です。

AV2.0は、迅速かつ継続的でシームレスなフリート学習ループを解き放ちます。データを記録し、それをモデルトレーニングに投入し、更新されたモデルを展開し、そのプロセスを繰り返します。これにより、OEMのフリート内の多様な車両から現実世界の運転データを効率的に収集し、クラウドベースのトレーニングインフラストラクチャでこのデータをアップロードおよび処理し、洗練された運転能力へと変換する、クラウドソースの「データ・トゥ・バリュー」エンジンとしても機能します。—これらの能力は車両にダウンロードされ、自動運転機能をアップグレードします。

Wayveのフリート学習ループは、運転データの蓄積によって検証可能な堅牢な運転能力が構築されるにつれて、「アイズオン」運転機能（L2+）から「アイズオフ」への移行をサポートするように、最適かつ経済的に設計されています。これを使用して、指定された運行設計領域（ODD）内でシステムが「アイズオフ」に移行する前に、当社のAIモデルが人間のドライバーに交代することなく運転できることを実証できます。

学習増幅の重要な手段として、Wayveは運転のための基盤モデルの構築に投資してきました。このモデルは、テキストや運転以外のビデオソースを含むマルチモーダルデータを活用して、運転環境の内部表現を最適化します。これによりAIモデルの運転能力が大幅に向上し、異なるソースからの運転に関連する概念のクロス学習が可能になり、運転タスクの目的との整合性が向上します。簡単に言えば、複数のデータソースから学習することで、センサーストリームの最も意味があり実行可能な側面に対する車両の理解を向上させることができます。つまり、流暢で安全な運転機能につながるはずの表現です。

自動車向けにAIという「虎」を飼い慣らす

同様にe2e学習を活用するLLMやマルチモーダルチャットボットのような認知的AIツールは、コーディング、法律、ヘルスケアなど、さまざまな分野をマスターする印象的な能力を示しています。これらは質問への回答、テキストや画像の生成、コンテンツの要約、アイデアのブレインストーミングなどのタスクに長けています。しかし、ChatGPTのような（認知的AI）モデルに自分の車の運転を任せられるでしょうか？ 答えは絶対ノーです。

認知的AIは、運転のような現実の物理世界とのリアルタイムで安全性に関わる関与には根本的に適さない目的関数に向けてトレーニングされています。これらのモデルは、テキスト生成における一貫性、正確性、人間のような関連性を追求して磨かれており、道路上での瞬時の判断を下すためのものではありません。

ここで極めて重要な問いが生じます。この強力なe2e AIという「虎」を、Embodied AIアプリケーション、特に自動運転の領域で最適に活用し、飼い慣らすにはどうすればよいでしょうか？

AIの驚異的な能力を自動運転の問題に効果的に適用するには、正しい学習プロセス、モデルアーキテクチャを慎重に定義し、そして最も重要なことに、運転のドメインに適合した学習目的を設定する必要があります。Embodied AIアプリケーションを開発する場合、機械学習の目的関数は、認知的AIと区別する3つの不可欠な柱に基づいて構築されなければなりません：

1. 有用性（Utility）：車線レベルの正確なルーティングで、地点Aから地点Bまで正確にナビゲートするという意図されたミッションを実行すること。
2. 流れ（Flow）：目的地に到着するだけでなく、AI運転モデルは、自然で快適に感じられる運転体験を確保するために、妥当で人間のような運転決定を下さなければなりません。追い越すべきか、いつ留まるべきか、そしてどのように車線変更を実行するかなどです。
3. 安全性（Safety）：運転の目的関数の核となるのは安全性であり、これは他の2つの柱に優先します。これには以下が含まれます：

• • 継続的なリスク管理と緊急回避。AIモデルは継続的に危険を評価し、緊急事態に陥るのを積極的に回避するための措置を講じ、すべての道路利用者の安全と幸福を優先しなければなりません。
  • 結果を最小限に抑えるための最適な緊急イベント対応。 避けられない緊急事態において、AIモデルは、乗客や他の道路利用者を守るために、影響を完全に緩和/最小化するように最適に対応するようトレーニングされていなければなりません。

Embodied AIの目的を有用性、流れ、安全性に据えることで、—私たちはe2e AIの汎用化能力を活用して、自動運転機能の独自の適用要件を満たし、これらの要件に応えるための従来のアプローチの可能性をはるかに超えることができます。

自動車用AIのパフォーマンスにおける予測可能性と信頼の確保

安全反射を積極的に育む

人間の運転ビデオの自然な分布を活用し、モデルアーキテクチャ、トレーニングプロセス、学習目的を最適化することで、最終的には有用性、流れ、安全性の3つの柱を完璧に満たす運転モデルを達成することが理論的に期待されます。しかし、安全性—これには緊急シナリオへの対応も含まれます—は、他の柱とは異なる独自の課題を提示します。トレーニングデータの自然な分布において、緊急対応運転の例がサンプリングされることは稀ですが、この運転スキルの完璧な習得は、公道での最初の実世界展開から、妥協の許されない要素です。

現実世界のシナリオでは滅多に起こらない能力を習得することは、AV2.0が非常に得意とすることの核心にあります。なぜなら、最先端のAIの比類のない表現力と汎用化能力を活用できるからです。その目的のために、私たちはさまざまなツールを使用して、モデルアーキテクチャと学習目的に緊急対応能力を積極的に「設計」し、クリティカルなシナリオへのモデルの露出を高めて、運転モデルの緊急反射を積極的に育みます。言い換えれば、緊急対応というサブ問題に関する学習曲線を加速させ、サブドメインとしてそれをマスターすることで、運転タスクの安全性を確保するために適用できる生来の安全反射を構築できるのです。

この側面は、WayveのAV2.0 e2eアーキテクチャと設計の核心的なドメイン特異性の一つでもあり、自動運転ドメインの独自の特性に取り組むために設計された広範な独自の研究、開発、およびテスト資産に基づいています：

• 私たちは、非常に効果的なデータセットサンプリング戦略、利用可能なデータの関連性を理解するスマートなアクティブラーニングループ、そしてGAIA-1のようなジェネレーティブAIビデオシミュレーションツールを開発しました。これらは、緊急回避と最適な緊急対応の目的関数に向けて緊急反射サブシステムの潜在的表現を最適に豊かにすることを可能にします。
• さらに、これらの技術により、当社のモデルが適切な緊急スキルを備えていることを測定可能な形で確認し、以前は見たことのない緊急事態を正しく処理するための創発的な汎用化を実証することができます。
• また、マルチモーダルデータソースを活用してモデルの内部表現を強化する基盤モデルの研究からも恩恵を受けています。例えば、緊急反射を強化するために、他のセンサーモダリティなどの追加の情報源を組み込むことができます。また、ドライブレコーダーで捉えられた事故データなどのサードパーティの運転映像からも大きな価値を引き出すことができます。

エンボディドAIと認知的AIの問題設定の違い

エンボディドAIには、特に自動運転の文脈において、認知的AIの問題領域とは明確に区別される固有の特性があります。その結果、ハルシネーション（幻覚）や学習の不整合といった特定の懸念は、同じようには当てはまりません。

• 目的関数の明確さ：安全でない運転は、安全でない発言よりもはるかに特定が容易です。これにより、誤情報、有害な回答、不適切なコンテンツの曖昧さをナビゲートすることと比較して、モデルを評価する際の「安全な運転」という目的関数はより測定しやすくなります。
• データの安全性とキュレーション：同様に、言論の自由によって幅広い表現が許容されるインターネット上の多様な言語データの性質は、攻撃的なコンテンツをフィルタリングする上で課題となります。しかし、運転に関しては、それに相当する「運転の自由」はありません。現実世界の運転データは、法的および社会的枠組みにより、本質的により一貫性があります。さらに、私たちは運転モデルが無謀な運転行動にさらされるのを最小限に抑えるために、データを安全にキュレートし合成する方法を開発しました。
• クローズドループフィードバックが「ハルシネーション」を排除する：ユーザーからの追加の入力を必要とせずにテキストを生成できるLLMとは異なり、運転モデルは現実世界との一貫した接地を維持します。例えば、言語モデルは短いプロンプトから膨大なエッセイを生成できますが、運転モデルが過去のビデオストリームに基づいて、例えば次の2キロメートル分の運転コマンドを盲目的に生成することは期待されていません。代わりに、車両のセンサーからのリアルタイムの更新が現在の状況を運転モデルに継続的に通知し、高頻度のリアリティチェックを確実にします。この根本的な違いにより、「ハルシネーション」に関する懸念はe2e運転モデルには適用されません。

予測可能で収束的、かつコスト効率の高いトレーニングプロセスの確保

ここまで、当社のモデルの運転品質と、2つの核心的要素を通じてパフォーマンスをいかに向上させるかについて説明してきました。(1) 巨大なデータコーパスへの教師なし露出から比類のない汎用化を可能にする自己教師あり学習の問題、(2) AIの表現力を活用して、自然な学習曲線を超えて運転モデルの緊急反射の専門性を積極的に育むこと。

パフォーマンスはさておき、トレーニングと開発のプロセスは、自動車アプリケーションにおけるエンボディドAIの有益な展開のための特定の基準を満たさなければなりません。それは経済的に実現可能で、測定可能であり、「イントロスペクタブル（内省可能）」なモデル（その挙動を体系的に調査およびレビューできるもの）を生成できる必要があります。

消費者向け車両への安全で制御された無線（OTA）アップデートを可能にするには、トレーニングプロセスを予測可能な強化サイクルへと進化させ、期間とパフォーマンスレベルの両方において、収束的で回帰耐性のある開発プロセスを推進する必要があります。簡単に言えば、各主要なトレーニングサイクルは回帰することなく運転目的に向かって漸進的に改善されるべきであり、各サイクルの完了時間とパフォーマンスレベルが十分に推定されている必要があります。これらの特性により、フリート学習ループの一環として、シームレスで定期的なOTAアップデートが確実に行われるようになります。

シナリオインテリジェンスツール：前述のように、当社のe2e AIモデルは、人間が定義した概念を、自動生成された運転環境の表現に置き換えます。この進歩により、モデルが大量のデータに教師なしでさらされることで得られる「創発的な概念」を理解するための新しい手法を採用する必要があります。Wayveは、データセットの内省と制御のための新しい「シナリオインテリジェンス」ツールを開発しました。これらのツールは、当社のモデルによって生成された創発的な概念を活用し、それらをより深いパフォーマンス分析のためのフレームワークへと変換します。

当社のAIモデルが情報をどのようにクラスター化するかを調査することで、運転タスクにおいてシーンのどの側面が最も関連性が高いとモデルが判断しているかを特定できます。下の画像は2つのクラスターに関連付けられており、車線表示、照明、天候、車両のサイズ/形状/色などの要素が変化しても、モデルが中距離での先行車追従（左画像）や遠距離での先行車追従（右画像）など、行動に関連する要素を優先していることがわかります。

意味のある表現を学習することで、運転目的に沿って意図的にデータセットをナビゲートできます。このアプローチにより、さまざまなシナリオクラスターにわたるデータカバレッジとパフォーマンスを体系的に評価し、稀な「エッジケース」を特定することができます。シナリオインテリジェンスは、モデルの学習に対する理解を深め、データ収集や合成生成を通じてデータのギャップを埋めることを可能にするなど、多くの利点があります。これは、教師なし学習プロセスを監視するための主要な手段の一つとして機能しており、これについては将来のブログで詳しく紹介する予定です。

トレーニングデータの品質と制御： 学習の革新に寄与する有益なビデオセグメントを体系的にサンプリングすることに加えて、緊急反射スキルやドライバーの操作シーケンスの分析などから得られる一連の指標に基づいて、低品質またはリスクのある運転シナリオをフィルタリングします。

モデルの内省（Model Introspection）：Wayveは、自然言語や、テストやパフォーマンス特性評価のためのセグメンテーションなどの他の付随情報を使用して、モデルの内部的な意思決定プロセスに関する洞察を得るためのモデル内省手法を先駆けて開発しています。モデルの内省を実現する興味深い方法の一つは、「サリエンス（顕著性）」を分析することです。下の画像では、ヒートマップによって、モデルが運転操作を導き出すために焦点を当てているピクセルが明らかになります。これにより、根本原因や特定の道路要素のサンプリング不足の可能性を特定できます。多くの意味で、評価ステップにおいて、e2eモデルを「認識」コンポーネントと「計画」コンポーネントに分解することが可能になります。

モデルの内省は自然言語を通じても実現できます。Wayveの運転コメンテーターであるLINGO-1は、視覚、言語、行動を組み合わせて、運転モデルの解釈、説明、トレーニングを強化します。言語を使用して運転シーンについてモデルに質問することで、LINGO-1はモデルの理解度を把握することを可能にします。

LINGO-1の「ショー・アンド・テル」機能は、テキストによる説明を提供するだけにとどまりません。参照セグメンテーションを使用して注意の焦点を視覚的に示し、言語タスクと視覚タスクの間のより強力な「接地」（または接続）を確立します。これにより、LINGOの回答に対する信頼性が高まります。

OEMパートナーと共にデータ駆動型の進化を推進する

Wayveは、エンボディドAIの独自の価値を自動車業界にもたらすAV2.0プラットフォームを開発しています。当社のプラットフォームは、ハードウェアに依存せず、車両に合わせて調整された堅牢な運転モデルの展開を可能にし、各OEMが差別化を図ることを可能にするブランド固有の機能や運転スタイルをサポートします。

エンボディドAIにとって、データは不可欠です。OEMパートナーは、自社の車両フリートから競争力があり効率的なデータ資産を構築する上で極めて重要な役割を果たします。彼らは運転ドメインの豊富で地理的に分散したデータサンプルを提供することができ、これは車両の自動運転能力の反復的な洗練とOTAアップデートに不可欠です。

WayveのAI資産は、有益なシナリオに焦点を当て、ロングテールのエッジケースを特定することで、現実世界の運転データのインテリジェントな収集を強化します。当社のアプローチには、効率的なデータ管理、アクティブラーニングツール、カバレッジ制御、およびデータフィルターが含まれます。この戦略により、OEMはコストを最小限に抑えながら、アクティブな「e2e」学習のための効果的なデータ資産を作成できるようになります。

トレーニング中のパフォーマンスの可視性、モデルの内省、および制御を最大限に確保するために、モデル展開ダッシュボード（MDD）を導入しています。このインタラクティブなインターフェースにより、OEMパートナーは自社のデータ資産とWayveの学習プロセスに対して比類のないアクセスと制御が可能になります。当社のプラットフォームとツールは、データから価値への変換を最大化し、適切に作成されたデータ資産から最適な運転機能が確実に生まれるようにします。スマートなデータ管理ツールとパフォーマンスデータメトリクスは、資産の作成を容易にし、その品質とインパクトを高めます。

要約すると、Wayveは単なる運転支援および自動運転技術以上のものを提供しています。私たちは、生のデータから比類のない運転能力へと橋渡しをする、変革的なエンボディドAIプラットフォームを提供しています。私たちは、ロングテールを克服するために完全に備わった、安全で有用、かつ流暢な自動運転ソリューションの実現に向けて業界を推進するために、コラボレーション、イノベーション、そしてOEMのエンパワーメントに取り組んでいます。