LINGO
自然言語を活用したWayveの基盤モデルの学習と説明可能性の向上
自動運転のための自然言語
AIモデルの意思決定の背後にある推論を理解することは、安全な自動運転機能の開発を確実にするために極めて重要です。WayveのLINGOモデルは、AIドライバーの解釈性を大幅に向上させる新しい機能を導入します。
視覚と言語を入力として学習したLINGO-2は、運転行動を出力し、その行動の背後にある推論を説明することができます。このイノベーションは、AIモデルの解釈、説明、およびトレーニングに新しい手法をもたらします。
上記のビデオは、ロンドン中心部でのLINGO-2による走行の様子です。同じディープラーニングモデルが、運転行動とテキストによる予測の両方を生成しています。
視覚・言語・行動モデル（Vision-Language-Action Model）
LINGO-2は、画像、走行データ、および言語を使用して、走行シーンにおける因果要因を説明し、トレーニングを加速させ、新しい環境に運転行動を適応させます。
言語はモデルの内省にも使用でき、走行モデルに対してその運転決定について質問することが可能です。これにより、乗客がテクノロジーに対して「何をしているのか」「なぜそうしているのか」を問いかけるといった、対話を通じた自動運転システムとの新たなインタラクションの可能性が広がります。
言語による走行モデルの解釈、説明、トレーニングの強化
LINGO-2は走行中に、周囲の状況や自身の行動に関する質問に答えることができます。以下の例は、当社のニューラルシミュレーター「Ghost Gym」での仮想テストから引用したものです。
LINGOの機能
LINGOは、AIのシーン理解、推論、意思決定に関する洞察を提供することで、運転支援および自動運転システムの信頼性を高めることができます。さらに、言語を統合することで、運転行動の説明や因果推論をモデルのトレーニングに組み込み、新しいシナリオやロングテール・シナリオへの対応に向けたより効率的な学習が可能になります。
ドライビング・コメンタリー
LINGO-2は、モデルの運転行動を説明する自然言語による継続的な解説を提供し、ユーザーがその注視点や挙動を理解するのを助けます。
言語による運転の適応
制約付きのナビゲーションコマンド（例：「路肩に寄せて」「右折して」など）をLINGO-2にプロンプトとして与え、モデルのトレーニングを支援するために車両の挙動を適応させることができます。
参照セグメンテーション
LINGOは参照セグメンテーションを使用して、シーン内での注視点を視覚的に「見せて説明」し、言語と視覚タスクの結びつきを強化します。
視覚的質疑応答（VQA）
LINGO-2は、シーンや自身の運転行動に関する質問に回答し、車両の周囲状況を理解して安全に走行する能力を示します。
参照セグメンテーション
LINGOが夜間の運転における危険要因について推論する様子をご覧ください。
LINGO
リサーチブログを読む
LINGO-2: Driving with Natural Language
LINGO-1: Exploring Natural Language for Autonomous Driving
Unveiling LINGO-1's Show and Tell Capability with Referential Segmentation
LINGO-2 is the first closed-loop vision-language-action driving model tested on public roads. The model outputs driving action and language to provide a continuous driving commentary of its motion planning decisions.
LINGO-1: Exploring Natural Language for Autonomous Driving
At Wayve, we are using natural language to enhance the learning and explainability of our foundation driving models. Learn about LINGO, an open-loop driving commentator that combines vision, language and action to enhance how we interpret, explain and train our foundation driving models.
Unveiling LINGO-1's Show and Tell Capability with Referential Segmentation
We've developed a new "show and tell" feature in LINGO-1, which uses referential segmentation to visually highlight the focus of LINGO-1's attention and enhances the connection between language and vision tasks, ultimately allowing for more accurate and trustworthy responses.
