3 10月 2023 | リサーチ

GAIA-1のスケーリング：自動運転のための90億パラメータ生成世界モデル

2023年6月、当社はGAIA-1を発表し、自動運転のための最先端生成モデルの最初の概念実証を行いました。この数ヶ月間、GAIA-1を最適化し、高解像度でのビデオ生成を効率的に可能にするとともに、より大規模なトレーニングによって世界モデルの品質を向上させてきました。本ブログ記事では、GAIA-1のテクニカルレポートと、GAIA-1を90億以上のパラメータにスケーリングした結果を公開できることを嬉しく思います。

arXiv論文

GAIA-1によって生成された運転シナリオ画像のモンタージュ

概要

GAIA-1は、自動運転のために構築された最先端の生成世界モデルです。世界モデルは環境とその将来のダイナミクスの表現を学習し、周囲の状況を構造的に理解することで、運転時の情報に基づいた意思決定に活用できます。将来の出来事を予測することは、自律走行システムにおいて基本的かつ極めて重要な側面です。正確な将来予測により、自動運転車両は自身の行動を予測・計画することが可能になり、道路上の安全性と効率性が向上します。世界モデルを運転モデルに組み込むことで、人間の意思決定をより深く理解し、最終的にはより多くの現実世界の状況に一般化できる可能性が生まれます。

GAIA-1は、ビデオ、テキスト、アクションの入力を活用して現実的な運転ビデオを生成するモデルであり、自車行動やシーンの特徴をきめ細かく制御できます。マルチモーダルな性質により、GAIA-1は多くのプロンプトモダリティやその組み合わせからビデオを生成することが可能です。

GAIA-1がビデオ生成に使用できるプロンプトの種類の例。GAIA-1は、ビデオプロンプトから開始して将来の展開を実行することでビデオを生成できます。これらの将来の展開は、自車の特定の行動（例：左にハンドルを切る）に影響を与えるアクションや、シーンのいくつかの側面（例：信号の色を変える）の変化を促すテキストによってさらに条件付けられます。速度と曲率については、将来の速度や曲率の値のシーケンスを渡すことでGAIA-1を条件付けます。GAIA-1は、テキストプロンプトから、あるいは単に事前分布からサンプルを抽出することによっても、現実的なビデオを生成できます（完全な無条件生成）。

GAIA-1は、高い制御性を持って運転シーンの現実的なビデオを生成できます。以下の例では、GAIA-1によって生成された短いビデオをご覧いただけます。このモデルは、路面に雪がある夜間の運転データを生成しています。

モデルアーキテクチャとトレーニング

下の図は、GAIA-1の一般的なアーキテクチャを示しています。

GAIA-1のモデルアーキテクチャ

まず、GAIA-1は各モダリティ（ビデオ、テキスト、アクション）専用のエンコーダーを介してすべての入力をエンコードします。これらのエンコーダーは、多様な入力ソースを共有表現に投影します。テキストとビデオのエンコーダーは入力を離散化して埋め込み、アクションを表すスカラーは独立して共有表現に投影されます。これらのエンコードされた表現は、一貫したタイムラインを共有するように時間的に整列されます。

このアライメントに続いて、モデルのコアコンポーネントである世界モデルが登場します。世界モデルは自己回帰トランスフォーマーです。このトランスフォーマーは、シーケンス内の次の画像トークンセットを予測します。これは、過去の画像トークンだけでなく、テキストやアクションのトークンによって提供されるコンテキスト情報も考慮することで実現されます。この包括的なアプローチにより、モデルは視覚的に一貫しているだけでなく、意図したテキストおよびアクションベースのガイダンスとも一致する画像トークンを生成できます。GAIA-1の世界モデルは65億のパラメータを持ち、64台のNVIDIA A100で15日間トレーニングされました。

最後に、ビデオデコーダーであるビデオ拡散モデルを使用して、これらの予測された画像トークンをピクセル空間に変換します。ビデオ拡散モデルは、生成されたビデオが意味的に有意義で、視覚的に正確で、時間的に一貫していることを保証する重要な役割を果たし、生成されたコンテンツの全体的な品質を向上させます。GAIA-1のビデオデコーダーは26億のパラメータを持ち、32台のNVIDIA A100で15日間トレーニングされました。

GAIA-1には90億以上の学習可能なパラメータがあります（6月バージョンのGAIA-1の10億パラメータと比較）。GAIA-1のトレーニングデータセットは、2019年から2023年の間に英国ロンドンで収集された4,700時間の独自運転データで構成されています。

スケーリング則

GAIA-1における世界モデリングタスクの定式化は、大規模言語モデル（LLM）で一般的に採用されている手法と密接に似ています。どちらの場合も、タスクは次のトークンの予測に簡略化されています。この手法はGAIA-1では言語ではなくビデオモデリングに適用されていますが、LLMで観察されるものと同様のスケーリング則がGAIA-1にも適用されることは注目に値します。

下のプロットは、GAIA-1の世界モデルのパフォーマンスのスケーリング曲線を示しています。青い点は、より小さなバリアントで測定された検証クロスエントロピーです。モデルの総計算量はFLOPsで測定されます。データ点にべき乗則曲線を当てはめることで、より大きな計算予算に対する検証パフォーマンスを推定することができました。オレンジ色の点は、GAIA-1世界モデルの最終的な検証クロスエントロピーを表しています。比較として、2023年6月のGAIA-1の小型バージョンは、外挿に使用された最後の2つの青い点の間に位置します。興味深いことに、当社の推定からは、データと計算量をスケーリングすることで得られる改善の余地がまだ十分にあると結論付けられます。

これらのスケーリング則は、大規模言語モデルのパフォーマンスと能力における特徴的なパターンとして特定されています。ドメインがテキストベースの言語タスクからビデオモデリングへとシフトしているにもかかわらず、GAIA-1は類似の傾向を示しています。これは、GAIA-1のモデルサイズとトレーニングデータがスケールアップするにつれて、ビデオ生成タスクにおける習熟度とパフォーマンスが向上し続け、それぞれのドメインに適用された際の大規模言語モデルで見られるスケーラビリティの傾向を反映していることを示唆しています。

本質的に、ビデオの文脈における次のトークン予測に焦点を当てたGAIA-1の世界モデリングタスクは、テキストや言語タスクの領域で大規模言語モデルの象徴となったスケーリング挙動を共有しています。これは、自動運転を含む多様なドメインにわたる現代のAIモデルにおけるスケーリング原理の広範な適用可能性を強調するものです。

向上したビデオ生成

画像解像度の向上、パラメータ数の増加、トレーニング期間の延長、およびデータセットサイズの拡大を含む包括的なスケーリング戦略を通じてGAIA-1の能力を高めた結果、ビデオ生成の品質において実質的かつ印象的な向上がもたらされました。

以下の例は、2023年6月時点と現在のGAIA-1で生成されたビデオの違いを示しています。これらのビデオは、同じビデオコンテキストから将来のビデオ展開を実行するようにモデルにプロンプトを出すことで生成されました。