ウェイブ

運転用の新視点画像合成モデルのベンチマーク

公開されているWayveScenes101データセットは、都市部、郊外、高速道路など、さまざまな天候や照明条件下での101の走行シーンを提供します。各シーンには、5台の車載カメラからの時刻同期された映像とカメラポーズが含まれています。

私たちは、このベンチマークが最先端の新視点画像合成モデルを前進させ、より堅牢で正確な運転用シーン表現モデルの開発を支援することを目指しています。

データセットの特徴

当社のデータセットは、運転シナリオにおける新視点画像合成のアプリケーションを独自にターゲットとしており、既存のデータセットには一般的ではない機能を提供します。

新視点画像合成モデルの汎化能力を推定するために極めて重要な、軸外再構成の品質を具体的に測定するための評価用ホールドアウトカメラの評価プロトコルを提供します。このデータセットは、多様な場所、環境条件、走行状況にわたるシーンを特徴としています。各カメラで毎秒10フレームのフレームレートにより、特に動的なシーンにおいて正確なシーン再構成が可能です。さらに、各シーンのメタデータを提供することで、夜間や雨などの特定のシナリオにおけるモデル性能の詳細な分析が可能になります。

まとめると、主な特徴は以下の通りです：

各20秒間の非常に多様な101の走行シナリオ
101,000枚の画像（101シーン × 5台のカメラ × 20秒 × 毎秒10フレーム）
シーン記録場所：米国および英国
5台の時刻同期されたカメラ
軸外再構成測定用の評価用ホールドアウトカメラ
シーンごとの詳細なモデル評価のためのシーンメタデータ
NerfStudioフレームワークとの統合
NerfStudioとの即時互換性

シーンの多様性

当社のシナリオは、幅広い環境条件と走行状況を網羅しています。これらのシーンは、動的に変化する信号機や移動する歩行者など、現実世界で新視点画像合成手法を導入する際に直面する課題を代表するように選択されました。また、雨の有無、シーンの動態、時間帯など、新規視点合成モデルの詳細な評価のための詳細なシーンメタデータも提供しています。以下に、主なシーンの特徴を挙げます：