動画理解を測るエージェント型ベンチ登場
原題 Video-Arena: A Scalable Agentic Video Benchmark for Spatiotemporal Capability
動的な世界を一貫して理解・追跡できるかを測る、拡張可能なエージェント型の動画ベンチマーク「Video-Arena」を提案する論文。既存の動画ベンチは時空間能力についての知見が限られると指摘している。
論点
新ベンチは本当にモデルの実力を測れるのか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
既存ベンチは飽和している。エージェント型の動的な評価こそ実力に近い。反対側の視点
ベンチは作られた瞬間から攻略対象になる。また新しい点数競争が増えるだけだ。
みんなのコメント 件
コメントを書く