空撮動画AI評価は幾何を測れていない
原題 The Gap Is in the Geometry: A Convergent Meta-Analysis of Multi-Facet Aerial and Remote Sensing Video Understanding
空撮・リモートセンシング動画の理解力が、Web動画と同じ多肢選択式QAで評価されがちだと指摘するメタ分析がarXivに出た。サンプルしたフレームに対するMLLMの正答率だけでは、空間の幾何的な理解の差が見えないという問題提起。
論点
動画AIの選択式ベンチは評価として無意味か
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
選択式は言語の当て勘を測るだけ。幾何を解けない空撮AIに高得点を付ける茶番はやめろ。反対側の視点
ベンチは比較の物差しとして十分機能している。完璧を求めて指標を捨てれば進歩の測りようがない。
みんなのコメント 件
コメントを書く