鳥瞰トークンで空間推論を効率化
原題 Thinking from Above: Efficient Spatial Reasoning with Bird's-Eye-View Visual Tokens
動画MLLMは観測を時間順に整理するため、身体を伴う空間推論には不向きだった。新研究は観測を鳥瞰図(BEV)の視覚トークンとして空間的に整理し、効率的な空間推論を狙う。arXivに投稿された論文。
論点
ロボットの目は動画より地図で育てるべきか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
ロボットが動く先は時間軸ではなく空間だ。最初から鳥瞰で持つ方が速くて安いに決まってる。反対側の視点
鳥瞰は現実の遮蔽やノイズを捨てる近道だ。結局は汎用の動画モデルに飲み込まれる。
みんなのコメント 件
コメントを書く