3D場面VLM、物体名と幾何のどちらを先に見せるか
原題 Token-Budgeted Candidate Retrieval for 3D Scene-Grounded VLMs: Category Names vs. Pairwise Geometry
3D場面を扱うVLMで、文脈の長さに制限がある場合に、どの物体や関係を先に見せるべきかを検証した。ScanNetの参照課題で、カテゴリ名による照合とペアの幾何情報を比較している。
論点
空間理解に言語ラベルは必要か
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
物体名で絞り込むのが速くて確実。言語こそ空間理解への近道だ。反対側の視点
名前に頼ると幾何の理解が育たない。本当の空間認識は形から来る。
みんなのコメント 件
コメントを書く