技術研究　arXiv Computer Vision　2026-10-14 13:00

ViTは位置情報をどう表現するか比較

原題　How Vision Transformers Represent Position: A Mechanistic Comparison of Absolute and Rotary Positional Encodings

Vision Transformerで画像パッチの位置を表す絶対位置埋め込みと回転位置埋め込み(RoPE)が、内部でどう表現されるかを機構解釈の観点から比較した論文。

論点

ViTの位置符号化はRoPEが標準になるか

みんなの立場0票

賛成0%0票

反対0%0票

どちらでもない0%0票

まだ投票はありません。あなたはどう思う？

議論のヒントを見る

賛成側の視点

RoPEは柔軟で解像度変化にも強い。絶対位置埋め込みは過去の遺物になる。

反対側の視点

タスク次第で絶対位置の方が素直に効く。流行で選ぶと理解も精度も落とす。