技術研究　arXiv AI Research　2026-10-14 13:00

疎注意の索引計算を無損失で高速化

原題　DoSA: Dots Sparse Attention

疎注意は少数のキーだけを参照するが、探すために全キーを索引ヘッドで採点する必要があり、ここが重い。DoSA(Dots Sparse Attention)はこの計算を無損失で軽くする方法。具体的な速度向上の数字は要旨からは不明。

論点

長文脈の本命は疎注意か

みんなの立場0票

賛成0%0票

反対0%0票

どちらでもない0%0票

まだ投票はありません。あなたはどう思う？

議論のヒントを見る

賛成側の視点

全部見る注意は終わった。疎注意が長文脈コストを現実的にする。

反対側の視点

索引の工夫は延命でしかない。注意に代わる別の構造が要る。