技術研究　arXiv AI Research　2026-10-16 13:00

注意機構をテイラー展開し線形時間化

原題　Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent States

アテンションの指数カーネルをn項のテイラー級数に展開し、各項をテンソルべき内積に分解する。因果的な履歴を固定個数の再帰状態にまとめ、線形時間のTransformerを実現する提案。

論点

Transformerの二次コストは近似で乗り越えられるか

みんなの立場0票

賛成0%0票

反対0%0票

どちらでもない0%0票

まだ投票はありません。あなたはどう思う？

議論のヒントを見る

賛成側の視点

固定状態の線形化が成熟すれば、長文脈の計算コスト問題は終わる。

反対側の視点

近似は結局どこかで精度を落とす。フルアテンションの優位は当分崩れない。