長文脈デコードを速くする新スパースAttention
原題 Joint Subspace Sparse Attention for Efficient Long-Context Decoding
長文脈LLMのデコードではKVキャッシュの読み出しが支配的な負荷になる。提案手法は部分空間を共有してトークン単位の細かい選択を効率よく行い、従来の粗い粒度のスパース化を改善する狙い。
論点
長文脈は力技より近似で攻めるべきか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
計算資源は有限。賢く捨てる近似こそ長文脈を実用にする唯一の道だ。反対側の視点
近似は精度の穴を隠す。メモリと計算を増やして正攻法で解くほうが堅い。
みんなのコメント 件
コメントを書く