技術
研究 arXiv AI Research 2026-10-16 13:00
長い推論をポーズトークンのKVに圧縮
原題 AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens
長い思考連鎖のデコードはメモリ律速で、生成トークンのKVキャッシュが推論計算量に比例して増える。AbridgeKVは、長い推論を学習したポーズトークンのKVキャッシュに圧縮する。単純なキャッシュ削除では解決しないとする。
論点
推論の高速化は賢さより優先すべきか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
メモリが詰まれば賢さは使えない。圧縮こそが推論モデルを普及させる。反対側の視点
圧縮で推論の質が静かに落ちる。速さを優先して、答えの信頼を削るのは本末転倒だ。
みんなのコメント 件
コメントを書く