技術研究　arXiv AI Research　2026-10-16 13:00

MLAのKVキャッシュを2bit化するRoLaQ

原題　RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention

arXiv論文。Multi-head latent attentionは各トークンのKVを共有潜在に圧縮する。RoLaQは回転と範囲の較正を同時に行い、2bitという極端な低精度でも誤差を抑えて長文脈推論を軽くすることを狙う。

論点

2bit化でAI推論の主戦場は変わるか

みんなの立場0票

賛成0%0票

反対0%0票

どちらでもない0%0票

まだ投票はありません。あなたはどう思う？

議論のヒントを見る

賛成側の視点

メモリが最大の壁。極端な量子化こそ長文脈を安く解放する鍵。

反対側の視点

2bitは精度劣化との綱渡り。実タスクで壊れたら意味がない。