技術研究　arXiv AI Research　2026-10-15 13:00

LoRA、トークンごとに使うランク数を可変に

原題　How Many Ranks Does a Token Need? A Noise-Floor Squelch for Rank-One LoRA Experts

LoRAは全トークンにランク1成分をすべて適用し、MoE型は固定数の専門家を選ぶ。本研究はノイズフロアに基づく「スケルチ」で、トークンごとに必要なランク数だけを使う手法を提案する。

論点

微調整は全トークン同じ重みで十分か

みんなの立場0票

賛成0%0票

反対0%0票

どちらでもない0%0票

まだ投票はありません。あなたはどう思う？

議論のヒントを見る

賛成側の視点

簡単なトークンに全力は無駄。必要な分だけ使う方が賢い。

反対側の視点

ルーティングは複雑さを増やすだけ。単純なLoRAで十分戦える。