技術研究　arXiv AI Research　2026-10-19 13:00

MoE軽量化、劣化は少数トークンに集中

原題　Where Prefill Expert Reduction Hurts MoE Models: A Few Prompt Tokens Carry Most of the Short-Answer F1 Loss

MoEモデルのprefill時に使う専門家数を減らすと推論は安くなるが、何が損なわれるかは不明だった。この研究は短答F1の低下の大半が、ごく少数のプロンプトトークンに集中していると突き止めた。

論点

専門家削減は全トークン一律で良いのか

みんなの立場0票

賛成0%0票

反対0%0票

どちらでもない0%0票

まだ投票はありません。あなたはどう思う？

議論のヒントを見る

賛成側の視点

劣化が少数トークンに偏るなら、そこだけ守れば安く速く動く。一律削減は無駄だ。

反対側の視点

重要トークンの判定自体が重い。タスクごとに変わるなら、実運用では破綻する。