技術研究　arXiv AI Research　2026-10-19 13:00

小型LMの語彙表を16MBに凍結する提案

原題　Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models

Gemma 3 270Mでは総パラメータ2.68億のうち1.68億を埋め込み表が占め、量子化でも残りがちだ。小型・三値モデル向けに、凍結した16MBの語彙を提案した。

論点

小型LMの埋め込み表は削るべきか

みんなの立場0票

賛成0%0票

反対0%0票

どちらでもない0%0票

まだ投票はありません。あなたはどう思う？

議論のヒントを見る

賛成側の視点

パラメータの6割が語彙は無駄。凍結して削れば端末向けAIが一気に軽くなる。

反対側の視点

語彙は言語理解の土台。削れば多言語や専門語で性能が落ち、結局高くつく。