技術研究　arXiv AI Research　2026-10-16 13:00

SAE、学習データは少なくても足りる?

原題　Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature Reproducibility

arXiv論文。スパースオートエンコーダは通常数億〜数十億トークンで学習されるが、その規模が必要かを検証した。データを増やしても収穫は逓減し、機能的な挙動が同じでも特徴の再現性は保証されないと示す。

論点

解釈可能性の特徴は本当に信頼できるか

みんなの立場0票

賛成0%0票

反対0%0票

どちらでもない0%0票

まだ投票はありません。あなたはどう思う？

議論のヒントを見る

賛成側の視点

少ないデータで十分なら、解釈研究はもっと手軽に回せる。

反対側の視点

特徴が再現しないなら、それは発見ではなく偶然の産物だ。