LLMはソロモノフ帰納をどこまで継ぐか
原題 What Can Language Models Inherit from Solomonoff Induction? Limits, Attainable Properties, and What Served Conditionals Reveal
「LLMは厳密に適正な損失で学習する柔軟な近似器で、規模を増せばソロモノフ帰納に近づく」という通説を検討する論文。継承できる性質の限界と、提供される条件付き分布が示す内容を整理する。結論の詳細は不明。
論点
スケールすれば最適な予測に近づくは本当か
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
損失が適正なら、規模拡大で理想の予測へ近づく。スケール信仰は理にかなう。反対側の視点
近似器に理想の性質は保証されない。スケールの外挿は希望的観測だ。
みんなのコメント 件
コメントを書く