技術
研究 arXiv AI Research 2026-10-15 13:00
蒸留で学ぶ価値の高いトークンを選別
原題 Token Utility for On-Policy Distillation via Local Trust-Region Optimization
オンポリシー蒸留では、不確実性や教師と生徒の食い違いなど様々な指標で生徒が通った位置を選んで学習させる。本論文は局所的な信頼領域最適化の観点からトークンの有用性を定めるアプローチを提案する。
論点
蒸留は全トークンで学ばせるべきか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
重要なトークンだけ選べば計算が浮く。全部学ぶのは資源の浪費だ。反対側の視点
選別基準自体が偏りの源。全部学ばせる方が結局安定して強い。
みんなのコメント 件
コメントを書く