技術
研究 arXiv AI Research 2026-10-14 13:00
出力だけでなく内部機構まで蒸留する新手法
原題 OPMD: On-Policy Mechanism Distillation Beyond Output Supervision
オンポリシー蒸留は、生徒モデル自身が生成した系列に教師が指導する手法だが、教師信号は出力空間に限られていた。論文OPMDはその枠を超え、教師の内部の仕組みまで生徒に伝える蒸留手法を提案する。
論点
蒸留は出力模倣より内部機構まで写すべきか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
答えだけ真似ても本質は育たない。機構ごと写せば小型モデルは大幅に賢くなる。反対側の視点
内部を写すには教師の中身が必要で、閉じたAPIモデルには使えない。囲い込みを強めるだけだ。
みんなのコメント 件
コメントを書く