技術研究　arXiv AI Research　2026-10-16 13:00

RLVRの領域外向上は回答形式のおかげか

原題　Same Answer, New Box: How Much of RLVR's Out-of-Domain Gain Is Answer Format?

検証可能報酬による強化学習(RLVR)は、数学で訓練してもMMLUが上がるなど領域外の利得があるとされる。本研究はその利得のどれだけが単に回答形式への適応かを検証する。

論点

RLVRの汎化は実は見せかけではないか

みんなの立場0票

賛成0%0票

反対0%0票

どちらでもない0%0票

まだ投票はありません。あなたはどう思う？

議論のヒントを見る

賛成側の視点

伸びの多くは出力の型に慣れただけ。推論が育ったという宣伝は盛りすぎだ。

反対側の視点

形式だけでは説明できない伸びがある。推論の汎化は本物で、否定は重箱の隅だ。