全滅ロールアウトを救うエージェントRL手法
原題 VH-GPO: Verified Handoff for LLM Agent Reinforcement Learning
GRPO系の強化学習では、グループ内の全軌跡が同じ失敗をすると学習信号が消える。VH-GPOは検証付きの引き継ぎでこの問題に対処する手法を提案する。
論点
エージェントRLは検証付き介入で進むべきか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
全部失敗する難題こそ学ぶ価値がある。検証付きの引き継ぎで信号を取り戻すべきだ。反対側の視点
介入で得た成功は自力の成功ではない。実運用と乖離した学習になる恐れがある。
みんなのコメント 件
コメントを書く