自己拡張するコーディングエージェント対戦場SWE-Duel
原題 SWE-Duel: Towards a Self-Scaling Arena for Coding Agents
静的なコーディングベンチマークは公開後に問題が学習データへ漏れ、強いエージェントに飽和される。SWE-Duelは固定せず自ら拡張し続けるアリーナ形式を提案する。ベンチの陳腐化への対策となる。
論点
静的ベンチマークはもう価値がないのか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
漏洩と飽和で数字は飾り。対戦で伸びる評価だけが意味を持つ。反対側の視点
固定だから比較できる。動く的では進歩の証明にならない。
みんなのコメント 件
コメントを書く