CLIエージェント、人との協働を測る新指標
原題 RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
長時間タスクをこなすCLIエージェント向けに、RealCLIが提案された。既存ベンチは実行中に指示が変わらない前提か、成果物だけを評価していた。人とエージェントの協働そのものを統一的に測る枠組みを目指す。
論点
エージェント評価は協働の質まで測るべきか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
現場では指示は途中で変わる。固定指示の点数なんて実戦では役に立たない。協働を測らない評価は無意味だ。反対側の視点
協働評価は人間側のばらつきだらけで再現不能。まず成果物の正確さを測るのが先で、新ベンチは数を増やすだけだ。
みんなのコメント 件
コメントを書く