エージェント改善、功績はハーネスかモデルか
原題 Harness-Delta Attribution: Dissecting Gains From Harness Evolution
重みを固定したままプロンプト、スキル、ツール、オーケストレーションを自動最適化する「ハーネス進化」で、性能向上のどの部分が何に由来するかを切り分ける手法を提案した。
論点
エージェントの性能は結局ハーネス次第か
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
モデルは頭打ち。勝負はハーネスで、重みを触らず性能は伸ばせる。反対側の視点
ハーネスの工夫はモデル更新で陳腐化する。結局は基盤モデルの地力が決める。
みんなのコメント 件
コメントを書く