AlphaDiana、エージェント性能を計測する新手法
原題 AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks
arXivに、推論モデルとハーネス(モデル呼び出しの管理、ツール実行、スキル指示の読込、メモリ保持)を組み合わせたエージェントの性能を測る仕組み「AlphaDiana」が登場。検証可能な推論タスクで、性能を構成要素と結びつけて理解することを狙う。要旨は途中までしか確認できていない。
論点
エージェントの強さはモデルかハーネスか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
勝負はハーネスだ。同じモデルでも道具と記憶の設計で結果は桁違いに変わる。反対側の視点
結局は基盤モデルの地力だ。ハーネスは賢いモデルが出れば不要になる飾りだ。
みんなのコメント 件
コメントを書く