脆弱性発見、ハーネスの効果はモデル次第か
原題 How Much Does the Harness Matter, and for Whom? A Multi-Model Study of Context in LLM-Driven Vulnerability Discovery
LLMによる脆弱性発見で、エージェントのハーネス(実行基盤)がどれだけ効くかを調べた研究。オープンソースのハーネスを使い、実運用のコードベースで24のモデル・ランナー構成を比較した。ハーネスの価値がモデルごとに違うかが焦点。
論点
AIの性能はモデルよりハーネスで決まるのか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
同じモデルでも道具立て次第で結果は激変する。勝負はモデルじゃなく周辺設計、そこに金と人を突っ込め。反対側の視点
結局は強いモデルがすべてだ。ハーネスなんて次の世代で吸収される一時しのぎに過ぎない。

みんなのコメント 件
コメントを書く