正解率ではチームの心の理論は保証できない
原題 Smart Alone, Blind Together: Why Accuracy Fails to CertifyTheory of Mind in Multi-Agent Teams
チームメイトの意図を推論して動くマルチエージェントの調整役は、通常その推論の正確さで認証される。論文は、正確さは認証基準として不適切だと主張し、個別には賢くても協調では盲目になりうると論じる。
論点
エージェントの評価は正解率をやめるべきか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
単体で賢くても連携で崩れる。正解率だけの評価は安全の錯覚だ。反対側の視点
測れない指標は使えない。正解率を捨てたら比較も改善も止まる。
みんなのコメント 件
コメントを書く