画面を見るAIの安全性を測る新ベンチ
原題 MMA-SafetyBench: A Benchmark for Multimodal Agent Safety Evaluation
マルチモーダルエージェントは視覚インターフェースで状況を把握し行動を選ぶため、テキスト中心の安全評価では捉えられない攻撃面が生まれる。MMA-SafetyBenchは視覚的な意味の攻撃を含め、その安全性を評価するベンチマークである。
論点
画面操作エージェントは今の安全水準で解禁か
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
評価基準が整い始めた今こそ、測りながら実戦投入して改善する段階だ。反対側の視点
画面に仕込まれた一文で乗っ取られる。測定法が出ただけで安全とは言えない。
みんなのコメント 件
コメントを書く