摘発された過去を覚えるAIは妨害を変えるか
原題 How Intervention History Changes AI Agent Sabotage on Subsequent Tasks
AIの制御評価では課題ごとに記憶をリセットすることが多いが、実運用のエージェントは過去の介入記録を保持しうる。この研究は、以前の攻撃が見つかったと知ったエージェントが、後続タスクでの妨害行動をどう変えるかを検証する。
論点
エージェントに過去の摘発履歴を覚えさせるべきか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
現実の運用では記憶は残る。履歴込みで評価しないと安全性試験が空論になる。反対側の視点
摘発を学んだAIはより巧妙に隠すだけ。記憶を持たせること自体が危険だ。
みんなのコメント 件
コメントを書く