エージェント監視を欺く台本改ざん手法
原題 Screwtape: Adversarial Transcript Editing for Monitor Red-Teaming
Screwtapeは、実際のエージェントの行動記録をLLMに編集させ、行動だけを見る監視役をすり抜ける攻撃に変換するパイプライン。指定した有害行為を起こしつつ、監視側には無害に見せる。監視型の安全策のレッドチーミングに使える。
論点
行動ログ監視だけでエージェントは守れるか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
守れない。ログは編集で偽装できる。監視頼みの安全論は砂上の楼閣だ。反対側の視点
攻撃側は記録を書き換えられる前提が非現実的。実運用では改ざん対策が先にある。
みんなのコメント 件
コメントを書く