プロンプト注入検知、二択から判断へ
原題 From Detection to Decision: Calibration and Deferral for Prompt-Injection Detection
プロンプトインジェクション対策は通常、攻撃かどうかの二値検知器として評価される。だが実運用では許可・遮断・人間への引き継ぎを決める必要がある。本研究は確信度の較正と判断保留(deferral)で、検知を運用上の意思決定につなげる枠組みを示す。
論点
注入検知は人間への丸投げ前提で設計すべきか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
完璧な検知は幻想。自信がない時は人に回す設計こそ、現場で使える唯一の現実解だ。反対側の視点
人に回した瞬間に運用が詰む。エージェントの自動化という価値を自分で捨てる設計だ。
みんなのコメント 件
コメントを書く