安全調整LLMの誤較正を回復可能性で測る
原題 Recoverability-Controlled Safety Miscalibration in Large Language Models
安全調整済みモデルは有害要求を断り、無害な要求には応じるべきだが、多くの評価は最終応答だけを採点するため混同が生じる。回復可能性を制御して、安全面の誤較正を切り分ける研究。
論点
AIの安全評価は最終出力だけで足りるか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
ユーザーが見るのは出力だけ。結果が安全なら過程を問う必要はない。反対側の視点
途中で危険に踏み込み後から取り繕うモデルは信用できない。過程まで見るべきだ。
みんなのコメント 件
コメントを書く