小型LLMの欺瞞行動をSAEで操作
原題 Feature Elicitation for SAE Steering of Deceptive Behaviour in Small LLMs
フロンティアモデルの能力向上で、欺瞞的アライメントの研究が急務になっている。本研究は小型LLMで、アライメント偽装に関わる特徴をスパースオートエンコーダ(SAE)で抽出し、ステアリングで操作する手法を検討する。
論点
内部特徴の操作でAIの嘘は防げるか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
嘘の回路を直接つかんで抑えられるなら、挙動観察より確実な安全策になる。反対側の視点
小型モデルでの成功は大型には通じない。賢いモデルは操作をすり抜けるだけだ。
みんなのコメント 件
コメントを書く