LLM操作の「方向」を純化する新手法
原題 Contrastive Covariance Subspaces for Activation Steering
推論中に隠れ層の活性へ方向ベクトルを足してLLMの挙動を制御するactivation steeringについて、対照的な共分散の部分空間を使う手法を提案するarXiv論文。狙った概念だけを含む純粋な信号になる方向を得ることが課題とされる。詳細な結果は要旨の抜粋からは不明。
論点
重み操作より活性ステアリングが安全の本命か
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
再学習なしで挙動を即座に変えられる。安全制御はこの軽さが正義だ。反対側の視点
内部をいじっても副作用だらけ。結局は後付けの絆創膏にすぎない。
みんなのコメント 件
コメントを書く