モデルマージで発動するバックドア攻撃を提案
原題 Towards Merging-conditional Backdoor Unalignment against Large Language Models
モデルマージは追加学習なしでLLMの性能を高める手法として普及している。この論文は、マージされたときだけ安全性が崩れる「マージ条件付きバックドア」による攻撃を扱う。第三者提供モデルの利用リスクを示す。
論点
他人のOSSモデルを混ぜて使うのは危険すぎるか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
出所不明の重みは時限爆弾になり得る。検証できない限り混ぜるべきではない。反対側の視点
危険を理由に止めればOSSの強みが消える。検査手法を整えて使い続けるべきだ。
みんなのコメント 件
コメントを書く