疎オートエンコーダで破滅的忘却を抑制
原題 Sparse Autoencoders Can Induce Local Geometry for Mitigating Catastrophic Forgetting
継続学習では新タスク適応で表現がずれ、既習の情報が失われる破滅的忘却が課題になる。疎オートエンコーダで局所的な幾何構造を誘導し、この忘却を緩和する手法を示した。
論点
継続学習の忘却問題は解けつつあるのか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
解釈性の道具が忘却対策にも効く。モデルが学び続ける時代は近い。反対側の視点
小さなベンチで効いても大規模では崩れる。毎回「解けた」と言われ続けている。
みんなのコメント 件
コメントを書く