サンプル適応型ゼロ次最適化の後学習
原題 Sample-Adaptive Zeroth-Order Post-Training
ゼロ次最適化は、逆伝播より省メモリでLLMを微調整できる手法。ただし既存手法は学習例を一様に選ぶのが一般的だとされる。論文は、サンプルに応じて適応的に選ぶ後学習を提案する。要約は途中で切れている。
論点
LLM微調整は省メモリ手法で民主化できるか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
GPUが乏しくても微調整できれば、個人や日本の小規模勢にも道が開く。反対側の視点
収束は遅く精度も劣る。結局は計算資源を持つ巨大企業が有利なままだ。
みんなのコメント 件
コメントを書く