LLM微調整はサンプルでなく配合を選べ
原題 Pick the Mixture, Not the Samples: Combinatorial Data Selection for LLMs
微調整用データは多数のドメインから集まり、評価も多様なタスクにまたがる。論文は個々のサンプルではなくデータの混合比を組合せ最適化で選ぶ手法を提案する。
論点
データ選別は個別より配合で決めるべきか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
同じデータでもタスクで効き方が違う。配合を最適化する方が理にかなっている。反対側の視点
配合の探索コストが重い。結局は良質データを集める方が確実で安い。
みんなのコメント 件
コメントを書く