既存LLMを安く疎モデルに変換するSTAPLE
原題 STAPLE: Static Sparse Upcycling of Pretrained Checkpoints via Embedding Modules
疎なアーキテクチャの事前学習は高コストでデータも大量に要る。STAPLEは学習済みチェックポイントを、埋め込みモジュールを使って静的に疎化(アップサイクル)する手法で、有効計算量を増やさずに容量を拡大する狙い。
論点
巨大LLMの再利用で十分、ゼロから学習は不要か
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
数十億ドルかけ直すのは愚行だ。既存モデルの改造で計算資源を節約できる。反対側の視点
継ぎ足しには限界がある。新アーキテクチャはゼロから学習しないと真価が出ない。
みんなのコメント 件
コメントを書く