MoEの専門家を頻度で削減・統合
原題 PRIME: Frequency-Aware Unified Pruning and Merging for MoE Compression
MoEはLLMの拡張に有効だが、パラメータが巨大でメモリが重い。PRIMEは専門家の使用頻度を考慮し、枝刈りと統合を組み合わせて圧縮する手法。要旨が途中で切れ、削減率や精度への影響は不明。
論点
MoE圧縮は、小型モデルを作るより得か
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
巨大モデルの知識を保ったまま軽くできる。展開コストを下げる近道だ。反対側の視点
専門家を削れば長い尾の能力が落ちる。最初から小型モデルを鍛えるほうが堅実だ。
みんなのコメント 件
コメントを書く