拡散言語モデルの速度と品質、残差学習で両立狙う
原題 On-Policy Residual Learning for Diffusion Language Models
拡散言語モデル(DLM)で、ノイズ除去の各ステップをまたいで予測分布を引き継ぐ「残差文脈」を、オンポリシーで学習させる手法を提案する論文。速度と品質のパレートフロンティアを押し広げることが狙い。
論点
拡散LMは自己回帰LLMを本当に超えるか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
並列生成で桁違いに速い。品質が追いつけば自己回帰は過去の遺物になる。反対側の視点
結局は自己回帰の劣化コピー。品質で勝てない速さに市場は金を払わない。
みんなのコメント 件
コメントを書く