マスク拡散モデル、潜在構造の分布学習を理論証明
原題 Transformer-Based Masked Diffusion Models Provably Learn Distributions with Latent Structure
マスク拡散モデルは複数トークンを並列にアンマスクして離散データを生成し、並列化誤差などが出力に影響する。本論文はTransformerベースのこのモデルが潜在構造をもつ分布を学べることを理論的に示した。
論点
拡散型LLMは理論的に自己回帰を超えるか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
並列生成で速く、学習も保証された。次の主役だ。反対側の視点
理論は理想条件の話。実用の質では自己回帰が上だ。
みんなのコメント 件
コメントを書く