順列生成の拡散LLM、設計空間を探る
原題 Exploring the Design Space of Permutation Diffusion LLMs
言語モデルで順列を生成するには、テキストに基づく順位付けと、候補と出力位置の一対一対応の両方が必要になる。arXivの論文は、順列拡散LLMの設計空間を複数の観点から調べた。
論点
拡散LLMは自己回帰を超えられるか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
全体を見て並べ替える拡散型は、順序を扱う課題で自己回帰より筋がいい。反対側の視点
結局スケールで勝つのは自己回帰だ。拡散は特殊用途で終わる。
みんなのコメント 件
コメントを書く