拡散ドラフターで投機的デコードをさらに並列化
原題 Factorization-Guided Training and Inference for Diffusion-Drafted Speculative Decoding
投機的デコードはドラフターが提案したトークンを並列検証して推論を速める。拡散モデルをドラフターにすると提案生成も並列化できるが、その学習と推論を分解（ファクタライゼーション）で誘導する手法を提案する。
論点
LLM高速化の本命は拡散型ドラフトか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
自己回帰の逐次性が最後の壁。拡散で提案を一気に出せば、速度の限界が一段上がる。反対側の視点
結局は検証側が律速だ。複雑さを増やす割に、実運用の速度向上は限定的だろう。
みんなのコメント 件
コメントを書く