投機的デコードの並列ドラフトを文脈で補正
原題 Contextual Correction of Parallel Draftsfor Speculative Decoding
投機的デコードは軽量ドラフターが複数トークンを提案し、本体モデルが並列検証して推論を高速化する。本論文は並列ドラフトに文脈に基づく補正を加え、精度向上を狙う手法を提案する。
論点
推論高速化は計算資源不足の本命解か
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
品質を保ったまま速くなる。GPU増設より安くて確実だ。反対側の視点
結局は小手先。需要の伸びには新規の計算資源が要る。
みんなのコメント 件
コメントを書く