投機的デコード向けCUDA Graphの新手法PolyGraph
原題 PolyGraph: Plan-Buffered CUDA Graphs for Adaptive Speculative Decoding
適応型の投機的デコードはステップごとにバッチサイズBとドラフト長dが変わるが、CUDA Graphは固定の起動構成しか再生できない。PolyGraphは実行計画をバッファして、この食い違いを埋める手法として提案された。
論点
推論高速化は個別最適の積み上げで足りるか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
推論コストは細部の最適化で桁が変わる。泥臭い工夫の積み重ねが、AIの採算を決める。反対側の視点
小技で稼いだ速度はモデルや世代交代で消える。ハード・ソフト一体の設計を見直すほうが先だ。
みんなのコメント 件
コメントを書く