技術
研究 arXiv AI Research 2026-10-19 13:00
エッジ分散推論の通信量をコードブックで削減
原題 TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference
近接するエッジ端末間でTransformer推論を分散させると、系列並列の分割間で活性値をやり取りする通信が遅延の主因になる。TRACEは残差活性をコードブックで符号化し、この通信を減らす手法。
論点
推論は端末分散でクラウドに勝てるか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
プライバシーも遅延も端末側が有利。通信さえ削れれば、クラウド依存は不要になる。反対側の視点
結局スループットも電力効率もデータセンターが上。端末の寄せ集めは理想論だ。
みんなのコメント 件
コメントを書く