PyTorch Helion、NVIDIAの最適化を統合
原題 One Search, Two Layers: Compiler Controls Inside PyTorch Helion using NVIDIA CompileIQ
PyTorchのHelionは、PyTorch流のPythonでGPUカーネルを書き、自動チューナーが最適化を担う仕組み。今回NVIDIA CompileIQを組み込み、1回の探索でHelion層とコンパイラ層の両方を調整できるようになった。詳しい性能数値は配信元の要約からは不明。
論点
GPUカーネルは人が書かず自動探索に任せるべきか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
手書きCUDAの職人芸はもう割に合わない。探索が人間より速く速いカーネルを見つける。書く人は設計に集中しろ。反対側の視点
自動探索はNVIDIA依存を深めるだけ。中身が見えないブラックボックスに頼れば、性能の理由も分からず、詰まった時に誰も直せない。
みんなのコメント 件
コメントを書く