工具arxiv cs.AI · 3d ago重要
Kernel Forge: An Agent Harness for LLM-based Generation and Optimization of CUDA Kernels
分类释义：开发工具与基础设施
TL;DR
Kernel Forge是一个开源端到端Agent工具，利用LLM和MCTS搜索自动优化任意PyTorch模型的CUDA内核，在ResNet-50、Stable Diffusion 3.5、Gemma 4等模型上实现1.52x-2.83x的kernel加速。
关键要点
- 01Kernel Forge是一个开源端到端Agent工具。
- 02利用LLM和MCTS搜索自动优化任意PyTorch模型的CUDA内核。
- 03在ResNet-50、Stable Diffusion 3.5、Gemma 4等模型上实现1.52x-2.83x的kernel加速。
为什么值得关注
GPU kernel优化终于可以脱离专家手写代码，这给AIinfra团队一个可复用的自动化调优基座——特别是推理服务优化时，可以针对具体模型的实际tensor shape做定向加速，而非依赖通用triton模板。
对你的工程实践意味着什么
LLM 实时生成MiniMax-M2.7缓存命中
| 角色 | 你应该做什么 |
|---|---|
| Tech Lead | 评估 Kernel Forge 与现有 Triton 模板方案的成本收益，决定是否纳入技术栈 |
| 应用工程师 | 梳理团队 PyTorch 模型的实际 tensor shape 使用模式，为定向 kernel 优化做准备 |
| 运维 / 平台 | 暂无直接影响，了解即可 |
| 产品 / 业务 | 暂无直接影响，了解即可 |
同类资讯
arxiv cs.LG·1d ago
Beyond KV Reconstruction: Functional Reconstruction for MLA Draft Models in Speculative Decoding
arxiv cs.CL·1d ago
Prompt Chaining in Practice: A Case Study in Automated Scholarly Report Generation
arxiv cs.CL·1d ago
AI-assisted pre-review of open-source software submissions: an experience report from BOSC 2026
本页 TL;DR 与「为什么」由 LLM 生成 · 模型：MiniMax-M2.7 / Claude Haiku 4.5