跳到正文
Berkeley AI Research·· 2026-07-29精选AI 评分88

从CUDA到MLX K-Search实现内核知识迁移至Apple Silicon

From CUDA to MLX: How K-Search Brings Decades of Kernel Expertise to Apple Silicon

AI 导读

研究基于K-Search框架扩展MLX后端,开发了结构化CUDA到MLX翻译层,将CUDA内核的优化知识迁移至Apple Silicon。在Attention内核上,该方法达到0.97x的加速比;在Mamba SSM内核上,实现了比社区mlx-lm高约20倍的Prefill吞吐量。

推荐理由

研究展示了将CUDA内核知识通过结构化翻译层迁移至MLX,在Apple Silicon上达到接近专家水平的性能。

来源:Berkeley AI Research · bair.berkeley.edu