跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

22 条精选近 30 天 20 条共收录 88 条

更新

精选归档 · 第 2 页

10月8日周四第 21–22 条
  1. GitHub Blog · AI & ML65

    GitHub 论述秘密保护需随软件规模扩展并发布新分类器

    GitHub 指出 AI 智能体参与的 Pull Request 比例快速增长,要求秘密保护能力同步提升,而非依赖人工。GitHub 引入了与 Microsoft Applied Sciences 合作的微调分类器,该模型能在两毫秒内评估候选秘密,可使可预防的秘密数量增加一倍以上。

    推荐理由:GitHub 阐述了 AI 驱动代码生成带来的安全挑战,并介绍了新分类器如何提升秘密保护的效率和规模。

7月29日周三
  1. Berkeley AI Research88

    从CUDA到MLX K-Search实现内核知识迁移至Apple Silicon

    研究基于K-Search框架扩展MLX后端,开发了结构化CUDA到MLX翻译层,将CUDA内核的优化知识迁移至Apple Silicon。在Attention内核上,该方法达到0.97x的加速比;在Mamba SSM内核上,实现了比社区mlx-lm高约20倍的Prefill吞吐量。

    推荐理由:研究展示了将CUDA内核知识通过结构化翻译层迁移至MLX,在Apple Silicon上达到接近专家水平的性能。