跳到正文
11月5日周四
11月4日周三
  1. The Decoder78

    GPT-6 Astra 通过权重空间编程直接重编程其他 AI 模型

    GPT-6 Astra 采用权重空间编程方法,无需标准训练过程即可直接操作模型权重,实现高效能力调整。在 Qwen3.5-0.8B 上,Astra 仅修改 0.016% 的权重,使 MATH-500 基准准确率从 7.9% 跃升至 48.1%,指令遵循能力从 21% 提升至 62%。Astra 还能仅通过原始权重识别网络学习到的游戏和图像生成的基本形状,并生成超越标准训练方法的模型权重。

    推荐理由:研究展示了通过权重空间编程直接修改模型权重,实现高效能力提升和缺陷修复的可行性。

7月26日周日
3月13日周五
  1. Berkeley AI Research50

    Identifying Interactions at Scale for LLMs

    SPEX 和 ProxySPEX 算法能够在大规模上识别 LLMs 的关键交互,克服了复杂性带来的计算不可行性。SPEX 利用稀疏性和低度特性,通过信号处理和编码理论将交互发现转化为可解的稀疏恢复问题。ProxySPEX 进一步利用模型中的层次结构,以约 10x 更少的 ablations 达到与 SPEX 相当的性能。