Vals CyberOffense 基准测试开源与闭源AI模型网络渗透能力差距缩小
Vals CyberOffense 基准测试显示,开源模型 Deepseek V4.1 Flash 1017 在模拟企业网络渗透测试中达到 72.8% 的目标完成率,接近 OpenAI 限制性项目 GPT-6 Sol Daybreak 的 80.8%。开源模型使用成本约为 $3/次,而闭源模型成本约为 $22/次,且研究指出模型权重公开后使用无法被提供方控制。
Vals CyberOffense 基准测试显示,开源模型 Deepseek V4.1 Flash 1017 在模拟企业网络渗透测试中达到 72.8% 的目标完成率,接近 OpenAI 限制性项目 GPT-6 Sol Daybreak 的 80.8%。开源模型使用成本约为 $3/次,而闭源模型成本约为 $22/次,且研究指出模型权重公开后使用无法被提供方控制。
九个AI智能体尝试在来自美国国家实验室的开放性研究问题上进行自主研究,但所有135份提交均未满足所有要求。GPT-6 Astra在15项任务中表现最佳,仅有其提交工作无完整性违规,但无一提交达到专家标准。研究发现智能体常出现数据与代码不匹配、数字矛盾和虚假实验声明等问题,且更长的运行时间并未带来更好的结果。
SemiAnalysis 发布 GDPx benchmark,将 AI agents 置于模拟知识工作环境,无模型得分超过 12 percent。Claude Opus 5.5 排名第一,得分为 12 percent;Gemini 4 Carbon 得分 10.9 percent,成本为 $16.29 per task。
腾讯发布AI模型Hy4,首次具备图像理解能力并能自主操作软件,目前通过Tencent Cloud、OpenRouter和腾讯应用可用。在金融专业人士的测试中,Hy4超越了Deepseek V4.1 Flash、Kimi K3.1 Pro和GLM-5.3 Flash。
该材料综述了近期AI领域的多个热点,包括GPT-6 Astra编辑Qwen3.5-0.8B权重使MATH-500得分从7.9%提升至48.1%的权重空间编程实验,以及Latent Sparse Attention (LSA) 方法将Qwen-3.8-27B扩展至10M token并实现72.4×更快的attention-layer prefill。
基于 Sparks of Weight-Space Programming 论文,作者实践了 LLM 解读模型权重的实验,发现 Qwen 3.8 27B 运行在笔记本上也能完成此任务。Qwen 3.8 27B 成功识别了 Pac-Man、Pong 和 Breakout 等游戏的权重,推理时间分别为 46m 12s、1h 4m 54s 和 52m 25s,而对 Freeway 游戏识别失败。
Vals 研究发现中国 AI 模型对政府立场的倾向性存在差异,整体倾向低于预期,但存在模型间显著差异。提示词语言影响显著,中文提示词使模型更倾向于政府立场,例如 Kimi K3 否认了新疆维吾尔族集中营的存在。
Deepgram 收购 Pipecat 开发者 Daily,Pipecat 是一个开源 voice AI 基础设施框架,用于管理 STT、LLM 和 TTS 等组件并降低延迟。双方承诺 Pipecat 保持开源,Deepgram 借此增强实时语音和视频基础设施理解,并联合发布了 voice agent 的开放协议 Real-Time Context Standard (RCS)。
中国 AI 实验室正主要利用 OpenAI 的 GPT-6 Astra 训练最新模型,包括 Kimi K3.1 Pro 和 V4.1-Flash 1017,而非 Anthropic 的 Claude。Anthropic 已通过新方法将攻击者可提取的数据量削减 90% 至 99%。OpenAI 曾报告涉及 Moonshot 的协同蒸馏活动,并表示正严肃对待此问题。
DeepSeek 在 PyTorch Conf 首次公开其开源推理框架 DeepInfer,声称单集群可达 155T tokens/day 的吞吐量,利润率超过 80%,并提供了对 V4.1 Flash 的生产级支持。