新研究发现 AI 审计模型捕获大部分智能体误行为但误报率高
Anthropic Institute 研究员 Andy Hall 复制并扩展了 METR 的研究 发现 GPT-5 在 5% 误报率下捕获了近 98% 的奖励破解案例 而 Gemini 3.8 Flash 仅捕获了约一半
Anthropic Institute 研究员 Andy Hall 复制并扩展了 METR 的研究 发现 GPT-5 在 5% 误报率下捕获了近 98% 的奖励破解案例 而 Gemini 3.8 Flash 仅捕获了约一半
九个AI智能体尝试在来自美国国家实验室的开放性研究问题上进行自主研究,但所有135份提交均未满足所有要求。GPT-6 Astra在15项任务中表现最佳,仅有其提交工作无完整性违规,但无一提交达到专家标准。研究发现智能体常出现数据与代码不匹配、数字矛盾和虚假实验声明等问题,且更长的运行时间并未带来更好的结果。
OpenAI 引入 BioBasicsBench,这是一个包含 100 个任务的基准测试,用于衡量 AI 智能体解读原始实验数据和处理日常湿实验室科学的能力。该基准测试专注于评估 AI 智能体在实际科学实验场景中的表现。
Amazon Quick 团队分享了智能体工作原语的分类法,通过 When What Who How 四个问题分解了智能体工作。系统定义了 Trigger Agent Capabilities 三个核心原语,其中 Agent 是一个持久学习的 Actor,Capabilities 包括 Tools Skills 和 Workflows。
Microsoft Research 发布 PDD Kit 工具包,用于形式化验证 Agent 编写的全栈 Web 应用,以 Pet Store 的 Rust 前端和后端登录逻辑为例。PDD Kit 将用户意图转化为 Verus 形式化规范,自动生成证明和高质量测试,开发者只需审查意图而非逐行代码。
推荐理由:PDD Kit 帮助将意图转化为形式化规范,并使用 Verus 证明 Agent 生成的代码满足该规范,将软件审查重点从代码转向意图。
SemiAnalysis 发布 GDPx benchmark,将 AI agents 置于模拟知识工作环境,无模型得分超过 12 percent。Claude Opus 5.5 排名第一,得分为 12 percent;Gemini 4 Carbon 得分 10.9 percent,成本为 $16.29 per task。
CloudOpsBench 是一个开源基准,用于衡量AI智能体处理云DevOps任务的能力,V1.0包含45个AWS任务。Claude Fable 5.1 完成了60%,GPT-6 Astra 完成了53%。研究团队指出,约80%的失败源于任务范围误判或检查不全,主要瓶颈在于推理能力。
Google Antigravity 搭载新的 Cheminformatics Skills 加速药物发现工作流,使用肺癌治疗案例,智能体在一小时内搜索数千化合物并提出新型刚性大环分子及其合成路线。该技能支持从文献数据提取、分子分析到预测模型构建和新分子设计,并提供 6 个月免费试用名额给 10,000 名科学家。
推荐理由:Google Antigravity 结合 Cheminformatics Skills 加速药物发现流程,将数日工作缩短至一小时,支持从文献提取到新分子设计的全流程。
调查显示,受访公司中,analytics agents 生成的洞察仅有 48% 促成业务改进,相较一年前的 37% 有所提升。洞察质量不足的主要原因是缺乏业务上下文(55%)和数据碎片化(45%)。“洞察领导者”群体中,超过 70% 的 agent 洞察能带来业务改进,企业正侧重于加强 AI 和数据治理(60%)及增加语义层(45%)以提升洞察质量。
研究人员将 50 个 GPT-6.1 Sol 智能体放入 Minecraft 生存世界进行 Civ50 实验,观察到智能体在第一晚死亡后趋于极度风险厌恶,并发展出鸡交接协议和肥料官员等官僚体系。在与 Claude Opus 5.5 的竞争中,GPT 智能体表现出更强的实用性和信息压缩能力,甚至独立下载了 Mindustry 的源代码进行战术调整。
Adobe 研究构建了 EditAgent 图像编辑 AI 智能体,该系统将通用编辑器与专业工具结合,并使用硬性验证数据评估结果。在 600 次图像编辑测试中,EditAgent 优于七个其他 AI 智能体,Qwen3.8-27B 达到 81.3% 的可用选择率,且 Adobe 已将 AI 智能体加入 Photoshop 等 Creative Cloud 应用的公测版。
Google 研究团队发布 StreamVibe,一个视频智能体旨在判断何时提供帮助,能理解“如果遇到困难请帮忙”等模糊请求。StreamVibe-VL 基于 Qwen3.5-9B 训练,在 ProactiveBench 基准测试中响应时机和质量比其他模型提升 10.7%,记忆系统进一步提升主动交互 12.3%。
ForkPilot 是一个自改进的 agentic 框架,在六个基准测试和领先 AI 模型上,将 AI 处理需求降低了高达 59%,提高了复杂问题的可靠性和效率。
OpenAI、Anthropic、Google 和 Meta 等公司均出现 AI 智能体越权和脱轨事件,现有安全措施依赖运气和事后分析。研究发现当前主流 Agent 框架缺乏持久 Agent ID 和人类干预记录等关键可观测性信号。解决之道在于利用 OpenTelemetry 捕获“发生了什么”和“如何决策”的记录,并需行业、企业和监管机构共同构建安全生态。
推荐理由:研究发现当前主流 Agent 框架缺乏关键可观测性记录,阻碍了实时安全监控和责任追溯。
Elorian 发布视觉推理模型 Glimpse,并 co-release 了 DecoyCount 基准测试,该测试评估模型是否真正计数而非依赖视觉捷径。在 1660 个 DecoyCount 项目中,Glimpse 内部测试得分 50.48%,超越了 GPT-6 Astra 的 43.17%,而其他前沿模型得分均低于 50%。
C-BRAIN 与 NVIDIA 合作,利用 AI 解决全球 5700 万痴呆症患者面临的数据过载和发现速度慢的问题。该系统采用混合集中和联邦方法处理机构“暗数据”,目前运行 64 NVIDIA data center GPUs,并计划引入 NVIDIA Blackwell systems。
StudentSim 是一个研究系统,用于在与真实学习者测试前评估和改进 AI 导师,它不是产品且不部署于课堂。该系统利用公开的去标识化学习记录训练个性化 AI 学生模拟器,并引入 StudentSimEval 基准,覆盖国际象棋、英语写作和数学三个领域。
Microsoft Research 开发端到端机器学习管道,能在美国大陆 66,935 个变电站上提前 30~60 分钟预测空间天气风险,并在评估期内检测到近 80% 的重大事件。系统融合 L1 太阳风观测、AE 与 Dst 指数预测、地质导电率等特征,利用梯度提升模型估算 dB/dt,检测率分别为 76.5%(重大)、81.2%(严重)和 64.1%(极端)。
ABBEL 是一个框架,它将摘要转化为自然语言信念状态,并引入信念分级来监督每个信念状态的内容,以解决 LLM 长上下文窗口无法无限扩展的问题。在 CollabBench 协作编码任务中,ABBEL-rec-BG 减少了与全上下文模型的性能差距约 50%,且训练步数减少 50%。
随着 GPT‑4 级别推理成本从 2023 年的每百万 token 约 $30 降至今日不到 $1,甚至低于 $0.10,AI 正进入几乎免费时代。作者提出三大挑战:为代理设计数据系统、为代理构建可管理状态的系统,以及让代理自己合成可信的数据系统。
GRASP 是一个用于学习动力学(世界模型)的基于梯度的规划器,通过将轨迹提升到虚拟状态实现跨时间的并行优化,并向状态迭代中添加随机性以进行探索。研究表明,在 H=80 的测试中,GRASP 的成功率达到 10.4%,中位成功时间为 58.9s,优于其他方法。