技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
22 条精选近 30 天 20 条共收录 88 条
Greenlight Financial 利用 Amazon Bedrock AgentCore 构建了 Luna 自主 SOC 解决方案，每月无需人工干预解决超过 90% 的 3,000-4,000 个安全和风险案例。该系统采用分层多智能体架构，包含超过 30 个专业 Agent，并利用 Episodic Memory 实现持续学习，将平均例行案例的分类时间缩短至秒级。
推荐理由：Greenlight Financial 利用 Amazon Bedrock AgentCore 构建了自主 SOC 解决方案，实现了超过 90% 的安全风险案例的自动化处理。
Amazon Marketplace使用VLM和OCR构建内容质量评估系统，将完整页面渲染为单张快照进行VLM整体评估，并结合OCR的文本可读性信号训练CatBoost分类器。该融合模型在5,478个产品详情页上达到0.94的准确率和0.95的F1分数，通过SHAP生成可操作的改进建议，使修订后的页面质量得分平均提升1.4分。
推荐理由：该系统通过VLM、OCR和CatBoost融合评估A+内容，并利用SHAP生成可操作的改进建议，实现内容质量的量化与提升。
Microsoft Research 发布 PDD Kit 工具包，用于形式化验证 Agent 编写的全栈 Web 应用，以 Pet Store 的 Rust 前端和后端登录逻辑为例。PDD Kit 将用户意图转化为 Verus 形式化规范，自动生成证明和高质量测试，开发者只需审查意图而非逐行代码。
推荐理由：PDD Kit 帮助将意图转化为形式化规范，并使用 Verus 证明 Agent 生成的代码满足该规范，将软件审查重点从代码转向意图。
OpenAI 构建了一个自主管道，成功发现了验证并生成了 948 个 Linux 内核本地权限提升漏洞的补丁。
推荐理由：OpenAI 构建的自主管道成功发现了验证并生成了 948 个 Linux 内核本地权限提升漏洞的补丁。
生产级 AI 智能体在数据分析和报告生成中常因上下文管理成为瓶颈，本文基于 Deep Insight（基于 Strands Agents SDK 和 Amazon Bedrock AgentCore）阐述了四层上下文工程实践：架构级隔离、提示词控制、文件系统外部化和独立验证。通过单次写并执行工具，可将脚本对上下文的 token 消耗减少约 95%，按需加载技能可使系统提示缩减约 97%。
推荐理由：文章系统性地阐述了四层上下文工程实践，帮助生产级 AI 智能体有效管理 LLM 的有限上下文窗口。
Legora CTO Jacob Lauritzen 讨论了为律师构建 AI 智能体所需条件，该公司已实现 $100M ARR 且拥有超过 1,800 个客户。Legora 采用模拟 RL 环境进行评估，而非直接读取客户数据，所有基础设施运行在 Azure 以满足数据隐私要求。
推荐理由：Legora 的实践展示了 AI 智能体在法律领域的应用路径，强调了数据隐私和模拟环境评估的重要性。
该方案展示了如何使用 Amazon Bedrock AgentCore、Amazon Nova Multimodal Embeddings 和 Strands Agents SDK 构建多智能体工程助手，以自动化部件替代的证据收集。系统通过规划器路由至 Catalog、Evaluation 和 Knowledge 三个专家智能体，结合确定性代码进行规格匹配，并确保工程师始终是最终决策者。
推荐理由：该方案展示了如何结合多模态嵌入和多智能体系统，自动化工程部件替代的证据收集与文档起草。
通过序列级知识蒸馏 (SeqKD)，将前沿教师模型（如 GLM-5.3 on Amazon Bedrock）的行为迁移到小型学生模型（如 Qwen3.5-4B），实现高效智能体。该方法仅需教师的文本输出，无需访问 logits，可在 SageMaker AI 上使用服务器less SFT 进行微调，最终 4B 学生模型实现了接近教师模型的任务质量，显著降低了生产规模的调用成本。
推荐理由：文章展示了如何利用 SeqKD 将前沿教师模型的行为迁移到小型学生模型，实现成本和效率的平衡。
Amazon Bedrock AgentCore runtime 的 Session endpoints 允许用户通过浏览器实时预览编码智能体构建的 Web 应用，无需等待部署。本教程部署了一个使用 Vite 网站的编码智能体，通过本地端点和 Session endpoint 在浏览器中实时查看和交互，例如将网站切换为深色主题。
推荐理由：该教程展示了如何通过 Session endpoints 实现编码智能体构建的 Web 应用实时预览和交互体验。
Kiro是一个集成AI的IDE，通过一个可复用的引擎将PHP到Java的迁移从一次性尝试转变为可衡量、可重复的过程。该引擎基于共享方法论、机械发现扫描器和八阶段工作流，以原始PHP应用为规范，直到校验套件验证后才判定Java端口正确。该流程可通过Kiro交互式驱动或通过AWS Transform在投资组合规模上自主运行。
推荐理由：该引擎将PHP到Java的迁移过程转化为可衡量、可重复的流程，核心在于先发现后翻译和先构建判断器。
开发者结合 Frontier AI 模型和 NVIDIA Omniverse 库，通过自然语言指令指导 AI Agents 构建各类模拟应用，包括使用 Claude 和 Astra 创建可编辑 3D 资产、测试机器人拆解、重建建筑模型和构建数字孪生。
推荐理由：文章展示了如何结合前沿 AI 模型和 NVIDIA Omniverse 库，将模拟想法转化为可编辑的 3D 应用和数字孪生。
该文章介绍了基于Amazon Bedrock AgentCore构建企业级Agentic AI平台的架构和参考实现，旨在解决生产环境中Agent部署的治理、成本和安全瓶颈。该平台采用联邦运营模型，由中央Platform控制平面和可重复的Workstream单元组成，通过推理和工具网关、部署运行时评估等机制实现端到端治理和生命周期管理。
推荐理由：该蓝图展示了如何在多账户AWS环境中构建受治理的企业级Agentic AI平台，平衡了平台控制与业务团队自治。
Nvidia 发布开源语音识别模型 Nemotron 3.5 Transcribe，该模型支持 40 种语言转录，31 种语言互译，并识别 13 种语言中的说话人，可处理长达一小时的录音。该模型拥有 300 亿参数，但每处理步骤仅激活约 40 亿参数，可在单张 Nvidia GPU 上运行，并在 Hugging Face 英文 Open ASR Leaderboard 上位居开源模型第一。
推荐理由：Nemotron 3.5 Transcribe 集成了转录、翻译和说话人识别，在多个基准测试中表现优于同等计算量的开源模型。
NVIDIA RTX Spark 笔记本现已从 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI 等厂商处供货，集成了 NVIDIA Blackwell RTX GPU 和 NVIDIA Grace CPU，支持高达 128GB 统一内存和 1 petaflop FP4 AI 性能。
推荐理由：RTX Spark 笔记本集成了 Blackwell RTX GPU 和 Grace CPU，支持 Nemotron 3.5 Transcribe 等本地 AI 模型和 Agent 工具。
该文章介绍了基于Amazon SageMaker Python SDK v3的参考架构，用于实现跨车间计算机视觉模型全生命周期管理。
推荐理由：该架构展示了如何利用SageMaker SDK v3实现跨车间的计算机视觉模型全生命周期管理，解决了大规模部署的挑战。
本文介绍了在 Amazon Bedrock 上使用 OpenAI 模型时，如何通过提示缓存模式让 AI 代理记住上下文，从而降低成本并提升响应一致性。文章演示了显式与隐式缓存的使用方法、缓存边界设置、工具列表变更处理以及多代理协作的热身策略，并给出了 GPT‑6 Astra 在六轮对话中的成本节省数据。
推荐理由：本文展示了在 Amazon Bedrock 上使用 OpenAI 模型的提示缓存模式，帮助读者显著降低成本并提升代理响应效率。
该方案使用 AWS CDK 构建了基于托管 Amazon Bedrock 知识库的企业级智能体检索系统，支持多知识库语义路由和推理智能体。系统内置了七层可观测性（如 CloudWatch 仪表板）以及按需和连续的评估机制，所有组件均可通过单条 cdk deploy 命令部署。
推荐理由：该方案展示了如何利用托管知识库构建企业级智能体检索，并内置了七层可观测性和评估能力。
NVIDIA Cosmos 平台新增训练、评估与部署工具，帮助开发者加速物理 AI 训练与部署。新增 Cosmos Data Factory 蓝图、Cosmos Framework 训练工具和 Cosmos NIM 微服务，支持多模态数据、agentic 技能，并已被 Porsche、ANYbotics 等企业使用。
推荐理由：NVIDIA Cosmos 平台新增训练、评估与部署工具，帮助开发者加速物理 AI 训练与部署，并支持多模态数据与 agentic 技能。
NVIDIA 在欧洲零售业通过开放模型和物理智能实现数字发现到实体运营的转型。
推荐理由：文章展示了 NVIDIA 技术在欧洲零售业的多场景落地，读者可了解其成本与性能提升的具体案例。
GitHub 发布了基于 fine‑tuned ModernBERT 的秘密检测模型，提升了检测准确率并降低误报。新模型采用两阶段管道：先用正则表达式快速生成候选，再用 ModernBERT 进行上下文感知分类，显著提高了对真实凭证的识别率。实验表明，后推扫描执行时间下降 86%，成本降低 98%，用户接受率提升 11.5%。该模型使秘密扫描在推送前后均能更高效、准确地运行。
推荐理由：GitHub 通过 fine‑tuned ModernBERT 提升秘密检测准确率与效率，显著降低误报与成本。