跳到正文
只看教程#推理
  1. AWS Machine Learning Blog65

    Amazon Bedrock 支持 Kimi K3 在印度本地推理以满足数据驻留要求

    Amazon Bedrock 现在支持 Kimi K3 在印度本地推理，通过 in.moonshotai.kimi-k3 推理配置文件，满足严格的数据驻留要求。客户 Ultrahuman 报告使用该功能后，通过提示词缓存将 LLM 成本降低了 80%，多轮聊天速度提升了 85%。文章提供了 OCR 和理解 Indic-language 文档的示例代码，并介绍了跨区域推理选项和成本优化策略。

    推荐理由：AWS 介绍了 Kimi K3 在 Amazon Bedrock 上支持印度本地推理，满足严格数据驻留要求，并提供了 OCR 和 Indic-language 文档理解的实践代码。

  1. AWS Machine Learning Blog66

    AI 代理的 Groundhog Day：在 Amazon Bedrock 上使用 OpenAI 模型的提示缓存模式

    本文介绍了在 Amazon Bedrock 上使用 OpenAI 模型时，如何通过提示缓存模式让 AI 代理记住上下文，从而降低成本并提升响应一致性。文章演示了显式与隐式缓存的使用方法、缓存边界设置、工具列表变更处理以及多代理协作的热身策略，并给出了 GPT‑6 Astra 在六轮对话中的成本节省数据。

    推荐理由：本文展示了在 Amazon Bedrock 上使用 OpenAI 模型的提示缓存模式，帮助读者显著降低成本并提升代理响应效率。

已经到底了