AWS Machine Learning Blog· Claudio Mazzoni·· 20 天前精选AI 评分71
AWS 详解 Amazon Bedrock 上 OpenAI 模型的提示词缓存模式
Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
AI 导读
AWS 博客给出在 Amazon Bedrock 上调用 OpenAI 模型时使用提示词缓存的完整模式，覆盖静态工具与指令缓存、对话历史滚动断点、会话中途追加工具、子智能体共享前缀和新会话复用缓存键。
借鉴点
能拿走一套 Bedrock 上 OpenAI 模型的提示词缓存写法，含 prompt_cache_key、显式断点、additional_tools 追加工具和 warm 后 fan out 子智能体，落到软件工厂的多 agent 派单线；代价是前缀须逐字节稳定且至少 1024 token，缓存写入按 1.25 倍计费。
来源：AWS Machine Learning Blog · aws.amazon.com