跳到正文
  1. AWS Machine Learning Blog71

    AWS 详解 Amazon Bedrock 上 OpenAI 模型的提示词缓存模式

    AWS 博客给出在 Amazon Bedrock 上调用 OpenAI 模型时使用提示词缓存的完整模式,覆盖静态工具与指令缓存、对话历史滚动断点、会话中途追加工具、子智能体共享前缀和新会话复用缓存键。

    借鉴点

    能拿走一套 Bedrock 上 OpenAI 模型的提示词缓存写法,含 prompt_cache_key、显式断点、additional_tools 追加工具和 warm 后 fan out 子智能体,落到软件工厂的多 agent 派单线;代价是前缀须逐字节稳定且至少 1024 token,缓存写入按 1.25 倍计费。

已经到底了