跳到正文
  1. AWS Machine Learning Blog64

    Amazon Bedrock 为 Anthropic Claude 模型上线结构化输出

    Amazon Bedrock 在 bedrock-runtime 和 bedrock-mantle 两个端点上为所有 Anthropic Claude 模型提供结构化输出,用约束解码在生成 token 时强制符合 JSON Schema,返回结果无需再解析或重试。

    借鉴点

    能直接拿走 output_config.format 传 JSON Schema 和 strict tool use 两套写法,换掉现在靠重试和正则兜底的解析层;代价是 schema 必须 additionalProperties:false,新 schema 首次请求要编译语法,缓存 24 小时且改结构即失效。

  2. Cloudflare AI75

    Cloudflare 把 AI 代码审查单次成本从 2.43 美元降到 0.77 美元

    Cloudflare 把 AI 代码审查的平均成本从 2.43 美元降到 0.77 美元,降幅 68%,中位耗时从 4 分 09 秒缩短到 1 分 32 秒。节省中约 40% 来自代码改动,其余来自模型与 effort 组合的调整,其中最大单项是让每个会话的首次请求真正命中前缀缓存。

    借鉴点

    可拿走三招:给共享前缀单独设缓存断点、把参考索引塞进 prompt 免掉前几轮读文件、多 reviewer 共用同一前缀由第一个写缓存其余读。前提是接受首请求多等最多 20 秒,且要逐档核对 effort 降级后是否漏掉真问题。

已经到底了