AWS 详解 Deep Insight 生产级 AI 智能体的四层上下文工程
AWS 以开源多智能体数据分析方案 Deep Insight 为参考实现,拆解生产级 AI 智能体的四层上下文工程:架构层用 Coordinator、Planner、Supervisor 与工具智能体各自独立上下文。
四层上下文工程可直接照搬,write_and_execute 工具把代码留在文件里省约 95% token,技能按需加载省约 97% 系统提示词,代价是要先搭多智能体分层和文件通信约定。
AWS 以开源多智能体数据分析方案 Deep Insight 为参考实现,拆解生产级 AI 智能体的四层上下文工程:架构层用 Coordinator、Planner、Supervisor 与工具智能体各自独立上下文。
四层上下文工程可直接照搬,write_and_execute 工具把代码留在文件里省约 95% token,技能按需加载省约 97% 系统提示词,代价是要先搭多智能体分层和文件通信约定。
AWS 官方博客演示如何通过 code-based evaluator 把 Jev 和 Strands Decider 2B 两个决策模型接入 Amazon Bedrock AgentCore Evaluations,把 OpenTelemetry span 转成决策模型请求,再把概率分布映射回评估结果。
能把决策模型包进 Lambda 注册成 code-based evaluator,用校准概率做阈值筛选,再让内置 LLM 评估器只跑低分轮次;代价是要自备标注样本验证阈值,Jev 还需 TypeSafe API key。
AWS 与 EDB 联合发布教程,演示如何在 EDB Postgres AI 内用 AIDB 扩展构建语义知识库,让运行在 Amazon Bedrock AgentCore 上的 Strands Agents 智能体回答客户 360 问题。
把业务语义写进 Postgres 的 COMMENT ON 和视图注释,再用 create_semantic_kb 建向量索引,可替换独立的语义层或指标目录;代价是前期要逐列补注释,且多 KB 并存时每次检索都得显式传 kb_name。
AWS 发布教程,演示在 Amazon Bedrock AgentCore Gateway 上配置 on-behalf-of(OBO)令牌交换,让 AI Agent 调用 ServiceNow REST API 时保留发起用户的身份。
能拿走一套 OBO 令牌交换配置,把 Agent 调企业 API 的身份从应用本身换成发起用户;前提是 Entra 双应用注册、ServiceNow 入站 OAuth 和 MCP 2025-11-25 网关,漏掉 requested_token_use 参数就会认证失败。
Hugging Face 发布 transformers-mic,提出模型集成契约(MIC)标准,把真实 checkpoint 缩成小 fixture 并在 CPU 上跑固定用法路径,与人工审核过的基线比对。
可照搬的是一套缩小真实 checkpoint 做 CPU 快速集成测试的配方,含四步缩模型、冻结基线、按改动文件选测试,代价是基线需人工审核且目前不阻塞 PR。
AWS 发布教程,用 Amazon Nova Multimodal Embeddings、Amazon Bedrock AgentCore 和开源 Strands Agents SDK 搭建多智能体工程助手,把零件替换评估中的人工交叉比对改为自动汇集证据。
能拿走一套可复用做法:planner 用 Haiku 路由、Sonnet 跑工具、Opus 只在多专家时汇总,规格判定全用 Python 确定性代码;代价是要自建多模态知识库和 S3 Vectors 索引,图片查询路径权限缺失会静默回退。
AWS 在 SageMaker AI 上用序列级知识蒸馏(SeqKD)把 GLM-5.3 教师生成的购物 Agent 轨迹蒸馏进 Qwen3.5-4B,在 ShoppingBench 324 道留出题上平均绝对成功率从基座的 0.297 升到 0.541,追平教师和中等规模前沿模型。
能拿走一套完整做法,用前沿模型采样轨迹加程序化打分筛出解出的样本,按步编码成 chat 格式做 SFT,再把 LoRA adapter 挂到同一端点。落到软件工厂和本地模型部署两条线,前提是任务本身在 4B 容量内,且要接受 IFEval 掉 6 到 8 分。
AWS 发布教程,演示用开源 Python 爬虫 Crawl4AI 把网页抓取并整理成 Markdown 加 metadata sidecar 写入 S3,再由 Amazon Bedrock Knowledge Bases 的 S3 数据源完成解析、分块、嵌入和索引。
能拿走一套 Crawl4AI 抓取加 S3 metadata sidecar 再触发 ingestion 的流水线,换掉自己写爬虫清洗网页的活;代价是 sidecar 限 10 KB、分块策略建库后改不了,失败不报警。
AWS 介绍 Amazon Bedrock AgentCore runtime 的 Session endpoints,让编码 Agent 在会话内运行的 Vite 网站通过带认证的 URL 直接在浏览器里预览,Agent 保存文件后页面经 WebSocket 热更新、无需刷新。
能拿走的是 allowedPorts 配置加 session_endpoint_client 开本地端点这套做法,把编码 Agent 会话里的 Vite 站点直接映射到浏览器,省掉每次改动都重新部署;前提是 microVM 运行时、端口限 8000-12000、本地端点只在预览时开。
MoEngage 用 Amazon Bedrock AgentCore Gateway 把约 400 个 VPC 私有 REST API 注册为权限受限的智能体工具,估算省下约六个月平台工程工作量,新 API 接入从数天缩短到数小时。
把 OpenAPI spec 当工具定义、用 Cedar 策略在序列化前按主体裁剪 tools/list、身份走 header 不进模型参数,这套做法能直接换掉每团队自建 MCP server 的方案,前提是接受平台组统一托管协议层。
Exowatt 用 Amazon SageMaker AI 无服务器模型定制微调 Qwen3-1.7B 和 Qwen3-14B,在告警分诊和能源市场分析两个任务上分别达到 0.911 和 0.975 macro-F1,均超过 Claude Sonnet 4.6、Claude Opus 4.7 等前沿模型。
可复用其数据配方:少量人工核验样本加三倍改写扩增,改写后逐条校验标签与数字不变;代价是改写与校验环节要额外投入,且需自建证据引用校验。
Property Finder 发现其评测标签有 96.8% 直接沿用现有 VLM 的预测而非人工核验,导致任何替代模型在比较中天然吃亏。
可拿走一套做法,先人工重标几百张图做无偏基准,再用 Micro F1 加错误分析迭代提示词,最后用 MIPROv2 自动优化;能落到本地模型部署的选型评测线,代价是要有领域专家标注,356 张只够测中等差异。
Databricks 介绍一套文档抽取的可重复改进流程,用 ai_extract 的 schema 描述承载字段规则、全局指令承载文档级逻辑、precision mode 处理复杂表格,并用 MLflow Prompt Registry 对 prompt 和 schema 一起做版本与别名管理。
把字段规则写进 schema、文档级逻辑放全局指令、结构难题开 precision mode,再用 MLflow Prompt Registry 的别名做灰度与回滚,前提是先攒出几百份人工审核过的固定评测集,否则改动好坏分不清。
AWS 博客给出在 Amazon Bedrock 上调用 OpenAI 模型时使用提示词缓存的完整模式,覆盖静态工具与指令缓存、对话历史滚动断点、会话中途追加工具、子智能体共享前缀和新会话复用缓存键。
能拿走一套 Bedrock 上 OpenAI 模型的提示词缓存写法,含 prompt_cache_key、显式断点、additional_tools 追加工具和 warm 后 fan out 子智能体,落到软件工厂的多 agent 派单线;代价是前缀须逐字节稳定且至少 1024 token,缓存写入按 1.25 倍计费。
AWS 发布教程,用单个 Python CDK 应用在 Managed Amazon Bedrock Knowledge Base 和 AgentCore 上搭建企业级智能体检索,一个 cdk deploy --all 部署四个栈。
能拿走一套 CDK 四栈模板,把两个 Managed KB 经 AgentCore Gateway 暴露成 MCP 工具做语义路由,并带七层 CloudWatch 遥测和在线评估;代价是区域支持有限、在线评估按采样率烧 LLM 调用。
Databricks 产品负责人 Patrick 复盘公司全面铺开 AI 编码 agent 后成本指数级上涨、再通过四项措施把单位成本最多降低 90% 的过程。
可拿走四招降本做法,模型换代迁移、路由、花费可见性、砍 token 开销,落到软件工厂的编码 agent 成本控制上;前提是先有统一网关收口全部流量,否则看不到钱花在哪。
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习(MTRL)的端到端实操指南,用 Wordle 演示训练 gpt-oss-20b 在留出词上的解词率从 61% 提升到 84%。
能拿走一套多轮 RL 流水线,Agent 与奖励函数同文件部署到 AgentCore,数据集只放任务不放轨迹,奖励按结果主导加小幅 shaping;代价是训练 token 费用约 339 美元、AgentCore 另计约 79 美元,且训练中不能重新部署 agent。
Bayer Crop Science 在 Amazon Bedrock AgentCore 上构建了 Agentic Decision Engine(ADE),用 supervisor 智能体把自然语言问题路由给 22 个领域专家智能体,第一阶段约 80% 的用户问题无需工程师介入即可解决。
可拿走五条落地做法:LangGraph 检查点写 DynamoDB、按 agent 收窄工具目录、OpenAPI 注册成 MCP 工具、稳定前缀做 prompt 缓存省 20–30% 输入 token、按任务而非 HTTP 状态做告警;前提是已有 AgentCore 与 IAM 体系。
微软与 Hugging Face 联合发布 ThinkingBox-Training,把 ThinkingBox 对数据库终态的 1/0 可执行校验直接当作 RL 奖励。
可复用离线策略相对难度筛选,用 Beta 后验把任务分五档,只留 0.08 到 0.90 区间做 GRPO,代价是每个候选任务要先跑 n 次探测,且训练与评测的解析器必须对齐。
AWS 机器学习博客给出在 Amazon SageMaker AI 实时端点上部署 Kokoro-82M 并实测推导自动扩缩容参数的方法,用 Q_max(单实例在 SLO 内能承受的最高并发)和 T_total(一次扩容端到端耗时)两个测量值算出扩容阈值、缩容阈值和两个冷却时间。
能拿走一套五命令链 drift/qmax/ttotal/plan/validate,用实测并发上限和扩容耗时反推扩缩容阈值与冷却时间,落到本地模型部署线;代价是要跑约 36 分钟压测并占用 GPU 配额,样本容器还钉着有已知漏洞的旧 PyTorch。