AWS 详解 Deep Insight 生产级 AI 智能体的四层上下文工程
AWS 以开源多智能体数据分析方案 Deep Insight 为参考实现,拆解生产级 AI 智能体的四层上下文工程:架构层用 Coordinator、Planner、Supervisor 与工具智能体各自独立上下文。
四层上下文工程可直接照搬,write_and_execute 工具把代码留在文件里省约 95% token,技能按需加载省约 97% 系统提示词,代价是要先搭多智能体分层和文件通信约定。
AWS 以开源多智能体数据分析方案 Deep Insight 为参考实现,拆解生产级 AI 智能体的四层上下文工程:架构层用 Coordinator、Planner、Supervisor 与工具智能体各自独立上下文。
四层上下文工程可直接照搬,write_and_execute 工具把代码留在文件里省约 95% token,技能按需加载省约 97% 系统提示词,代价是要先搭多智能体分层和文件通信约定。
AWS 发布教程,演示用开源 Python 爬虫 Crawl4AI 把网页抓取并整理成 Markdown 加 metadata sidecar 写入 S3,再由 Amazon Bedrock Knowledge Bases 的 S3 数据源完成解析、分块、嵌入和索引。
能拿走一套 Crawl4AI 抓取加 S3 metadata sidecar 再触发 ingestion 的流水线,换掉自己写爬虫清洗网页的活;代价是 sidecar 限 10 KB、分块策略建库后改不了,失败不报警。
Mistral 发布 Mistral Large 4(Le Chonk)的开源权重,这是其 1 万亿参数原生多模态旗舰模型,此前已进入公开预览。
能拿走的是三档推理模式与 token 效率取舍,以及 vLLM/SGLang 自托管部署路径;可落到本地模型部署和软件工厂,代价是 1 万亿参数对硬件要求高,商用 MaaS 还需另签许可。
IBM 在 Hugging Face 发布 Granite Timeseries Ensemble,用一个可扩展接口把四个预训练 Granite 时序模型组合起来,无需重训即可输出中位数和分位数预测。
能直接 pip 装 granite-tsfm 调 from_pretrained 拿四个 Granite 模型的中位数和分位数预测,省掉挑单一模型;代价是首次运行要下载四个 checkpoint,推理时间和显存都涨。
AWS 解决方案架构团队开源了多智能体系统 Deep Insight,并逐条说明生产环境中的 5 个挑战及对应技术栈。
能拿走 Strands Graph 定执行顺序、Agents-as-Tools 让 Supervisor 按需调子 agent、按角色配 Haiku/Opus/Sonnet 并选择性开 Prompt Caching,落到软件工厂的多 agent 编排;代价是要自建 Fargate 沙箱和 VPC 隔离。
NVIDIA 扩展开源模型家族,覆盖语言、机器人、生物和量子计算,包括 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Nemotron Retriever、Kumo、Cosmos 3.5、Alpamayo 2 Edge、BioNeMo RFD4-Proteina 和 Ising。
能拿走的是 Nemotron 3.5 系列加 Kumo、Cosmos、Ising 的开源权重与 NIM 打包方式,可落到本地模型部署和 Agent 数据管线;代价是多数模型要自己用本地数据后训练,Bolt E4B 4GB 还要等到 10 月 23 日。
AWS 在 Amazon SageMaker HyperPod 上用 LoRA 微调 GPT-OSS-20B,SFT 把推理语言正确率从 22% 提到 100%,再叠加 GRPO 把答案语言正确率从 62% 提到 70%。
能拿走 SFT 与 GRPO 的分工判据和 LoRA r=8/α=16 配置,落到本地模型部署与训练流水线;前提是先测出 pass@k 与 pass@1 的差距,没有余量时 GRPO 白烧 GPU。
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve,它用 GPT-4.1 分析智能体在训练任务上的轨迹,把成功与失败蒸馏成简短行为规则追加到 system prompt,不更新模型权重。
能从智能体自己的任务轨迹里自动提炼行为规则追加到 system prompt,不更新权重;代价是输入 token 涨 32%–65%,规则数量要按领域调。
美国新实验室 Reflection 在 Hugging Face 发布首个模型 Beam,501B 参数 MoE、每 token 激活 23B,支持 1M token 上下文,Apache 2.0 许可,主打编码与智能体场景。
能拿走混合注意力与残差缩放的具体配比、vLLM/SGLang 启动参数和 LoRA SFT 配方,落到本地模型部署线;代价是 BF16 权重约 1TB,需 4 张 B200 或 8 张 H200 起步。
IBM 发布 Granite Switch 4.1,8B 和 30B 两个版本在同一个托管端点上同时提供对话、通用与安全决策、语音转写能力。模型组合了新的通用决策 aLoRA、在安全决策任务上平均优于 Jev 1.13 等模型的 Guardian aLoRA,以及 OpenASR 榜首的 Granite-Speech-5.0-Turbo-CTC,整体显存占用约等于基座模型本身。
把通用决策、安全决策和 ASR 三个 aLoRA 挂到同一基座、共享 KV cache,显存约等于基座本身;自组 Switch 模型需自己训 aLoRA,Adapter SDK 尚未放出。
Mistral 发布首个时序基础模型系列 Timestral,含 5M、28M、123M、209M 四个尺寸,最大模型以 209M 参数在 GIFT-Eval、TIME、fev-bench 三个公开基准的预训练零样本模型中排名第一,参数约为此前 SOTA 的三分之二。
可借鉴的是合成数据优先加两阶段训练配方,以及把协变量按目标、仅历史、已知未来分角色做注意力掩码;前提是自建时序预测管线,代价是需自造合成数据并调 21 分位 pinball loss。
Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 基础上加入图像与音频理解、可选思考模式、4 倍长上下文(262,144 tokens)、更好的指令遵循与工具调用,权重于 2026 年 7 月 24 日以 Apache 2.0 协议发布在 Hugging Face。
可借鉴早期融合做法,图像音频经 tokenizer 变成离散 token 与文本同序列,架构不变、训练按纯文本速度跑;代价是只扩词表、模型只输出文本,音频理解仍是实验性。
Black Forest Labs 发布 FLUX.3 Image Klein,一个模型同时支持文生图、多参考图生图和新增的布局控制,Diffusers 首日即可运行。
可拿走 bbox 布局控制写法([y_min,x_min,y_max,x_max] 0–1000 归一化)和 src_bbox/tgt_bbox 局部搬移,落到视频产线与图像编辑;代价是参考图让耗时翻倍、显存约 24GiB。
AWS 团队提出 Priming 方法,把预训练 Transformer 的权重作为混合架构的初始化,将混合架构的预训练成本降低 99% 以上,整个流程消耗不到源模型预训练 token 预算的 0.5%。
用预训练 Transformer 权重初始化混合架构,把预训练成本压到 0.5% 以下,可低成本对比 GKA、GDN、Mamba-2 与 SWA 的层替换方案;代价是仍需短蒸馏和端到端微调,且层选择依赖 SWA 替换代理实验。
微软亚洲研究院开源 Agent Lightning v1.0,用约 3500 行代码实现 Harnessed Agentic RL,让部署时使用的 agent harness 直接参与强化学习训练,无需在训练框架内重写 agent。
把部署用的 harness 直接接进 RL 训练,只需把模型端点指向 LLM proxy,省去在训练框架里重写 agent;代价是重分词、样本合并与优势/损失归一化要按 rollout 级处理。
Google DeepMind 发布 EmbeddingGemma 2,一个把文本、代码、图像、视频和音频映射到统一嵌入空间的端侧多模态嵌入模型,采用 Apache 2.0 许可,参数量 740M。
可把本地 RAG 的检索层换成单一多模态嵌入模型,文本 270M、视觉 170M、音频 300M 按需加载,MRL 截到 128 维省 6 倍存储;代价是需自行接 LiteRT 或 transformers.js 部署。
Berkeley Sky Lab 与 IBM Research 在 K-Search 上新增 MLX 后端和结构化 CUDA-to-MLX 翻译层,让演化式内核搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。
可拿走 CUDA 到 MLX 的概念映射表、exp2 技巧和并行 scan 改写,落到本地模型部署;前提是自备 LLM API key 并接受搜索迭代成本。