如何搭建抗住海量 Agent 并发的大模型网关：语义缓存、双桶限流与三态熔断
作者针对多 Agent 批量上线后 429 限流雪崩与 Token 账单翻 5 倍的问题，给出一套纯 Python 标准库实现的大模型网关核心代码，包含向量语义缓存、RPM+TPM 双桶限流和三态熔断降级路由。
借鉴点
能拿走语义缓存阈值0.85、RPM+TPM双桶预扣、三态熔断三段代码，落到本地模型部署与软件工厂的网关层；代价是向量用字符n-gram散列近似，相似度阈值和Token预估倍数要按业务调。
技术方向
推理能力 最新动态
让大模型先想再答的能力：思维链、推理模型，数学与逻辑评测上的突破和争议。
82 条精选近 30 天 72 条共收录 377 条
更新
精选归档 · 第 4 页
掘金精选AI 评分7474 Hugging Face Blog精选AI 评分7171 Dharma AI 用 VocabX 为 SLM 定制词表，实测推理成本降 77%
Dharma AI 在 Hugging Face 博客披露 VocabX 方法，在不改基础模型、数据和训练配方的前提下，把 Qwen3-4B 葡语作文评分器的实测推理成本降低 77.0%，平均响应从 350 token 降到 101 token。
借鉴点能拿走按 token 成本而非频次重建词表的方法，子词合并加宏 token 两层同预算筛选，落到本地小模型部署可省 77% 推理成本；代价是需重训分词器并重跑训练，且压缩掉关键决策 token 会掉点。
Hacker News · AI 讨论精选AI 评分7878 CTGT 研究：开启确定性推理后，策略解析流水线仍产出四种不同结果
CTGT Engineering 在 Qwen3.8-27B 上开启 SGLang 确定性推理后，同一份银行政策手册跑四遍仍提交了 32、31、33、33 条不同义务，其中一次漏掉升级到合规负责人的规则。
借鉴点能拿走一套可复用的排查协议和 Concordance 工具，定位同文档多次运行结果不一致的源头，落到知识沉淀和软件工厂线；代价是要接受它只测一致性、不测规则正确性，且结论来自单文档五次运行。
NVIDIA Blog精选AI 评分5858 NVIDIA 发布 Nemotron 3.5、Kumo、Cosmos 3.5 等开源模型家族
NVIDIA 扩展开源模型家族，覆盖语言、机器人、生物和量子计算，包括 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Nemotron Retriever、Kumo、Cosmos 3.5、Alpamayo 2 Edge、BioNeMo RFD4-Proteina 和 Ising。
借鉴点能拿走的是 Nemotron 3.5 系列加 Kumo、Cosmos、Ising 的开源权重与 NIM 打包方式，可落到本地模型部署和 Agent 数据管线；代价是多数模型要自己用本地数据后训练，Bolt E4B 4GB 还要等到 10 月 23 日。
AWS Machine Learning Blog精选AI 评分5858 AWS 在 SageMaker HyperPod 上微调 GPT-OSS-20B 多语言推理，SFT 加 GRPO 把答案语言正确率提到 70%
AWS 在 Amazon SageMaker HyperPod 上用 LoRA 微调 GPT-OSS-20B，SFT 把推理语言正确率从 22% 提到 100%，再叠加 GRPO 把答案语言正确率从 62% 提到 70%。
借鉴点能拿走 SFT 与 GRPO 的分工判据和 LoRA r=8/α=16 配置，落到本地模型部署与训练流水线；前提是先测出 pass@k 与 pass@1 的差距，没有余量时 GRPO 白烧 GPU。
掘金精选AI 评分7171 UIUC 与 AWS AI Labs 提出 Maestro 协调者架构，研究级 Lean 定理多证 63%
UIUC 与 AWS AI Labs 等提出 Maestro（arXiv 2610.25920），把 Lean 证明 agent 的失败处理从继续拆解改为全局调度，由协调者根据证明者提交的失败诊断决定重试、补引理、改伪命题还是撤销换路线。
借鉴点可借鉴的是失败结构化上报、协调者拥有删除权、事件队列替代轮次超时这三条编排做法，能换掉单 agent 串行拆解流程，代价是多 worker 并行加在线协调的成本，论文把核算放在附录 A。
36氪 · 快讯精选AI 评分7575 DeepSeek 宣布全面开源内部推理框架 DeepInfer
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，此前已开源一系列大模型、TileLang 编译工具及推理算子库。基于 DeepInfer，DeepSeek 已实现 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务，未来新模型的推理代码及后续优化也将在此持续更新。
借鉴点DeepSeek 把内部推理框架 DeepInfer 开源，可替换自建推理服务栈；但材料只有一句摘要，没有部署方式、硬件要求和性能数字，落地前得自己去仓库摸。
掘金精选AI 评分7171 MiniMax 发布 M3.1 Flash，确认匿名模型 Space Bunny 为其早期版本，Agent 成本降 70%
MiniMax 于 10 月 19 日正式更新 M3.1 Flash，并确认此前匿名出现在 OpenCode 上的 Space Bunny 就是它的早期版本，匿名期累计处理超 200T Token。
借鉴点可参考它按推理档位（high/xhigh/max）分档跑编程任务的成本曲线，用来决定哪段任务交给便宜模型；代价是重构类任务仍明显落后旗舰，且权重10月23日才放出。
Hacker News · AI 讨论精选AI 评分7474 vramkit 在 MacBook 上实测 LLM 权重与 KV-cache 压缩
vramkit 在 MacBook 上用纯 PyTorch 实测了 LLM 权重与 KV-cache 两种压缩方案，每个数字都带可运行基准。权重侧用 32 位区间编码器加二维自适应上下文模型，在 Qwen2.5-0.5B 真实 int4 权重上做到无损 2.676 bits/weight，比原始 4-bit 少 33%，优于 zstd-19 和 xz-9e。
借鉴点可直接抄走 per-channel int8 量化 K、per-token 量化 V 的 KV cache 方案，2 倍压缩只涨 0.1% 困惑度，代价是流式解码要按 KIVI 分组并保留最新 token 为 fp16。
Cloudflare AI精选AI 评分5858 Cloudflare 发布 System One 抽取模型 Clairic，上线 Workers AI 预览
Cloudflare 发布 System One 类抽取模型 Clairic，已在 Workers AI 以 @cf/cloudflare/clairic 提供预览，并计划后续开放权重。
借鉴点可用字段 schema 一次并行抽取文本 span、数字、日期、估计分布和预测区间，替换 LLM 逐字段生成 JSON 的抽取管线；代价是多步算术和长序列预测仍要交给代码。
AWS Machine Learning Blog精选AI 评分6565 AWS 详解 vLLM 推模式 KV 传输：TTFT 最高改善 3 倍
AWS 在 vLLM 中贡献了推模式（push-based）NIXL KV 连接器，把 decode 侧的块注册和传输提交从首 token 关键路径移到 prefill 侧后台线程，从而降低 TTFT 和 TPOT。
借鉴点在 vLLM 的 P-D 分离部署里把 NixlConnector 换成 NixlPushConnector，让 decode 侧注册与传输提交挪到 prefill 后台线程，代价是 decode 实例需提前选定、失去按负载后置路由的灵活性。
AWS Machine Learning Blog精选AI 评分7171 AWS 用 vLLM 双向 KV 传输降低多轮 Agent 负载的 TTFT
AWS 在 vLLM 中实现双向 KV 传输，让 decode 节点把已算好的 KV 回传给 prefill 节点复用，减少多轮 Agent 对话中重复的 prefill 计算。
借鉴点在 vLLM 的 P-D 分离部署里开启 bidirectional_kv_xfer，让 decode 节点把 KV 回传给 prefill 复用，可换掉每轮重算整段历史的做法；代价是要配 KV-cache 感知路由，并调好 480 秒 TTL 和 64 token 重算阈值。
Hugging Face Blog精选AI 评分7272 IBM 发布 Granite Switch 4.1：单端点同时提供对话、决策与语音转写
IBM 发布 Granite Switch 4.1，8B 和 30B 两个版本在同一个托管端点上同时提供对话、通用与安全决策、语音转写能力。模型组合了新的通用决策 aLoRA、在安全决策任务上平均优于 Jev 1.13 等模型的 Guardian aLoRA，以及 OpenASR 榜首的 Granite-Speech-5.0-Turbo-CTC，整体显存占用约等于基座模型本身。
借鉴点把通用决策、安全决策和 ASR 三个 aLoRA 挂到同一基座、共享 KV cache，显存约等于基座本身；自组 Switch 模型需自己训 aLoRA，Adapter SDK 尚未放出。
Mistral AI精选AI 评分6464 Mistral 发布时序基础模型 Timestral，最大 209M 参数
Mistral 发布首个时序基础模型系列 Timestral，含 5M、28M、123M、209M 四个尺寸，最大模型以 209M 参数在 GIFT-Eval、TIME、fev-bench 三个公开基准的预训练零样本模型中排名第一，参数约为此前 SOTA 的三分之二。
借鉴点可借鉴的是合成数据优先加两阶段训练配方，以及把协变量按目标、仅历史、已知未来分角色做注意力掩码；前提是自建时序预测管线，代价是需自造合成数据并调 21 分位 pinball loss。
Hugging Face Blog精选AI 评分7373 瑞士 Apertus 1.5 发布 8B 与 70B 开源多模态模型
Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 基础上加入图像与音频理解、可选思考模式、4 倍长上下文（262,144 tokens）、更好的指令遵循与工具调用，权重于 2026 年 7 月 24 日以 Apache 2.0 协议发布在 Hugging Face。
借鉴点可借鉴早期融合做法，图像音频经 tokenizer 变成离散 token 与文本同序列，架构不变、训练按纯文本速度跑；代价是只扩词表、模型只输出文本，音频理解仍是实验性。
Apple Machine Learning精选AI 评分5858 Apple 介绍用 MLX 在 Mac Studio 上本地与分布式推理大模型
Apple 发布新版 MLX，演示在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open，四台 M5 Ultra 集群解码速度超过 36 tokens/s。
借鉴点能拿走 mlx.launch 配 jaccl 后端跑流水线/张量并行的完整命令和 OpenCode 接本地 server 的配置，落到本地模型部署这条线，前提是 macOS 26.2 加 Thunderbolt 5 双线互联，816B 模型仍需四台机器才跑得动。
Google DeepMind精选AI 评分5858 Google DeepMind 发布 Gemini 4 Argon 机器人模型
Google DeepMind 发布 Gemini 4 Argon，定位为通用物理推理模型，在 Embodied Reasoning（ERQA）基准上以纯推理取得 87%，称超过其他前沿模型。
借鉴点可借鉴的是把机器人任务写成带坐标网格、动作原语和 curl 闭环的提示词模板，以及 Real2Sim 的视觉与接触力双重校验约束；落到本地模型部署和视频产线要先有 MuJoCo 场景与真机遥测数据。
Google DeepMind精选AI 评分6262 Google DeepMind 发布 Gemini 4 Argon 前沿模型
Google DeepMind 发布 Gemini 4 Argon，今日起通过 AI Studio 和 Gemini API 向开发者与企业开放，Google AI Ultra 订阅者可在 Antigravity 使用，Gemini 应用和 Search 的 AI Mode 面向 Ultra 与 Pro 订阅者开放。
借鉴点可借鉴的是把 .agents/skills 规则本加一段目标交给模型整夜自主跑，换来 ADK 会话准备时间降 40%、冷导入快 21%；前提是能接受无人值守改生产代码并逐条审 PR。
Google AI Blog精选AI 评分6060 Google 发布 Gemini 4 Argon，API 定价每百万输入 token 2 美元
Google 发布前沿模型 Gemini 4 Argon，面向开发者、企业、科研人员和消费者全球开放，API 介绍价每百万输入 token 2 美元、输出 10 美元，缓存输入享 95% 折扣。
借鉴点可借鉴的是把 .agents/skills 规则本加一段目标交给模型夜间自主跑优化，ADK 会话准备时间降 40%、冷导入快 21%；前提是已有可跑的基准和测试兜底。
Amazon Science精选AI 评分8282 AWS 提出 Priming 方法，用预训练 Transformer 权重改造混合架构，预训练成本降低 99% 以上
AWS 团队提出 Priming 方法，把预训练 Transformer 的权重作为混合架构的初始化，将混合架构的预训练成本降低 99% 以上，整个流程消耗不到源模型预训练 token 预算的 0.5%。
借鉴点用预训练 Transformer 权重初始化混合架构，把预训练成本压到 0.5% 以下，可低成本对比 GKA、GDN、Mamba-2 与 SWA 的层替换方案；代价是仍需短蒸馏和端到端微调，且层选择依赖 SWA 替换代理实验。