技术方向
让大模型先想再答的能力：思维链、推理模型，数学与逻辑评测上的突破和争议。
82 条精选近 30 天 72 条共收录 377 条
得物技术发布《昇腾 910C 大模型推理优化实践》下篇，在 vllm-ascend 源码、算子层和 MTP 投机解码三处做优化，Qwen3.5-35B-A3B 在 c=1 下 TPOT 从 8.2ms 压到 5.0ms。
能拿走一整套昇腾 910C 上 vllm-ascend 的改法，包括多流重叠 shared expert、block_table CPU 快路径、词表并行 argmax 和 910C 融合算子，落到本地模型部署这条线；代价是要改 vllm-ascend 源码并重编 AscendC 算子，且收益集中在 c≤8 低并发。
岩山科技旗下岩芯矩阵联合港科大、CMU 等高校发布并开源 EdgeRock-4B，在 256K 上下文下 KV Cache 固定为 72MiB，相比源模型 Qwen3.5-4B 减少 99.1%。
能拿走的是固定容量记忆的三段拆分做法，循环状态抓大意、1024 token 局部窗口管眼前、1024 条锚点库留关键细节，把每条序列 KV 钉死在 72 MiB；落到本地模型部署和长跑 Agent 上可提前算清显存，代价是要从 Qwen3.5-4B 分阶段转换并训练评分网络，不是直接换权重。
作者把 CUDA out of memory 拆成加载、条件编码、采样首步、采样中途、VAE Decode、后处理六个失败阶段，主张先保存完整 traceback 和 allocated/reserved 记录定位边界，再逐项验证权重、激活、缓存和碎片等候选原因。
按加载、条件编码、采样首步、采样中途、VAE解码、后处理六个阶段分诊 OOM，配一张处置矩阵和最小复现法，能直接换掉现在一遇 OOM 就砍分辨率的做法；代价是要先存完整 traceback 和 allocated/reserved 记录，作者未在真实 GPU 上验证。
Google DeepMind 首席研究科学家 Jonathan T. Barron 与同事在 arXiv 论文《A Fix for Softmax and Cross-Entropy》中指出，PyTorch、JAX、TensorFlow 和教科书共用的 softmax 与交叉熵标准实现存在两个浮点 Bug。
可照抄论文的 softplus/expm1/log1p 重写 log-softmax 十余行实现，替换训练循环里的交叉熵，代价是需自行核对 bf16 与 fp32 下 margin 悬崖位置，论文未给统一阈值。
斯坦福和 UC Berkeley 研究者发布 TokenGate，一个给预训练 LLM 加可学习 token 剪枝的模块，长上下文 prefill 的 TTFT 提速 1.4x 至 11.3x，峰值显存降低 1.5x 至 3.4x，且无精度损失。
可复用其 MLP 门控加 LoRA r=16 的 token 剪枝做法，把长文档 prefill 的 TTFT 压到 1.4x 至 11.3x，代价是需训练门控、每步比纯 LoRA 慢 1.3x，且只剪文档不剪问题。
月之暗面发布 Kimi K3.1 Pro，在 K3 的 2.8T MoE 基座上只做后训练联合强化学习，API 定价从 K3 的约 21/108 元降到 13/68 元每百万 Token。
能拿走的是三档定价与 MoE 稀疏激活的成本账，以及自部署 5.6TB FP16 落盘、8 张 H100 跑 INT8 的硬件门槛，可落到本地模型部署和软件工厂选型；代价是基座锁死在 7 月那版 2.8T，长程调试仍需人工打断。
这篇教程讲清 vLLM 靠 PagedAttention 把 KV Cache 从按最大上下文预留改成固定大小分页管理，从而在同一张卡上塞下更多并发请求。
能拿走 vllm serve 的三个关键参数和前缀缓存默认开启的用法，落到本地模型部署这条线；前提是显存先装得下权重，单人或只追首 token 延迟的场景收益有限。
这篇文章从矩阵乘的三重循环讲起，用算术强度解释 DeepGEMM 和 FlashMLA 为何分别卡在带宽与算力上。
能拿走算术强度判瓶颈、TMA加WGMMA的warp分工、FP8两级累加和MLA吸收推导，落到本地模型部署与推理优化这条线，前提是手上有Hopper卡并愿意对着固定commit读源码。
系列第三篇讲推理平台与 Agent 之间的契约设计，提出用 request_id、deadline_ts、priority 和结果通道四个字段把平台不确定性显式化。
可拿走工具契约四字段（request_id、deadline_ts、priority、回调方式）、三层背压状态机和四层指标，落到本地模型部署与软件工厂；前提是平台能算出预计等待和单次 GPU 成本。
论文 ESPO（arXiv 2609.04197）提出把进化式提示词优化改成诊断、提案、选择三阶段，在七项基准上平均 74.67% 对 GEPA 的 70.91%，提示词长度少 47%（1004 对 1878 字符）。
可先照搬两处低成本改动，改提示前把验证集错误全量聚类成3到7个模式，选提示时加20轮bootstrap投票；代价是反思调用变多，论文未细算成本账。
BottleCap AI 发布 ThinkingCap 系列第五个模型 ThinkingCap-gemma-4-26B-A4B-it，在十二项基准上平均减少 38.9% 的思考 token，最高减少 69.1%，准确率平均只降 0.15pp。
能拿走的是同一套采样配置下把思考 token 压掉 38.9% 的微调做法，可换掉本地部署里长思考模型的推理成本，代价是 AA-LCR 掉 4pp、长上下文多模态是主要失分项。
作者梳理 Chroma、RULER、Lost in the Middle、NoLiMa 等实验，指出长上下文衰减与任务难度无关、只与长度强相关，标称窗口不等于有效窗口。
能拿走一套上下文治理清单，压缩去噪、子代理隔离、按需检索、关键信息放首尾、约束钉在压缩外，落到软件工厂和知识沉淀两条线；代价是要自建长上下文召回回归测试，且压缩必须区分任务上下文与治理约束。
文章按九个场景拆解 KV 缓存，指出它把每步重算前缀的 O(N²) 压成线性，但每步注意力仍需遍历全部缓存，线性项不会消失。多轮对话与 Agent 场景下前缀任一字节改动都会让改动点之后的缓存失效，文中给出一个客服 Agent 因在系统提示词加一行时间戳导致首 token 延迟从 0.5 秒涨到 3-5 秒、月度账单近乎翻倍的案例。
能拿走三条纪律：系统提示词和工具定义冻结、动态信息追加到末尾、状态栏以 user 消息注入；落到本地模型部署和 Agent 产线，代价是改动越靠前失效越多，且各项优化节省不能相加，需端到端实测。
IBM 发布 vLLM-Hook MIA 插件，可在 vLLM 开启图捕获回放的情况下观测和干预模型内部状态，用于拒绝恶意提示、标记幻觉事实或调整语气。技术报告称其比前代 vLLM-Hook 快最多 20 倍，比向模型插入代码的同类方法快最多 14 倍；对 8B Llama 和 Qwen 1.5B 推理延迟仅增加约 2%，Llama 70B 增加约 6%。
能在 vLLM 图捕获回放开启时读写模型内部状态，把运行时安全干预塞进现有推理链路，代价是需按层指定捕获点并接受 2%–6% 的延迟开销。
阿里云云原生团队撰文解析 TypeSafe 的 Jev 模型，它定位为 System One 模型，输出固定为结构化分类结果加校准置信度，官方称智能水平接近现有 LLM 而速度快约 100 倍。
能拿走 Jev 的 choice/score/noul 三类决策入参写法和六条实践原则，落到 Agent Harness 的意图路由与风险判定环节，替代大模型 Prompt 分类；代价是数学日期计算、多跳推理和嘈杂 state 会失准，需代码兜底。
OpenAI 于 10 月 22 日把 Decisions API 转为正式版，端点 POST /v1/decisions 只回答有界问题，返回概率、选项或分值，官方称比调用同一模型快最多 10 倍，定价 $0.10/百万输入 tokens 且不收输出费。
高频有界判断可换成只返回概率或选项的端点，把 prompt 精简到刚好够判断；但选项顺序和打包会漂移，概率需用自有标注数据校准，固定分类任务上微调小模型可能更准。
作者以运维助手 OpsPilot 为例，给出 Agent 意图识别的完整实现路径，把意图层拆成 intent、mode、slots、missingSlots 四块，用 Zod 定义输出契约、Prompt 只给边界和上下文、代码二次校验后再按 mode 分发到答、问、做、拒。
能拿走一套意图层四段式实现，Zod 契约加 Prompt 加二次校验加按 mode 分发，替换掉 includes 关键词猜意图的写法；代价是要维护意图定义的正反例和评测集，意图一多还得拆两层。
Kestrel_VLLM 系列第 15 篇记录在 RTX 5090 上跑 Qwen3-30B-A3B q4 的 decode 优化，64 token 吞吐从 52.7 tok/s 提升到 118.8 tok/s，即 19.0 ms/tok 降到 8.4 ms/tok，总加速 2.25×。
能用 VLLM_CUDA_STUB_{ATTN,ROUTER,GU,LMHEAD} 逐段跳过定位真瓶颈，再套转置归约、router 并行化、M=1 线程映射、CUDA Graph 四个小改动；代价是 attention 与 router 属近似安全，换 prompt 要重新对拍 greedy。
文章指出 prefix caching 只优化 prefill 不影响 decode，收益集中在 TTFT，多 agent 共享 system prompt 和工具定义时命中率接近零的根因是前缀没对齐。
能拿走一套 prompt 拼装顺序和 stable_json 固定序列化写法，把多 agent 共享前缀的命中率从接近零拉起来；代价是要改字符串拼装规范，且容量不足时缓存反而互相淘汰。
得物技术总结在华为昇腾 910C 上优化 Qwen3.5-35B-A3B 在线推理的实践，仅靠镜像版本升级与参数调优，c=1 的 TPOT 从基线 14.22ms 降至 7.8ms，下降 45.1%。
能拿走一整套昇腾 910C 上 vllm-ascend 的调参清单，含 HCCL_OP_EXPANSION_MODE=AIV、静态 kernel、PYTORCH_NPU_ALLOC_CONF 与 jemalloc 的具体值，可直接换掉现有在线推理部署配置；代价是多数收益绑定 0.23.0 版本与 Qwen3.5-35B-A3B 结构，且需逐模型实测，文中还列了十余项负向尝试。