技术方向
让大模型先想再答的能力：思维链、推理模型，数学与逻辑评测上的突破和争议。
82 条精选近 30 天 72 条共收录 377 条
作者复盘了一套零第三方依赖的 Agent 调度工作流，只用 Python 标准库加 OpenAI 兼容协议，拆成接入层、调度层、执行层、能力层四层。调度层用 PENDING、RUNNING、DONE、FAILED、SKIPPED 五态状态机和指数退避重试，工具注册用装饰器同时生成函数调用 schema，路由器按模型名推断提供方并配置 fallback 兜底链。
能拿走四层分层、五态状态机加指数退避重试、装饰器生成函数调用 schema、多模型兜底链和显存预算估算公式；可落到本地模型部署与软件工厂调度线，代价是要自己核对量化系数并处理 Ollama 常驻进程重启、核显环境变量等坑。
三位独立研究者汇总截至 2026 年 10 月 5 日可核实的 9B–20B 开源模型在 vLLM/SGLang 上的量化公开实测，发现所有计时都符合内存带宽与计算的 roofline 规则：batch 1 时 INT4 提速 1.35–2.12 倍，batch 256 时 W4A16 仅 1.02 倍，FP8 仍有 1.68 倍。
能拿走的是 roofline 判断法加 7 条量化报告清单，用来定小 batch 选 W4A16、大 batch 选 FP8 的配方；代价是证据来自不同引擎版本，只能组内比较。
文章解释 KIMI K3 混合注意力中的 KDA 把历史压成固定 recurrent state 和 convolution state，使 Prefix Cache 与 KV Cache 不再等价，恢复点必须是 MLA KV 与两类状态都齐全的共同边界。
能拿走 SGLang 与 vLLM 对 KDA 状态缓存的具体源码入口和函数名，落到本地模型部署这条线，前提是接受 checkpoint 密度换显存与重算的取舍，且 INT8 checkpoint 并非默认开启。
Tokenfree 团队把合同摘要服务主模型从 M1 换到 M2，按 10%、50%、100% 三档灰度九天，每档只盯人工抽检通过率、首字 p95、下游解析失败率三个指标。
按请求 ID 哈希分流加环境变量控制灰度比例，每档只盯抽检通过率、首字 p95、下游解析失败率三个指标，能直接套到换模型或换提示词的发布流程；前提是两模型走同一套兼容接口，代价是约 1.5 人天盯盘。
Dharma-AI 发布 20 亿参数的 Dharma Field Extractor，输入文档图像和可选 schema，输出带类型的结构化 JSON，同一 checkpoint 无需按文档类型微调。
可借鉴在 DharmaOCR-LITE v1.1 上挂 LoRA 适配器做字段抽取，用 schema 指定键名和类型、缺失字段返回 null，直接对接下游系统；代价是要自备 GPU 推理，且训练数据以英文和葡萄牙语文档为主。
NVIDIA 研究者的预印本《You don't need long context》在 13 个长程与长输入基准上测试上下文压缩，Claude Opus 4.5 与 GPT 5.6 Sol 的准确率变化分别为 −3.7 至 +5.6 和 −3.3 至 +4.4 个百分点。
可拿走压缩摘要的写法（任务原文、当前状态与计划、相关产物、完成标准）和把长文档存成文件让 agent 用 grep 选择性读取的做法，落到软件工厂与本地模型部署两条线；代价是开源模型在 16K 极限下会崩，Qwen 3 Coder Next 从 53.0% 掉到 3.6%，且成本节省部分来自作者自建价格模型而非真实账单。
Together AI 发布 Together Compiler（TKCC），用高吞吐 agent 针对不同流量形态持续生成推理优化，24 小时内在前沿开源模型上取得 1.3-3x 的 TPS 提升。
可借鉴的是持久化引擎加热重载候选前向、多 agent 消息板并行试错、快慢两级引擎权衡吞吐与保真度，能落到本地模型部署的推理调优；代价是要自建成本模型和引擎热重载能力。
NVIDIA 技术博客给出在单台 DGX Spark 上加速 Ling-3.0-flash 这个 124B 参数、5.1B 激活 MoE 模型推理的三项叠加优化，在全部 1,319 道 GSM8K 题上解码吞吐从 37.81 提升到 53.89 tokens/s，涨幅 42.5%，平均延迟下降 24.5%，准确率 96.89% 对 96.82%。
可照搬三项叠加做法，换 Humming MXFP4 kernel、开 SGLANG_ENABLE_FP8_LM_HEAD=1、用模型自带 NEXTN 做 MTP 投机解码；坑是 FP8 LM head 与 MTP 同开必须共享完整 LM head 模块，否则静默回退、接受长度掉到 1.00。
作者在「推理 INFRA 方法论」系列第 2 篇中把集合通信拆成步数、启动时延 α 和每卡字节数，给出 T=步数×α+每卡字节/busBW 的时延模型，并结合 H20 8 卡 4 NIC 的 NUMA 与 PCIe 拓扑解释实测差异。
能拿走集合通信的时延模型 T=步数×α+每卡字节/busBW 和分层 AllReduce 做法，用于排查跨机推理通信瓶颈；前提是拿到目标机器的 GPU-NIC 亲和矩阵和实测 α、busBW，模型值只能定位问题。
这篇教程按权重、KV、激活和通信预算推演 Attention 与 MoE 的并行组合，给出 TP、DP、EP、CP、PP 的选型判据。核心结论是 GQA 可沿头维切 KV 直接走 TP，MLA 的 KV 全头共享只能复制、必须走 DP；EP 的通信优势来自 EP 域大于 top-k，k=8 时 EP8 与 MoE-TP 持平、EP32 省 4 倍。
能拿走一套按模型结构选并行维度的判据，GQA 走 TP、MLA 必走 DP、卡多上 EP、长上下文用 CP/DCP，代价是结论绑定 DeepSeek V3 口径与 H20 实测，换模型或换卡要重算显存和通信预算。
八月蝉在「推理 INFRA 方法论」系列第 1 篇里，用 Roofline 模型把 GPU 计算拆成算力 F 与带宽 BW 两条上限，给出 T ≥ max(W/F, Q/BW) 的时延预算和 I 与转折点 R 的判瓶颈流程。
能拿走一套 Roofline 判瓶颈流程和 H20 实测数字，用来给 decode 权重 GEMM 定 batch 饱和点、给 attention 判该不该融合；前提是接受 Q 按实际 HBM 往返算、带宽只打八五折，小形状上固定开销会盖过理论值。
这篇 MoE 推理方法论沿 batch 主线拆解专家覆盖率、all2all 通信量、tile 填充和负载倾斜，并用 Qwen3.5-397B-A17B-FP8 在 8×H20 上实测校验理论预算。
能拿走 B*≈Ridge·W_total·bpp/(2·N_active) 的拐点估算、DeepGEMM 静态 buffer 加 masked_m 动态行数、DeepEP hook 把通信变 max 的做法，落到本地模型部署的容量规划上；前提是跨机大 EP 场景，机内 NVLink 只能藏住 20–27% 通信。
作者在 x86-64 + CUDA 后端上为 Qwen3.5-27B 的 MTP 投机草稿头完成 CPU 侧适配，梳理出 15 个张量（另 2 个与主模型共享）和 stem 加 1 层 full attention 加 1 层 FFN 的结构，模块级对拍 11 阶段 × 5 token 全部 PASS，max_rel 在 1.5e-6 到 3.4e-6。
能拿走 MTP 头 15 张量清单、stem 接线和四个写反也跑得动的口径点，落到本地模型部署的投机解码线上；代价是没有官方 oracle，基准得自己造，且只能证单侧笔误。
FreeToken 是一个边缘原生 MoE 推理引擎，声称能把 290B 参数级开放权重模型放到游戏 PC 上以交互式速度本地运行。它靠带宽自适应的 CPU-GPU 协同执行、全层双缓冲预填充流式传输和全局 LRU 专家缓存来应对显存带宽瓶颈，并用语义锚点检查点只重算上下文编辑后的分支。
能拿走带宽自适应专家调度、全层双缓冲预填充、语义锚点 KV 缓存三套做法，落到本地模型部署线；前提是接受文中未给实测数据的结论，且需 RTX 30 以上显卡。
这篇教程讲怎么量化衡量和优化 vLLM 推理服务，把吞吐量、延迟和显存利用率之间的权衡拆成一套可执行的方法。延迟被拆成 TTFT 和 TPOT，大 batch 换吞吐但伤延迟，显存留够余量才能避免 OOM。
能拿走一套先定位瓶颈再调参的流程和真实 vLLM 指标名，落到本地模型部署线；代价是原文工具链偏 NVIDIA，昇腾要换成 npu-smi、msprof 和 AISBench。
美团正式发布 LongCat-2.5，这是一个面向长程智能体任务的原生多模态模型，总参数量 1.6 万亿，每个 token 激活约 480 亿参数，在 LongCat-2.0 基础上强化了原生视觉理解与智能体编程能力。
可借鉴的是长程 Agent RL 的 partial rollout 异步训练与 F2P/P2P 环境合成流水线，能落到软件工厂的代码任务训练；代价是需自建可交互环境并处理样本陈旧性带来的梯度偏置。
作者在RTX 5090上跑Qwen3.8-Flash-Next Q2_0（125B级MoE），停掉同卡其他容器腾出18,106 MiB显存后，decode吞吐从140.6 tok/s升到256.2 tok/s，提升82%。
能拿走单变量对照法加两条拟合公式，缓存约等于整卡可用减6.0 GiB、decode约等于92加6.53乘缓存GiB，用来预估本地部署吞吐；代价是结论绑在Q2_0量化、32K上下文和Gen3链路上，换档位或换卡要重测。
同一开源模型本地跑和云 API 调用效果差距大，主要来自量化精度、聊天模板、采样参数和上下文截断四层没对齐，而非模型本身不同。文中给出数据：Llama 3 8B 量化到 FP8 后 MMLU 保留 99.2% 基线准确率，INT4 下 GSM8K 掉 9%–18% 而 MMLU 只掉 1%–3%。
按量化精度、聊天模板、采样参数、上下文截断四层排查本地与云端差异，附可跑的 Ollama 与云 API 对照脚本；代价是数学和代码任务在 INT4 下仍追不上 bf16。
开发者张益达Yida 用 OCR 加 Qwen3-0.6B 做端侧支付截图记账 App，把单张端到端耗时从 596 秒降到 8.4 到 11 秒，30 张回归集硬字段准确率保持 30/30 通过。
能拿走四轮端侧优化路径和三个静默失败坑，落到本地模型部署线，代价是要自己复现 30 张回归闸门和天玑 9000+ 硬件口径。
同一模型本地跑和云 API 调用效果差别大，主要来自量化精度、聊天模板和采样参数三层没对齐，而非模型本身不同。文中给出可复算数据，Llama 3 8B 量化到 FP8 后 MMLU 保留 99.2% 基线，INT4 下 GSM8K 准确率掉 9%–18% 而 MMLU 只掉 1%–3%。
能拿走四层排查顺序和一段本地与云端同参对比代码，落到本地模型部署线；前提是两端 prompt 与采样参数完全一致，且要接受 INT4 下数学与长上下文任务追不上 bf16。