作者复盘了一套零第三方依赖的 Agent 调度工作流，只用 Python 标准库加 OpenAI 兼容协议，拆成接入层、调度层、执行层、能力层四层。调度层用 PENDING、RUNNING、DONE、FAILED、SKIPPED 五态状态机和指数退避重试，工具注册用装饰器同时生成函数调用 schema，路由器按模型名推断提供方并配置 fallback 兜底链。
能拿走四层分层、五态状态机加指数退避重试、装饰器生成函数调用 schema、多模型兜底链和显存预算估算公式；可落到本地模型部署与软件工厂调度线，代价是要自己核对量化系数并处理 Ollama 常驻进程重启、核显环境变量等坑。
文章解释 KIMI K3 混合注意力中的 KDA 把历史压成固定 recurrent state 和 convolution state，使 Prefix Cache 与 KV Cache 不再等价，恢复点必须是 MLA KV 与两类状态都齐全的共同边界。
能拿走 SGLang 与 vLLM 对 KDA 状态缓存的具体源码入口和函数名，落到本地模型部署这条线，前提是接受 checkpoint 密度换显存与重算的取舍，且 INT8 checkpoint 并非默认开启。
Tokenfree 团队把合同摘要服务主模型从 M1 换到 M2，按 10%、50%、100% 三档灰度九天，每档只盯人工抽检通过率、首字 p95、下游解析失败率三个指标。
按请求 ID 哈希分流加环境变量控制灰度比例，每档只盯抽检通过率、首字 p95、下游解析失败率三个指标，能直接套到换模型或换提示词的发布流程；前提是两模型走同一套兼容接口，代价是约 1.5 人天盯盘。
NVIDIA 技术博客给出在单台 DGX Spark 上加速 Ling-3.0-flash 这个 124B 参数、5.1B 激活 MoE 模型推理的三项叠加优化，在全部 1,319 道 GSM8K 题上解码吞吐从 37.81 提升到 53.89 tokens/s，涨幅 42.5%，平均延迟下降 24.5%，准确率 96.89% 对 96.82%。
可照搬三项叠加做法，换 Humming MXFP4 kernel、开 SGLANG_ENABLE_FP8_LM_HEAD=1、用模型自带 NEXTN 做 MTP 投机解码；坑是 FP8 LM head 与 MTP 同开必须共享完整 LM head 模块，否则静默回退、接受长度掉到 1.00。
作者在「推理 INFRA 方法论」系列第 2 篇中把集合通信拆成步数、启动时延 α 和每卡字节数，给出 T=步数×α+每卡字节/busBW 的时延模型，并结合 H20 8 卡 4 NIC 的 NUMA 与 PCIe 拓扑解释实测差异。
能拿走集合通信的时延模型 T=步数×α+每卡字节/busBW 和分层 AllReduce 做法，用于排查跨机推理通信瓶颈；前提是拿到目标机器的 GPU-NIC 亲和矩阵和实测 α、busBW，模型值只能定位问题。
这篇教程按权重、KV、激活和通信预算推演 Attention 与 MoE 的并行组合，给出 TP、DP、EP、CP、PP 的选型判据。核心结论是 GQA 可沿头维切 KV 直接走 TP，MLA 的 KV 全头共享只能复制、必须走 DP；EP 的通信优势来自 EP 域大于 top-k，k=8 时 EP8 与 MoE-TP 持平、EP32 省 4 倍。
能拿走一套按模型结构选并行维度的判据，GQA 走 TP、MLA 必走 DP、卡多上 EP、长上下文用 CP/DCP，代价是结论绑定 DeepSeek V3 口径与 H20 实测，换模型或换卡要重算显存和通信预算。
八月蝉在「推理 INFRA 方法论」系列第 1 篇里，用 Roofline 模型把 GPU 计算拆成算力 F 与带宽 BW 两条上限，给出 T ≥ max(W/F, Q/BW) 的时延预算和 I 与转折点 R 的判瓶颈流程。
能拿走一套 Roofline 判瓶颈流程和 H20 实测数字，用来给 decode 权重 GEMM 定 batch 饱和点、给 attention 判该不该融合；前提是接受 Q 按实际 HBM 往返算、带宽只打八五折，小形状上固定开销会盖过理论值。
这篇 MoE 推理方法论沿 batch 主线拆解专家覆盖率、all2all 通信量、tile 填充和负载倾斜，并用 Qwen3.5-397B-A17B-FP8 在 8×H20 上实测校验理论预算。
能拿走 B*≈Ridge·W_total·bpp/(2·N_active) 的拐点估算、DeepGEMM 静态 buffer 加 masked_m 动态行数、DeepEP hook 把通信变 max 的做法，落到本地模型部署的容量规划上；前提是跨机大 EP 场景，机内 NVLink 只能藏住 20–27% 通信。
作者在 x86-64 + CUDA 后端上为 Qwen3.5-27B 的 MTP 投机草稿头完成 CPU 侧适配，梳理出 15 个张量（另 2 个与主模型共享）和 stem 加 1 层 full attention 加 1 层 FFN 的结构，模块级对拍 11 阶段 × 5 token 全部 PASS，max_rel 在 1.5e-6 到 3.4e-6。
能拿走 MTP 头 15 张量清单、stem 接线和四个写反也跑得动的口径点，落到本地模型部署的投机解码线上；代价是没有官方 oracle，基准得自己造，且只能证单侧笔误。
FreeToken 是一个边缘原生 MoE 推理引擎，声称能把 290B 参数级开放权重模型放到游戏 PC 上以交互式速度本地运行。它靠带宽自适应的 CPU-GPU 协同执行、全层双缓冲预填充流式传输和全局 LRU 专家缓存来应对显存带宽瓶颈，并用语义锚点检查点只重算上下文编辑后的分支。
能拿走带宽自适应专家调度、全层双缓冲预填充、语义锚点 KV 缓存三套做法，落到本地模型部署线；前提是接受文中未给实测数据的结论，且需 RTX 30 以上显卡。
这篇教程讲怎么量化衡量和优化 vLLM 推理服务，把吞吐量、延迟和显存利用率之间的权衡拆成一套可执行的方法。延迟被拆成 TTFT 和 TPOT，大 batch 换吞吐但伤延迟，显存留够余量才能避免 OOM。
能拿走一套先定位瓶颈再调参的流程和真实 vLLM 指标名，落到本地模型部署线；代价是原文工具链偏 NVIDIA，昇腾要换成 npu-smi、msprof 和 AISBench。
作者在RTX 5090上跑Qwen3.8-Flash-Next Q2_0（125B级MoE），停掉同卡其他容器腾出18,106 MiB显存后，decode吞吐从140.6 tok/s升到256.2 tok/s，提升82%。
能拿走单变量对照法加两条拟合公式，缓存约等于整卡可用减6.0 GiB、decode约等于92加6.53乘缓存GiB，用来预估本地部署吞吐；代价是结论绑在Q2_0量化、32K上下文和Gen3链路上，换档位或换卡要重测。
同一开源模型本地跑和云 API 调用效果差距大，主要来自量化精度、聊天模板、采样参数和上下文截断四层没对齐，而非模型本身不同。文中给出数据：Llama 3 8B 量化到 FP8 后 MMLU 保留 99.2% 基线准确率，INT4 下 GSM8K 掉 9%–18% 而 MMLU 只掉 1%–3%。
按量化精度、聊天模板、采样参数、上下文截断四层排查本地与云端差异，附可跑的 Ollama 与云 API 对照脚本；代价是数学和代码任务在 INT4 下仍追不上 bf16。
开发者张益达Yida 用 OCR 加 Qwen3-0.6B 做端侧支付截图记账 App，把单张端到端耗时从 596 秒降到 8.4 到 11 秒，30 张回归集硬字段准确率保持 30/30 通过。
能拿走四轮端侧优化路径和三个静默失败坑，落到本地模型部署线，代价是要自己复现 30 张回归闸门和天玑 9000+ 硬件口径。
同一模型本地跑和云 API 调用效果差别大，主要来自量化精度、聊天模板和采样参数三层没对齐，而非模型本身不同。文中给出可复算数据，Llama 3 8B 量化到 FP8 后 MMLU 保留 99.2% 基线，INT4 下 GSM8K 准确率掉 9%–18% 而 MMLU 只掉 1%–3%。
能拿走四层排查顺序和一段本地与云端同参对比代码，落到本地模型部署线；前提是两端 prompt 与采样参数完全一致，且要接受 INT4 下数学与长上下文任务追不上 bf16。
作者在 RTX 5070 Ti 16GB 上用 vLLM 0.30.0 部署 Qwen2.5-VL-7B-Instruct-AWQ（6.5GB），跑通二维码缺陷质检的码制识别与可见性判定批量推理。
能拿走 16GB 单卡跑 7B 多模态的整套 vLLM 参数和六个坑，直接落到本地模型部署与质检流水线，代价是版本组合敏感、需自行验证 flashinfer 开关。
作者给出了一套多模型混合动态路由网关的完整实现，用正则结构特征加本地嵌入向量相似度在 10ms 内给 Prompt 打复杂度分，按阈值分流到轻量、中端、旗舰三档模型，并附 FastAPI 异步代码和 429/5xx 自动降级逻辑。
能拿走一套纯 CPU 10ms 内的复杂度打分加三级模型分流代码，落到本地模型部署和成本控制线上；代价是阈值和锚点要自己按业务调，长文本误判和流式断流得另做处理。
SkyPilot 围绕飞行跑车物理模拟器搭了一个 RL 环境，用 rank-64 LoRA 加 GRPO 后训练 Qwen3-4B，实时决策下风暴踢翻动作落地率 90%，比 GPT-6 Astra 的 74% 高 21%。
能拿走一套可复用的 RL 后训练配方，rank-64 LoRA 加 GRPO 双教师热启动，按风级挑模仿对象、风暴样本加倍、专练慢速远车场景；落到本地模型部署和 Agent 实时决策线，代价是 4 GPU 小时约 13 美元，且配方靠多轮验证集试错才收敛。
skyzh 发布 tiny-llm 课程，面向系统工程师在 Apple Silicon 上用 MLX 从零实现 Qwen3 推理全流程。
能拿走一套四周课程路线，从 mlx.core 手写 Qwen3 推理到连续批处理、分页 KV 和带检查点的编码 Agent，前提是有 Apple Silicon 机器并愿意自己实现算子，MLX 只当正确性基准。
作者在单张RTX 5090（32GB）上实测Strata v0.2.2加载Qwen3.8-Flash-Next Q2_0（125B级MoE），模型文件66.4GB对31.8GiB显存缺口约2.1倍，靠把全部24576个专家常驻主机内存、按热度缓存到显存跑通。
能拿走一条槽位公式（可用显存减884MiB再除1.318MiB，上限24576）和五段传导链，用来给本地部署做容量规划；前提是只测了Q2_0一档、PCIe固定Gen3×16，换量化档或平台要重算。