三位独立研究者汇总截至 2026 年 10 月 5 日可核实的 9B–20B 开源模型在 vLLM/SGLang 上的量化公开实测，发现所有计时都符合内存带宽与计算的 roofline 规则：batch 1 时 INT4 提速 1.35–2.12 倍，batch 256 时 W4A16 仅 1.02 倍，FP8 仍有 1.68 倍。
能拿走的是 roofline 判断法加 7 条量化报告清单，用来定小 batch 选 W4A16、大 batch 选 FP8 的配方；代价是证据来自不同引擎版本，只能组内比较。
RAGFlow 团队（InfiniFlow）联合华东师范大学在 arXiv 发布论文《Context as Infrastructure》，提出在摄入期把语料加工成带类型工件的知识编译管线，查询时消费工件而非原始文本。
能拿走断言-证据对替换、零命中回退梯子和有限视野盈亏公式，落到知识沉淀与本地检索管线；代价是延迟约 3 倍、需另配决策门，且 91% 数字来自 N=200 单次运行。
Google DeepMind 首席研究科学家 Jonathan T. Barron 与同事在 arXiv 论文《A Fix for Softmax and Cross-Entropy》中指出，PyTorch、JAX、TensorFlow 和教科书共用的 softmax 与交叉熵标准实现存在两个浮点 Bug。
可照抄论文的 softplus/expm1/log1p 重写 log-softmax 十余行实现，替换训练循环里的交叉熵，代价是需自行核对 bf16 与 fp32 下 margin 悬崖位置，论文未给统一阈值。
爱立信研究院提出 Code Comprehensor，用 LLM 离线沿调用图把仓库文档化再压成语义检索索引，在线检索约 50 毫秒、完整回答一个问题 3-5 秒。
可抄的是后序分块加滚动摘要驯服超大调用树、一个代码单元配多文本视图做多正样本监督、合成问题加术语锚点约束；代价是 120 万行要 48 小时和 3200 美元文档化，且只在 C/C++ 上验证过。