三位独立研究者汇总截至 2026 年 10 月 5 日可核实的 9B–20B 开源模型在 vLLM/SGLang 上的量化公开实测，发现所有计时都符合内存带宽与计算的 roofline 规则：batch 1 时 INT4 提速 1.35–2.12 倍，batch 256 时 W4A16 仅 1.02 倍，FP8 仍有 1.68 倍。
能拿走的是 roofline 判断法加 7 条量化报告清单，用来定小 batch 选 W4A16、大 batch 选 FP8 的配方；代价是证据来自不同引擎版本，只能组内比较。
NVIDIA 研究者的预印本《You don't need long context》在 13 个长程与长输入基准上测试上下文压缩，Claude Opus 4.5 与 GPT 5.6 Sol 的准确率变化分别为 −3.7 至 +5.6 和 −3.3 至 +4.4 个百分点。
可拿走压缩摘要的写法（任务原文、当前状态与计划、相关产物、完成标准）和把长文档存成文件让 agent 用 grep 选择性读取的做法，落到软件工厂与本地模型部署两条线；代价是开源模型在 16K 极限下会崩，Qwen 3 Coder Next 从 53.0% 掉到 3.6%，且成本节省部分来自作者自建价格模型而非真实账单。
MemTrace 把 LLM 记忆流水线转成可执行的记忆演化图，用图归因 Agent 定位最早决定性故障操作，再据此自动改写提示词，在 Mem0 加 LoCoMo 上三轮优化后任务性能提升 7.62%。
能拿走一套可复用的记忆系统排错链路，插桩录制执行图、沿图定位最早故障操作、再把归因结果转成 prompt 改写；落到知识沉淀和本地部署调优上，代价是归因准确率约一半、每轮要重跑完整流水线。
Polymathic AI、普林斯顿大学、USC ISI、NYU 和 Flatiron Institute 的研究者发布 FlashMap，用连续 flow map 替代离散扩散草稿器，一次前向传播草拟 16 个 token 的整块。
能拿走的是用连续 flow map 一次草拟 16 token 的投机解码方案，配 vLLM 和 SGLang 插件即可接入现有推理服务；代价是要按目标模型单独训练 0.5B drafter，且温度大于 0 时需改采样配置。
Google DeepMind 首席研究科学家 Jonathan T. Barron 与同事在 arXiv 论文《A Fix for Softmax and Cross-Entropy》中指出，PyTorch、JAX、TensorFlow 和教科书共用的 softmax 与交叉熵标准实现存在两个浮点 Bug。
可照抄论文的 softplus/expm1/log1p 重写 log-softmax 十余行实现，替换训练循环里的交叉熵，代价是需自行核对 bf16 与 fp32 下 margin 悬崖位置，论文未给统一阈值。
斯坦福和 UC Berkeley 研究者发布 TokenGate，一个给预训练 LLM 加可学习 token 剪枝的模块，长上下文 prefill 的 TTFT 提速 1.4x 至 11.3x，峰值显存降低 1.5x 至 3.4x，且无精度损失。
可复用其 MLP 门控加 LoRA r=16 的 token 剪枝做法，把长文档 prefill 的 TTFT 压到 1.4x 至 11.3x，代价是需训练门控、每步比纯 LoRA 慢 1.3x，且只剪文档不剪问题。
论文 ESPO（arXiv 2609.04197）提出把进化式提示词优化改成诊断、提案、选择三阶段，在七项基准上平均 74.67% 对 GEPA 的 70.91%，提示词长度少 47%（1004 对 1878 字符）。
可先照搬两处低成本改动，改提示前把验证集错误全量聚类成3到7个模式，选提示时加20轮bootstrap投票；代价是反思调用变多，论文未细算成本账。
Dharma AI 在 Hugging Face 博客披露 VocabX 方法，在不改基础模型、数据和训练配方的前提下，把 Qwen3-4B 葡语作文评分器的实测推理成本降低 77.0%，平均响应从 350 token 降到 101 token。
能拿走按 token 成本而非频次重建词表的方法，子词合并加宏 token 两层同预算筛选，落到本地小模型部署可省 77% 推理成本；代价是需重训分词器并重跑训练，且压缩掉关键决策 token 会掉点。
UIUC 与 AWS AI Labs 等提出 Maestro（arXiv 2610.25920），把 Lean 证明 agent 的失败处理从继续拆解改为全局调度，由协调者根据证明者提交的失败诊断决定重试、补引理、改伪命题还是撤销换路线。
可借鉴的是失败结构化上报、协调者拥有删除权、事件队列替代轮次超时这三条编排做法，能换掉单 agent 串行拆解流程，代价是多 worker 并行加在线协调的成本，论文把核算放在附录 A。
AWS 团队提出 Priming 方法，把预训练 Transformer 的权重作为混合架构的初始化，将混合架构的预训练成本降低 99% 以上，整个流程消耗不到源模型预训练 token 预算的 0.5%。
用预训练 Transformer 权重初始化混合架构，把预训练成本压到 0.5% 以下，可低成本对比 GKA、GDN、Mamba-2 与 SWA 的层替换方案；代价是仍需短蒸馏和端到端微调，且层选择依赖 SWA 替换代理实验。
Berkeley Sky Lab 与 IBM Research 在 K-Search 上新增 MLX 后端和结构化 CUDA-to-MLX 翻译层，让演化式内核搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。
可拿走 CUDA 到 MLX 的概念映射表、exp2 技巧和并行 scan 改写，落到本地模型部署；前提是自备 LLM API key 并接受搜索迭代成本。