跳到正文
  1. 掘金78

    arXiv 综述盘点 9B–20B 开源模型量化部署实测:INT4 小 batch 提速约 2 倍,大 batch 增益归零

    三位独立研究者汇总截至 2026 年 10 月 5 日可核实的 9B–20B 开源模型在 vLLM/SGLang 上的量化公开实测,发现所有计时都符合内存带宽与计算的 roofline 规则:batch 1 时 INT4 提速 1.35–2.12 倍,batch 256 时 W4A16 仅 1.02 倍,FP8 仍有 1.68 倍。

    借鉴点

    能拿走的是 roofline 判断法加 7 条量化报告清单,用来定小 batch 选 W4A16、大 batch 选 FP8 的配方;代价是证据来自不同引擎版本,只能组内比较。

  2. Microsoft Research58

    Microsoft Research 用 PDD Kit 形式化验证智能体编写的全栈 Web 应用

    Microsoft Research 联合 GitHub Next 发布研究原型 PDD Kit,把用户意图转成 Verus 形式规约,证明智能体写的代码对每个输入都满足规约,证明覆盖不到的部分退回测试。

    借鉴点

    能拿走的是把意图先写成 Verus 形式规约、再让 agent 写证明并用变异检查防弱规约的流程,可接到软件工厂的代码审查环节,代价是只支持 Rust 且证明本身仍要投入。

  1. 掘金88

    Google Research 开源 Harness²:不改模型只改 Agent 外壳,GLM-5 在 WorkBuddy-Bench 涨 11.5 分

    Google Research 开源 Harness²,让 agent 递归改写自己的执行外壳(prompt、技能、脚本、子代理等 8 个组件)并沉淀改进库,不训练也不换模型。

    借鉴点

    可抄走的是 harness 八组件成本模型和 INV/DOM 双提案对比流程,能落到软件工厂的 agent 编排上;代价是每任务 4k 次 rollout,且只补流程缺陷、不提升内容判断。

  1. 掘金71

    RAGFlow 与华东师大论文提出知识编译,断言-证据对让查询 token 降 91%

    RAGFlow 团队(InfiniFlow)联合华东师范大学在 arXiv 发布论文《Context as Infrastructure》,提出在摄入期把语料加工成带类型工件的知识编译管线,查询时消费工件而非原始文本。

    借鉴点

    能拿走断言-证据对替换、零命中回退梯子和有限视野盈亏公式,落到知识沉淀与本地检索管线;代价是延迟约 3 倍、需另配决策门,且 91% 数字来自 N=200 单次运行。

  1. 爱范儿78

    DeepSeek Harness 团队发布 Super-agent 架构设计,Router 加 Worker 双层调度并已在内部用于修 Bug

    DeepSeek Harness 团队发表技术文章《Super-agent 设计探索:迈向更自主的 Agent 系统》,提出由持续运行的 Router 统一接收群聊、GitHub、邮件等平台信息并分派任务、多个 Worker 独立执行的架构,并已在内部用 Super-agent 在无人 @ 的情况下复现 Bug 并提交 GitHub Pull Request。

    借鉴点

    Router 加 Worker 双层派单、事件 Trigger 两级过滤、异步 ReAct Loop 和云端执行加本地 daemon 这套组合,能换掉现在单 Session 串行跑任务的流程;代价是多会话缓存读取 Token 涨约 37%,长期记忆和提示词注入风险原文未解。

  1. 掘金78

    GUI-JEPA 用隐空间打分替代解码,0.5B 参数一步 51 毫秒

    上海交大、南洋理工和阿里巴巴团队提出 GUI-JEPA,用 JEPA 隐空间对候选控件打分替代逐 token 解码,在 AndroidControl 上以 0.5B 参数保留 Qwen2.5-VL-7B 微调模型 86-92% 的步级精度。

    借鉴点

    可借鉴候选打分替代逐 token 解码的做法,把截图编码一次、对 a11y 树候选批量打分,落到端侧智能体和手机自动化线;前提是能拿到无障碍树,且只验证了步级准确率、没有在线任务完成率。

  1. Hacker News · AI 讨论82

    Agent Scrum:用两小时冲刺调度 AI 编码智能体团队,38 天跑完 324 个冲刺

    作者用一支 AI 编码智能体团队在 38 天里围绕真实产品待办跑了 324 个两小时冲刺,其中专职 scrum 团队 agent 执行的 90 个冲刺里 79% 的承诺故事在冲刺内完成,仪式耗时不到 5 分钟。

    借鉴点

    能拿走一套可照抄的 Agent Scrum 最小配置,产品负责人 agent 管规划、独立 scrum master agent 跑两小时冲刺、外部定时器触发收尾;代价是回顾项 159 条只关了 40 条,合并环节和写代码一样耗时。

  1. 掘金71

    MemTrace 如何自动溯源并优化 LLM 记忆系统错误

    MemTrace 把 LLM 记忆流水线转成可执行的记忆演化图,用图归因 Agent 定位最早决定性故障操作,再据此自动改写提示词,在 Mem0 加 LoCoMo 上三轮优化后任务性能提升 7.62%。

    借鉴点

    能拿走一套可复用的记忆系统排错链路,插桩录制执行图、沿图定位最早故障操作、再把归因结果转成 prompt 改写;落到知识沉淀和本地部署调优上,代价是归因准确率约一半、每轮要重跑完整流水线。

  2. MarkTechPost78

    Polymathic AI 与普林斯顿等机构发布 FlashMap,Qwen3-8B 解码最高提速 6.14 倍

    Polymathic AI、普林斯顿大学、USC ISI、NYU 和 Flatiron Institute 的研究者发布 FlashMap,用连续 flow map 替代离散扩散草稿器,一次前向传播草拟 16 个 token 的整块。

    借鉴点

    能拿走的是用连续 flow map 一次草拟 16 token 的投机解码方案,配 vLLM 和 SGLang 插件即可接入现有推理服务;代价是要按目标模型单独训练 0.5B drafter,且温度大于 0 时需改采样配置。

  1. MarkTechPost78

    清华与港中文开源 AKV,在 SGLang 上为 LLM 智能体做 KV cache 工程

    清华大学与香港中文大学研究者开源 AKV,一个基于 SGLang 的 KV cache 工程服务系统,让智能体直接丢弃选定的 KV 条目并复用其余部分,而不改写历史文本。

    借鉴点

    能拿走的是 drop/repos 两种 KV 操作加 OpenAI 兼容的无状态接口,把工具调用历史直接丢缓存而不重写文本,落到本地模型部署和 Agent 长任务线上;代价是只支持 Qwen、GPT-OSS、MiniMax-M2 文本模型,且需 SGLang 与 NVIDIA GPU。

  2. 掘金71

    FAU 实测 8 个 7B 以下 VLM 抽取 JSON:OCR 专用模型零分,通用指令模型微调后领先

    德国埃尔朗根-纽伦堡大学(FAU)团队用三个真实馆藏数据集实测 8 个 7B 以下开源 VLM 的结构化 JSON 抽取能力,发现 OCR 专用小模型在 mAP-F1 上几乎全为 0,通用指令模型微调后才是赢家。

    借鉴点

    能拿走的是选型口径和避坑清单,结构化抽取优先测通用指令 VLM 而非 OCR 专用小模型,微调配 HPO 是主策略,图像预处理和多阶段训练要先验证;代价是结论只对被测版本负责,楼梯表测试集仅 25 张。

  1. Databricks60

    Databricks 实测 Spark 声明式管线与过程式 PySpark 的 agent 编写差异

    Databricks 用 Opus 4.8 在 22 个数据工程任务、每任务 12 份脏数据上对比过程式 PySpark 与 Spark Declarative Pipelines,共 528 次构建,声明式在 dry run 阶段拦下 55 个结构性错误,集群耗时从 596 executor-seconds 降到 17,约 34 倍。

    借鉴点

    同一 agent 跑 22 个任务各 12 份脏数据,对比过程式 PySpark 与声明式 SDP 的 dry run 拦截率、代码行数和 token 成本,可用来定数据管线的写法规范;代价是声明式前期 token 约 2.3 倍,且拦不住逻辑错误。

  1. 掘金71

    爱立信 Code Comprehensor 用分层文档与跨模态检索让 500 万行代码可问答

    爱立信研究院提出 Code Comprehensor,用 LLM 离线沿调用图把仓库文档化再压成语义检索索引,在线检索约 50 毫秒、完整回答一个问题 3-5 秒。

    借鉴点

    可抄的是后序分块加滚动摘要驯服超大调用树、一个代码单元配多文本视图做多正样本监督、合成问题加术语锚点约束;代价是 120 万行要 48 小时和 3200 美元文档化,且只在 C/C++ 上验证过。

  1. Hugging Face Blog71

    Dharma AI 用 VocabX 为 SLM 定制词表,实测推理成本降 77%

    Dharma AI 在 Hugging Face 博客披露 VocabX 方法,在不改基础模型、数据和训练配方的前提下,把 Qwen3-4B 葡语作文评分器的实测推理成本降低 77.0%,平均响应从 350 token 降到 101 token。

    借鉴点

    能拿走按 token 成本而非频次重建词表的方法,子词合并加宏 token 两层同预算筛选,落到本地小模型部署可省 77% 推理成本;代价是需重训分词器并重跑训练,且压缩掉关键决策 token 会掉点。

  1. Amazon Science82

    AWS 提出 Priming 方法,用预训练 Transformer 权重改造混合架构,预训练成本降低 99% 以上

    AWS 团队提出 Priming 方法,把预训练 Transformer 的权重作为混合架构的初始化,将混合架构的预训练成本降低 99% 以上,整个流程消耗不到源模型预训练 token 预算的 0.5%。

    借鉴点

    用预训练 Transformer 权重初始化混合架构,把预训练成本压到 0.5% 以下,可低成本对比 GKA、GDN、Mamba-2 与 SWA 的层替换方案;代价是仍需短蒸馏和端到端微调,且层选择依赖 SWA 替换代理实验。

  1. Berkeley AI Research60

    K-Search 扩展 MLX 后端,把 CUDA 内核经验迁移到 Apple Silicon

    Berkeley Sky Lab 与 IBM Research 在 K-Search 上新增 MLX 后端和结构化 CUDA-to-MLX 翻译层,让演化式内核搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。

    借鉴点

    可拿走 CUDA 到 MLX 的概念映射表、exp2 技巧和并行 scan 改写,落到本地模型部署;前提是自备 LLM API key 并接受搜索迭代成本。

已经到底了