内容类型
值得读的 AI 论文与研究成果：架构创新、训练方法、能力测量与理论进展。
37 条精选近 30 天 34 条共收录 385 条
清华大学与香港中文大学研究者开源 AKV，一个基于 SGLang 的 KV cache 工程服务系统，让智能体直接丢弃选定的 KV 条目并复用其余部分，而不改写历史文本。
能拿走的是 drop/repos 两种 KV 操作加 OpenAI 兼容的无状态接口，把工具调用历史直接丢缓存而不重写文本，落到本地模型部署和 Agent 长任务线上；代价是只支持 Qwen、GPT-OSS、MiniMax-M2 文本模型，且需 SGLang 与 NVIDIA GPU。
Google DeepMind 首席研究科学家 Jonathan T. Barron 与同事在 arXiv 论文《A Fix for Softmax and Cross-Entropy》中指出，PyTorch、JAX、TensorFlow 和教科书共用的 softmax 与交叉熵标准实现存在两个浮点 Bug。
可照抄论文的 softplus/expm1/log1p 重写 log-softmax 十余行实现，替换训练循环里的交叉熵，代价是需自行核对 bf16 与 fp32 下 margin 悬崖位置，论文未给统一阈值。
德国埃尔朗根-纽伦堡大学（FAU）团队用三个真实馆藏数据集实测 8 个 7B 以下开源 VLM 的结构化 JSON 抽取能力，发现 OCR 专用小模型在 mAP-F1 上几乎全为 0，通用指令模型微调后才是赢家。
能拿走的是选型口径和避坑清单，结构化抽取优先测通用指令 VLM 而非 OCR 专用小模型，微调配 HPO 是主策略，图像预处理和多阶段训练要先验证；代价是结论只对被测版本负责，楼梯表测试集仅 25 张。
斯坦福和 UC Berkeley 研究者发布 TokenGate，一个给预训练 LLM 加可学习 token 剪枝的模块，长上下文 prefill 的 TTFT 提速 1.4x 至 11.3x，峰值显存降低 1.5x 至 3.4x，且无精度损失。
可复用其 MLP 门控加 LoRA r=16 的 token 剪枝做法，把长文档 prefill 的 TTFT 压到 1.4x 至 11.3x，代价是需训练门控、每步比纯 LoRA 慢 1.3x，且只剪文档不剪问题。
GVS5H 提出免训练的 ledger-based zero-shot 自编排方法，让同一模型的新实例通过共享文件系统交换计划、笔记和当前解法来拆解问题。
能拿走的是多智能体共享文件系统做计划与解法的编排脚本和跑分命令，可接到软件工厂的编码评测线上；代价是要 uv、各家 API key 和 128k token 预算，且部分模型反而变差。
论文 ESPO（arXiv 2609.04197）提出把进化式提示词优化改成诊断、提案、选择三阶段，在七项基准上平均 74.67% 对 GEPA 的 70.91%，提示词长度少 47%（1004 对 1878 字符）。
可先照搬两处低成本改动，改提示前把验证集错误全量聚类成3到7个模式，选提示时加20轮bootstrap投票；代价是反思调用变多，论文未细算成本账。
Databricks 用 Opus 4.8 在 22 个数据工程任务、每任务 12 份脏数据上对比过程式 PySpark 与 Spark Declarative Pipelines，共 528 次构建，声明式在 dry run 阶段拦下 55 个结构性错误，集群耗时从 596 executor-seconds 降到 17，约 34 倍。
同一 agent 跑 22 个任务各 12 份脏数据，对比过程式 PySpark 与声明式 SDP 的 dry run 拦截率、代码行数和 token 成本，可用来定数据管线的写法规范；代价是声明式前期 token 约 2.3 倍，且拦不住逻辑错误。
爱立信研究院提出 Code Comprehensor，用 LLM 离线沿调用图把仓库文档化再压成语义检索索引，在线检索约 50 毫秒、完整回答一个问题 3-5 秒。
可抄的是后序分块加滚动摘要驯服超大调用树、一个代码单元配多文本视图做多正样本监督、合成问题加术语锚点约束；代价是 120 万行要 48 小时和 3200 美元文档化，且只在 C/C++ 上验证过。
一项新研究提出 BackUpper，在编码 Agent 执行破坏性操作前自动备份关键状态，在 205 个任务的 RegretBench 上实现 100% 备份覆盖，恢复数据与原状态平均相似度 92.2%。
BackUpper 用四级保护加小模型判定，在 harness 层给 Agent 动作前做影子备份，可接到编码 Agent 产线；代价是每任务约 $0.014 额外开销，且需按 harness 适配。
Dharma AI 在 Hugging Face 博客披露 VocabX 方法，在不改基础模型、数据和训练配方的前提下，把 Qwen3-4B 葡语作文评分器的实测推理成本降低 77.0%，平均响应从 350 token 降到 101 token。
能拿走按 token 成本而非频次重建词表的方法，子词合并加宏 token 两层同预算筛选，落到本地小模型部署可省 77% 推理成本；代价是需重训分词器并重跑训练，且压缩掉关键决策 token 会掉点。
Squidbrake 0.14.2 把 12 起公开报道的 AI 智能体删数据、泄密、乱花钱事故回放到自家规则上，15 个有害动作拦下 14 个，其中 3 个直接阻断、11 个转人工审批、1 个未拦住。
可复用的做法是把 12 起公开事故和 62 段会话做成可跑脚本，逐步标注 harm/routine/sensitive 再对比四种拦截策略；代价是回放命令多为作者重建，且审批人由脚本扮演，误报率才是真实成本。
UIUC 与 AWS AI Labs 等提出 Maestro（arXiv 2610.25920），把 Lean 证明 agent 的失败处理从继续拆解改为全局调度，由协调者根据证明者提交的失败诊断决定重试、补引理、改伪命题还是撤销换路线。
可借鉴的是失败结构化上报、协调者拥有删除权、事件队列替代轮次超时这三条编排做法，能换掉单 agent 串行拆解流程，代价是多 worker 并行加在线协调的成本，论文把核算放在附录 A。
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve，它用 GPT-4.1 分析智能体在训练任务上的轨迹，把成功与失败蒸馏成简短行为规则追加到 system prompt，不更新模型权重。
能从智能体自己的任务轨迹里自动提炼行为规则追加到 system prompt，不更新权重；代价是输入 token 涨 32%–65%，规则数量要按领域调。
谷歌团队开源Harness²，一套让大模型在运行中自行修改外挂代码、系统提示词、工具链和技能库的双层递归框架，已支持OpenCode与Codex。它用任务级递归的Propose-Probe-Compose机制在无标准答案时做对照实验，再用改进级递归把调试记录写成EXPERIENCE.md存入持续改进经验库。
可借鉴双层递归加Propose-Probe-Compose的脚手架自改流程，把每次调试记录沉淀成EXPERIENCE.md经验库供后续任务检索，代价是每轮要多跑候选轨迹做行为对比。
AWS 团队提出 Priming 方法，把预训练 Transformer 的权重作为混合架构的初始化，将混合架构的预训练成本降低 99% 以上，整个流程消耗不到源模型预训练 token 预算的 0.5%。
用预训练 Transformer 权重初始化混合架构，把预训练成本压到 0.5% 以下，可低成本对比 GKA、GDN、Mamba-2 与 SWA 的层替换方案；代价是仍需短蒸馏和端到端微调，且层选择依赖 SWA 替换代理实验。
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，现已开放研究预览版。基准包含 19 种语言、187 个开源仓库的 219 个 PR，其语言与仓库规模分布对齐对 103.9M 个 GitHub PR 的分析结果，PR 规模则刻意向可审查的中长尾加权。
可借鉴其多源金标集构建法：人工评审、后续提交推断、静态分析、多个前沿 LLM 汇总去重，再用统一 rubric 判分；代价是 219 条 PR 的标注与专家复核成本高，且依赖 Claude Sonnet 5 作 judge。
Berkeley Sky Lab 与 IBM Research 在 K-Search 上新增 MLX 后端和结构化 CUDA-to-MLX 翻译层，让演化式内核搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。
可拿走 CUDA 到 MLX 的概念映射表、exp2 技巧和并行 scan 改写，落到本地模型部署；前提是自备 LLM API key 并接受搜索迭代成本。