Apple 提出摊销式 MIPS 方法，用小型神经网络加速 RAG 检索
Apple 在 ICML 2026 论文中提出摊销式 MIPS 方法，针对固定键库离线训练小型神经网络，把查询路由到最佳匹配所在簇，从而加速 RAG 检索。
借鉴点
可借鉴用回归训练小网络替代质心路由的思路，SupportNet 做簇路由、KeyNet 改写查询接现有 IVF 索引，前提是查询分布稳定且需离线预计算真值样本。
#数据/训练
只收明天就能用得上的Apple Machine Learning精选AI 评分5858
掘金精选AI 评分7474 人大、复旦、上交发布 ToolSpace，用 804 个真实工具环境训练 Agent，Qwen3.6-35B 均分从 23.0 升至 41.0
人大、复旦、上交联合团队在 arXiv 发布 ToolSpace，先从 20 万条真实执行轨迹中用确定性规则挖出工具间的数据、状态、重试三类依赖，聚成 804 个环境簇，再在图上随机游走生成任务并回放验收。
借鉴点可借鉴的是先挖真实轨迹里的工具依赖再按需造环境，无状态环境直接缓存回放，省掉一半合成文件；前提是手里有真实执行轨迹，且冷门编排进不了图。
Hacker News · AI 讨论精选AI 评分7171 NVIDIA 预印本称智能体很少需要长上下文窗口
NVIDIA 研究者的预印本《You don't need long context》在 13 个长程与长输入基准上测试上下文压缩，Claude Opus 4.5 与 GPT 5.6 Sol 的准确率变化分别为 −3.7 至 +5.6 和 −3.3 至 +4.4 个百分点。
借鉴点可拿走压缩摘要的写法（任务原文、当前状态与计划、相关产物、完成标准）和把长文档存成文件让 agent 用 grep 选择性读取的做法，落到软件工厂与本地模型部署两条线；代价是开源模型在 16K 极限下会崩，Qwen 3 Coder Next 从 53.0% 掉到 3.6%，且成本节省部分来自作者自建价格模型而非真实账单。
Hugging Face Blog精选AI 评分7171 IBM Research 用合成数据微调 20B 小模型 Palette 按自有设计语言做幻灯片
IBM Research 在 Hugging Face 博客介绍 Palette，用 IBM Design Language 的合成数据对 20B 开源权重模型做 LoRA 微调，让它按自有设计语言生成幻灯片。
借鉴点可拿走设计者写 JSON brief、编码者按单页并行出 pptxgenjs 代码的两段式拆分，配几何检查器只保留有改进的重写；代价是要自建合成数据与渲染检查闭环，且小模型在叙事型 deck 上仍落后。
掘金精选AI 评分7171 华南理工 G³RAG 用 cosθ·sinθ 几何边权替代实体知识图谱做多跳 RAG
华南理工的 G³RAG 提出用文档嵌入夹角的 cosθ·sinθ 作为边权构图，同时奖励相关性和互补性，绕开用 LLM 抽实体建知识图谱的 token 开销，构图成本为零。
借鉴点已有嵌入索引的团队可加一层 cosθ·sinθ 边权图加单步扩散补多跳，省掉 LLM 建图 token，代价是图质量绑死嵌入质量且只覆盖单步跳转。
掘金精选AI 评分7171 MemTrace 如何自动溯源并优化 LLM 记忆系统错误
MemTrace 把 LLM 记忆流水线转成可执行的记忆演化图，用图归因 Agent 定位最早决定性故障操作，再据此自动改写提示词，在 Mem0 加 LoCoMo 上三轮优化后任务性能提升 7.62%。
借鉴点能拿走一套可复用的记忆系统排错链路，插桩录制执行图、沿图定位最早故障操作、再把归因结果转成 prompt 改写；落到知识沉淀和本地部署调优上，代价是归因准确率约一半、每轮要重跑完整流水线。
MarkTechPost精选AI 评分7878 UC Berkeley 开源 LEANN 向量索引，60M chunk 的 RAG 索引从 201 GB 降到 6 GB
UC Berkeley Sky Computing Lab 开源了 LEANN 向量索引，它不在磁盘上保存完整嵌入向量，而是在查询时按需重算，仓库基准里 60M chunk 的 Wikipedia 索引从 201 GB 降到 6 GB，论文在 MLSys 2026 获最佳研究论文。
借鉴点能拿走的是剪枝图加 PQ 表、查询时只重算搜索路径上节点的做法，把 60M chunk 索引从 201 GB 压到 6 GB，可落到本地知识库和端侧 RAG；代价是检索从 0.05 s 涨到 2.48 s，重算仍占约 76% 查询延迟。
Google Research精选AI 评分5858 Google Research 提出 sleep 框架，让 LLM 在持续学习中保留知识
Google Research 提出 sleep 框架，让 LLM 在活跃交互与离线睡眠两个阶段间交替，把短期上下文巩固进长期参数。
借鉴点可借鉴的是把持续学习拆成唤醒与睡眠两段，睡眠期用 MoE 扩容加 GKD 与 RL 模仿把上下文蒸馏进参数，再随机激活专家生成合成数据做筛选微调；落到本地模型部署和知识沉淀，代价是要预留专家容量并维护重置与筛选流程。
Hacker News · AI 讨论精选AI 评分7171 Pallavi Singla 用 30 条实时查询评测 You.com、Tavily、Exa、Parallel 四家搜索 API
Pallavi Singla 在 30 条 agent 式查询上横向评测 You.com、Tavily、Exa、Parallel 四家搜索 API，覆盖 GTM、保险、金融三类场景，每条查询重复 3 次共 90 次调用。
借鉴点能拿走一套可复跑的搜索 API 评测框架，含 30 条 agent 式查询、答案键、promptfoo 配置和 MCP 接入方式，可用来给自家 agent 选搜索后端；代价是要自备四家 API key，且只跑了一天数据、每类 10 条，差一两条属噪声。
掘金精选AI 评分8181 阿里 ATH-MaaS 开源 0.8B 统一 OCR 模型 OvisOCR3，OmniDocBench v1.6 得分 96.74
阿里 ATH-MaaS 团队 10 月 20 日发布 OvisOCR3 技术报告，一个基于 Qwen3.5-0.8B 的统一 OCR 模型，单模型覆盖文档解析、通用 OCR、KIE、图表描述和跨页表格重建五类任务，权重已在 HuggingFace 开源。
借鉴点能拿走双归一化分支加权重融合、关系优先奖励两套配方，落到 RAG 数据管道和本地部署；代价是四阶段无消融、教师算力账未披露。
MarkTechPost精选AI 评分7878 清华与港中文开源 AKV，在 SGLang 上为 LLM 智能体做 KV cache 工程
清华大学与香港中文大学研究者开源 AKV，一个基于 SGLang 的 KV cache 工程服务系统，让智能体直接丢弃选定的 KV 条目并复用其余部分，而不改写历史文本。
借鉴点能拿走的是 drop/repos 两种 KV 操作加 OpenAI 兼容的无状态接口，把工具调用历史直接丢缓存而不重写文本，落到本地模型部署和 Agent 长任务线上；代价是只支持 Qwen、GPT-OSS、MiniMax-M2 文本模型，且需 SGLang 与 NVIDIA GPU。
掘金精选AI 评分7171 DeepMind 论文指出 PyTorch、JAX 等框架 softmax 与交叉熵存在两个浮点 Bug
Google DeepMind 首席研究科学家 Jonathan T. Barron 与同事在 arXiv 论文《A Fix for Softmax and Cross-Entropy》中指出，PyTorch、JAX、TensorFlow 和教科书共用的 softmax 与交叉熵标准实现存在两个浮点 Bug。
借鉴点可照抄论文的 softplus/expm1/log1p 重写 log-softmax 十余行实现，替换训练循环里的交叉熵，代价是需自行核对 bf16 与 fp32 下 margin 悬崖位置，论文未给统一阈值。
掘金精选AI 评分7171 FAU 实测 8 个 7B 以下 VLM 抽取 JSON：OCR 专用模型零分，通用指令模型微调后领先
德国埃尔朗根-纽伦堡大学（FAU）团队用三个真实馆藏数据集实测 8 个 7B 以下开源 VLM 的结构化 JSON 抽取能力，发现 OCR 专用小模型在 mAP-F1 上几乎全为 0，通用指令模型微调后才是赢家。
借鉴点能拿走的是选型口径和避坑清单，结构化抽取优先测通用指令 VLM 而非 OCR 专用小模型，微调配 HPO 是主策略，图像预处理和多阶段训练要先验证；代价是结论只对被测版本负责，楼梯表测试集仅 25 张。
MarkTechPost精选AI 评分7171 斯坦福与 UC Berkeley 发布 TokenGate，长上下文 prefill 最高提速 11.3x
斯坦福和 UC Berkeley 研究者发布 TokenGate，一个给预训练 LLM 加可学习 token 剪枝的模块，长上下文 prefill 的 TTFT 提速 1.4x 至 11.3x，峰值显存降低 1.5x 至 3.4x，且无精度损失。
借鉴点可复用其 MLP 门控加 LoRA r=16 的 token 剪枝做法，把长文档 prefill 的 TTFT 压到 1.4x 至 11.3x，代价是需训练门控、每步比纯 LoRA 慢 1.3x，且只剪文档不剪问题。
掘金精选AI 评分7474 ESPO 提出先诊断再提案后投票的提示词优化法，平均超 GEPA 3.76 个点且提示词短 47%
论文 ESPO（arXiv 2609.04197）提出把进化式提示词优化改成诊断、提案、选择三阶段，在七项基准上平均 74.67% 对 GEPA 的 70.91%，提示词长度少 47%（1004 对 1878 字符）。
借鉴点可先照搬两处低成本改动，改提示前把验证集错误全量聚类成3到7个模式，选提示时加20轮bootstrap投票；代价是反思调用变多，论文未细算成本账。
Databricks精选AI 评分6060 Databricks 实测 Spark 声明式管线与过程式 PySpark 的 agent 编写差异
Databricks 用 Opus 4.8 在 22 个数据工程任务、每任务 12 份脏数据上对比过程式 PySpark 与 Spark Declarative Pipelines，共 528 次构建，声明式在 dry run 阶段拦下 55 个结构性错误，集群耗时从 596 executor-seconds 降到 17，约 34 倍。
借鉴点同一 agent 跑 22 个任务各 12 份脏数据，对比过程式 PySpark 与声明式 SDP 的 dry run 拦截率、代码行数和 token 成本，可用来定数据管线的写法规范；代价是声明式前期 token 约 2.3 倍，且拦不住逻辑错误。
Hugging Face Blog精选AI 评分7171 Dharma AI 用 VocabX 为 SLM 定制词表，实测推理成本降 77%
Dharma AI 在 Hugging Face 博客披露 VocabX 方法，在不改基础模型、数据和训练配方的前提下，把 Qwen3-4B 葡语作文评分器的实测推理成本降低 77.0%，平均响应从 350 token 降到 101 token。
借鉴点能拿走按 token 成本而非频次重建词表的方法，子词合并加宏 token 两层同预算筛选，落到本地小模型部署可省 77% 推理成本；代价是需重训分词器并重跑训练，且压缩掉关键决策 token 会掉点。
Amazon Science精选AI 评分8282 AWS 提出 Priming 方法，用预训练 Transformer 权重改造混合架构，预训练成本降低 99% 以上
AWS 团队提出 Priming 方法，把预训练 Transformer 的权重作为混合架构的初始化，将混合架构的预训练成本降低 99% 以上，整个流程消耗不到源模型预训练 token 预算的 0.5%。
借鉴点用预训练 Transformer 权重初始化混合架构，把预训练成本压到 0.5% 以下，可低成本对比 GKA、GDN、Mamba-2 与 SWA 的层替换方案；代价是仍需短蒸馏和端到端微调，且层选择依赖 SWA 替换代理实验。
已经到底了