31 篇笔记实测 RAG 切分与召回：纯关键词命中率 53% 高于纯向量 40%
作者用 31 篇中文技术笔记和 30 条唯一答案问题，离线跑了 4 种切分乘 3 种召回的 24 组配置，上下文预算固定 1200 字，纯关键词召回命中率 53%，纯向量 40%，混合召回最高 73%。
借鉴点
能直接拿走一套离线 RAG 评测配置，31 篇笔记 30 题、1200 字预算固定，对比 4 种切分乘 3 种召回，落到知识沉淀线；代价是结论绑中文技术笔记语料，换领域要重跑。
技术方向
数据与训练 最新动态
大模型是怎么练出来的：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
71 条精选近 30 天 68 条共收录 743 条
更新
精选归档 · 第 3 页
掘金精选AI 评分7171
MarkTechPost精选AI 评分7878 清华与港中文开源 AKV，在 SGLang 上为 LLM 智能体做 KV cache 工程
清华大学与香港中文大学研究者开源 AKV，一个基于 SGLang 的 KV cache 工程服务系统，让智能体直接丢弃选定的 KV 条目并复用其余部分，而不改写历史文本。
借鉴点能拿走的是 drop/repos 两种 KV 操作加 OpenAI 兼容的无状态接口，把工具调用历史直接丢缓存而不重写文本，落到本地模型部署和 Agent 长任务线上；代价是只支持 Qwen、GPT-OSS、MiniMax-M2 文本模型，且需 SGLang 与 NVIDIA GPU。
量子位精选AI 评分8787 岩山科技岩芯矩阵联合港科大、CMU 开源 EdgeRock-4B，KV Cache 减少 99.1%
岩山科技旗下岩芯矩阵联合港科大、CMU 等高校发布并开源 EdgeRock-4B，在 256K 上下文下 KV Cache 固定为 72MiB，相比源模型 Qwen3.5-4B 减少 99.1%。
借鉴点能拿走的是固定容量记忆的三段拆分做法，循环状态抓大意、1024 token 局部窗口管眼前、1024 条锚点库留关键细节，把每条序列 KV 钉死在 72 MiB；落到本地模型部署和长跑 Agent 上可提前算清显存，代价是要从 Qwen3.5-4B 分阶段转换并训练评分网络，不是直接换权重。
掘金精选AI 评分7171 DeepMind 论文指出 PyTorch、JAX 等框架 softmax 与交叉熵存在两个浮点 Bug
Google DeepMind 首席研究科学家 Jonathan T. Barron 与同事在 arXiv 论文《A Fix for Softmax and Cross-Entropy》中指出，PyTorch、JAX、TensorFlow 和教科书共用的 softmax 与交叉熵标准实现存在两个浮点 Bug。
借鉴点可照抄论文的 softplus/expm1/log1p 重写 log-softmax 十余行实现，替换训练循环里的交叉熵，代价是需自行核对 bf16 与 fp32 下 margin 悬崖位置，论文未给统一阈值。
掘金精选AI 评分7171 FAU 实测 8 个 7B 以下 VLM 抽取 JSON：OCR 专用模型零分，通用指令模型微调后领先
德国埃尔朗根-纽伦堡大学（FAU）团队用三个真实馆藏数据集实测 8 个 7B 以下开源 VLM 的结构化 JSON 抽取能力，发现 OCR 专用小模型在 mAP-F1 上几乎全为 0，通用指令模型微调后才是赢家。
借鉴点能拿走的是选型口径和避坑清单，结构化抽取优先测通用指令 VLM 而非 OCR 专用小模型，微调配 HPO 是主策略，图像预处理和多阶段训练要先验证；代价是结论只对被测版本负责，楼梯表测试集仅 25 张。
MarkTechPost精选AI 评分7171 斯坦福与 UC Berkeley 发布 TokenGate，长上下文 prefill 最高提速 11.3x
斯坦福和 UC Berkeley 研究者发布 TokenGate，一个给预训练 LLM 加可学习 token 剪枝的模块，长上下文 prefill 的 TTFT 提速 1.4x 至 11.3x，峰值显存降低 1.5x 至 3.4x，且无精度损失。
借鉴点可复用其 MLP 门控加 LoRA r=16 的 token 剪枝做法，把长文档 prefill 的 TTFT 压到 1.4x 至 11.3x，代价是需训练门控、每步比纯 LoRA 慢 1.3x，且只剪文档不剪问题。
掘金精选AI 评分7575 生产级 RAG 知识库系统架构拆解：从 DeepDOC 解析到混合检索与像素级溯源
一篇教程按入库与检索两条路径拆解生产级 RAG 知识库，覆盖多格式分流解析、结构化切块、双模索引、混合召回与二次打分、多模态溯源。
借鉴点能拿走一套可落地的 RAG 参数与防护，包括 512 Token 切块、0.7 词项加 0.3 向量打分、48M 像素渲染预算；代价是解析链路重、并发与内存要自己压住。
掘金精选AI 评分7171 gpu-unlock-ada 开源项目：内核模块解锁 Ada 消费级显卡张量算力
GitHub 项目 gpu-unlock-ada 通过在 Linux 启动阶段抢先加载内核模块、修改流多处理器速度选择寄存器，把 RTX 4090 的 FP16/FP32 与 BF16/FP32 张量吞吐从 165 TF/s 提升到 331 TF/s，INT8 与 dp4a 维持基线。
借鉴点能拿走的是 initramfs 抢先加载内核模块、用 gpu_unlock.targets 指定 PCI 地址、冷启动清 WPR2 这套流程，可落到本地模型部署的 FP16/BF16 推理提速；代价是仅三款 Ada 卡验证、每次内核更新要重装、热重启可能失败。
Hacker News · 首页精选AI 评分7171 GPU-unlock 1.0.0 发布，解锁 Nvidia 3000 系显卡 FP/BF16 指令发射速率
GPU-unlock 1.0.0 发布，这是一个 Linux 内核模块，把 Nvidia 3000 系显卡的 FP/BF16 指令发射速率解锁到专业卡水平。
借鉴点用 initramfs 里先于 nvidia 绑卡的 kmod 写 SS0/SS1 速度选择器，免去每次驱动更新重打补丁，代价是需内核命令行 opt-in、休眠不覆盖且恢复后要重解锁。
掘金精选AI 评分7474 ESPO 提出先诊断再提案后投票的提示词优化法，平均超 GEPA 3.76 个点且提示词短 47%
论文 ESPO（arXiv 2609.04197）提出把进化式提示词优化改成诊断、提案、选择三阶段，在七项基准上平均 74.67% 对 GEPA 的 70.91%，提示词长度少 47%（1004 对 1878 字符）。
借鉴点可先照搬两处低成本改动，改提示前把验证集错误全量聚类成3到7个模式，选提示时加20轮bootstrap投票；代价是反思调用变多，论文未细算成本账。
AWS Machine Learning Blog精选AI 评分5858 AWS 发布 SageMaker AI 多轮强化学习实操指南，gpt-oss-20b 解词率从 61% 升至 84%
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习（MTRL）的端到端实操指南，用 Wordle 演示训练 gpt-oss-20b 在留出词上的解词率从 61% 提升到 84%。
借鉴点能拿走一套多轮 RL 流水线，Agent 与奖励函数同文件部署到 AgentCore，数据集只放任务不放轨迹，奖励按结果主导加小幅 shaping；代价是训练 token 费用约 339 美元、AgentCore 另计约 79 美元，且训练中不能重新部署 agent。
Databricks精选AI 评分6060 Databricks 实测 Spark 声明式管线与过程式 PySpark 的 agent 编写差异
Databricks 用 Opus 4.8 在 22 个数据工程任务、每任务 12 份脏数据上对比过程式 PySpark 与 Spark Declarative Pipelines，共 528 次构建，声明式在 dry run 阶段拦下 55 个结构性错误，集群耗时从 596 executor-seconds 降到 17，约 34 倍。
借鉴点同一 agent 跑 22 个任务各 12 份脏数据，对比过程式 PySpark 与声明式 SDP 的 dry run 拦截率、代码行数和 token 成本，可用来定数据管线的写法规范；代价是声明式前期 token 约 2.3 倍，且拦不住逻辑错误。
掘金精选AI 评分7171 显存被占满时用 CPU 微调模型：实测耗时与四个坑
作者在 48GB 显存被推理服务占满的情况下，用 CPU 对 2B 以下模型做 LoRA 微调，同任务同数据耗时约为 GPU 的 11 倍，精度差在小数点后三位。
借鉴点能拿走 CPU 跑 LoRA 的四个具体坑和修法，包括 device 与精度成对切换、qwen3_nothink 模板、8bit 量化、LFS 指针检查，落到本地模型部署这条线，代价是 2B 以下窄任务要等 11 倍时间。
掘金精选AI 评分8282 KV 缓存全场景剖析：从单次推理到 Agent 架构的九类场景
文章按九个场景拆解 KV 缓存，指出它把每步重算前缀的 O(N²) 压成线性，但每步注意力仍需遍历全部缓存，线性项不会消失。多轮对话与 Agent 场景下前缀任一字节改动都会让改动点之后的缓存失效，文中给出一个客服 Agent 因在系统提示词加一行时间戳导致首 token 延迟从 0.5 秒涨到 3-5 秒、月度账单近乎翻倍的案例。
借鉴点能拿走三条纪律：系统提示词和工具定义冻结、动态信息追加到末尾、状态栏以 user 消息注入；落到本地模型部署和 Agent 产线，代价是改动越靠前失效越多，且各项优化节省不能相加，需端到端实测。
掘金精选AI 评分8080 企业知识库 RAG 实战：混合检索、权限过滤与答案溯源
唐青枫拆解企业知识库 RAG 的落地架构，把登录授权、文档审核、异步索引、BM25 与向量混合检索、引用核验和运行追溯串成一条链路。文中给出 .NET 业务层加 Python AI 私网服务的分工，MySQL 作为授权与发布指针的权威源，ES 和 Milvus 只当可重建的检索投影，新索引先写 staging 代际、校验通过后再切换发布指针。
借鉴点能拿走一套可落地的企业 RAG 分层架构，含 staging 代际切换、RRF 融合代码和权限先于检索的顺序，落到知识沉淀线；代价是需同时维护 MySQL、ES、Milvus 三套存储并自建评测集。
掘金精选AI 评分7878 用 Pydantic 校验 LLM 结构化输出：从简历抽取看校验与重试怎么写
这篇教程以从简历文本抽取结构化信息为例，演示不加校验时 LLM 输出会遇到的四类问题，并给出一套可直接复用的 Pydantic 校验写法。做法分两道关，先用正则去掉 markdown 围栏抠出 JSON，再用 Pydantic 模型定义字段类型、Field 范围约束和自定义校验器，把“15k左右”规整成 15000、把带横线手机号规整成 11 位。
借鉴点能拿走一套 Pydantic 校验链，抠 JSON、Field 范围约束、跨字段核对、错误回喂重试，直接换掉裸 json.loads 进库的做法；代价是要处理校验器字段顺序和容差，且框架的结构化输出仍挡不住业务口径错误。
Hugging Face Blog精选AI 评分6262 微软与 Hugging Face 用 ThinkingBox 数据库终态校验做 RL 奖励，Qwen3.8-27B 全对任务从 38 增至 107
微软与 Hugging Face 联合发布 ThinkingBox-Training，把 ThinkingBox 对数据库终态的 1/0 可执行校验直接当作 RL 奖励。
借鉴点可复用离线策略相对难度筛选，用 Beta 后验把任务分五档，只留 0.08 到 0.90 区间做 GRPO，代价是每个候选任务要先跑 n 次探测，且训练与评测的解析器必须对齐。
AWS Machine Learning Blog精选AI 评分5858 AWS 用实测 Q_max 和 T_total 推导 SageMaker 上 Kokoro-82M 的自动扩缩容阈值
AWS 机器学习博客给出在 Amazon SageMaker AI 实时端点上部署 Kokoro-82M 并实测推导自动扩缩容参数的方法，用 Q_max（单实例在 SLO 内能承受的最高并发）和 T_total（一次扩容端到端耗时）两个测量值算出扩容阈值、缩容阈值和两个冷却时间。
借鉴点能拿走一套五命令链 drift/qmax/ttotal/plan/validate，用实测并发上限和扩容耗时反推扩缩容阈值与冷却时间，落到本地模型部署线；代价是要跑约 36 分钟压测并占用 GPU 配额，样本容器还钉着有已知漏洞的旧 PyTorch。
Hugging Face Blog精选AI 评分5858 IBM 在 Hugging Face 发布 Granite Timeseries Ensemble 时序预测集成
IBM 在 Hugging Face 发布 Granite Timeseries Ensemble，用一个可扩展接口把四个预训练 Granite 时序模型组合起来，无需重训即可输出中位数和分位数预测。
借鉴点能直接 pip 装 granite-tsfm 调 from_pretrained 拿四个 Granite 模型的中位数和分位数预测，省掉挑单一模型；代价是首次运行要下载四个 checkpoint，推理时间和显存都涨。
掘金精选AI 评分7878 美团技术团队分享算法研究自进化系统从 LOOP 到 CyclicGraph Engine 的三次架构演进
美团技术团队把 Karpathy 的 AutoResearch 搬进企业云端训练平台，经三次重构从单线程 LOOP 升级为 CyclicGraph Engine 图探索架构，两个业务建模项目单任务耗时较人工基线分别减少约 85% 与 83%。
借鉴点能拿走 Spawn-Converge 三步闭环和状态文件硬约束的做法，换掉单 agent 串行 LOOP 的迭代流程，前提是训练可异步、指标可机器判读，且需自建知识库与人工审核卡点。