跳到正文
  1. Hugging Face Blog58

    NVIDIA 发布 Cosmos 3 四个开源世界模型检查点

    NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。

    借鉴点

    四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。

  2. Apple Machine Learning58

    Apple 提出摊销式 MIPS 方法,用小型神经网络加速 RAG 检索

    Apple 在 ICML 2026 论文中提出摊销式 MIPS 方法,针对固定键库离线训练小型神经网络,把查询路由到最佳匹配所在簇,从而加速 RAG 检索。

    借鉴点

    可借鉴用回归训练小网络替代质心路由的思路,SupportNet 做簇路由、KeyNet 改写查询接现有 IVF 索引,前提是查询分布稳定且需离线预计算真值样本。

  1. Hugging Face Blog64

    Dharma-AI 发布 20 亿参数 Dharma Field Extractor,按 schema 输出结构化 JSON

    Dharma-AI 发布 20 亿参数的 Dharma Field Extractor,输入文档图像和可选 schema,输出带类型的结构化 JSON,同一 checkpoint 无需按文档类型微调。

    借鉴点

    可借鉴在 DharmaOCR-LITE v1.1 上挂 LoRA 适配器做字段抽取,用 schema 指定键名和类型、缺失字段返回 null,直接对接下游系统;代价是要自备 GPU 推理,且训练数据以英文和葡萄牙语文档为主。

  1. Hugging Face Blog71

    IBM Research 用合成数据微调 20B 小模型 Palette 按自有设计语言做幻灯片

    IBM Research 在 Hugging Face 博客介绍 Palette,用 IBM Design Language 的合成数据对 20B 开源权重模型做 LoRA 微调,让它按自有设计语言生成幻灯片。

    借鉴点

    可拿走设计者写 JSON brief、编码者按单页并行出 pptxgenjs 代码的两段式拆分,配几何检查器只保留有改进的重写;代价是要自建合成数据与渲染检查闭环,且小模型在叙事型 deck 上仍落后。

  1. AWS Machine Learning Blog64

    AWS 用 SageMaker AI 上的序列级知识蒸馏把购物 Agent 蒸馏到 Qwen3.5-4B

    AWS 在 SageMaker AI 上用序列级知识蒸馏(SeqKD)把 GLM-5.3 教师生成的购物 Agent 轨迹蒸馏进 Qwen3.5-4B,在 ShoppingBench 324 道留出题上平均绝对成功率从基座的 0.297 升到 0.541,追平教师和中等规模前沿模型。

    借鉴点

    能拿走一套完整做法,用前沿模型采样轨迹加程序化打分筛出解出的样本,按步编码成 chat 格式做 SFT,再把 LoRA adapter 挂到同一端点。落到软件工厂和本地模型部署两条线,前提是任务本身在 4B 容量内,且要接受 IFEval 掉 6 到 8 分。

  1. AWS Machine Learning Blog58

    Exowatt 用 SageMaker 无服务器微调让 Qwen3 小模型在准确率上超过前沿模型

    Exowatt 用 Amazon SageMaker AI 无服务器模型定制微调 Qwen3-1.7B 和 Qwen3-14B,在告警分诊和能源市场分析两个任务上分别达到 0.911 和 0.975 macro-F1,均超过 Claude Sonnet 4.6、Claude Opus 4.7 等前沿模型。

    借鉴点

    可复用其数据配方:少量人工核验样本加三倍改写扩增,改写后逐条校验标签与数字不变;代价是改写与校验环节要额外投入,且需自建证据引用校验。

  2. Databricks58

    Databricks 用 ai_extract 与 MLflow Prompt Registry 建立文档抽取评测闭环

    Databricks 介绍一套文档抽取的可重复改进流程,用 ai_extract 的 schema 描述承载字段规则、全局指令承载文档级逻辑、precision mode 处理复杂表格,并用 MLflow Prompt Registry 对 prompt 和 schema 一起做版本与别名管理。

    借鉴点

    把字段规则写进 schema、文档级逻辑放全局指令、结构难题开 precision mode,再用 MLflow Prompt Registry 的别名做灰度与回滚,前提是先攒出几百份人工审核过的固定评测集,否则改动好坏分不清。

  3. Google Research58

    Google Research 提出 sleep 框架,让 LLM 在持续学习中保留知识

    Google Research 提出 sleep 框架,让 LLM 在活跃交互与离线睡眠两个阶段间交替,把短期上下文巩固进长期参数。

    借鉴点

    可借鉴的是把持续学习拆成唤醒与睡眠两段,睡眠期用 MoE 扩容加 GKD 与 RL 模仿把上下文蒸馏进参数,再随机激活专家生成合成数据做筛选微调;落到本地模型部署和知识沉淀,代价是要预留专家容量并维护重置与筛选流程。

  1. AWS Machine Learning Blog58

    AWS 发布 SageMaker AI 多轮强化学习实操指南,gpt-oss-20b 解词率从 61% 升至 84%

    AWS 发布在 Amazon SageMaker AI 上做多轮强化学习(MTRL)的端到端实操指南,用 Wordle 演示训练 gpt-oss-20b 在留出词上的解词率从 61% 提升到 84%。

    借鉴点

    能拿走一套多轮 RL 流水线,Agent 与奖励函数同文件部署到 AgentCore,数据集只放任务不放轨迹,奖励按结果主导加小幅 shaping;代价是训练 token 费用约 339 美元、AgentCore 另计约 79 美元,且训练中不能重新部署 agent。

  2. Databricks60

    Databricks 实测 Spark 声明式管线与过程式 PySpark 的 agent 编写差异

    Databricks 用 Opus 4.8 在 22 个数据工程任务、每任务 12 份脏数据上对比过程式 PySpark 与 Spark Declarative Pipelines,共 528 次构建,声明式在 dry run 阶段拦下 55 个结构性错误,集群耗时从 596 executor-seconds 降到 17,约 34 倍。

    借鉴点

    同一 agent 跑 22 个任务各 12 份脏数据,对比过程式 PySpark 与声明式 SDP 的 dry run 拦截率、代码行数和 token 成本,可用来定数据管线的写法规范;代价是声明式前期 token 约 2.3 倍,且拦不住逻辑错误。

  1. Hugging Face Blog62

    微软与 Hugging Face 用 ThinkingBox 数据库终态校验做 RL 奖励,Qwen3.8-27B 全对任务从 38 增至 107

    微软与 Hugging Face 联合发布 ThinkingBox-Training,把 ThinkingBox 对数据库终态的 1/0 可执行校验直接当作 RL 奖励。

    借鉴点

    可复用离线策略相对难度筛选,用 Beta 后验把任务分五档,只留 0.08 到 0.90 区间做 GRPO,代价是每个候选任务要先跑 n 次探测,且训练与评测的解析器必须对齐。

  2. AWS Machine Learning Blog58

    AWS 用实测 Q_max 和 T_total 推导 SageMaker 上 Kokoro-82M 的自动扩缩容阈值

    AWS 机器学习博客给出在 Amazon SageMaker AI 实时端点上部署 Kokoro-82M 并实测推导自动扩缩容参数的方法,用 Q_max(单实例在 SLO 内能承受的最高并发)和 T_total(一次扩容端到端耗时)两个测量值算出扩容阈值、缩容阈值和两个冷却时间。

    借鉴点

    能拿走一套五命令链 drift/qmax/ttotal/plan/validate,用实测并发上限和扩容耗时反推扩缩容阈值与冷却时间,落到本地模型部署线;代价是要跑约 36 分钟压测并占用 GPU 配额,样本容器还钉着有已知漏洞的旧 PyTorch。

  1. Hugging Face Blog58

    IBM 在 Hugging Face 发布 Granite Timeseries Ensemble 时序预测集成

    IBM 在 Hugging Face 发布 Granite Timeseries Ensemble,用一个可扩展接口把四个预训练 Granite 时序模型组合起来,无需重训即可输出中位数和分位数预测。

    借鉴点

    能直接 pip 装 granite-tsfm 调 from_pretrained 拿四个 Granite 模型的中位数和分位数预测,省掉挑单一模型;代价是首次运行要下载四个 checkpoint,推理时间和显存都涨。

  2. Hugging Face Blog58

    NVIDIA 发布 Kumo Relational 关系型基础模型,无需训练即可预测

    NVIDIA 发布预训练关系型基础模型 Kumo Relational,可直接在企业数据库上做流失、需求、欺诈等预测,单次前向推理完成,无需任务训练和特征工程。

    借鉴点

    能直接拿 PQL 写预测查询、用 structured-data-models 库在 GPU notebook 里做上下文学习,替掉现在按任务搭的 XGBoost 特征工程流水线;代价是上下文最多 1 万条样本,训练集极大时仍要靠微调。

  3. Hugging Face Blog71

    Dharma AI 用 VocabX 为 SLM 定制词表,实测推理成本降 77%

    Dharma AI 在 Hugging Face 博客披露 VocabX 方法,在不改基础模型、数据和训练配方的前提下,把 Qwen3-4B 葡语作文评分器的实测推理成本降低 77.0%,平均响应从 350 token 降到 101 token。

    借鉴点

    能拿走按 token 成本而非频次重建词表的方法,子词合并加宏 token 两层同预算筛选,落到本地小模型部署可省 77% 推理成本;代价是需重训分词器并重跑训练,且压缩掉关键决策 token 会掉点。

  1. AWS Machine Learning Blog58

    AWS 在 SageMaker HyperPod 上微调 GPT-OSS-20B 多语言推理,SFT 加 GRPO 把答案语言正确率提到 70%

    AWS 在 Amazon SageMaker HyperPod 上用 LoRA 微调 GPT-OSS-20B,SFT 把推理语言正确率从 22% 提到 100%,再叠加 GRPO 把答案语言正确率从 62% 提到 70%。

    借鉴点

    能拿走 SFT 与 GRPO 的分工判据和 LoRA r=8/α=16 配置,落到本地模型部署与训练流水线;前提是先测出 pass@k 与 pass@1 的差距,没有余量时 GRPO 白烧 GPU。

  1. Cloudflare AI58

    Cloudflare 发布 System One 抽取模型 Clairic,上线 Workers AI 预览

    Cloudflare 发布 System One 类抽取模型 Clairic,已在 Workers AI 以 @cf/cloudflare/clairic 提供预览,并计划后续开放权重。

    借鉴点

    可用字段 schema 一次并行抽取文本 span、数字、日期、估计分布和预测区间,替换 LLM 逐字段生成 JSON 的抽取管线;代价是多步算术和长序列预测仍要交给代码。

  1. Mistral AI64

    Mistral 发布时序基础模型 Timestral,最大 209M 参数

    Mistral 发布首个时序基础模型系列 Timestral,含 5M、28M、123M、209M 四个尺寸,最大模型以 209M 参数在 GIFT-Eval、TIME、fev-bench 三个公开基准的预训练零样本模型中排名第一,参数约为此前 SOTA 的三分之二。

    借鉴点

    可借鉴的是合成数据优先加两阶段训练配方,以及把协变量按目标、仅历史、已知未来分角色做注意力掩码;前提是自建时序预测管线,代价是需自造合成数据并调 21 分位 pinball loss。

  1. Amazon Science82

    AWS 提出 Priming 方法,用预训练 Transformer 权重改造混合架构,预训练成本降低 99% 以上

    AWS 团队提出 Priming 方法,把预训练 Transformer 的权重作为混合架构的初始化,将混合架构的预训练成本降低 99% 以上,整个流程消耗不到源模型预训练 token 预算的 0.5%。

    借鉴点

    用预训练 Transformer 权重初始化混合架构,把预训练成本压到 0.5% 以下,可低成本对比 GKA、GDN、Mamba-2 与 SWA 的层替换方案;代价是仍需短蒸馏和端到端微调,且层选择依赖 SWA 替换代理实验。

  1. Microsoft Research74

    微软亚洲研究院开源 Agent Lightning v1.0,3500 行代码实现 Harnessed Agentic RL

    微软亚洲研究院开源 Agent Lightning v1.0,用约 3500 行代码实现 Harnessed Agentic RL,让部署时使用的 agent harness 直接参与强化学习训练,无需在训练框架内重写 agent。

    借鉴点

    把部署用的 harness 直接接进 RL 训练,只需把模型端点指向 LLM proxy,省去在训练框架里重写 agent;代价是重分词、样本合并与优势/损失归一化要按 rollout 级处理。

已经到底了