NVIDIA 发布 Cosmos 3 四个开源世界模型检查点
NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。
四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。
NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。
四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。
Apple 在 ICML 2026 论文中提出摊销式 MIPS 方法,针对固定键库离线训练小型神经网络,把查询路由到最佳匹配所在簇,从而加速 RAG 检索。
可借鉴用回归训练小网络替代质心路由的思路,SupportNet 做簇路由、KeyNet 改写查询接现有 IVF 索引,前提是查询分布稳定且需离线预计算真值样本。
Dharma-AI 发布 20 亿参数的 Dharma Field Extractor,输入文档图像和可选 schema,输出带类型的结构化 JSON,同一 checkpoint 无需按文档类型微调。
可借鉴在 DharmaOCR-LITE v1.1 上挂 LoRA 适配器做字段抽取,用 schema 指定键名和类型、缺失字段返回 null,直接对接下游系统;代价是要自备 GPU 推理,且训练数据以英文和葡萄牙语文档为主。
IBM Research 在 Hugging Face 博客介绍 Palette,用 IBM Design Language 的合成数据对 20B 开源权重模型做 LoRA 微调,让它按自有设计语言生成幻灯片。
可拿走设计者写 JSON brief、编码者按单页并行出 pptxgenjs 代码的两段式拆分,配几何检查器只保留有改进的重写;代价是要自建合成数据与渲染检查闭环,且小模型在叙事型 deck 上仍落后。
AWS 在 SageMaker AI 上用序列级知识蒸馏(SeqKD)把 GLM-5.3 教师生成的购物 Agent 轨迹蒸馏进 Qwen3.5-4B,在 ShoppingBench 324 道留出题上平均绝对成功率从基座的 0.297 升到 0.541,追平教师和中等规模前沿模型。
能拿走一套完整做法,用前沿模型采样轨迹加程序化打分筛出解出的样本,按步编码成 chat 格式做 SFT,再把 LoRA adapter 挂到同一端点。落到软件工厂和本地模型部署两条线,前提是任务本身在 4B 容量内,且要接受 IFEval 掉 6 到 8 分。
Exowatt 用 Amazon SageMaker AI 无服务器模型定制微调 Qwen3-1.7B 和 Qwen3-14B,在告警分诊和能源市场分析两个任务上分别达到 0.911 和 0.975 macro-F1,均超过 Claude Sonnet 4.6、Claude Opus 4.7 等前沿模型。
可复用其数据配方:少量人工核验样本加三倍改写扩增,改写后逐条校验标签与数字不变;代价是改写与校验环节要额外投入,且需自建证据引用校验。
Databricks 介绍一套文档抽取的可重复改进流程,用 ai_extract 的 schema 描述承载字段规则、全局指令承载文档级逻辑、precision mode 处理复杂表格,并用 MLflow Prompt Registry 对 prompt 和 schema 一起做版本与别名管理。
把字段规则写进 schema、文档级逻辑放全局指令、结构难题开 precision mode,再用 MLflow Prompt Registry 的别名做灰度与回滚,前提是先攒出几百份人工审核过的固定评测集,否则改动好坏分不清。
Google Research 提出 sleep 框架,让 LLM 在活跃交互与离线睡眠两个阶段间交替,把短期上下文巩固进长期参数。
可借鉴的是把持续学习拆成唤醒与睡眠两段,睡眠期用 MoE 扩容加 GKD 与 RL 模仿把上下文蒸馏进参数,再随机激活专家生成合成数据做筛选微调;落到本地模型部署和知识沉淀,代价是要预留专家容量并维护重置与筛选流程。
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习(MTRL)的端到端实操指南,用 Wordle 演示训练 gpt-oss-20b 在留出词上的解词率从 61% 提升到 84%。
能拿走一套多轮 RL 流水线,Agent 与奖励函数同文件部署到 AgentCore,数据集只放任务不放轨迹,奖励按结果主导加小幅 shaping;代价是训练 token 费用约 339 美元、AgentCore 另计约 79 美元,且训练中不能重新部署 agent。
Databricks 用 Opus 4.8 在 22 个数据工程任务、每任务 12 份脏数据上对比过程式 PySpark 与 Spark Declarative Pipelines,共 528 次构建,声明式在 dry run 阶段拦下 55 个结构性错误,集群耗时从 596 executor-seconds 降到 17,约 34 倍。
同一 agent 跑 22 个任务各 12 份脏数据,对比过程式 PySpark 与声明式 SDP 的 dry run 拦截率、代码行数和 token 成本,可用来定数据管线的写法规范;代价是声明式前期 token 约 2.3 倍,且拦不住逻辑错误。
微软与 Hugging Face 联合发布 ThinkingBox-Training,把 ThinkingBox 对数据库终态的 1/0 可执行校验直接当作 RL 奖励。
可复用离线策略相对难度筛选,用 Beta 后验把任务分五档,只留 0.08 到 0.90 区间做 GRPO,代价是每个候选任务要先跑 n 次探测,且训练与评测的解析器必须对齐。
AWS 机器学习博客给出在 Amazon SageMaker AI 实时端点上部署 Kokoro-82M 并实测推导自动扩缩容参数的方法,用 Q_max(单实例在 SLO 内能承受的最高并发)和 T_total(一次扩容端到端耗时)两个测量值算出扩容阈值、缩容阈值和两个冷却时间。
能拿走一套五命令链 drift/qmax/ttotal/plan/validate,用实测并发上限和扩容耗时反推扩缩容阈值与冷却时间,落到本地模型部署线;代价是要跑约 36 分钟压测并占用 GPU 配额,样本容器还钉着有已知漏洞的旧 PyTorch。
IBM 在 Hugging Face 发布 Granite Timeseries Ensemble,用一个可扩展接口把四个预训练 Granite 时序模型组合起来,无需重训即可输出中位数和分位数预测。
能直接 pip 装 granite-tsfm 调 from_pretrained 拿四个 Granite 模型的中位数和分位数预测,省掉挑单一模型;代价是首次运行要下载四个 checkpoint,推理时间和显存都涨。
NVIDIA 发布预训练关系型基础模型 Kumo Relational,可直接在企业数据库上做流失、需求、欺诈等预测,单次前向推理完成,无需任务训练和特征工程。
能直接拿 PQL 写预测查询、用 structured-data-models 库在 GPU notebook 里做上下文学习,替掉现在按任务搭的 XGBoost 特征工程流水线;代价是上下文最多 1 万条样本,训练集极大时仍要靠微调。
Dharma AI 在 Hugging Face 博客披露 VocabX 方法,在不改基础模型、数据和训练配方的前提下,把 Qwen3-4B 葡语作文评分器的实测推理成本降低 77.0%,平均响应从 350 token 降到 101 token。
能拿走按 token 成本而非频次重建词表的方法,子词合并加宏 token 两层同预算筛选,落到本地小模型部署可省 77% 推理成本;代价是需重训分词器并重跑训练,且压缩掉关键决策 token 会掉点。
AWS 在 Amazon SageMaker HyperPod 上用 LoRA 微调 GPT-OSS-20B,SFT 把推理语言正确率从 22% 提到 100%,再叠加 GRPO 把答案语言正确率从 62% 提到 70%。
能拿走 SFT 与 GRPO 的分工判据和 LoRA r=8/α=16 配置,落到本地模型部署与训练流水线;前提是先测出 pass@k 与 pass@1 的差距,没有余量时 GRPO 白烧 GPU。
Cloudflare 发布 System One 类抽取模型 Clairic,已在 Workers AI 以 @cf/cloudflare/clairic 提供预览,并计划后续开放权重。
可用字段 schema 一次并行抽取文本 span、数字、日期、估计分布和预测区间,替换 LLM 逐字段生成 JSON 的抽取管线;代价是多步算术和长序列预测仍要交给代码。
Mistral 发布首个时序基础模型系列 Timestral,含 5M、28M、123M、209M 四个尺寸,最大模型以 209M 参数在 GIFT-Eval、TIME、fev-bench 三个公开基准的预训练零样本模型中排名第一,参数约为此前 SOTA 的三分之二。
可借鉴的是合成数据优先加两阶段训练配方,以及把协变量按目标、仅历史、已知未来分角色做注意力掩码;前提是自建时序预测管线,代价是需自造合成数据并调 21 分位 pinball loss。
AWS 团队提出 Priming 方法,把预训练 Transformer 的权重作为混合架构的初始化,将混合架构的预训练成本降低 99% 以上,整个流程消耗不到源模型预训练 token 预算的 0.5%。
用预训练 Transformer 权重初始化混合架构,把预训练成本压到 0.5% 以下,可低成本对比 GKA、GDN、Mamba-2 与 SWA 的层替换方案;代价是仍需短蒸馏和端到端微调,且层选择依赖 SWA 替换代理实验。
微软亚洲研究院开源 Agent Lightning v1.0,用约 3500 行代码实现 Harnessed Agentic RL,让部署时使用的 agent harness 直接参与强化学习训练,无需在训练框架内重写 agent。
把部署用的 harness 直接接进 RL 训练,只需把模型端点指向 LLM proxy,省去在训练框架里重写 agent;代价是重分词、样本合并与优势/损失归一化要按 rollout 级处理。