NVIDIA 发布 Cosmos 3 四个开源世界模型检查点
NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。
四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。
NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。
四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。
Google DeepMind 发布 Gemini Omni 1.2 Flash,视频生成时长从 10 秒提升到 15 秒,并已在 Gemini API 和 Gemini for business 全面可用。
视频产线可换成先低分辨率草稿、再靠多轮对话改细节、最后升到 1080p 或 4K 的流程,代价是 720p 每秒 $0.07,且快速运动和复杂物理仍是已知短板。
Dharma-AI 发布 20 亿参数的 Dharma Field Extractor,输入文档图像和可选 schema,输出带类型的结构化 JSON,同一 checkpoint 无需按文档类型微调。
可借鉴在 DharmaOCR-LITE v1.1 上挂 LoRA 适配器做字段抽取,用 schema 指定键名和类型、缺失字段返回 null,直接对接下游系统;代价是要自备 GPU 推理,且训练数据以英文和葡萄牙语文档为主。
Mistral 发布 Mistral Large 4(Le Chonk)的开源权重,这是其 1 万亿参数原生多模态旗舰模型,此前已进入公开预览。
能拿走的是三档推理模式与 token 效率取舍,以及 vLLM/SGLang 自托管部署路径;可落到本地模型部署和软件工厂,代价是 1 万亿参数对硬件要求高,商用 MaaS 还需另签许可。
Google DeepMind 发布 Gemini 4 Carbon,称其在网络安全与长周期任务上最强,在 Artificial Analysis Intelligence Index v5.0 上以 59 分排第一。
可借鉴的是长周期智能体任务的训练取向和防作弊指标口径,Terminal-Bench 4.0 作弊率降到 0.0%、高危失配告警降约 80% 这类内部度量能直接搬进自己的评测表,但模型本身只先开放给网络安全防御方,拿不到权重和接口。
NVIDIA 发布开源权重模型 Nemotron 3.5 Transcribe,把转写、说话人分离、翻译和音频问答合进一个 checkpoint,支持 40 种语言转写、31 种语言与英文互译、13 种语言说话人标注,可处理最长 1 小时录音并标注最多 8 位说话人。
可拿走 Granary v2 四阶段数据管线和 NeMo Speech 微调配方(编码器+投影训练、LoRA 调语言模型、按解码结果选 checkpoint),落到本地模型部署与知识沉淀线;代价是需自备至少 100 条真实标注片段做选点,且通用英文 WER 会小幅上升。
Liquid AI 发布 LFM3 新一代 Liquid Foundation Models,把文本、视觉、音频、omni 和决策模型统一到 2B 参数级的同一 backbone 上,全部开源权重并已在 Hugging Face 上线。
六个 2B 级模型共用一个 backbone,单卡微调即可落地,文本模型 4-bit 约 1GB 可塞进端侧;代价是各模态需分别选型,d1 系列只输出结构化判断而非生成文本。
NVIDIA 发布预训练关系型基础模型 Kumo Relational,可直接在企业数据库上做流失、需求、欺诈等预测,单次前向推理完成,无需任务训练和特征工程。
能直接拿 PQL 写预测查询、用 structured-data-models 库在 GPU notebook 里做上下文学习,替掉现在按任务搭的 XGBoost 特征工程流水线;代价是上下文最多 1 万条样本,训练集极大时仍要靠微调。
IBM 更新 Granite Speech 系列,新增 granite-speech-5.0-2b,并修订 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。
三个模型按精度、端侧速度、说话人归属分工选型,2B 版支持 2000 词关键词偏置和语言 ID 提示词,代价是关键词表要自己维护、格式化输出得在提示词里显式要求。
NVIDIA 扩展开源模型家族,覆盖语言、机器人、生物和量子计算,包括 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Nemotron Retriever、Kumo、Cosmos 3.5、Alpamayo 2 Edge、BioNeMo RFD4-Proteina 和 Ising。
能拿走的是 Nemotron 3.5 系列加 Kumo、Cosmos、Ising 的开源权重与 NIM 打包方式,可落到本地模型部署和 Agent 数据管线;代价是多数模型要自己用本地数据后训练,Bolt E4B 4GB 还要等到 10 月 23 日。
NVIDIA 扩充 Nemotron Retriever 系列,开源发布 Nemotron 3.5 Embed 8B/1B(含 NVFP4 量化)、Rerank 8B 和 631M 参数的 Parse 文档解析模型。
能直接换掉现有 RAG 的检索段,Embed 8B/1B 加 Rerank 8B 组合可省约 14% 智能体 token,Parse 支持单双三遍推理调精度;代价是要有支持 NVFP4 的硬件,域适配还得自建合成查询和难负样本。
Cloudflare 发布 System One 类抽取模型 Clairic,已在 Workers AI 以 @cf/cloudflare/clairic 提供预览,并计划后续开放权重。
可用字段 schema 一次并行抽取文本 span、数字、日期、估计分布和预测区间,替换 LLM 逐字段生成 JSON 的抽取管线;代价是多步算术和长序列预测仍要交给代码。
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线,用户可在本地或 Ollama 云端运行。Clef 由 Qwen3.8-27B 微调而来,采用 Apache 2.0 许可,接收文本、JSON 或图像输入,一次读取即对所有问题同时打分,兼容 Jev 与 System One API。
能拿走的是把决策任务改成一次前向打分而非逐词生成,配合 schema 定义问题;可落到本地模型部署和 Agent 工具调用前置校验,代价是 27B 模型本地跑需足够显存,且基准数据来自 Cloudflare 自评。
美国新实验室 Reflection 在 Hugging Face 发布首个模型 Beam,501B 参数 MoE、每 token 激活 23B,支持 1M token 上下文,Apache 2.0 许可,主打编码与智能体场景。
能拿走混合注意力与残差缩放的具体配比、vLLM/SGLang 启动参数和 LoRA SFT 配方,落到本地模型部署线;代价是 BF16 权重约 1TB,需 4 张 B200 或 8 张 H200 起步。
IBM 发布 Granite Switch 4.1,8B 和 30B 两个版本在同一个托管端点上同时提供对话、通用与安全决策、语音转写能力。模型组合了新的通用决策 aLoRA、在安全决策任务上平均优于 Jev 1.13 等模型的 Guardian aLoRA,以及 OpenASR 榜首的 Granite-Speech-5.0-Turbo-CTC,整体显存占用约等于基座模型本身。
把通用决策、安全决策和 ASR 三个 aLoRA 挂到同一基座、共享 KV cache,显存约等于基座本身;自组 Switch 模型需自己训 aLoRA,Adapter SDK 尚未放出。
NVIDIA 发布开源 120B 参数模型 Nemotron 3.5 Super VL,主打多模态智能体任务,官方称吞吐量最高为同类模型 5 倍,参数量约为其最大推理模型的五分之一。
开源权重加训练配方和数据集,可拿 120B 的 Super VL 做多模态文档解析与工具调用,或把 Bolt 74B-A9B 用 2-bit 量化塞进 24GB 本地跑 agent,代价是要自己接 NeMo 做后训练。
Mistral 发布首个时序基础模型系列 Timestral,含 5M、28M、123M、209M 四个尺寸,最大模型以 209M 参数在 GIFT-Eval、TIME、fev-bench 三个公开基准的预训练零样本模型中排名第一,参数约为此前 SOTA 的三分之二。
可借鉴的是合成数据优先加两阶段训练配方,以及把协变量按目标、仅历史、已知未来分角色做注意力掩码;前提是自建时序预测管线,代价是需自造合成数据并调 21 分位 pinball loss。
Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 基础上加入图像与音频理解、可选思考模式、4 倍长上下文(262,144 tokens)、更好的指令遵循与工具调用,权重于 2026 年 7 月 24 日以 Apache 2.0 协议发布在 Hugging Face。
可借鉴早期融合做法,图像音频经 tokenizer 变成离散 token 与文本同序列,架构不变、训练按纯文本速度跑;代价是只扩词表、模型只输出文本,音频理解仍是实验性。
Meta 开源 Muse Spark Open,这是一个约 816B 总参数、每 token 激活约 42B 的多模态 MoE 模型,支持文本、图像、音频和视频输入,上下文窗口最高 1M tokens。
能拿走 BF16/NVFP4 两种 checkpoint 的部署配方、llama.cpp 2-bit 量化在 512GB Mac 上跑 18 tokens/s 的实测,以及只训注意力层 LoRA、冻结专家的 TRL 微调脚本;落到本地模型部署和软件工厂两条线,代价是 816B 全量专家常驻内存,BF16 约 1.5TB。
Google DeepMind 发布 Gemini 4 Argon,定位为通用物理推理模型,在 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,称超过其他前沿模型。
可借鉴的是把机器人任务写成带坐标网格、动作原语和 curl 闭环的提示词模板,以及 Real2Sim 的视觉与接触力双重校验约束;落到本地模型部署和视频产线要先有 MuJoCo 场景与真机遥测数据。