NVIDIA 发布 Cosmos 3 四个开源世界模型检查点
NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。
四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。
NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。
四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。
Google DeepMind 发布 Gemini Omni 1.2 Flash,视频生成时长从 10 秒提升到 15 秒,并已在 Gemini API 和 Gemini for business 全面可用。
视频产线可换成先低分辨率草稿、再靠多轮对话改细节、最后升到 1080p 或 4K 的流程,代价是 720p 每秒 $0.07,且快速运动和复杂物理仍是已知短板。
AWS 发布教程,用 Amazon Nova Multimodal Embeddings、Amazon Bedrock AgentCore 和开源 Strands Agents SDK 搭建多智能体工程助手,把零件替换评估中的人工交叉比对改为自动汇集证据。
能拿走一套可复用做法:planner 用 Haiku 路由、Sonnet 跑工具、Opus 只在多专家时汇总,规格判定全用 Python 确定性代码;代价是要自建多模态知识库和 S3 Vectors 索引,图片查询路径权限缺失会静默回退。
Mistral 发布 Mistral Large 4(代号 Le Chonk),这是文本加图像输入的多模态 MoE 模型,约 1T 总参数、49B 激活参数,上下文窗口 1M tokens,提供 FP8 与 NVFP4 两个官方版本。
能直接拿走 transformers、vLLM、llama.cpp 三套启动命令和 TRL 微调脚本,落到本地模型部署与软件工厂线;代价是 1T 总参数,2-bit 量化也要 512GB 统一内存单机或 4 张 RTX6000 Pro 分布式才跑得动。
Property Finder 发现其评测标签有 96.8% 直接沿用现有 VLM 的预测而非人工核验,导致任何替代模型在比较中天然吃亏。
可拿走一套做法,先人工重标几百张图做无偏基准,再用 Micro F1 加错误分析迭代提示词,最后用 MIPROv2 自动优化;能落到本地模型部署的选型评测线,代价是要有领域专家标注,356 张只够测中等差异。
Liquid AI 发布 LFM3 新一代 Liquid Foundation Models,把文本、视觉、音频、omni 和决策模型统一到 2B 参数级的同一 backbone 上,全部开源权重并已在 Hugging Face 上线。
六个 2B 级模型共用一个 backbone,单卡微调即可落地,文本模型 4-bit 约 1GB 可塞进端侧;代价是各模态需分别选型,d1 系列只输出结构化判断而非生成文本。
NVIDIA 扩展开源模型家族,覆盖语言、机器人、生物和量子计算,包括 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Nemotron Retriever、Kumo、Cosmos 3.5、Alpamayo 2 Edge、BioNeMo RFD4-Proteina 和 Ising。
能拿走的是 Nemotron 3.5 系列加 Kumo、Cosmos、Ising 的开源权重与 NIM 打包方式,可落到本地模型部署和 Agent 数据管线;代价是多数模型要自己用本地数据后训练,Bolt E4B 4GB 还要等到 10 月 23 日。
NVIDIA 扩充 Nemotron Retriever 系列,开源发布 Nemotron 3.5 Embed 8B/1B(含 NVFP4 量化)、Rerank 8B 和 631M 参数的 Parse 文档解析模型。
能直接换掉现有 RAG 的检索段,Embed 8B/1B 加 Rerank 8B 组合可省约 14% 智能体 token,Parse 支持单双三遍推理调精度;代价是要有支持 NVFP4 的硬件,域适配还得自建合成查询和难负样本。
TwelveLabs 的 Pegasus 1.5 视频语言模型已在 Amazon Bedrock 上线,可分析整段视频并按用户定义的分段条件返回带起止时间的 JSON 元数据。
能拿走按 segment_definitions 定义字段、一次请求返回带起止时间的 JSON 分段,直接接进视频产线做切片和打标;代价是单请求最长 2 小时、S3 上限 2 GB,且需在 us-west-2 开通模型权限。
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线,用户可在本地或 Ollama 云端运行。Clef 由 Qwen3.8-27B 微调而来,采用 Apache 2.0 许可,接收文本、JSON 或图像输入,一次读取即对所有问题同时打分,兼容 Jev 与 System One API。
能拿走的是把决策任务改成一次前向打分而非逐词生成,配合 schema 定义问题;可落到本地模型部署和 Agent 工具调用前置校验,代价是 27B 模型本地跑需足够显存,且基准数据来自 Cloudflare 自评。
NVIDIA 发布开源 120B 参数模型 Nemotron 3.5 Super VL,主打多模态智能体任务,官方称吞吐量最高为同类模型 5 倍,参数量约为其最大推理模型的五分之一。
开源权重加训练配方和数据集,可拿 120B 的 Super VL 做多模态文档解析与工具调用,或把 Bolt 74B-A9B 用 2-bit 量化塞进 24GB 本地跑 agent,代价是要自己接 NeMo 做后训练。
Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 基础上加入图像与音频理解、可选思考模式、4 倍长上下文(262,144 tokens)、更好的指令遵循与工具调用,权重于 2026 年 7 月 24 日以 Apache 2.0 协议发布在 Hugging Face。
可借鉴早期融合做法,图像音频经 tokenizer 变成离散 token 与文本同序列,架构不变、训练按纯文本速度跑;代价是只扩词表、模型只输出文本,音频理解仍是实验性。
Together AI 作为 Day 0 发布伙伴上线 Meta 的开放权重模型 Muse Spark Open,可通过 Together API 以 meta-models/Muse-Spark-Open-816B-A42B 调用。
能直接照抄 Together API 的调用示例和 meta-models/Muse-Spark-Open-816B-A42B 模型名接入,落到软件工厂的长任务编码线;代价是 1M 上下文按 $1.25/1M 输入、$4.25/1M 输出计费,缓存输入才降到 $0.15。
Meta 开源 Muse Spark Open,这是一个约 816B 总参数、每 token 激活约 42B 的多模态 MoE 模型,支持文本、图像、音频和视频输入,上下文窗口最高 1M tokens。
能拿走 BF16/NVFP4 两种 checkpoint 的部署配方、llama.cpp 2-bit 量化在 512GB Mac 上跑 18 tokens/s 的实测,以及只训注意力层 LoRA、冻结专家的 TRL 微调脚本;落到本地模型部署和软件工厂两条线,代价是 816B 全量专家常驻内存,BF16 约 1.5TB。
Google DeepMind 发布 Gemini 4 Argon,定位为通用物理推理模型,在 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,称超过其他前沿模型。
可借鉴的是把机器人任务写成带坐标网格、动作原语和 curl 闭环的提示词模板,以及 Real2Sim 的视觉与接触力双重校验约束;落到本地模型部署和视频产线要先有 MuJoCo 场景与真机遥测数据。
Google DeepMind 发布 Gemini 4 Argon,今日起通过 AI Studio 和 Gemini API 向开发者与企业开放,Google AI Ultra 订阅者可在 Antigravity 使用,Gemini 应用和 Search 的 AI Mode 面向 Ultra 与 Pro 订阅者开放。
可借鉴的是把 .agents/skills 规则本加一段目标交给模型整夜自主跑,换来 ADK 会话准备时间降 40%、冷导入快 21%;前提是能接受无人值守改生产代码并逐条审 PR。
Google 发布前沿模型 Gemini 4 Argon,面向开发者、企业、科研人员和消费者全球开放,API 介绍价每百万输入 token 2 美元、输出 10 美元,缓存输入享 95% 折扣。
可借鉴的是把 .agents/skills 规则本加一段目标交给模型夜间自主跑优化,ADK 会话准备时间降 40%、冷导入快 21%;前提是已有可跑的基准和测试兜底。
Google DeepMind 发布 EmbeddingGemma 2,一个把文本、代码、图像、视频和音频映射到统一嵌入空间的端侧多模态嵌入模型,采用 Apache 2.0 许可,参数量 740M。
可把本地 RAG 的检索层换成单一多模态嵌入模型,文本 270M、视觉 170M、音频 300M 按需加载,MRL 截到 128 维省 6 倍存储;代价是需自行接 LiteRT 或 transformers.js 部署。
Mistral 发布 Mistral Large 4 公开预览,可通过 Mistral Studio 的 API 试用,权重定于本月底放出。该模型为 1 万亿参数原生多模态模型,激活参数 520 亿,在 3800 块 NVIDIA Grace Blackwell GPU 上从零训练,训练数据覆盖 160 多种语言。
可借鉴的是其 RL 训练栈设计:共享可组合接口把单轮对话、科学解题、安全对齐、长程工具调用放进同一次训练,验证侧混用奖励模型、单测、LLM 判官;代价是 3k GPU 规模与每天约 330 亿 token 的吞吐,本地复现门槛高。