NVIDIA 发布 Cosmos 3 四个开源世界模型检查点
NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。
四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。
NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。
四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。
Phonon TTS 发布可在设备本地运行的小型语音模型,无需服务器和网络,提供约 65 MB 和 75 MB 两个尺寸,覆盖英语、法语、德语、西班牙语和葡萄牙语。
能拿走 ptts 多后端推理框架和 Transformers 里约 200 行的模块化接入写法,把 TTS 落到本地模型部署与端侧语音产线,代价是要自己处理 flow matching 训练不稳定和声音张量预计算。
Hugging Face 发布 transformers-mic,提出模型集成契约(MIC)标准,把真实 checkpoint 缩成小 fixture 并在 CPU 上跑固定用法路径,与人工审核过的基线比对。
可照搬的是一套缩小真实 checkpoint 做 CPU 快速集成测试的配方,含四步缩模型、冻结基线、按改动文件选测试,代价是基线需人工审核且目前不阻塞 PR。
NVIDIA 发布开源权重模型 Nemotron 3.5 Transcribe,把转写、说话人分离、翻译和音频问答合进一个 checkpoint,支持 40 种语言转写、31 种语言与英文互译、13 种语言说话人标注,可处理最长 1 小时录音并标注最多 8 位说话人。
可拿走 Granary v2 四阶段数据管线和 NeMo Speech 微调配方(编码器+投影训练、LoRA 调语言模型、按解码结果选 checkpoint),落到本地模型部署与知识沉淀线;代价是需自备至少 100 条真实标注片段做选点,且通用英文 WER 会小幅上升。
Liquid AI 发布 LFM3 新一代 Liquid Foundation Models,把文本、视觉、音频、omni 和决策模型统一到 2B 参数级的同一 backbone 上,全部开源权重并已在 Hugging Face 上线。
六个 2B 级模型共用一个 backbone,单卡微调即可落地,文本模型 4-bit 约 1GB 可塞进端侧;代价是各模态需分别选型,d1 系列只输出结构化判断而非生成文本。
IBM 更新 Granite Speech 系列,新增 granite-speech-5.0-2b,并修订 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。
三个模型按精度、端侧速度、说话人归属分工选型,2B 版支持 2000 词关键词偏置和语言 ID 提示词,代价是关键词表要自己维护、格式化输出得在提示词里显式要求。
NVIDIA 在 GTC Berlin 展示 RTX Spark、DGX Spark 和 DGX Station 三条本地 AI 硬件线,DGX Spark 64GB 版本从 10 月 23 日起由合作伙伴出货。
能拿走的是 DGX Spark 集群配置、Model Launcher 一键拉模型接 OpenCode、以及 llama.cpp/vLLM 投机解码加速参数;可落到本地模型部署和软件工厂两条线,前提是要有 DGX Spark 或 RTX PRO 硬件,八机集群仍需手动配置。
AWS 在 vLLM 中贡献了推模式(push-based)NIXL KV 连接器,把 decode 侧的块注册和传输提交从首 token 关键路径移到 prefill 侧后台线程,从而降低 TTFT 和 TPOT。
在 vLLM 的 P-D 分离部署里把 NixlConnector 换成 NixlPushConnector,让 decode 侧注册与传输提交挪到 prefill 后台线程,代价是 decode 实例需提前选定、失去按负载后置路由的灵活性。
AWS 在 vLLM 中实现双向 KV 传输,让 decode 节点把已算好的 KV 回传给 prefill 节点复用,减少多轮 Agent 对话中重复的 prefill 计算。
在 vLLM 的 P-D 分离部署里开启 bidirectional_kv_xfer,让 decode 节点把 KV 回传给 prefill 复用,可换掉每轮重算整段历史的做法;代价是要配 KV-cache 感知路由,并调好 480 秒 TTL 和 64 token 重算阈值。
Reflection 的首个开放权重模型 Beam 于 10 月 16 日正式可用,Ollama 作为 day-zero 合作伙伴限时免费提供。Beam 是 MoE 模型,总参数约 501B、每 token 激活 23B,上下文窗口 100 万 token,面向软件工程、推理和长周期智能体任务,采用 Apache 2.0 许可。
能直接 ollama run beam:cloud 或 ollama launch claude/codex/opencode 接入,把编码与多步工具调用交给 501B MoE 模型,代价是限时免费且走云端、本地无法自托管。
NVIDIA 发布开源 120B 参数模型 Nemotron 3.5 Super VL,主打多模态智能体任务,官方称吞吐量最高为同类模型 5 倍,参数量约为其最大推理模型的五分之一。
开源权重加训练配方和数据集,可拿 120B 的 Super VL 做多模态文档解析与工具调用,或把 Bolt 74B-A9B 用 2-bit 量化塞进 24GB 本地跑 agent,代价是要自己接 NeMo 做后训练。
Apple 发布新版 MLX,演示在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open,四台 M5 Ultra 集群解码速度超过 36 tokens/s。
能拿走 mlx.launch 配 jaccl 后端跑流水线/张量并行的完整命令和 OpenCode 接本地 server 的配置,落到本地模型部署这条线,前提是 macOS 26.2 加 Thunderbolt 5 双线互联,816B 模型仍需四台机器才跑得动。