NVIDIA 发布 Cosmos 3 四个开源世界模型检查点
NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。
四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。
公司与模型
英伟达的 GPU 新品、CUDA 软件生态、机器人平台与 AI 算力供需。
19 条精选近 30 天 18 条共收录 201 条
NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。
四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。
NVIDIA 开源的 Auto Ontology 在 Agent 与数据库之间加一层上下文层,先从元数据自动抽取业务术语、SQL 属性和表间关系,经人工测试认证后再让 Agent 基于这些定义写 SQL 并校验,候选覆盖度不足时明确回答答不了。
能拿走的是「生成术语与 SQL 属性、人工认证、Agent 检索后校验」这套流程和 MCP 只读接口清单,可接到企业数据问答线上;代价是摄取接口无认证、默认密码要改,且 SQL 仍由模型生成。
NVIDIA 的 Auto Ontology 项目把业务术语、列映射、连接路径和 SQL 属性做成可修订的语义层,再让查询 Agent 基于这份上下文写 SQL 并检查执行。
能拿走的是语义层接入 NL-to-SQL 的完整链路拆解,含并行提取顺序提交、采样熔断、桥接表补回和三层重试的具体阈值,可落到知识沉淀与本地部署;代价是要人维护术语口径,且意图校验失败会降级放行。
NVIDIA 研究者的预印本《You don't need long context》在 13 个长程与长输入基准上测试上下文压缩,Claude Opus 4.5 与 GPT 5.6 Sol 的准确率变化分别为 −3.7 至 +5.6 和 −3.3 至 +4.4 个百分点。
可拿走压缩摘要的写法(任务原文、当前状态与计划、相关产物、完成标准)和把长文档存成文件让 agent 用 grep 选择性读取的做法,落到软件工厂与本地模型部署两条线;代价是开源模型在 16K 极限下会崩,Qwen 3 Coder Next 从 53.0% 掉到 3.6%,且成本节省部分来自作者自建价格模型而非真实账单。
NVIDIA 开源 auto-ontology,从企业数据库元数据自动生成术语表和关系本体,让 AI Agent 用业务术语提问并返回可追溯的 SQL 答案。系统先用 pgvector 检索相关术语和列,再让 LLM 只在候选表内生成 SQL,并用 coverage 判断问题能否从现有数据回答,数据不足时拒绝作答。
能拿走的是语义本体加 LangGraph 多 Agent 的 Text-to-SQL 流程,含 coverage 可答性判断和七轮 SQL 重构上限,可换掉把整库 Schema 塞进 prompt 的做法;代价是需 NVIDIA API 密钥、Postgres+pgvector,首次编译可能数小时。
NVIDIA 技术博客给出在单台 DGX Spark 上加速 Ling-3.0-flash 这个 124B 参数、5.1B 激活 MoE 模型推理的三项叠加优化,在全部 1,319 道 GSM8K 题上解码吞吐从 37.81 提升到 53.89 tokens/s,涨幅 42.5%,平均延迟下降 24.5%,准确率 96.89% 对 96.82%。
可照搬三项叠加做法,换 Humming MXFP4 kernel、开 SGLANG_ENABLE_FP8_LM_HEAD=1、用模型自带 NEXTN 做 MTP 投机解码;坑是 FP8 LM head 与 MTP 同开必须共享完整 LM head 模块,否则静默回退、接受长度掉到 1.00。
NVIDIA 以 Apache 2.0 协议开源 Auto Ontology,这是一个从企业元数据生成语义层的框架,Agent 通过它按经过认证的业务定义编写 SQL。
能拿走一套从元数据生成语义层、再用 9 个只读 MCP 工具把 agent 的 SQL 限定在认证定义上的做法,可接到知识沉淀和软件工厂的数据查询链路上;代价是官方只报了本体创建时间缩短 90%,text-to-SQL 准确率要自己跑 auto-ontology-eval 才能判断。
英伟达与 MIT 的 Efficient-Large-Model 团队在 Hugging Face 发布基于 MiniMax H3 的视频增强项目 Open-H3-Regenerate-2K 权重,推理代码开在 NVlabs/Sana 仓库,支持 2560×1440 的 2K 输出、最高 3840×2160 的 4K 重生成。
能拿走的是只训细化 LoRA、主干与 VAE 冻结,再叠社区适配器三步去噪做 2K/4K 重生成;落到视频产线可把低分辨率草稿放大成片,代价是要 B200 级算力和潜空间放大器等社区组件配合。
NVIDIA 发布开源权重模型 Nemotron 3.5 Transcribe,把转写、说话人分离、翻译和音频问答合进一个 checkpoint,支持 40 种语言转写、31 种语言与英文互译、13 种语言说话人标注,可处理最长 1 小时录音并标注最多 8 位说话人。
可拿走 Granary v2 四阶段数据管线和 NeMo Speech 微调配方(编码器+投影训练、LoRA 调语言模型、按解码结果选 checkpoint),落到本地模型部署与知识沉淀线;代价是需自备至少 100 条真实标注片段做选点,且通用英文 WER 会小幅上升。
GitHub 项目 gpu-unlock-ada 通过在 Linux 启动阶段抢先加载内核模块、修改流多处理器速度选择寄存器,把 RTX 4090 的 FP16/FP32 与 BF16/FP32 张量吞吐从 165 TF/s 提升到 331 TF/s,INT8 与 dp4a 维持基线。
能拿走的是 initramfs 抢先加载内核模块、用 gpu_unlock.targets 指定 PCI 地址、冷启动清 WPR2 这套流程,可落到本地模型部署的 FP16/BF16 推理提速;代价是仅三款 Ada 卡验证、每次内核更新要重装、热重启可能失败。
GPU-unlock 1.0.0 发布,这是一个 Linux 内核模块,把 Nvidia 3000 系显卡的 FP/BF16 指令发射速率解锁到专业卡水平。
用 initramfs 里先于 nvidia 绑卡的 kmod 写 SS0/SS1 速度选择器,免去每次驱动更新重打补丁,代价是需内核命令行 opt-in、休眠不覆盖且恢复后要重解锁。
NVIDIA 发布开源小模型 Nemotron 3.5 Bolt E4B 4GB,面向在 RTX、Jetson 和 Spark 硬件上本地运行的语音助手、游戏 NPC 和机器人界面。
能拿走纯 RL 后训练配方、2:1 非推理/推理样本配比和 Q4_K_M 量化加 DFlash 投机解码的部署组合,落到本地模型部署和 Agent 工具调用这条线;代价是 4GB 只是显存目标,GGUF 实际 6.18GB,Tau2-Bench 落后 Qwen3.5-4B 约 20 分。
NVIDIA 开源 OpenShell 0.1.x,为成批自主智能体提供安全私有运行时,用策略声明每个智能体可触碰的文件、系统调用和网络。它在内核层对每次文件访问、系统调用和网络连接做策略检查,智能体看不到真实凭证,凭证只在发往已批准端点时注入。
能拿走的是内核级沙箱加策略形式化验证这套组合,把智能体读写文件、装包、调 API 的权限收进策略里,落到本地模型部署和软件工厂两条线;代价是要 Linux/macOS 或 WSL 2 加 Docker/Podman,策略变更还得人工过审。
NVIDIA 发布预训练关系型基础模型 Kumo Relational,可直接在企业数据库上做流失、需求、欺诈等预测,单次前向推理完成,无需任务训练和特征工程。
能直接拿 PQL 写预测查询、用 structured-data-models 库在 GPU notebook 里做上下文学习,替掉现在按任务搭的 XGBoost 特征工程流水线;代价是上下文最多 1 万条样本,训练集极大时仍要靠微调。
NVIDIA 在 GTC Berlin 展示 RTX Spark、DGX Spark 和 DGX Station 三条本地 AI 硬件线,DGX Spark 64GB 版本从 10 月 23 日起由合作伙伴出货。
能拿走的是 DGX Spark 集群配置、Model Launcher 一键拉模型接 OpenCode、以及 llama.cpp/vLLM 投机解码加速参数;可落到本地模型部署和软件工厂两条线,前提是要有 DGX Spark 或 RTX PRO 硬件,八机集群仍需手动配置。
NVIDIA 扩展开源模型家族,覆盖语言、机器人、生物和量子计算,包括 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Nemotron Retriever、Kumo、Cosmos 3.5、Alpamayo 2 Edge、BioNeMo RFD4-Proteina 和 Ising。
能拿走的是 Nemotron 3.5 系列加 Kumo、Cosmos、Ising 的开源权重与 NIM 打包方式,可落到本地模型部署和 Agent 数据管线;代价是多数模型要自己用本地数据后训练,Bolt E4B 4GB 还要等到 10 月 23 日。
NVIDIA 扩充 Nemotron Retriever 系列,开源发布 Nemotron 3.5 Embed 8B/1B(含 NVFP4 量化)、Rerank 8B 和 631M 参数的 Parse 文档解析模型。
能直接换掉现有 RAG 的检索段,Embed 8B/1B 加 Rerank 8B 组合可省约 14% 智能体 token,Parse 支持单双三遍推理调精度;代价是要有支持 NVFP4 的硬件,域适配还得自建合成查询和难负样本。
NVIDIA 将完整的 Run:ai 平台以 Apache 2.0 协议在 GitHub 开源,包含控制面、集群服务、安装器、CLI 和 MCP server,平台团队可自行审查、fork 和自托管,无需付费订阅。
能拿走本地开发脚本 local-dev.sh,用 5 节点 Kind 集群加 8 张模拟 A10 跑通约 50 个 Go 服务,不用真卡就能验证 GPU 调度;代价是 Linux 需 16GB 内存和 100GB 磁盘,社区版没有企业支持。
NVIDIA 发布开源 120B 参数模型 Nemotron 3.5 Super VL,主打多模态智能体任务,官方称吞吐量最高为同类模型 5 倍,参数量约为其最大推理模型的五分之一。
开源权重加训练配方和数据集,可拿 120B 的 Super VL 做多模态文档解析与工具调用,或把 Bolt 74B-A9B 用 2-bit 量化塞进 24GB 本地跑 agent,代价是要自己接 NeMo 做后训练。