跳到正文
  1. Hugging Face Blog58

    NVIDIA 发布 Cosmos 3 四个开源世界模型检查点

    NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。

    借鉴点

    四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。

  2. Google AI Blog60

    Google DeepMind 发布 Gemini Omni 1.2 Flash,支持 15 秒视频并降价 30%

    Google DeepMind 发布 Gemini Omni 1.2 Flash,视频生成时长从 10 秒提升到 15 秒,并已在 Gemini API 和 Gemini for business 全面可用。

    借鉴点

    视频产线可换成先低分辨率草稿、再靠多轮对话改细节、最后升到 1080p 或 4K 的流程,代价是 720p 每秒 $0.07,且快速运动和复杂物理仍是已知短板。

  1. AWS Machine Learning Blog60

    AWS 用 Nova Multimodal Embeddings 与 Bedrock AgentCore 搭建零件替换多智能体助手

    AWS 发布教程,用 Amazon Nova Multimodal Embeddings、Amazon Bedrock AgentCore 和开源 Strands Agents SDK 搭建多智能体工程助手,把零件替换评估中的人工交叉比对改为自动汇集证据。

    借鉴点

    能拿走一套可复用做法:planner 用 Haiku 路由、Sonnet 跑工具、Opus 只在多专家时汇总,规格判定全用 Python 确定性代码;代价是要自建多模态知识库和 S3 Vectors 索引,图片查询路径权限缺失会静默回退。

  1. Hugging Face Blog60

    Mistral 发布 Mistral Large 4(Le Chonk)多模态 MoE 模型并在 Hugging Face 上线

    Mistral 发布 Mistral Large 4(代号 Le Chonk),这是文本加图像输入的多模态 MoE 模型,约 1T 总参数、49B 激活参数,上下文窗口 1M tokens,提供 FP8 与 NVFP4 两个官方版本。

    借鉴点

    能直接拿走 transformers、vLLM、llama.cpp 三套启动命令和 TRL 微调脚本,落到本地模型部署与软件工厂线;代价是 1T 总参数,2-bit 量化也要 512GB 统一内存单机或 4 张 RTX6000 Pro 分布式才跑得动。

  1. AWS Machine Learning Blog58

    Property Finder 如何修正 Amazon Bedrock 上的评测偏差并选出更优模型

    Property Finder 发现其评测标签有 96.8% 直接沿用现有 VLM 的预测而非人工核验,导致任何替代模型在比较中天然吃亏。

    借鉴点

    可拿走一套做法,先人工重标几百张图做无偏基准,再用 Micro F1 加错误分析迭代提示词,最后用 MIPROv2 自动优化;能落到本地模型部署的选型评测线,代价是要有领域专家标注,356 张只够测中等差异。

  2. Hugging Face Blog78

    Liquid AI 发布 LFM3 系列,六个 2B 级多模态模型共用同一 backbone

    Liquid AI 发布 LFM3 新一代 Liquid Foundation Models,把文本、视觉、音频、omni 和决策模型统一到 2B 参数级的同一 backbone 上,全部开源权重并已在 Hugging Face 上线。

    借鉴点

    六个 2B 级模型共用一个 backbone,单卡微调即可落地,文本模型 4-bit 约 1GB 可塞进端侧;代价是各模态需分别选型,d1 系列只输出结构化判断而非生成文本。

  1. NVIDIA Blog58

    NVIDIA 发布 Nemotron 3.5、Kumo、Cosmos 3.5 等开源模型家族

    NVIDIA 扩展开源模型家族,覆盖语言、机器人、生物和量子计算,包括 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Nemotron Retriever、Kumo、Cosmos 3.5、Alpamayo 2 Edge、BioNeMo RFD4-Proteina 和 Ising。

    借鉴点

    能拿走的是 Nemotron 3.5 系列加 Kumo、Cosmos、Ising 的开源权重与 NIM 打包方式,可落到本地模型部署和 Agent 数据管线;代价是多数模型要自己用本地数据后训练,Bolt E4B 4GB 还要等到 10 月 23 日。

  2. Hugging Face Blog74

    NVIDIA 发布 Nemotron 3.5 Embed、Rerank 与 Parse 检索模型

    NVIDIA 扩充 Nemotron Retriever 系列,开源发布 Nemotron 3.5 Embed 8B/1B(含 NVFP4 量化)、Rerank 8B 和 631M 参数的 Parse 文档解析模型。

    借鉴点

    能直接换掉现有 RAG 的检索段,Embed 8B/1B 加 Rerank 8B 组合可省约 14% 智能体 token,Parse 支持单双三遍推理调精度;代价是要有支持 NVFP4 的硬件,域适配还得自建合成查询和难负样本。

  1. AWS Machine Learning Blog58

    TwelveLabs Pegasus 1.5 上线 Amazon Bedrock,支持按时间段输出结构化视频元数据

    TwelveLabs 的 Pegasus 1.5 视频语言模型已在 Amazon Bedrock 上线,可分析整段视频并按用户定义的分段条件返回带起止时间的 JSON 元数据。

    借鉴点

    能拿走按 segment_definitions 定义字段、一次请求返回带起止时间的 JSON 分段,直接接进视频产线做切片和打标;代价是单请求最长 2 小时、S3 上限 2 GB,且需在 us-west-2 开通模型权限。

  1. Ollama Blog60

    Cloudflare 的 27B 多模态决策模型 Clef 上线 Ollama 云端

    Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线,用户可在本地或 Ollama 云端运行。Clef 由 Qwen3.8-27B 微调而来,采用 Apache 2.0 许可,接收文本、JSON 或图像输入,一次读取即对所有问题同时打分,兼容 Jev 与 System One API。

    借鉴点

    能拿走的是把决策任务改成一次前向打分而非逐词生成,配合 schema 定义问题;可落到本地模型部署和 Agent 工具调用前置校验,代价是 27B 模型本地跑需足够显存,且基准数据来自 Cloudflare 自评。

  1. NVIDIA Blog78

    NVIDIA 发布 Nemotron 3.5 Super VL 与 Bolt 系列开源模型

    NVIDIA 发布开源 120B 参数模型 Nemotron 3.5 Super VL,主打多模态智能体任务,官方称吞吐量最高为同类模型 5 倍,参数量约为其最大推理模型的五分之一。

    借鉴点

    开源权重加训练配方和数据集,可拿 120B 的 Super VL 做多模态文档解析与工具调用,或把 Bolt 74B-A9B 用 2-bit 量化塞进 24GB 本地跑 agent,代价是要自己接 NeMo 做后训练。

  2. Hugging Face Blog73

    瑞士 Apertus 1.5 发布 8B 与 70B 开源多模态模型

    Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 基础上加入图像与音频理解、可选思考模式、4 倍长上下文(262,144 tokens)、更好的指令遵循与工具调用,权重于 2026 年 7 月 24 日以 Apache 2.0 协议发布在 Hugging Face。

    借鉴点

    可借鉴早期融合做法,图像音频经 tokenizer 变成离散 token 与文本同序列,架构不变、训练按纯文本速度跑;代价是只扩词表、模型只输出文本,音频理解仍是实验性。

  3. Together AI Blog75

    Meta Muse Spark Open 上线 Together AI,支持 1M token 上下文与长程智能体编码

    Together AI 作为 Day 0 发布伙伴上线 Meta 的开放权重模型 Muse Spark Open,可通过 Together API 以 meta-models/Muse-Spark-Open-816B-A42B 调用。

    借鉴点

    能直接照抄 Together API 的调用示例和 meta-models/Muse-Spark-Open-816B-A42B 模型名接入,落到软件工厂的长任务编码线;代价是 1M 上下文按 $1.25/1M 输入、$4.25/1M 输出计费,缓存输入才降到 $0.15。

  4. Hugging Face Blog64

    Meta 开源 Muse Spark Open:816B 参数多模态 MoE 模型

    Meta 开源 Muse Spark Open,这是一个约 816B 总参数、每 token 激活约 42B 的多模态 MoE 模型,支持文本、图像、音频和视频输入,上下文窗口最高 1M tokens。

    借鉴点

    能拿走 BF16/NVFP4 两种 checkpoint 的部署配方、llama.cpp 2-bit 量化在 512GB Mac 上跑 18 tokens/s 的实测,以及只训注意力层 LoRA、冻结专家的 TRL 微调脚本;落到本地模型部署和软件工厂两条线,代价是 816B 全量专家常驻内存,BF16 约 1.5TB。

  1. Google DeepMind58

    Google DeepMind 发布 Gemini 4 Argon 机器人模型

    Google DeepMind 发布 Gemini 4 Argon,定位为通用物理推理模型,在 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,称超过其他前沿模型。

    借鉴点

    可借鉴的是把机器人任务写成带坐标网格、动作原语和 curl 闭环的提示词模板,以及 Real2Sim 的视觉与接触力双重校验约束;落到本地模型部署和视频产线要先有 MuJoCo 场景与真机遥测数据。

  2. Google DeepMind62

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,今日起通过 AI Studio 和 Gemini API 向开发者与企业开放,Google AI Ultra 订阅者可在 Antigravity 使用,Gemini 应用和 Search 的 AI Mode 面向 Ultra 与 Pro 订阅者开放。

    借鉴点

    可借鉴的是把 .agents/skills 规则本加一段目标交给模型整夜自主跑,换来 ADK 会话准备时间降 40%、冷导入快 21%;前提是能接受无人值守改生产代码并逐条审 PR。

  3. Google AI Blog60

    Google 发布 Gemini 4 Argon,API 定价每百万输入 token 2 美元

    Google 发布前沿模型 Gemini 4 Argon,面向开发者、企业、科研人员和消费者全球开放,API 介绍价每百万输入 token 2 美元、输出 10 美元,缓存输入享 95% 折扣。

    借鉴点

    可借鉴的是把 .agents/skills 规则本加一段目标交给模型夜间自主跑优化,ADK 会话准备时间降 40%、冷导入快 21%;前提是已有可跑的基准和测试兜底。

  1. Google DeepMind78

    Google DeepMind 发布 EmbeddingGemma 2 端侧多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个把文本、代码、图像、视频和音频映射到统一嵌入空间的端侧多模态嵌入模型,采用 Apache 2.0 许可,参数量 740M。

    借鉴点

    可把本地 RAG 的检索层换成单一多模态嵌入模型,文本 270M、视觉 170M、音频 300M 按需加载,MRL 截到 128 维省 6 倍存储;代价是需自行接 LiteRT 或 transformers.js 部署。

  1. Mistral AI62

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数原生多模态、月底开放权重

    Mistral 发布 Mistral Large 4 公开预览,可通过 Mistral Studio 的 API 试用,权重定于本月底放出。该模型为 1 万亿参数原生多模态模型,激活参数 520 亿,在 3800 块 NVIDIA Grace Blackwell GPU 上从零训练,训练数据覆盖 160 多种语言。

    借鉴点

    可借鉴的是其 RL 训练栈设计:共享可组合接口把单轮对话、科学解题、安全对齐、长程工具调用放进同一次训练,验证侧混用奖励模型、单测、LLM 判官;代价是 3k GPU 规模与每天约 330 亿 token 的吞吐,本地复现门槛高。

已经到底了