跳到正文
  1. Hugging Face Blog58

    NVIDIA 发布 Cosmos 3 四个开源世界模型检查点

    NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。

    借鉴点

    四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。

  1. Hugging Face Blog71

    Phonon TTS 发布端侧语音模型,登顶 Hugging Face Open TTS 榜单

    Phonon TTS 发布可在设备本地运行的小型语音模型,无需服务器和网络,提供约 65 MB 和 75 MB 两个尺寸,覆盖英语、法语、德语、西班牙语和葡萄牙语。

    借鉴点

    能拿走 ptts 多后端推理框架和 Transformers 里约 200 行的模块化接入写法,把 TTS 落到本地模型部署与端侧语音产线,代价是要自己处理 flow matching 训练不稳定和声音张量预计算。

  1. Hugging Face Blog58

    Hugging Face 提出模型集成契约 MIC,用缩小版 checkpoint 在 CPU 上拦截回归

    Hugging Face 发布 transformers-mic,提出模型集成契约(MIC)标准,把真实 checkpoint 缩成小 fixture 并在 CPU 上跑固定用法路径,与人工审核过的基线比对。

    借鉴点

    可照搬的是一套缩小真实 checkpoint 做 CPU 快速集成测试的配方,含四步缩模型、冻结基线、按改动文件选测试,代价是基线需人工审核且目前不阻塞 PR。

  1. Hugging Face Blog68

    NVIDIA 发布 Nemotron 3.5 Transcribe 语音模型与 Granary v2 数据管线

    NVIDIA 发布开源权重模型 Nemotron 3.5 Transcribe,把转写、说话人分离、翻译和音频问答合进一个 checkpoint,支持 40 种语言转写、31 种语言与英文互译、13 种语言说话人标注,可处理最长 1 小时录音并标注最多 8 位说话人。

    借鉴点

    可拿走 Granary v2 四阶段数据管线和 NeMo Speech 微调配方(编码器+投影训练、LoRA 调语言模型、按解码结果选 checkpoint),落到本地模型部署与知识沉淀线;代价是需自备至少 100 条真实标注片段做选点,且通用英文 WER 会小幅上升。

  2. Hugging Face Blog78

    Liquid AI 发布 LFM3 系列,六个 2B 级多模态模型共用同一 backbone

    Liquid AI 发布 LFM3 新一代 Liquid Foundation Models,把文本、视觉、音频、omni 和决策模型统一到 2B 参数级的同一 backbone 上,全部开源权重并已在 Hugging Face 上线。

    借鉴点

    六个 2B 级模型共用一个 backbone,单卡微调即可落地,文本模型 4-bit 约 1GB 可塞进端侧;代价是各模态需分别选型,d1 系列只输出结构化判断而非生成文本。

  1. Hugging Face Blog60

    IBM 发布 Granite Speech 5.0 系列语音模型

    IBM 更新 Granite Speech 系列,新增 granite-speech-5.0-2b,并修订 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。

    借鉴点

    三个模型按精度、端侧速度、说话人归属分工选型,2B 版支持 2000 词关键词偏置和语言 ID 提示词,代价是关键词表要自己维护、格式化输出得在提示词里显式要求。

  2. NVIDIA Blog62

    NVIDIA 在 GTC Berlin 展示本地 AI 硬件全线,DGX Spark 64GB 周五开售并支持八机集群

    NVIDIA 在 GTC Berlin 展示 RTX Spark、DGX Spark 和 DGX Station 三条本地 AI 硬件线,DGX Spark 64GB 版本从 10 月 23 日起由合作伙伴出货。

    借鉴点

    能拿走的是 DGX Spark 集群配置、Model Launcher 一键拉模型接 OpenCode、以及 llama.cpp/vLLM 投机解码加速参数;可落到本地模型部署和软件工厂两条线,前提是要有 DGX Spark 或 RTX PRO 硬件,八机集群仍需手动配置。

  1. AWS Machine Learning Blog65

    AWS 详解 vLLM 推模式 KV 传输:TTFT 最高改善 3 倍

    AWS 在 vLLM 中贡献了推模式(push-based)NIXL KV 连接器,把 decode 侧的块注册和传输提交从首 token 关键路径移到 prefill 侧后台线程,从而降低 TTFT 和 TPOT。

    借鉴点

    在 vLLM 的 P-D 分离部署里把 NixlConnector 换成 NixlPushConnector,让 decode 侧注册与传输提交挪到 prefill 后台线程,代价是 decode 实例需提前选定、失去按负载后置路由的灵活性。

  2. AWS Machine Learning Blog71

    AWS 用 vLLM 双向 KV 传输降低多轮 Agent 负载的 TTFT

    AWS 在 vLLM 中实现双向 KV 传输,让 decode 节点把已算好的 KV 回传给 prefill 节点复用,减少多轮 Agent 对话中重复的 prefill 计算。

    借鉴点

    在 vLLM 的 P-D 分离部署里开启 bidirectional_kv_xfer,让 decode 节点把 KV 回传给 prefill 复用,可换掉每轮重算整段历史的做法;代价是要配 KV-cache 感知路由,并调好 480 秒 TTL 和 64 token 重算阈值。

  1. Ollama Blog67

    Reflection 首个开放权重模型 Beam 上线 Ollama,限时免费

    Reflection 的首个开放权重模型 Beam 于 10 月 16 日正式可用,Ollama 作为 day-zero 合作伙伴限时免费提供。Beam 是 MoE 模型,总参数约 501B、每 token 激活 23B,上下文窗口 100 万 token,面向软件工程、推理和长周期智能体任务,采用 Apache 2.0 许可。

    借鉴点

    能直接 ollama run beam:cloud 或 ollama launch claude/codex/opencode 接入,把编码与多步工具调用交给 501B MoE 模型,代价是限时免费且走云端、本地无法自托管。

  1. NVIDIA Blog78

    NVIDIA 发布 Nemotron 3.5 Super VL 与 Bolt 系列开源模型

    NVIDIA 发布开源 120B 参数模型 Nemotron 3.5 Super VL,主打多模态智能体任务,官方称吞吐量最高为同类模型 5 倍,参数量约为其最大推理模型的五分之一。

    借鉴点

    开源权重加训练配方和数据集,可拿 120B 的 Super VL 做多模态文档解析与工具调用,或把 Bolt 74B-A9B 用 2-bit 量化塞进 24GB 本地跑 agent,代价是要自己接 NeMo 做后训练。

  2. Apple Machine Learning58

    Apple 介绍用 MLX 在 Mac Studio 上本地与分布式推理大模型

    Apple 发布新版 MLX,演示在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open,四台 M5 Ultra 集群解码速度超过 36 tokens/s。

    借鉴点

    能拿走 mlx.launch 配 jaccl 后端跑流水线/张量并行的完整命令和 OpenCode 接本地 server 的配置,落到本地模型部署这条线,前提是 macOS 26.2 加 Thunderbolt 5 双线互联,816B 模型仍需四台机器才跑得动。

已经到底了