跳到正文
  1. Hugging Face Blog64

    Dharma-AI 发布 20 亿参数 Dharma Field Extractor,按 schema 输出结构化 JSON

    Dharma-AI 发布 20 亿参数的 Dharma Field Extractor,输入文档图像和可选 schema,输出带类型的结构化 JSON,同一 checkpoint 无需按文档类型微调。

    借鉴点

    可借鉴在 DharmaOCR-LITE v1.1 上挂 LoRA 适配器做字段抽取,用 schema 指定键名和类型、缺失字段返回 null,直接对接下游系统;代价是要自备 GPU 推理,且训练数据以英文和葡萄牙语文档为主。

  1. Together AI Blog60

    Together AI 发布 Together Compiler,用 agent 持续编译优化推理

    Together AI 发布 Together Compiler(TKCC),用高吞吐 agent 针对不同流量形态持续生成推理优化,24 小时内在前沿开源模型上取得 1.3-3x 的 TPS 提升。

    借鉴点

    可借鉴的是持久化引擎加热重载候选前向、多 agent 消息板并行试错、快慢两级引擎权衡吞吐与保真度,能落到本地模型部署的推理调优;代价是要自建成本模型和引擎热重载能力。

  1. Mistral AI78

    Mistral 开源 Mistral Large 4(Le Chonk)权重,1 万亿参数多模态模型

    Mistral 发布 Mistral Large 4(Le Chonk)的开源权重,这是其 1 万亿参数原生多模态旗舰模型,此前已进入公开预览。

    借鉴点

    能拿走的是三档推理模式与 token 效率取舍,以及 vLLM/SGLang 自托管部署路径;可落到本地模型部署和软件工厂,代价是 1 万亿参数对硬件要求高,商用 MaaS 还需另签许可。

  1. Hugging Face Blog71

    Dharma AI 用 VocabX 为 SLM 定制词表,实测推理成本降 77%

    Dharma AI 在 Hugging Face 博客披露 VocabX 方法,在不改基础模型、数据和训练配方的前提下,把 Qwen3-4B 葡语作文评分器的实测推理成本降低 77.0%,平均响应从 350 token 降到 101 token。

    借鉴点

    能拿走按 token 成本而非频次重建词表的方法,子词合并加宏 token 两层同预算筛选,落到本地小模型部署可省 77% 推理成本;代价是需重训分词器并重跑训练,且压缩掉关键决策 token 会掉点。

  1. NVIDIA Blog58

    NVIDIA 发布 Nemotron 3.5、Kumo、Cosmos 3.5 等开源模型家族

    NVIDIA 扩展开源模型家族,覆盖语言、机器人、生物和量子计算,包括 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Nemotron Retriever、Kumo、Cosmos 3.5、Alpamayo 2 Edge、BioNeMo RFD4-Proteina 和 Ising。

    借鉴点

    能拿走的是 Nemotron 3.5 系列加 Kumo、Cosmos、Ising 的开源权重与 NIM 打包方式,可落到本地模型部署和 Agent 数据管线;代价是多数模型要自己用本地数据后训练,Bolt E4B 4GB 还要等到 10 月 23 日。

  2. AWS Machine Learning Blog58

    AWS 在 SageMaker HyperPod 上微调 GPT-OSS-20B 多语言推理,SFT 加 GRPO 把答案语言正确率提到 70%

    AWS 在 Amazon SageMaker HyperPod 上用 LoRA 微调 GPT-OSS-20B,SFT 把推理语言正确率从 22% 提到 100%,再叠加 GRPO 把答案语言正确率从 62% 提到 70%。

    借鉴点

    能拿走 SFT 与 GRPO 的分工判据和 LoRA r=8/α=16 配置,落到本地模型部署与训练流水线;前提是先测出 pass@k 与 pass@1 的差距,没有余量时 GRPO 白烧 GPU。

  1. Cloudflare AI58

    Cloudflare 发布 System One 抽取模型 Clairic,上线 Workers AI 预览

    Cloudflare 发布 System One 类抽取模型 Clairic,已在 Workers AI 以 @cf/cloudflare/clairic 提供预览,并计划后续开放权重。

    借鉴点

    可用字段 schema 一次并行抽取文本 span、数字、日期、估计分布和预测区间,替换 LLM 逐字段生成 JSON 的抽取管线;代价是多步算术和长序列预测仍要交给代码。

  2. AWS Machine Learning Blog65

    AWS 详解 vLLM 推模式 KV 传输:TTFT 最高改善 3 倍

    AWS 在 vLLM 中贡献了推模式(push-based)NIXL KV 连接器,把 decode 侧的块注册和传输提交从首 token 关键路径移到 prefill 侧后台线程,从而降低 TTFT 和 TPOT。

    借鉴点

    在 vLLM 的 P-D 分离部署里把 NixlConnector 换成 NixlPushConnector,让 decode 侧注册与传输提交挪到 prefill 后台线程,代价是 decode 实例需提前选定、失去按负载后置路由的灵活性。

  3. AWS Machine Learning Blog71

    AWS 用 vLLM 双向 KV 传输降低多轮 Agent 负载的 TTFT

    AWS 在 vLLM 中实现双向 KV 传输,让 decode 节点把已算好的 KV 回传给 prefill 节点复用,减少多轮 Agent 对话中重复的 prefill 计算。

    借鉴点

    在 vLLM 的 P-D 分离部署里开启 bidirectional_kv_xfer,让 decode 节点把 KV 回传给 prefill 复用,可换掉每轮重算整段历史的做法;代价是要配 KV-cache 感知路由,并调好 480 秒 TTL 和 64 token 重算阈值。

  1. Hugging Face Blog72

    IBM 发布 Granite Switch 4.1:单端点同时提供对话、决策与语音转写

    IBM 发布 Granite Switch 4.1,8B 和 30B 两个版本在同一个托管端点上同时提供对话、通用与安全决策、语音转写能力。模型组合了新的通用决策 aLoRA、在安全决策任务上平均优于 Jev 1.13 等模型的 Guardian aLoRA,以及 OpenASR 榜首的 Granite-Speech-5.0-Turbo-CTC,整体显存占用约等于基座模型本身。

    借鉴点

    把通用决策、安全决策和 ASR 三个 aLoRA 挂到同一基座、共享 KV cache,显存约等于基座本身;自组 Switch 模型需自己训 aLoRA,Adapter SDK 尚未放出。

  1. Mistral AI64

    Mistral 发布时序基础模型 Timestral,最大 209M 参数

    Mistral 发布首个时序基础模型系列 Timestral,含 5M、28M、123M、209M 四个尺寸,最大模型以 209M 参数在 GIFT-Eval、TIME、fev-bench 三个公开基准的预训练零样本模型中排名第一,参数约为此前 SOTA 的三分之二。

    借鉴点

    可借鉴的是合成数据优先加两阶段训练配方,以及把协变量按目标、仅历史、已知未来分角色做注意力掩码;前提是自建时序预测管线,代价是需自造合成数据并调 21 分位 pinball loss。

  2. Hugging Face Blog73

    瑞士 Apertus 1.5 发布 8B 与 70B 开源多模态模型

    Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 基础上加入图像与音频理解、可选思考模式、4 倍长上下文(262,144 tokens)、更好的指令遵循与工具调用,权重于 2026 年 7 月 24 日以 Apache 2.0 协议发布在 Hugging Face。

    借鉴点

    可借鉴早期融合做法,图像音频经 tokenizer 变成离散 token 与文本同序列,架构不变、训练按纯文本速度跑;代价是只扩词表、模型只输出文本,音频理解仍是实验性。

  3. Apple Machine Learning58

    Apple 介绍用 MLX 在 Mac Studio 上本地与分布式推理大模型

    Apple 发布新版 MLX,演示在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open,四台 M5 Ultra 集群解码速度超过 36 tokens/s。

    借鉴点

    能拿走 mlx.launch 配 jaccl 后端跑流水线/张量并行的完整命令和 OpenCode 接本地 server 的配置,落到本地模型部署这条线,前提是 macOS 26.2 加 Thunderbolt 5 双线互联,816B 模型仍需四台机器才跑得动。

  1. Google DeepMind58

    Google DeepMind 发布 Gemini 4 Argon 机器人模型

    Google DeepMind 发布 Gemini 4 Argon,定位为通用物理推理模型,在 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,称超过其他前沿模型。

    借鉴点

    可借鉴的是把机器人任务写成带坐标网格、动作原语和 curl 闭环的提示词模板,以及 Real2Sim 的视觉与接触力双重校验约束;落到本地模型部署和视频产线要先有 MuJoCo 场景与真机遥测数据。

  2. Google DeepMind62

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,今日起通过 AI Studio 和 Gemini API 向开发者与企业开放,Google AI Ultra 订阅者可在 Antigravity 使用,Gemini 应用和 Search 的 AI Mode 面向 Ultra 与 Pro 订阅者开放。

    借鉴点

    可借鉴的是把 .agents/skills 规则本加一段目标交给模型整夜自主跑,换来 ADK 会话准备时间降 40%、冷导入快 21%;前提是能接受无人值守改生产代码并逐条审 PR。

  3. Google AI Blog60

    Google 发布 Gemini 4 Argon,API 定价每百万输入 token 2 美元

    Google 发布前沿模型 Gemini 4 Argon,面向开发者、企业、科研人员和消费者全球开放,API 介绍价每百万输入 token 2 美元、输出 10 美元,缓存输入享 95% 折扣。

    借鉴点

    可借鉴的是把 .agents/skills 规则本加一段目标交给模型夜间自主跑优化,ADK 会话准备时间降 40%、冷导入快 21%;前提是已有可跑的基准和测试兜底。

  1. Amazon Science82

    AWS 提出 Priming 方法,用预训练 Transformer 权重改造混合架构,预训练成本降低 99% 以上

    AWS 团队提出 Priming 方法,把预训练 Transformer 的权重作为混合架构的初始化,将混合架构的预训练成本降低 99% 以上,整个流程消耗不到源模型预训练 token 预算的 0.5%。

    借鉴点

    用预训练 Transformer 权重初始化混合架构,把预训练成本压到 0.5% 以下,可低成本对比 GKA、GDN、Mamba-2 与 SWA 的层替换方案;代价是仍需短蒸馏和端到端微调,且层选择依赖 SWA 替换代理实验。

  1. Mistral AI62

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数原生多模态、月底开放权重

    Mistral 发布 Mistral Large 4 公开预览,可通过 Mistral Studio 的 API 试用,权重定于本月底放出。该模型为 1 万亿参数原生多模态模型,激活参数 520 亿,在 3800 块 NVIDIA Grace Blackwell GPU 上从零训练,训练数据覆盖 160 多种语言。

    借鉴点

    可借鉴的是其 RL 训练栈设计:共享可组合接口把单轮对话、科学解题、安全对齐、长程工具调用放进同一次训练,验证侧混用奖励模型、单测、LLM 判官;代价是 3k GPU 规模与每天约 330 亿 token 的吞吐,本地复现门槛高。

  1. Berkeley AI Research60

    K-Search 扩展 MLX 后端,把 CUDA 内核经验迁移到 Apple Silicon

    Berkeley Sky Lab 与 IBM Research 在 K-Search 上新增 MLX 后端和结构化 CUDA-to-MLX 翻译层,让演化式内核搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。

    借鉴点

    可拿走 CUDA 到 MLX 的概念映射表、exp2 技巧和并行 scan 改写,落到本地模型部署;前提是自备 LLM API key 并接受搜索迭代成本。

已经到底了