技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
44 条精选近 30 天 35 条共收录 296 条
Liquid AI 发布 LFM3 新一代 Liquid Foundation Models，把文本、视觉、音频、omni 和决策模型统一到 2B 参数级的同一 backbone 上，全部开源权重并已在 Hugging Face 上线。
六个 2B 级模型共用一个 backbone，单卡微调即可落地，文本模型 4-bit 约 1GB 可塞进端侧；代价是各模态需分别选型，d1 系列只输出结构化判断而非生成文本。
阿里 ATH-MaaS 团队 10 月 20 日发布 OvisOCR3 技术报告，一个基于 Qwen3.5-0.8B 的统一 OCR 模型，单模型覆盖文档解析、通用 OCR、KIE、图表描述和跨页表格重建五类任务，权重已在 HuggingFace 开源。
能拿走双归一化分支加权重融合、关系优先奖励两套配方，落到 RAG 数据管道和本地部署；代价是四阶段无消融、教师算力账未披露。
OpenAI 发布 GPT-6.1 Terra，标准 API 输入 1 美元/百万 Token、缓存输入 0.05 美元/百万 Token、输出 5 美元/百万 Token，价格约为 GPT-5.6 Terra 的一半。
能拿走的是按任务档位选模型的成本账，medium 档跑专业软件操作、max 档留给复杂编程，代价是复杂任务仍要切回 Sol 或 Astra。
百度发布并开源文心 Unlimited OCR 2，称其实现任意页数文档解析，实测一次性解析《哈利·波特》全系列 7 部、累计超 3600 页。
能拿走 SR-SWA 的页面门控加高分视觉 Token 桶思路，把长文档解析从结果拼接换成单次无限解码，落到知识沉淀的整本书、长研报入库；代价是需按百页级场景自测显存与精度。
作者用 Codex Skill 把知识解说视频链路拆成 DeepSeek 分镜、Qwen-TTS 逐句配音、汇影AI 素材检索和 capcut-meta 生成剪映草稿四段，各环节定好输入输出契约。
能拿走强制 visual/comment 二分类的分镜提示词与 JSON Schema，把文案到剪映草稿的机械环节自动化，落到视频产线；代价是要自己处理素材链接过期、片段重叠和编码不统一。
作者用 Claude Opus 5.5 配合 painted-animation skill，为王贰浪《把回忆拼好给你》做了 59 秒高潮段 MV，全程只发三条消息，由模型完成分镜、写代码逐帧绘制和自查修改。
能拿走一套代码逐帧渲染 MV 的完整流程，含 painted-animation skill、beat_grid.py 测节拍、联系表自查和本地渲染命令，可接到视频产线；代价是水彩笔刷吃显卡，云端完整画质 59 秒要渲约 20 小时。
德国埃尔朗根-纽伦堡大学（FAU）团队用三个真实馆藏数据集实测 8 个 7B 以下开源 VLM 的结构化 JSON 抽取能力，发现 OCR 专用小模型在 mAP-F1 上几乎全为 0，通用指令模型微调后才是赢家。
能拿走的是选型口径和避坑清单，结构化抽取优先测通用指令 VLM 而非 OCR 专用小模型，微调配 HPO 是主策略，图像预处理和多阶段训练要先验证；代价是结论只对被测版本负责，楼梯表测试集仅 25 张。
作者把同一份 React 组件代码、同一张渲染截图和同一张 Figma 参考图交给 gpt-5.6-terra（medium 推理强度）连打八次分，结果在 0.82 到 0.93 之间波动，7 次过 0.85 门槛、1 次不过，而 schema 是否合法等布尔字段八次完全一致。
同一份代码同一张截图连打八次分，分数在 0.82 到 0.93 之间漂，说明用 LLM 打分当门禁会把噪声当回归；可拿走的是植入已知缺陷、多次重跑、再加一道 Clef 否决的做法，代价是要重跑一遍缺陷集且 Clef 会把大图缩到 30 万像素。
AutoVideoHub 把视频生产中最耗时的找素材环节自动化，输入文案后输出可精剪的粗剪片、素材包和分镜稿，不做文案生成也不替代精剪。链路分四段，LLM 把文案结构化成含语义、情绪、景别、主体的分镜 JSON，再映射成英文检索词，从 Pexels、Pixabay、Coverr、Mixkit 抓取免费商用素材，搜不到时用 AI 生成兜底。
能拿走四段可插拔链路和 CLIP 抽帧图文评分做素材筛选，落到视频产线；前提是自备 LLM 与素材 API，精剪仍要人工。
NVIDIA 扩展开源模型家族，覆盖语言、机器人、生物和量子计算，包括 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Nemotron Retriever、Kumo、Cosmos 3.5、Alpamayo 2 Edge、BioNeMo RFD4-Proteina 和 Ising。
能拿走的是 Nemotron 3.5 系列加 Kumo、Cosmos、Ising 的开源权重与 NIM 打包方式，可落到本地模型部署和 Agent 数据管线；代价是多数模型要自己用本地数据后训练，Bolt E4B 4GB 还要等到 10 月 23 日。
NVIDIA 扩充 Nemotron Retriever 系列，开源发布 Nemotron 3.5 Embed 8B/1B（含 NVFP4 量化）、Rerank 8B 和 631M 参数的 Parse 文档解析模型。
能直接换掉现有 RAG 的检索段，Embed 8B/1B 加 Rerank 8B 组合可省约 14% 智能体 token，Parse 支持单双三遍推理调精度；代价是要有支持 NVFP4 的硬件，域适配还得自建合成查询和难负样本。
作者开源了一条从 LLM 选题、剧本、主体确认、分格生图到微信公众号草稿箱的 Web 流水线，MIT 协议，clone 后三条命令即可跑起来。项目用 Next.js 15 加 Prisma 7 和嵌入式 SQLite，约 3.4 万行、201 个单测全绿，核心业务放在不依赖框架的 pipeline 纯函数层。
能拿走 pipeline 纯函数加 route 薄壳的分层、按格动态拼参考图、文件名版本化与进程内串行写链，落到小说创作和视频产线；代价是单进程锁不能横向扩展，生图协议要按网关方言另写通路。
VAST 开源实时生成式渲染器 EdenLive，同时放出 5B、14B 模型权重（各含双向生成与少步流式生成两个版本）、实时流式推理代码、EdenGolem v0.1 和前端工作台，并公开技术报告。
能拿走 5B/14B 权重、流式推理代码和 EdenGolem skill，把交互状态与画面渲染拆开，接进游戏灰盒或具身数据增强流程；代价是要自备上游交互系统维护规则，长时复杂交互尚未验证。
TwelveLabs 的 Pegasus 1.5 视频语言模型已在 Amazon Bedrock 上线，可分析整段视频并按用户定义的分段条件返回带起止时间的 JSON 元数据。
能拿走按 segment_definitions 定义字段、一次请求返回带起止时间的 JSON 分段，直接接进视频产线做切片和打标；代价是单请求最长 2 小时、S3 上限 2 GB，且需在 us-west-2 开通模型权限。
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线，用户可在本地或 Ollama 云端运行。Clef 由 Qwen3.8-27B 微调而来，采用 Apache 2.0 许可，接收文本、JSON 或图像输入，一次读取即对所有问题同时打分，兼容 Jev 与 System One API。
能拿走的是把决策任务改成一次前向打分而非逐词生成，配合 schema 定义问题；可落到本地模型部署和 Agent 工具调用前置校验，代价是 27B 模型本地跑需足够显存，且基准数据来自 Cloudflare 自评。
NVIDIA 发布开源 120B 参数模型 Nemotron 3.5 Super VL，主打多模态智能体任务，官方称吞吐量最高为同类模型 5 倍，参数量约为其最大推理模型的五分之一。
开源权重加训练配方和数据集，可拿 120B 的 Super VL 做多模态文档解析与工具调用，或把 Bolt 74B-A9B 用 2-bit 量化塞进 24GB 本地跑 agent，代价是要自己接 NeMo 做后训练。
Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 基础上加入图像与音频理解、可选思考模式、4 倍长上下文（262,144 tokens）、更好的指令遵循与工具调用，权重于 2026 年 7 月 24 日以 Apache 2.0 协议发布在 Hugging Face。
可借鉴早期融合做法，图像音频经 tokenizer 变成离散 token 与文本同序列，架构不变、训练按纯文本速度跑；代价是只扩词表、模型只输出文本，音频理解仍是实验性。
Together AI 作为 Day 0 发布伙伴上线 Meta 的开放权重模型 Muse Spark Open，可通过 Together API 以 meta-models/Muse-Spark-Open-816B-A42B 调用。
能直接照抄 Together API 的调用示例和 meta-models/Muse-Spark-Open-816B-A42B 模型名接入，落到软件工厂的长任务编码线；代价是 1M 上下文按 $1.25/1M 输入、$4.25/1M 输出计费，缓存输入才降到 $0.15。
Meta 开源 Muse Spark Open，这是一个约 816B 总参数、每 token 激活约 42B 的多模态 MoE 模型，支持文本、图像、音频和视频输入，上下文窗口最高 1M tokens。
能拿走 BF16/NVFP4 两种 checkpoint 的部署配方、llama.cpp 2-bit 量化在 512GB Mac 上跑 18 tokens/s 的实测，以及只训注意力层 LoRA、冻结专家的 TRL 微调脚本；落到本地模型部署和软件工厂两条线，代价是 816B 全量专家常驻内存，BF16 约 1.5TB。
Google DeepMind 发布 Gemini 4 Argon，定位为通用物理推理模型，在 Embodied Reasoning（ERQA）基准上以纯推理取得 87%，称超过其他前沿模型。
可借鉴的是把机器人任务写成带坐标网格、动作原语和 curl 闭环的提示词模板，以及 Real2Sim 的视觉与接触力双重校验约束；落到本地模型部署和视频产线要先有 MuJoCo 场景与真机遥测数据。