技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
44 条精选近 30 天 35 条共收录 296 条
xingwu-vision-agent 用三层约束解决中后台 Web Agent 找入口的问题，在 vue-element-admin 4.4.0 本地靶场跑通 15 个页面状态且全部自动完成。
能拿走三层入口定位的具体做法，AST 扫路由配模板状态、DOM 打分并列即熔断、SoM 编号加动作租约兜底；落到软件工厂的 UI 自动化测试线，代价是适配器只覆盖 Element UI 四类容器，人工接管链路无实跑样本。
蚂蚁百灵官方团队发布原生多模态模型 Ling-3.2-flash，560B 总参数、25B 激活参数、1M 上下文窗口，支持图像、文本与视频输入。
官方只给了基准分数和定价，没给训练配方或部署细节；能拿走的是 560B 总参数、25B 激活的 MoE 配比和 1M 上下文，以及兼容 OpenAI 与 Anthropic 协议的接入方式，可用来评估替换现有视觉理解与长程 Agent 调用链的成本。
腾讯发布新一代大语言模型 Hy4，称其已进入全球领先开源模型行列，模型权重和系统卡将在未来几天放出。Hy4 首次引入视觉理解与 computer-use 能力，可操作命令行和图形界面，并针对 Blender、CAD 等专业软件做了专项训练，在指令遵循、长上下文和长程智能体任务上有明显提升。
Hy4 首次加入视觉理解与 computer-use，并在 Blender、CAD、UE/Unity/Godot 上做专项训练，可接到视频产线和本地模型部署两条线；权重和系统卡要等几天后才放出，现在只能走 API 或腾讯云。
NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点，均为 Cosmos 3 Nano 的后训练版本，各含 16B 可训练参数，采用 OpenMDW1.1 许可，允许商用与非商用。
四个 16B 后训练检查点加四阶段配方可复用，能落到视频产线与本地模型部署，代价是要 Linux 加 NVIDIA GPU 和 Docker，且短跑通不等于收敛。
Google DeepMind 发布 Gemini Omni 1.2 Flash，视频生成时长从 10 秒提升到 15 秒，并已在 Gemini API 和 Gemini for business 全面可用。
视频产线可换成先低分辨率草稿、再靠多轮对话改细节、最后升到 1080p 或 4K 的流程，代价是 720p 每秒 $0.07，且快速运动和复杂物理仍是已知短板。
物流团队用多模态模型识别四千张真实运单，字段识别率从 91.4% 提到 96.9%，叠加规则校验后错误率从 3.2% 降到 0.4%。三个坑分别是通用提示词不认运单结构、整页 PDF 直接丢给模型导致 500 张里 41 张失败、置信度 0.9 以上字段仍有 3.2% 出错。
能拿走领域先验提示词、字段级 confidence 加正则与号段校验的复核队列、PDF 转 PNG 拆页压到 2000px 三条做法，落到软件工厂的文档录入链路；代价是复核队列仍占约 11% 人工。
腾讯微信视觉团队发布开源视觉语言模型 WeVisOne-VL，提供 2B（2.44B 参数）和 4B（4.83B 参数）两个版本，用单个模型完成检测、指代、计数、指向、OCR、分割和 alpha matting。
能用一个 2B/4B 模型加 9.6M 像素解码器替掉检测器、OCR 和分割器三套组件，单卡 BF16 跑 Transformers 或 vLLM 即可；代价是 GGUF 出不了 mask，微调代码还没放出来。
AWS 发布教程，用 Amazon Nova Multimodal Embeddings、Amazon Bedrock AgentCore 和开源 Strands Agents SDK 搭建多智能体工程助手，把零件替换评估中的人工交叉比对改为自动汇集证据。
能拿走一套可复用做法：planner 用 Haiku 路由、Sonnet 跑工具、Opus 只在多专家时汇总，规格判定全用 Python 确定性代码；代价是要自建多模态知识库和 S3 Vectors 索引，图片查询路径权限缺失会静默回退。
美团正式发布 LongCat-2.5，这是一个面向长程智能体任务的原生多模态模型，总参数量 1.6 万亿，每个 token 激活约 480 亿参数，在 LongCat-2.0 基础上强化了原生视觉理解与智能体编程能力。
可借鉴的是长程 Agent RL 的 partial rollout 异步训练与 F2P/P2P 环境合成流水线，能落到软件工厂的代码任务训练；代价是需自建可交互环境并处理样本陈旧性带来的梯度偏置。
开源项目 elastic_multimodal_search 用 Jina AI 多模态 embedding 把文本、图像、音频、视频帧映射到同一向量空间，再由 Elasticsearch 做 BM25 词法检索与 k-NN 向量检索的混合匹配，覆盖音乐、动物、图像、电影、图书、跨模态、套娃降维、词向量可视化 8 个 Streamlit 搜索模块。
能拿走一套可跑的多模态检索模板，含 Jina 多模态 embedding 加 ES 的 BM25 与 k-NN 混合检索、RRF 融合和 Matryoshka 截断到 128/256/512/1024 维；落到知识沉淀和本地模型部署，前提是自备 ES 8+ 集群和 OpenRouter、Gemini 密钥。
Pika 发布基于 MiniMax H3 的衍生模型 Pika H3 Flex，开放两套 LoRA 适配器权重与推理代码，通过六步去噪联合生成画面和同步立体声音频。
能拿走的是六步去噪加两套 LoRA 适配器的组合，把 50 步教师模型蒸馏到 6 步且合并适配器后不增加步数，可接到视频产线的草稿筛选环节；代价是要有 MiniMax H3 基础权重和本地推理环境，1080P 以上增强仍得走 Pika API。
作者在 RTX 5070 Ti 16GB 上用 vLLM 0.30.0 部署 Qwen2.5-VL-7B-Instruct-AWQ（6.5GB），跑通二维码缺陷质检的码制识别与可见性判定批量推理。
能拿走 16GB 单卡跑 7B 多模态的整套 vLLM 参数和六个坑，直接落到本地模型部署与质检流水线，代价是版本组合敏感、需自行验证 flashinfer 开关。
小米开源轻量级文档理解模型 Xiaomi-OCR-0，参数规模 0.8B，权重与推理代码已上线 Hugging Face 和 GitHub，单一模型覆盖文档解析、关键信息抽取与 OCR 视觉问答三类任务。
0.8B 单模型同时做文档解析、字段抽取和 OCR 视觉问答，输出 Markdown/LaTeX/JSON，还带 MCP 服务和 Agent Skill 包，能直接换掉文档解析链路里拼多个模型的方案；代价是要自己验证古籍手写和复杂表格上的实际表现。
作者用《剑桥中国秦汉史》3 页 300 DPI 样本实测三种 OCR 方案，本地 qwen3.5-9b 字错率 0.5% 质量最高，Apple Vision 3.2% 且单页 12 秒快 15 倍，gemma-4-e4b 达 40.1% 中文不可用。
能拿走金丝雀页测模型是否真看图、关思考加封顶 token 防空输出，以及 Vision 跑量加 qwen 抽检的二校架构，代价是 qwen 单页 80 秒且独占槽位。
作者用微信小程序原生前端加纯 Node.js 内置模块后端做了一个病历归档工具，拍照后由 AI 提取就诊日期、医院、疾病名称和报告分类，并复盘了本地 Qwen2.5-VL 3B 推理落地时的几个工程坑。
能拿走异步 jobId 轮询、Provider 环境变量切换、1x1 PNG 带图预热三套做法，落到本地模型部署和软件工厂的长任务链路，代价是内存队列无持久化、CPU 推理仍要 40-60 秒。
国产开源文档解析模型OXR在OmniDocBench（97.18）、olmOCR-Bench（87.84）和DocParsingBench（87.76）三个榜单均列第一，参数量仅1.3B。
可借鉴的是后训练用RSI自造数据的三段流程，VLM判对错并保留Uncertain档、归因聚类成原因簇、再按真实版式合成训练数据；前提是任务有客观标准答案，OCR之外的领域未必成立。
作者用 Claude in Chrome 扩展让 Claude Code 在已登录的 ChatGPT 网页里自动填 prompt、发图、下载并切图，13 轮出图留下 35 张原图，全程同一个对话保持画风一致。
可照搬的是让 Claude Code 用页面 JS 操作已登录的 ChatGPT 网页出图，配固定 prompt 尾段和切图脚本；代价是网页结构会变、单轮出图最长 26 分钟，听感和观感仍需人判断。
作者用 MOSS 开放平台的生图与 TTS 接口加 ffmpeg，把法拉第与爱迪生的历史故事做成 1080×1920 竖屏视频，全程不开剪辑软件。
能拿走分镜 JSON 加三个脚本的纯命令行流水线，按实测音频时长反推时间线、ASS 烧字幕、ffmpeg zoompan 运镜，落到视频产线；代价是生图水印需 OpenCV inpaint 本地处理，concat 清单必须写绝对路径。
charlie-w 发布 OpenMontage Drama Studio，一个可自托管的 Web 工作室，把一句话创意经剧本、角色、场景、道具、分镜与镜头、配音、剪辑七个阶段做成短剧或短视频。
可照搬它的七阶段流水线拆分和角色/场景/道具参考图复用机制，落到视频产线；代价是图像视频要走火山引擎 Seedream/Seedance 付费 API，S3 和模型 key 都得自备。
Property Finder 发现其评测标签有 96.8% 直接沿用现有 VLM 的预测而非人工核验，导致任何替代模型在比较中天然吃亏。
可拿走一套做法，先人工重标几百张图做无偏基准，再用 Micro F1 加错误分析迭代提示词，最后用 MIPROv2 自动优化；能落到本地模型部署的选型评测线，代价是要有领域专家标注，356 张只够测中等差异。