跳到正文
  1. 掘金78

    中后台 Web Agent 如何定位 10 颗同名 Edit 按钮:AST 站点地图、DOM 打分与 SoM 视觉兜底

    xingwu-vision-agent 用三层约束解决中后台 Web Agent 找入口的问题,在 vue-element-admin 4.4.0 本地靶场跑通 15 个页面状态且全部自动完成。

    借鉴点

    能拿走三层入口定位的具体做法,AST 扫路由配模板状态、DOM 打分并列即熔断、SoM 编号加动作租约兜底;落到软件工厂的 UI 自动化测试线,代价是适配器只覆盖 Element UI 四类容器,人工接管链路无实跑样本。

  2. IT之家71

    蚂蚁百灵发布原生多模态模型 Ling-3.2-flash,560B 总参数、1M 上下文,前两周免费

    蚂蚁百灵官方团队发布原生多模态模型 Ling-3.2-flash,560B 总参数、25B 激活参数、1M 上下文窗口,支持图像、文本与视频输入。

    借鉴点

    官方只给了基准分数和定价,没给训练配方或部署细节;能拿走的是 560B 总参数、25B 激活的 MoE 配比和 1M 上下文,以及兼容 OpenAI 与 Anthropic 协议的接入方式,可用来评估替换现有视觉理解与长程 Agent 调用链的成本。

  3. Hugging Face Blog58

    NVIDIA 发布 Cosmos 3 四个开源世界模型检查点

    NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。

    借鉴点

    四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。

  4. Google AI Blog60

    Google DeepMind 发布 Gemini Omni 1.2 Flash,支持 15 秒视频并降价 30%

    Google DeepMind 发布 Gemini Omni 1.2 Flash,视频生成时长从 10 秒提升到 15 秒,并已在 Gemini API 和 Gemini for business 全面可用。

    借鉴点

    视频产线可换成先低分辨率草稿、再靠多轮对话改细节、最后升到 1080p 或 4K 的流程,代价是 720p 每秒 $0.07,且快速运动和复杂物理仍是已知短板。

  1. 掘金74

    把多模态 OCR 接进物流 WMS:四千张运单踩过的三个坑

    物流团队用多模态模型识别四千张真实运单,字段识别率从 91.4% 提到 96.9%,叠加规则校验后错误率从 3.2% 降到 0.4%。三个坑分别是通用提示词不认运单结构、整页 PDF 直接丢给模型导致 500 张里 41 张失败、置信度 0.9 以上字段仍有 3.2% 出错。

    借鉴点

    能拿走领域先验提示词、字段级 confidence 加正则与号段校验的复核队列、PDF 转 PNG 拆页压到 2000px 三条做法,落到软件工厂的文档录入链路;代价是复核队列仍占约 11% 人工。

  1. MarkTechPost72

    腾讯微信视觉团队开源 WeVisOne-VL,统一检测、OCR、分割与抠图

    腾讯微信视觉团队发布开源视觉语言模型 WeVisOne-VL,提供 2B(2.44B 参数)和 4B(4.83B 参数)两个版本,用单个模型完成检测、指代、计数、指向、OCR、分割和 alpha matting。

    借鉴点

    能用一个 2B/4B 模型加 9.6M 像素解码器替掉检测器、OCR 和分割器三套组件,单卡 BF16 跑 Transformers 或 vLLM 即可;代价是 GGUF 出不了 mask,微调代码还没放出来。

  2. Hacker News · AI 讨论71

    腾讯发布开源大模型 Hy4,首次支持视觉理解与 computer-use

    腾讯发布新一代大语言模型 Hy4,称其已进入全球领先开源模型行列,模型权重和系统卡将在未来几天放出。Hy4 首次引入视觉理解与 computer-use 能力,可操作命令行和图形界面,并针对 Blender、CAD 等专业软件做了专项训练,在指令遵循、长上下文和长程智能体任务上有明显提升。

    借鉴点

    Hy4 首次加入视觉理解与 computer-use,并在 Blender、CAD、UE/Unity/Godot 上做专项训练,可接到视频产线和本地模型部署两条线;权重和系统卡要等几天后才放出,现在只能走 API 或腾讯云。

  1. AWS Machine Learning Blog60

    AWS 用 Nova Multimodal Embeddings 与 Bedrock AgentCore 搭建零件替换多智能体助手

    AWS 发布教程,用 Amazon Nova Multimodal Embeddings、Amazon Bedrock AgentCore 和开源 Strands Agents SDK 搭建多智能体工程助手,把零件替换评估中的人工交叉比对改为自动汇集证据。

    借鉴点

    能拿走一套可复用做法:planner 用 Haiku 路由、Sonnet 跑工具、Opus 只在多专家时汇总,规格判定全用 Python 确定性代码;代价是要自建多模态知识库和 S3 Vectors 索引,图片查询路径权限缺失会静默回退。

  1. 掘金72

    Elasticsearch 与 Jina AI 全模态搜索项目 elastic_multimodal_search 技术解析

    开源项目 elastic_multimodal_search 用 Jina AI 多模态 embedding 把文本、图像、音频、视频帧映射到同一向量空间,再由 Elasticsearch 做 BM25 词法检索与 k-NN 向量检索的混合匹配,覆盖音乐、动物、图像、电影、图书、跨模态、套娃降维、词向量可视化 8 个 Streamlit 搜索模块。

    借鉴点

    能拿走一套可跑的多模态检索模板,含 Jina 多模态 embedding 加 ES 的 BM25 与 k-NN 混合检索、RRF 融合和 Matryoshka 截断到 128/256/512/1024 维;落到知识沉淀和本地模型部署,前提是自备 ES 8+ 集群和 OpenRouter、Gemini 密钥。

  2. 掘金73

    美团发布 LongCat-2.5 原生多模态模型,面向长程智能体任务

    美团正式发布 LongCat-2.5,这是一个面向长程智能体任务的原生多模态模型,总参数量 1.6 万亿,每个 token 激活约 480 亿参数,在 LongCat-2.0 基础上强化了原生视觉理解与智能体编程能力。

    借鉴点

    可借鉴的是长程 Agent RL 的 partial rollout 异步训练与 F2P/P2P 环境合成流水线,能落到软件工厂的代码任务训练;代价是需自建可交互环境并处理样本陈旧性带来的梯度偏置。

  1. 雷峰网78

    Pika 基于 MiniMax H3 开源 H3 Flex,六步去噪实现音视频联合生成

    Pika 发布基于 MiniMax H3 的衍生模型 Pika H3 Flex,开放两套 LoRA 适配器权重与推理代码,通过六步去噪联合生成画面和同步立体声音频。

    借鉴点

    能拿走的是六步去噪加两套 LoRA 适配器的组合,把 50 步教师模型蒸馏到 6 步且合并适配器后不增加步数,可接到视频产线的草稿筛选环节;代价是要有 MiniMax H3 基础权重和本地推理环境,1080P 以上增强仍得走 Pika API。

  1. 掘金78

    RTX 5070 Ti 部署 Qwen2.5-VL-7B-AWQ 做工业质检的踩坑记录

    作者在 RTX 5070 Ti 16GB 上用 vLLM 0.30.0 部署 Qwen2.5-VL-7B-Instruct-AWQ(6.5GB),跑通二维码缺陷质检的码制识别与可见性判定批量推理。

    借鉴点

    能拿走 16GB 单卡跑 7B 多模态的整套 vLLM 参数和六个坑,直接落到本地模型部署与质检流水线,代价是版本组合敏感、需自行验证 flashinfer 开关。

  1. IT之家83

    小米开源 0.8B 文档理解模型 Xiaomi-OCR-0,支持 Markdown 与 JSON 输出

    小米开源轻量级文档理解模型 Xiaomi-OCR-0,参数规模 0.8B,权重与推理代码已上线 Hugging Face 和 GitHub,单一模型覆盖文档解析、关键信息抽取与 OCR 视觉问答三类任务。

    借鉴点

    0.8B 单模型同时做文档解析、字段抽取和 OCR 视觉问答,输出 Markdown/LaTeX/JSON,还带 MCP 服务和 Agent Skill 包,能直接换掉文档解析链路里拼多个模型的方案;代价是要自己验证古籍手写和复杂表格上的实际表现。

  2. 掘金78

    本地多模态 OCR 实测对比:qwen3.5-9b、Apple Vision 与 gemma-4-e4b 字错率与吞吐

    作者用《剑桥中国秦汉史》3 页 300 DPI 样本实测三种 OCR 方案,本地 qwen3.5-9b 字错率 0.5% 质量最高,Apple Vision 3.2% 且单页 12 秒快 15 倍,gemma-4-e4b 达 40.1% 中文不可用。

    借鉴点

    能拿走金丝雀页测模型是否真看图、关思考加封顶 token 防空输出,以及 Vision 跑量加 qwen 抽检的二校架构,代价是 qwen 单页 80 秒且独占槽位。

  3. 掘金71

    开发者用 Node.js 零依赖做病历归档小程序,拆解本地 Qwen2.5-VL 识别的超时与冷启动问题

    作者用微信小程序原生前端加纯 Node.js 内置模块后端做了一个病历归档工具,拍照后由 AI 提取就诊日期、医院、疾病名称和报告分类,并复盘了本地 Qwen2.5-VL 3B 推理落地时的几个工程坑。

    借鉴点

    能拿走异步 jobId 轮询、Provider 环境变量切换、1x1 PNG 带图预热三套做法,落到本地模型部署和软件工厂的长任务链路,代价是内存队列无持久化、CPU 推理仍要 40-60 秒。

  4. 掘金78

    用 Claude Code 操作网页版 ChatGPT 完成小游戏全套美术素材

    作者用 Claude in Chrome 扩展让 Claude Code 在已登录的 ChatGPT 网页里自动填 prompt、发图、下载并切图,13 轮出图留下 35 张原图,全程同一个对话保持画风一致。

    借鉴点

    可照搬的是让 Claude Code 用页面 JS 操作已登录的 ChatGPT 网页出图,配固定 prompt 尾段和切图脚本;代价是网页结构会变、单轮出图最长 26 分钟,听感和观感仍需人判断。

  1. Hugging Face Blog60

    Mistral 发布 Mistral Large 4(Le Chonk)多模态 MoE 模型并在 Hugging Face 上线

    Mistral 发布 Mistral Large 4(代号 Le Chonk),这是文本加图像输入的多模态 MoE 模型,约 1T 总参数、49B 激活参数,上下文窗口 1M tokens,提供 FP8 与 NVFP4 两个官方版本。

    借鉴点

    能直接拿走 transformers、vLLM、llama.cpp 三套启动命令和 TRL 微调脚本,落到本地模型部署与软件工厂线;代价是 1T 总参数,2-bit 量化也要 512GB 统一内存单机或 4 张 RTX6000 Pro 分布式才跑得动。

  1. 掘金78

    用 MOSS 生图、TTS 和 ffmpeg 把历史故事做成竖屏视频的完整流水线

    作者用 MOSS 开放平台的生图与 TTS 接口加 ffmpeg,把法拉第与爱迪生的历史故事做成 1080×1920 竖屏视频,全程不开剪辑软件。

    借鉴点

    能拿走分镜 JSON 加三个脚本的纯命令行流水线,按实测音频时长反推时间线、ASS 烧字幕、ffmpeg zoompan 运镜,落到视频产线;代价是生图水印需 OpenCV inpaint 本地处理,concat 清单必须写绝对路径。

  2. Hacker News · AI 讨论78

    OpenMontage Drama Studio 开源可自托管短剧 AI 工作室

    charlie-w 发布 OpenMontage Drama Studio,一个可自托管的 Web 工作室,把一句话创意经剧本、角色、场景、道具、分镜与镜头、配音、剪辑七个阶段做成短剧或短视频。

    借鉴点

    可照搬它的七阶段流水线拆分和角色/场景/道具参考图复用机制,落到视频产线;代价是图像视频要走火山引擎 Seedream/Seedance 付费 API,S3 和模型 key 都得自备。

  3. AWS Machine Learning Blog58

    Property Finder 如何修正 Amazon Bedrock 上的评测偏差并选出更优模型

    Property Finder 发现其评测标签有 96.8% 直接沿用现有 VLM 的预测而非人工核验,导致任何替代模型在比较中天然吃亏。

    借鉴点

    可拿走一套做法,先人工重标几百张图做无偏基准,再用 Micro F1 加错误分析迭代提示词,最后用 MIPROv2 自动优化;能落到本地模型部署的选型评测线,代价是要有领域专家标注,356 张只够测中等差异。