跳到正文
  1. 掘金78

    中后台 Web Agent 如何定位 10 颗同名 Edit 按钮:AST 站点地图、DOM 打分与 SoM 视觉兜底

    xingwu-vision-agent 用三层约束解决中后台 Web Agent 找入口的问题,在 vue-element-admin 4.4.0 本地靶场跑通 15 个页面状态且全部自动完成。

    借鉴点

    能拿走三层入口定位的具体做法,AST 扫路由配模板状态、DOM 打分并列即熔断、SoM 编号加动作租约兜底;落到软件工厂的 UI 自动化测试线,代价是适配器只覆盖 Element UI 四类容器,人工接管链路无实跑样本。

  1. 掘金74

    把多模态 OCR 接进物流 WMS:四千张运单踩过的三个坑

    物流团队用多模态模型识别四千张真实运单,字段识别率从 91.4% 提到 96.9%,叠加规则校验后错误率从 3.2% 降到 0.4%。三个坑分别是通用提示词不认运单结构、整页 PDF 直接丢给模型导致 500 张里 41 张失败、置信度 0.9 以上字段仍有 3.2% 出错。

    借鉴点

    能拿走领域先验提示词、字段级 confidence 加正则与号段校验的复核队列、PDF 转 PNG 拆页压到 2000px 三条做法,落到软件工厂的文档录入链路;代价是复核队列仍占约 11% 人工。

  1. AWS Machine Learning Blog60

    AWS 用 Nova Multimodal Embeddings 与 Bedrock AgentCore 搭建零件替换多智能体助手

    AWS 发布教程,用 Amazon Nova Multimodal Embeddings、Amazon Bedrock AgentCore 和开源 Strands Agents SDK 搭建多智能体工程助手,把零件替换评估中的人工交叉比对改为自动汇集证据。

    借鉴点

    能拿走一套可复用做法:planner 用 Haiku 路由、Sonnet 跑工具、Opus 只在多专家时汇总,规格判定全用 Python 确定性代码;代价是要自建多模态知识库和 S3 Vectors 索引,图片查询路径权限缺失会静默回退。

  1. 掘金72

    Elasticsearch 与 Jina AI 全模态搜索项目 elastic_multimodal_search 技术解析

    开源项目 elastic_multimodal_search 用 Jina AI 多模态 embedding 把文本、图像、音频、视频帧映射到同一向量空间,再由 Elasticsearch 做 BM25 词法检索与 k-NN 向量检索的混合匹配,覆盖音乐、动物、图像、电影、图书、跨模态、套娃降维、词向量可视化 8 个 Streamlit 搜索模块。

    借鉴点

    能拿走一套可跑的多模态检索模板,含 Jina 多模态 embedding 加 ES 的 BM25 与 k-NN 混合检索、RRF 融合和 Matryoshka 截断到 128/256/512/1024 维;落到知识沉淀和本地模型部署,前提是自备 ES 8+ 集群和 OpenRouter、Gemini 密钥。

  1. 掘金78

    RTX 5070 Ti 部署 Qwen2.5-VL-7B-AWQ 做工业质检的踩坑记录

    作者在 RTX 5070 Ti 16GB 上用 vLLM 0.30.0 部署 Qwen2.5-VL-7B-Instruct-AWQ(6.5GB),跑通二维码缺陷质检的码制识别与可见性判定批量推理。

    借鉴点

    能拿走 16GB 单卡跑 7B 多模态的整套 vLLM 参数和六个坑,直接落到本地模型部署与质检流水线,代价是版本组合敏感、需自行验证 flashinfer 开关。

  1. 掘金78

    本地多模态 OCR 实测对比:qwen3.5-9b、Apple Vision 与 gemma-4-e4b 字错率与吞吐

    作者用《剑桥中国秦汉史》3 页 300 DPI 样本实测三种 OCR 方案,本地 qwen3.5-9b 字错率 0.5% 质量最高,Apple Vision 3.2% 且单页 12 秒快 15 倍,gemma-4-e4b 达 40.1% 中文不可用。

    借鉴点

    能拿走金丝雀页测模型是否真看图、关思考加封顶 token 防空输出,以及 Vision 跑量加 qwen 抽检的二校架构,代价是 qwen 单页 80 秒且独占槽位。

  2. 掘金71

    开发者用 Node.js 零依赖做病历归档小程序,拆解本地 Qwen2.5-VL 识别的超时与冷启动问题

    作者用微信小程序原生前端加纯 Node.js 内置模块后端做了一个病历归档工具,拍照后由 AI 提取就诊日期、医院、疾病名称和报告分类,并复盘了本地 Qwen2.5-VL 3B 推理落地时的几个工程坑。

    借鉴点

    能拿走异步 jobId 轮询、Provider 环境变量切换、1x1 PNG 带图预热三套做法,落到本地模型部署和软件工厂的长任务链路,代价是内存队列无持久化、CPU 推理仍要 40-60 秒。

  3. 掘金78

    用 Claude Code 操作网页版 ChatGPT 完成小游戏全套美术素材

    作者用 Claude in Chrome 扩展让 Claude Code 在已登录的 ChatGPT 网页里自动填 prompt、发图、下载并切图,13 轮出图留下 35 张原图,全程同一个对话保持画风一致。

    借鉴点

    可照搬的是让 Claude Code 用页面 JS 操作已登录的 ChatGPT 网页出图,配固定 prompt 尾段和切图脚本;代价是网页结构会变、单轮出图最长 26 分钟,听感和观感仍需人判断。

  1. 掘金78

    用 MOSS 生图、TTS 和 ffmpeg 把历史故事做成竖屏视频的完整流水线

    作者用 MOSS 开放平台的生图与 TTS 接口加 ffmpeg,把法拉第与爱迪生的历史故事做成 1080×1920 竖屏视频,全程不开剪辑软件。

    借鉴点

    能拿走分镜 JSON 加三个脚本的纯命令行流水线,按实测音频时长反推时间线、ASS 烧字幕、ffmpeg zoompan 运镜,落到视频产线;代价是生图水印需 OpenCV inpaint 本地处理,concat 清单必须写绝对路径。

  2. AWS Machine Learning Blog58

    Property Finder 如何修正 Amazon Bedrock 上的评测偏差并选出更优模型

    Property Finder 发现其评测标签有 96.8% 直接沿用现有 VLM 的预测而非人工核验,导致任何替代模型在比较中天然吃亏。

    借鉴点

    可拿走一套做法,先人工重标几百张图做无偏基准,再用 Micro F1 加错误分析迭代提示词,最后用 MIPROv2 自动优化;能落到本地模型部署的选型评测线,代价是要有领域专家标注,356 张只够测中等差异。

  1. 掘金78

    用 DeepSeek 与 Qwen-TTS 搭视频自动化 Skill,基于 capcut-meta 输出剪映草稿

    作者用 Codex Skill 把知识解说视频链路拆成 DeepSeek 分镜、Qwen-TTS 逐句配音、汇影AI 素材检索和 capcut-meta 生成剪映草稿四段,各环节定好输入输出契约。

    借鉴点

    能拿走强制 visual/comment 二分类的分镜提示词与 JSON Schema,把文案到剪映草稿的机械环节自动化,落到视频产线;代价是要自己处理素材链接过期、片段重叠和编码不统一。

  1. 掘金78

    如何用 Claude Opus 5.5 做一支音乐 MV:代码逐帧渲染完整教程

    作者用 Claude Opus 5.5 配合 painted-animation skill,为王贰浪《把回忆拼好给你》做了 59 秒高潮段 MV,全程只发三条消息,由模型完成分镜、写代码逐帧绘制和自查修改。

    借鉴点

    能拿走一套代码逐帧渲染 MV 的完整流程,含 painted-animation skill、beat_grid.py 测节拍、联系表自查和本地渲染命令,可接到视频产线;代价是水彩笔刷吃显卡,云端完整画质 59 秒要渲约 20 小时。

  1. Hacker News · AI 讨论71

    作者实测 LLM 评审打分不稳:同一份代码八次评分在 0.82 到 0.93 之间漂移

    作者把同一份 React 组件代码、同一张渲染截图和同一张 Figma 参考图交给 gpt-5.6-terra(medium 推理强度)连打八次分,结果在 0.82 到 0.93 之间波动,7 次过 0.85 门槛、1 次不过,而 schema 是否合法等布尔字段八次完全一致。

    借鉴点

    同一份代码同一张截图连打八次分,分数在 0.82 到 0.93 之间漂,说明用 LLM 打分当门禁会把噪声当回归;可拿走的是植入已知缺陷、多次重跑、再加一道 Clef 否决的做法,代价是要重跑一遍缺陷集且 Clef 会把大图缩到 30 万像素。

  1. 掘金71

    AutoVideoHub 拆解从文案语义到素材自动获取的四段工程链路

    AutoVideoHub 把视频生产中最耗时的找素材环节自动化,输入文案后输出可精剪的粗剪片、素材包和分镜稿,不做文案生成也不替代精剪。链路分四段,LLM 把文案结构化成含语义、情绪、景别、主体的分镜 JSON,再映射成英文检索词,从 Pexels、Pixabay、Coverr、Mixkit 抓取免费商用素材,搜不到时用 AI 生成兜底。

    借鉴点

    能拿走四段可插拔链路和 CLIP 抽帧图文评分做素材筛选,落到视频产线;前提是自备 LLM 与素材 API,精剪仍要人工。

  1. 掘金74

    开源 AI 漫画到微信公众号草稿箱流水线,含分格一致性与并发锁实现

    作者开源了一条从 LLM 选题、剧本、主体确认、分格生图到微信公众号草稿箱的 Web 流水线,MIT 协议,clone 后三条命令即可跑起来。项目用 Next.js 15 加 Prisma 7 和嵌入式 SQLite,约 3.4 万行、201 个单测全绿,核心业务放在不依赖框架的 pipeline 纯函数层。

    借鉴点

    能拿走 pipeline 纯函数加 route 薄壳的分层、按格动态拼参考图、文件名版本化与进程内串行写链,落到小说创作和视频产线;代价是单进程锁不能横向扩展,生图协议要按网关方言另写通路。

已经到底了