掘金· lucas_AI·· 21 天前精选AI 评分71
FAU 实测 8 个 7B 以下 VLM 抽取 JSON:OCR 专用模型零分,通用指令模型微调后领先
别再迷信 OCR 专用小模型:8 个 7B 以下 VLM 实测,抽取 JSON 结构还得靠通用选手
AI 导读
德国埃尔朗根-纽伦堡大学(FAU)团队用三个真实馆藏数据集实测 8 个 7B 以下开源 VLM 的结构化 JSON 抽取能力,发现 OCR 专用小模型在 mAP-F1 上几乎全为 0,通用指令模型微调后才是赢家。
借鉴点
能拿走的是选型口径和避坑清单,结构化抽取优先测通用指令 VLM 而非 OCR 专用小模型,微调配 HPO 是主策略,图像预处理和多阶段训练要先验证;代价是结论只对被测版本负责,楼梯表测试集仅 25 张。
来源:掘金 · juejin.cn