AWS Machine Learning Blog· Khaled Thabit·· 19 天前精选AI 评分58
Property Finder 如何修正 Amazon Bedrock 上的评测偏差并选出更优模型
Fix evaluation bias to unlock better models on Amazon Bedrock
AI 导读
Property Finder 发现其评测标签有 96.8% 直接沿用现有 VLM 的预测而非人工核验，导致任何替代模型在比较中天然吃亏。
借鉴点
可拿走一套做法，先人工重标几百张图做无偏基准，再用 Micro F1 加错误分析迭代提示词，最后用 MIPROv2 自动优化；能落到本地模型部署的选型评测线，代价是要有领域专家标注，356 张只够测中等差异。
来源：AWS Machine Learning Blog · aws.amazon.com