掘金· 威哥爱编程·· 13 天前精选AI 评分80
用 Python 搭一套提示词离线评测体系：从评测集、指标到版本退化判定
Python 智能体开发实战 09：改了提示词，到底是变好还是变坏？搭一套能打分的离线评测
AI 导读
作者以英语作文批改智能体为例，用 Python 搭了一套离线评测流水线，把改提示词后的效果从凭感觉变成看分数。体系包含带反例的 16 条 JSONL 评测集、exact_match 与 set_f1 等纯函数指标、四档 rubric 的 LLM as judge 裁判、markdown 报告和按核心指标阈值判退化的版本对比，42 个测试用例离线全绿。
借鉴点
能拿走一套离线评测流水线，含反例评测集、纯函数指标、四档 rubric 裁判和按标签的退化判定，用来替换改提示词后随手试几个例子的做法；代价是要先人工标注评测集，且裁判调用会多一层开销。
来源：掘金 · juejin.cn