AWS 官方博客演示如何通过 code-based evaluator 把 Jev 和 Strands Decider 2B 两个决策模型接入 Amazon Bedrock AgentCore Evaluations，把 OpenTelemetry span 转成决策模型请求，再把概率分布映射回评估结果。
能把决策模型包进 Lambda 注册成 code-based evaluator，用校准概率做阈值筛选，再让内置 LLM 评估器只跑低分轮次；代价是要自备标注样本验证阈值，Jev 还需 TypeSafe API key。
Cleric 把原来基于 Claude Agent SDK 的单个调查 agent 拆成约 40 个按角色分工的松耦合 agent，由中心 investigator 编排，使单次评测成本从 0.54 美元降到 0.0052 美元、耗时从 137 秒降到 27 秒。
把单体调查 agent 拆成约 40 个按角色分工的松耦合 agent，每个角色独立选模型和 harness，eval 从端到端全流程改成单角色聚焦测试，单次成本从 0.54 美元降到 0.0052 美元；代价是编排、追踪、成本统计都要重做，agent 之间靠自然语言对话缺少契约约束。
Google Cloud 团队公开其评估 Agent 技能（SKILL.md）的五条工程规则，用于判断一个技能是否值得占用上下文 token。
五条规则可直接搬进 skill 评测流程，含 frontmatter 触发冲突检测、配对 WITH/WITHOUT 消融、评分维度正交防刷分；前提是得有容器沙箱和 CI，本地跑的数字不可信。
作者复盘自己跑的规则先行、LLM 兜底的评测流程，5 条样本里 3 条规则满分被直接放行，其中一条实际答非所问，说明规则只能验证动作做了没有、验证不了问题有没有解决。
能拿走 only_on_rule_fail 的抽检配比改法，规则满分样本抽 5%、失败样本全审，成本只涨 7.5%；落到 Agent 评测线上，前提是接受裁判分数只做同裁判同批次的相对比较。
文章给出 AI Agent 的四维评估体系，涵盖结果交付、过程轨迹、性能成本、安全合规共 15 项指标，并附一套不到 200 行 Python 的本地自动化评测方案。
能拿走一套可跑的评测骨架，入口函数返回工具轨迹与沙盒终态，配 test_cases.json 断言和 Pass^k 门禁，代价是要先改造 Agent 接口暴露 trace，软指标还得接 DeepEval 和裁判模型。
EvalShift 的 Lukas Babaliauskas 撰文讲解智能体 eval 的写法，指出 LLM eval 只评单条回复，智能体 eval 要评整次运行的工具调用、参数、留下的状态和最终回复，否则智能体没调退款工具却回复已退款也会被判通过。
七步流程可直接照搬，核心是成功标准写成世界状态而非回复文本，代码判分优先、LLM judge 只判文风，代价是每个任务要跑 3 到 5 次并人工标注 30 到 50 条校准 judge。
作者以英语作文批改智能体为例，用 Python 搭了一套离线评测流水线，把改提示词后的效果从凭感觉变成看分数。体系包含带反例的 16 条 JSONL 评测集、exact_match 与 set_f1 等纯函数指标、四档 rubric 的 LLM as judge 裁判、markdown 报告和按核心指标阈值判退化的版本对比，42 个测试用例离线全绿。
能拿走一套离线评测流水线，含反例评测集、纯函数指标、四档 rubric 裁判和按标签的退化判定，用来替换改提示词后随手试几个例子的做法；代价是要先人工标注评测集，且裁判调用会多一层开销。
作者 guregodevo 在 Memdoor 上复现 GVS5H 方法，用 5 个 Qwen3.8-27B 智能体加一个修复工，在 LiveCodeBench Hard 前 10 题各跑 5 次，平均 9.8/10，高于原作者 harness 的 9.6 和 Fable 5 单模型的 8.0。
能拿走一套五角色加修复工的多智能体工作流，靠磁盘文件传递上下文、用 shell 脚本判分，可换掉单 agent 串行解题；代价是每题中位 40 分钟、约 $0.39，且需自备模型与测试样例。
作者在一次企业内部试点中复盘 6 个工具、9 条用例的 function-calling 评测，基线选择准确率 78%，两条失败用例都是模型完全不调用工具。
能拿走三件事：required 参数来源要写进描述、相邻工具要写互斥边界、负例占比至少 20%，用 mf lint 和 mf coverage 静态查；代价是得先有一套单变量对照的评测套件。
作者用《剑桥中国秦汉史》3 页 300 DPI 样本实测三种 OCR 方案，本地 qwen3.5-9b 字错率 0.5% 质量最高，Apple Vision 3.2% 且单页 12 秒快 15 倍，gemma-4-e4b 达 40.1% 中文不可用。
能拿走金丝雀页测模型是否真看图、关思考加封顶 token 防空输出，以及 Vision 跑量加 qwen 抽检的二校架构，代价是 qwen 单页 80 秒且独占槽位。
Benchouse 用开源分析智能体 nao 在 90 道题、59 张 marts 表的固定评测集上做实验，把准确率从 Sonnet 5 裸 schema 的 49.6% 提升到 Opus 5.5 加完整上下文的 96.5%，完整度 100%。
能拿走分层加上下文的做法，从裸 schema 到 nao sync、全量文档、write-context-rules 技能、业务定义与回答规则逐层叠加，把分析智能体准确率从 49.6% 推到 96.5%，代价是每问成本从 $0.23 升到 $0.27，且各层改动合并测试无法拆分单项增益。
Property Finder 发现其评测标签有 96.8% 直接沿用现有 VLM 的预测而非人工核验，导致任何替代模型在比较中天然吃亏。
可拿走一套做法，先人工重标几百张图做无偏基准，再用 Micro F1 加错误分析迭代提示词，最后用 MIPROv2 自动优化；能落到本地模型部署的选型评测线，代价是要有领域专家标注，356 张只够测中等差异。
Databricks 介绍一套文档抽取的可重复改进流程，用 ai_extract 的 schema 描述承载字段规则、全局指令承载文档级逻辑、precision mode 处理复杂表格，并用 MLflow Prompt Registry 对 prompt 和 schema 一起做版本与别名管理。
把字段规则写进 schema、文档级逻辑放全局指令、结构难题开 precision mode，再用 MLflow Prompt Registry 的别名做灰度与回滚，前提是先攒出几百份人工审核过的固定评测集，否则改动好坏分不清。
冬奇Lab 复盘了一次 Jira Skill 模型选型评测，指出原报告单 case 采样、AI 自判对错、任务与真实使用不一致等问题，重测后推翻了原结论。
可拿走脚本逐字判分、100 case×3 采样、按错误模式分严重程度这三条做法，替换掉单 case 加 AI 当裁判的评测流程；代价是要先备好 ground truth 和判分脚本。
MarkTechPost 发布教程，在原生 llama.cpp 上运行 7.9 GB 的 Underdog Saluki 27B（Qwen3.8-27B 的 2-bit 构建），并与 ISTA-DASLab 的 GSQ-RCO IQ2_XS 版本逐张量、逐字节对比。
能拿走一套可复现的 GGUF 对比流程，逐张量读 header、按字节比对权重、用 BFCL 自带 checker 打分，落到本地模型部署这条线；代价是要一块 GPU 或 Apple 芯片，120 题样本小，结论只能看置信区间。
作者把同一份 React 组件代码、同一张渲染截图和同一张 Figma 参考图交给 gpt-5.6-terra（medium 推理强度）连打八次分，结果在 0.82 到 0.93 之间波动，7 次过 0.85 门槛、1 次不过，而 schema 是否合法等布尔字段八次完全一致。
同一份代码同一张截图连打八次分，分数在 0.82 到 0.93 之间漂，说明用 LLM 打分当门禁会把噪声当回归；可拿走的是植入已知缺陷、多次重跑、再加一道 Clef 否决的做法，代价是要重跑一遍缺陷集且 Clef 会把大图缩到 30 万像素。
deepsense.ai 发布一套智能体 AI 系统评测框架，主张上线前要验证行为而非只看最终答案。
四层框架可直接搬：手写小数据集加审核过的合成用例、固定 harness 与环境快照、按 pass^k 多次跑、用二元检查验轨迹，代价是每个用例要跑 k 次且 judge 需人工标注校准。
AWS 的 SMGS 团队基于 Amazon Bedrock AgentCore Evaluations 搭建了一套覆盖智能体全生命周期的九阶段评估框架，从定义质量标准、版本对比、CI 回归门禁、CD 质量门、金丝雀监控、安全防护、漂移检测、实时可观测到自动优化闭环。
可拿走九阶段评估闭环的具体配置，包括哨兵集15例、30分钟批量评估窗口、连续三窗才告警、工具调用冻结回放；落到软件工厂的 CI/CD 回归门禁，代价是要先建金标集和六类失败分类器。