如何为 AI 编码智能体构建代码验证器:分层结构与四步落地方案
文章给出一套给 AI 编码智能体搭代码验证器的方案,核心是把需求写成可执行的验收条件、把所有检查收进一个入口、把失败信息回传给 AI 形成自动返工闭环。验证器按静态检查、单元与契约测试、端到端行为测试、AI 评审与人工抽检分层,越便宜越确定的越靠前。
能拿走一套四步验证器搭法,需求先写成 pytest 验收用例、检查收进单入口脚本、报错带期望与实际、设返工轮数上限,落到软件工厂的自动返工闭环,代价是前期需求拆解和分层设计投入大。
技术方向
能自己拆解任务、调用工具、一步步把事办完的 AI 智能体:Claude Code、Manus 等应用,各家 Agent 框架与评测。
568 条精选近 30 天 555 条共收录 2,928 条
文章给出一套给 AI 编码智能体搭代码验证器的方案,核心是把需求写成可执行的验收条件、把所有检查收进一个入口、把失败信息回传给 AI 形成自动返工闭环。验证器按静态检查、单元与契约测试、端到端行为测试、AI 评审与人工抽检分层,越便宜越确定的越靠前。
能拿走一套四步验证器搭法,需求先写成 pytest 验收用例、检查收进单入口脚本、报错带期望与实际、设返工轮数上限,落到软件工厂的自动返工闭环,代价是前期需求拆解和分层设计投入大。
威哥爱编程在系列第 5 篇里给小E 加上 RAG 检索,解决模型对课程级别和退费规则凭空编造的问题。工程按切片、向量化、召回、带片段回答四段实现,切片先按 markdown 标题粗分再按中文标点递归细切,chunk_size 取 160、overlap 取 40,三份资料切出 21 个片段。
能拿走一套零依赖 RAG 链路,含按标题粗分加标点细切、chunk_size 160 与 overlap 40、阈值 0.25 拒答、[编号] 溯源质检;落到知识沉淀线,代价是哈希向量只认字面,上线要换真语义向量。
作者把启明英语助教小E的作文批改从八百行 review_once() 函数改写成 LangGraph 状态机,拆成 check_input、check_grammar、check_words、check_structure、score_and_feedback 五个节点。
能拿走 LangGraph 的 State 契约、条件边加 attempts 上限、MemorySaver 配 thread_id 续跑这套拆法,把八百行批改函数换成可回退可单测的图,代价是得先想清每个字段归谁写、覆盖还是累加。
Archwhere 发布开源工具,把每个 PR、任务和 agent 的改动映射到一份声明的架构图上,标出所触组件、是否为安全区以及当前需要人处理的事项。
用一份 architecture.json 加 SKILL.md 让 agent 在合并前维护架构图,check 卡 CI、check --fix 自动收编未映射文件,能落到软件工厂的 PR 审查环节,代价是得先接受它猜出来的组件划分再手工改名。
作者给出了一套多模型混合动态路由网关的完整实现,用正则结构特征加本地嵌入向量相似度在 10ms 内给 Prompt 打复杂度分,按阈值分流到轻量、中端、旗舰三档模型,并附 FastAPI 异步代码和 429/5xx 自动降级逻辑。
能拿走一套纯 CPU 10ms 内的复杂度打分加三级模型分流代码,落到本地模型部署和成本控制线上;代价是阈值和锚点要自己按业务调,长文本误判和流式断流得另做处理。
作者在 macOS 上把本机 Chrome 已登录会话复用到 Playwright,不碰账号密码和 2FA,就能驱动填表、抓数和点按钮。
能拿走 Chrome cookie 解密脚本和 Playwright 注入流程,落到本地自动化抓数或填表产线;代价是 v20 app-bound 加密走不通,Chrome 130+ 还要剥 32 字节 domain hash。
作者结合 Claude Code、Codex 和 Pi-Bolt 的实际使用,把 Rules、Skill、MCP、Workflow、Memory 分别对应到长期约定、任务做法、外部接入、执行顺序与确认条件、跨会话信息保存五类问题。
能拿走 Rules、Skill、MCP、Workflow、Memory 五者的分工表和各家目录路径,落到软件工厂的配置分层上;代价是要按客户端版本逐个核对加载方式,规则文件本身拦不住越权动作。
文章给出一套基于 LangGraph 的多步 Agent 规划方案,把待办列表抽成独立的图状态,由专用规划工具以整表覆盖语义更新,并在模型输出后、工具执行前的中间件钩子里拦截同一轮出现两次及以上的规划调用。
把待办抽成独立图状态、规划工具只做整表覆盖、钩子拦截一轮多次写入,能换掉把计划写死在系统提示词里的做法;代价是要改 State 结构和中间件注册,且不保证计划本身最优。
作者在一次企业内部试点中复盘 6 个工具、9 条用例的 function-calling 评测,基线选择准确率 78%,两条失败用例都是模型完全不调用工具。
能拿走三件事:required 参数来源要写进描述、相邻工具要写互斥边界、负例占比至少 20%,用 mf lint 和 mf coverage 静态查;代价是得先有一套单变量对照的评测套件。
作者在已搭好的强弱模型路由上补了一层可观测,用 dataclass 给每趟路由记录档位、任务类型、失败原因和耗时,再用标准库聚合出便宜档命中率、分类型升级率和白升级率。文章给出记账织入路由的代码和一张信号到调整动作的对照表,例如某类任务升级率持续偏高就直接提到旗舰档,失败原因集中在一条就改提示词或补示例。白升级需靠旗舰抽检部分样本判定,作者提醒样本太少或任务类型切太细都会让数据失去意义。
能拿走 RouteRecord 字段设计、run_with_escalation_observed 记账织入和 summarize 聚合函数,把强弱模型路由从黑盒变成可调的分级表;代价是白升级要靠旗舰抽检判定,样本不足时算出的升级率不可信。
作者在 Linux x86_64 上手动安装 rtk v1.1.0 OSS 版并实测,rtk 在命令输出进入 LLM 上下文前按命令类型压缩,ls -la /usr/bin 从 47336 bytes 降到 1200 bytes,约 97.5% 体积下降。
能拿走 rtk 挂 hook 前先压 bash 输出的做法和 recall 哈希找回机制,落到本地 Agent 编码流程;代价是 pytest、tree、rg 必须真在 PATH 里,gain 总览会因超大输出被排除而虚低。
Governor 是一个运行在 agent 与 Anthropic、OpenAI、xAI 之间的小型代理,用于管控 agent 的花费上限和工具调用。它基于 Node 18+ 且无依赖,用户只需修改 SDK 的 base URL,并为每个 agent 分配带独立额度和工具规则的 Governor key。
能用一个无依赖 Node 代理给每个 agent 配独立 key 和工具规则,在模型回复到达 agent 前拦截或挂起工具调用,代价是需改 SDK base URL 并自行维护规则顺序。
Fastbrowse 发布 MIT 许可的浏览器智能体,由 System One 模型 Jev 从页面控件列表中一次性选出操作和目标,长文本读取交给 LLM 规划。
可借鉴的是把动作选择交给小模型 Jev、凭据按名字解析不进提示词、不可逆操作前加授权门这三处设计,能落到本地浏览器自动化产线;代价是 0.7.2 尚未上 PyPI,需按 commit 安装,且不可逆动作分类器会漏判。
Assure 是一个开源工具,把 AI 智能体放进一次性 SQLite 和文件工作区运行,所有工具调用经网关按策略放行,再用人工编写的确定性断言核对结果,判定过程不调用 LLM、不需要 API key。
能拿走一套不靠 LLM 判定的 agent 验收框架,把工具调用全走网关、用人工断言比对数据库和文件差异,落到软件工厂的 CI 门禁上;代价是本地模式不隔离,Docker 模式作者未实际跑过。
AWS 介绍 Amazon Bedrock AgentCore runtime 的 Session endpoints,让编码 Agent 在会话内运行的 Vite 网站通过带认证的 URL 直接在浏览器里预览,Agent 保存文件后页面经 WebSocket 热更新、无需刷新。
能拿走的是 allowedPorts 配置加 session_endpoint_client 开本地端点这套做法,把编码 Agent 会话里的 Vite 站点直接映射到浏览器,省掉每次改动都重新部署;前提是 microVM 运行时、端口限 8000-12000、本地端点只在预览时开。
开源 MIT 项目 dotpals 发布 0.12 版本,用一个本地悬浮小助手监视 Claude Code、Codex 等编码 agent 的改动、命令和测试输出,测试失败时把 agent 打回重做,最多两次。
能拿走的是用 MCP 只读接口把 agent 的改动、命令和测试输出变成可查证据,并加测试失败回退循环;落到软件工厂的验收环节,代价是要接 Claude Code 或 Codex 的 hook 与日志,非主流 agent 得自己 POST JSON。
开发者 John Nunemaker 公开了自己名为 Nunebot 的提示词,它让 AI 智能体按优先级遍历 20 个仓库,每次只做一处小改动并开 PR,11 天内共开 269 个 PR、合并 250 个。
可拿走一套多仓库小步 PR 流水线,含 /simplify、/qa、/codex review 只复审修复、taste.md 沉淀否决理由、九条轻重泳道并行;代价是需自建 brain 仓库和大量只读 MCP 权限。
mobile-agent 是一个开源工具,让 AI 智能体驱动 Android 设备与模拟器、iOS 模拟器和实体 iPhone,daemon 为每个接入屏幕维护窗口、无障碍树和最新帧的实时镜像,快照与等待都从镜像答复而非每次读设备。
能拿走的是 daemon 维护屏幕镜像、快照与 settle 都从镜像答复而不每次读设备,以及沿用 agent-browser 的命令语法和 @eN ref 让已有提示词直接复用;落到软件工厂的移动端自动化测试线,代价是依赖 Apple 私有接口和隐藏 Android 接口,只能当开发工具,且 iPhone 需付费开发者签名。
EasyRE-Agent 是一个开源 AI 智能体,把逆向工程工具链打包进 Docker 镜像,让智能体在容器内解 crackme 和 CTF 逆向题并自行校验答案。
可借鉴其 Docker 封装逆向工具链加 verifier 闭环的做法,把「答案必须通过真实程序校验」写进 agent 循环,代价是镜像约 8-9 GB 且仅限 crackme 类目标。
微软研究院与 UC Berkeley 发布开源编码 agent 成本控制器 TokenEconomizer,在 277 个 SWE-Bench 任务、5 种 agent 与模型组合下把平均成本降低 18.4% 至 30.9%,30 个仓库与设置组合全部更便宜。
能拿走三套可切换机制的具体参数,工具剪枝连续3个任务未用即屏蔽、每5个任务全量复审,失败循环用成功运行长度90分位的1.25倍做轮次预算;落到软件工厂的编码 agent 成本控制,代价是微技能默认关闭且需额外模型调用,前几个任务反而更贵。