用中间件把任务规划嵌入 Agent 循环，替代写死在 Prompt 里的计划
文章给出一套基于 LangGraph 的多步 Agent 规划方案，把待办列表抽成独立的图状态，由专用规划工具以整表覆盖语义更新，并在模型输出后、工具执行前的中间件钩子里拦截同一轮出现两次及以上的规划调用。
借鉴点
把待办抽成独立图状态、规划工具只做整表覆盖、钩子拦截一轮多次写入，能换掉把计划写死在系统提示词里的做法；代价是要改 State 结构和中间件注册，且不保证计划本身最优。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
545 条精选近 30 天 539 条共收录 2,452 条
更新
精选归档 · 第 11 页
掘金精选AI 评分7878 掘金精选AI 评分7171 给强弱模型路由加可观测层：记录每趟路由并算出命中率、升级率和白升级率
作者在已搭好的强弱模型路由上补了一层可观测，用 dataclass 给每趟路由记录档位、任务类型、失败原因和耗时，再用标准库聚合出便宜档命中率、分类型升级率和白升级率。文章给出记账织入路由的代码和一张信号到调整动作的对照表，例如某类任务升级率持续偏高就直接提到旗舰档，失败原因集中在一条就改提示词或补示例。白升级需靠旗舰抽检部分样本判定，作者提醒样本太少或任务类型切太细都会让数据失去意义。
借鉴点能拿走 RouteRecord 字段设计、run_with_escalation_observed 记账织入和 summarize 聚合函数，把强弱模型路由从黑盒变成可调的分级表；代价是白升级要靠旗舰抽检判定，样本不足时算出的升级率不可信。
掘金精选AI 评分7474 rtk v1.1.0 本机实测：压缩 Agent 命令行输出，ls 大目录体积降约 97%
作者在 Linux x86_64 上手动安装 rtk v1.1.0 OSS 版并实测，rtk 在命令输出进入 LLM 上下文前按命令类型压缩，ls -la /usr/bin 从 47336 bytes 降到 1200 bytes，约 97.5% 体积下降。
借鉴点能拿走 rtk 挂 hook 前先压 bash 输出的做法和 recall 哈希找回机制，落到本地 Agent 编码流程；代价是 pytest、tree、rg 必须真在 PATH 里，gain 总览会因超大输出被排除而虚低。
Hacker News · AI 讨论精选AI 评分7171 Governor 发布 AI agent 花费与工具调用防火墙
Governor 是一个运行在 agent 与 Anthropic、OpenAI、xAI 之间的小型代理，用于管控 agent 的花费上限和工具调用。它基于 Node 18+ 且无依赖，用户只需修改 SDK 的 base URL，并为每个 agent 分配带独立额度和工具规则的 Governor key。
借鉴点能用一个无依赖 Node 代理给每个 agent 配独立 key 和工具规则，在模型回复到达 agent 前拦截或挂起工具调用，代价是需改 SDK base URL 并自行维护规则顺序。
Hacker News · AI 讨论精选AI 评分7878 Assure 开源 AI 智能体验收工具，用确定性断言核对智能体是否谎报完成
Assure 是一个开源工具，把 AI 智能体放进一次性 SQLite 和文件工作区运行，所有工具调用经网关按策略放行，再用人工编写的确定性断言核对结果，判定过程不调用 LLM、不需要 API key。
借鉴点能拿走一套不靠 LLM 判定的 agent 验收框架，把工具调用全走网关、用人工断言比对数据库和文件差异，落到软件工厂的 CI 门禁上；代价是本地模式不隔离，Docker 模式作者未实际跑过。
AWS Machine Learning Blog精选AI 评分5858 AWS 演示用 AgentCore runtime Session endpoints 边构建边预览编码 Agent 生成的网页
AWS 介绍 Amazon Bedrock AgentCore runtime 的 Session endpoints，让编码 Agent 在会话内运行的 Vite 网站通过带认证的 URL 直接在浏览器里预览，Agent 保存文件后页面经 WebSocket 热更新、无需刷新。
借鉴点能拿走的是 allowedPorts 配置加 session_endpoint_client 开本地端点这套做法，把编码 Agent 会话里的 Vite 站点直接映射到浏览器，省掉每次改动都重新部署；前提是 microVM 运行时、端口限 8000-12000、本地端点只在预览时开。
Hacker News · AI 讨论精选AI 评分7878 开发者用 Nunebot 提示词让 AI 在 11 天内合并 250 个 PR
开发者 John Nunemaker 公开了自己名为 Nunebot 的提示词，它让 AI 智能体按优先级遍历 20 个仓库，每次只做一处小改动并开 PR，11 天内共开 269 个 PR、合并 250 个。
借鉴点可拿走一套多仓库小步 PR 流水线，含 /simplify、/qa、/codex review 只复审修复、taste.md 沉淀否决理由、九条轻重泳道并行；代价是需自建 brain 仓库和大量只读 MCP 权限。
Hacker News · AI 讨论精选AI 评分7373 EasyRE-Agent 开源：在 Docker 里跑 AI 智能体解 crackme 并自校验答案
EasyRE-Agent 是一个开源 AI 智能体，把逆向工程工具链打包进 Docker 镜像，让智能体在容器内解 crackme 和 CTF 逆向题并自行校验答案。
借鉴点可借鉴其 Docker 封装逆向工具链加 verifier 闭环的做法，把「答案必须通过真实程序校验」写进 agent 循环，代价是镜像约 8-9 GB 且仅限 crackme 类目标。
Hacker News · 首页精选AI 评分7474 spinf 开源 spinf-serve 推理服务器，单次读取内容批量打分
spinf 开源 Apache 2.0 的 spinf-serve 推理服务器，一次读取内容即可对同一段文本回答多个分类与抽取问题，每个答案输出选项概率而非生成文本。
借鉴点可把批量分类从逐题重读改成一次读取多分支打分，拿到每个选项的概率和 floor_p 做阈值判断；代价是需 24GB 显卡和 fp8 支持，且只适合吞吐不适合单请求延迟。
Hacker News · 首页精选AI 评分7171 SkyPilot 用 RL 后训练 Qwen3-4B 飞飞行跑车，风暴踢翻落地率比 GPT-6 Astra 高 21%
SkyPilot 围绕飞行跑车物理模拟器搭了一个 RL 环境，用 rank-64 LoRA 加 GRPO 后训练 Qwen3-4B，实时决策下风暴踢翻动作落地率 90%，比 GPT-6 Astra 的 74% 高 21%。
借鉴点能拿走一套可复用的 RL 后训练配方，rank-64 LoRA 加 GRPO 双教师热启动，按风级挑模仿对象、风暴样本加倍、专练慢速远车场景；落到本地模型部署和 Agent 实时决策线，代价是 4 GPU 小时约 13 美元，且配方靠多轮验证集试错才收敛。
Hacker News · AI 讨论精选AI 评分7171 开发者开源 7 个 Claude Code 守卫，把 Agent 重复犯的错做成机械拦截
开发者 hunis 在 GitHub 开源 claude-code-mistake-guards，包含 3 个 Claude Code hook 和 4 个上传前脚本，每条规则都对应 Agent 真实重复犯过的错误。
借鉴点能拿走 3 个 Claude Code hook 加 4 个上传前脚本的写法，把重复犯的错做成机械拦截而不是写进 CLAUDE.md，代价是每个文件顶部要改成本地路径和规则表，且只拦得住到达 hook 的那部分命令。
Hacker News · AI 讨论精选AI 评分8080 NoMoreHappyPath 开源 21 步 AI 智能体交付系统，用独立评审把关商业软件开发
Gerard Rafie 发布开源项目 NoMoreHappyPath（Apache 2.0，支持 macOS 和 Linux），用 21 个质量步骤把想法推进到可验收的软件。
借鉴点可借鉴的是把测试先行、红证、独立评审和人工验收串成 21 步交付流程，能替换单 agent 一把梭的派单方式；代价是要自备两家 AI 公司的 CLI 和 API key，一次小应用也要 48 分钟。
Hacker News · AI 讨论精选AI 评分7474 tiny-llm 在 Apple Silicon 上手写 Qwen3 推理与迷你 vLLM 课程
skyzh 发布 tiny-llm 课程，面向系统工程师在 Apple Silicon 上用 MLX 从零实现 Qwen3 推理全流程。
借鉴点能拿走一套四周课程路线，从 mlx.core 手写 Qwen3 推理到连续批处理、分页 KV 和带检查点的编码 Agent，前提是有 Apple Silicon 机器并愿意自己实现算子，MLX 只当正确性基准。
掘金精选AI 评分7171 给大模型调用加熔断器：60 行代码与三个阈值
作者用一个 60 行的 Breaker 类给大模型调用加熔断，核心是三个阈值：滑动窗口 20 次、失败率 50% 打开、冷却 30 秒后放 3 个探测请求、2 个成功才关闭。
借鉴点能拿走滑动窗口20次、失败率50%、冷却30秒加3个探测请求的熔断状态机，落到软件工厂的模型调用链路上，前提是设 max_retries=0 并让上层接住 None，还要按模型和区域分桶。
掘金精选AI 评分7878 本地多模态 OCR 实测对比：qwen3.5-9b、Apple Vision 与 gemma-4-e4b 字错率与吞吐
作者用《剑桥中国秦汉史》3 页 300 DPI 样本实测三种 OCR 方案，本地 qwen3.5-9b 字错率 0.5% 质量最高，Apple Vision 3.2% 且单页 12 秒快 15 倍，gemma-4-e4b 达 40.1% 中文不可用。
借鉴点能拿走金丝雀页测模型是否真看图、关思考加封顶 token 防空输出，以及 Vision 跑量加 qwen 抽检的二校架构，代价是 qwen 单页 80 秒且独占槽位。
掘金精选AI 评分7070 Python 千万级向量检索内存优化手册：用 faiss 1.7.4 的 PQ 压缩把索引从 12GB 压到 2GB
这篇教程给出 Python 生态下千万级向量检索的内存优化方案，选用 faiss 1.7.4 配合乘积量化（PQ）压缩，在 16GB 内存服务器上把索引总占用从 12GB 降到 2GB，召回率（@10）从 99.5% 降到 92.3%。
借鉴点能拿走 faiss 1.7.4 的 IVFPQ 配置（m=12、nbits=8、nlist 取向量数平方根）和训练样本量要求，落到本地向量检索的内存裁剪上，代价是召回率从 99.5% 降到 92.3%。
掘金精选AI 评分7171 开发者用 Node.js 零依赖做病历归档小程序，拆解本地 Qwen2.5-VL 识别的超时与冷启动问题
作者用微信小程序原生前端加纯 Node.js 内置模块后端做了一个病历归档工具，拍照后由 AI 提取就诊日期、医院、疾病名称和报告分类，并复盘了本地 Qwen2.5-VL 3B 推理落地时的几个工程坑。
借鉴点能拿走异步 jobId 轮询、Provider 环境变量切换、1x1 PNG 带图预热三套做法，落到本地模型部署和软件工厂的长任务链路，代价是内存队列无持久化、CPU 推理仍要 40-60 秒。
掘金精选AI 评分8282 如何给儿童故事 Agent 搭一套基于 PostgreSQL 和 pgvector 的长期记忆系统
作者为儿童系列故事 Agent 设计了一套 Story Bible 长期记忆系统，用 PostgreSQL 存事实条目、pgvector 做语义召回，解决角色名、道具归属、伏笔状态在多集之间前后矛盾的问题。
借鉴点能拿走一套 Story Bible 表结构加四层召回和混合打分权重，落到小说创作与知识沉淀线；代价是要自建 candidate 人工确认和 embedding 版本管理。
掘金精选AI 评分7878 如何用 ErrorStreak 连续错误检测识别 Agent 的伪进展
文章提出用 ErrorStreak 连续错误检测识别 Agent 的伪进展，即参数在变但每轮都失败、CycleDetector 抓不住的空转状态。算法是滑动窗口计数器，默认连续 5 次相似错误注入警告、8 次触发 strategy reset 强制 Plan 反思，任一次成功即清零。
借鉴点能拿走 ErrorStreak 滑动窗口计数器与 strategy reset 两阶段协议，落到软件工厂的 Agent 运行时兜底，代价是要自己定义相似错误判定，且成功一次即清零会放过间歇性失败。
掘金精选AI 评分7878 多 Agent 拆分该按什么维度划边界：互斥性检验与上下文传递方法
作者提出多 Agent 拆分的关键不是分几个而是按什么维度分，可用「两个 Agent 能否同时是用户当前处境」做检验，功能是动词可组合、阶段是状态互斥，因此按售前售后、风险、自主权拆才拆得干净。
借鉴点能拿走互斥性检验、工具重合度与 prompt 重复度两个阈值、槽位渲染传事实不传对话，以及路由与抽槽合并省一次调用；落到多 Agent 派单和知识沉淀，代价是 JSON 解析要包 try 兜底。