用语义复杂度评分与意图分流搭建多模型动态路由网关
作者给出了一套多模型混合动态路由网关的完整实现,用正则结构特征加本地嵌入向量相似度在 10ms 内给 Prompt 打复杂度分,按阈值分流到轻量、中端、旗舰三档模型,并附 FastAPI 异步代码和 429/5xx 自动降级逻辑。
能拿走一套纯 CPU 10ms 内的复杂度打分加三级模型分流代码,落到本地模型部署和成本控制线上;代价是阈值和锚点要自己按业务调,长文本误判和流式断流得另做处理。
内容类型
拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。
439 条精选近 30 天 437 条共收录 1,601 条
作者给出了一套多模型混合动态路由网关的完整实现,用正则结构特征加本地嵌入向量相似度在 10ms 内给 Prompt 打复杂度分,按阈值分流到轻量、中端、旗舰三档模型,并附 FastAPI 异步代码和 429/5xx 自动降级逻辑。
能拿走一套纯 CPU 10ms 内的复杂度打分加三级模型分流代码,落到本地模型部署和成本控制线上;代价是阈值和锚点要自己按业务调,长文本误判和流式断流得另做处理。
作者在 macOS 上把本机 Chrome 已登录会话复用到 Playwright,不碰账号密码和 2FA,就能驱动填表、抓数和点按钮。
能拿走 Chrome cookie 解密脚本和 Playwright 注入流程,落到本地自动化抓数或填表产线;代价是 v20 app-bound 加密走不通,Chrome 130+ 还要剥 32 字节 domain hash。
作者结合 Claude Code、Codex 和 Pi-Bolt 的实际使用,把 Rules、Skill、MCP、Workflow、Memory 分别对应到长期约定、任务做法、外部接入、执行顺序与确认条件、跨会话信息保存五类问题。
能拿走 Rules、Skill、MCP、Workflow、Memory 五者的分工表和各家目录路径,落到软件工厂的配置分层上;代价是要按客户端版本逐个核对加载方式,规则文件本身拦不住越权动作。
文章给出一套基于 LangGraph 的多步 Agent 规划方案,把待办列表抽成独立的图状态,由专用规划工具以整表覆盖语义更新,并在模型输出后、工具执行前的中间件钩子里拦截同一轮出现两次及以上的规划调用。
把待办抽成独立图状态、规划工具只做整表覆盖、钩子拦截一轮多次写入,能换掉把计划写死在系统提示词里的做法;代价是要改 State 结构和中间件注册,且不保证计划本身最优。
作者在一次企业内部试点中复盘 6 个工具、9 条用例的 function-calling 评测,基线选择准确率 78%,两条失败用例都是模型完全不调用工具。
能拿走三件事:required 参数来源要写进描述、相邻工具要写互斥边界、负例占比至少 20%,用 mf lint 和 mf coverage 静态查;代价是得先有一套单变量对照的评测套件。
作者在已搭好的强弱模型路由上补了一层可观测,用 dataclass 给每趟路由记录档位、任务类型、失败原因和耗时,再用标准库聚合出便宜档命中率、分类型升级率和白升级率。文章给出记账织入路由的代码和一张信号到调整动作的对照表,例如某类任务升级率持续偏高就直接提到旗舰档,失败原因集中在一条就改提示词或补示例。白升级需靠旗舰抽检部分样本判定,作者提醒样本太少或任务类型切太细都会让数据失去意义。
能拿走 RouteRecord 字段设计、run_with_escalation_observed 记账织入和 summarize 聚合函数,把强弱模型路由从黑盒变成可调的分级表;代价是白升级要靠旗舰抽检判定,样本不足时算出的升级率不可信。
作者在 Linux x86_64 上手动安装 rtk v1.1.0 OSS 版并实测,rtk 在命令输出进入 LLM 上下文前按命令类型压缩,ls -la /usr/bin 从 47336 bytes 降到 1200 bytes,约 97.5% 体积下降。
能拿走 rtk 挂 hook 前先压 bash 输出的做法和 recall 哈希找回机制,落到本地 Agent 编码流程;代价是 pytest、tree、rg 必须真在 PATH 里,gain 总览会因超大输出被排除而虚低。
AWS 介绍 Amazon Bedrock AgentCore runtime 的 Session endpoints,让编码 Agent 在会话内运行的 Vite 网站通过带认证的 URL 直接在浏览器里预览,Agent 保存文件后页面经 WebSocket 热更新、无需刷新。
能拿走的是 allowedPorts 配置加 session_endpoint_client 开本地端点这套做法,把编码 Agent 会话里的 Vite 站点直接映射到浏览器,省掉每次改动都重新部署;前提是 microVM 运行时、端口限 8000-12000、本地端点只在预览时开。
开发者 John Nunemaker 公开了自己名为 Nunebot 的提示词,它让 AI 智能体按优先级遍历 20 个仓库,每次只做一处小改动并开 PR,11 天内共开 269 个 PR、合并 250 个。
可拿走一套多仓库小步 PR 流水线,含 /simplify、/qa、/codex review 只复审修复、taste.md 沉淀否决理由、九条轻重泳道并行;代价是需自建 brain 仓库和大量只读 MCP 权限。
SkyPilot 围绕飞行跑车物理模拟器搭了一个 RL 环境,用 rank-64 LoRA 加 GRPO 后训练 Qwen3-4B,实时决策下风暴踢翻动作落地率 90%,比 GPT-6 Astra 的 74% 高 21%。
能拿走一套可复用的 RL 后训练配方,rank-64 LoRA 加 GRPO 双教师热启动,按风级挑模仿对象、风暴样本加倍、专练慢速远车场景;落到本地模型部署和 Agent 实时决策线,代价是 4 GPU 小时约 13 美元,且配方靠多轮验证集试错才收敛。
开发者 hunis 在 GitHub 开源 claude-code-mistake-guards,包含 3 个 Claude Code hook 和 4 个上传前脚本,每条规则都对应 Agent 真实重复犯过的错误。
能拿走 3 个 Claude Code hook 加 4 个上传前脚本的写法,把重复犯的错做成机械拦截而不是写进 CLAUDE.md,代价是每个文件顶部要改成本地路径和规则表,且只拦得住到达 hook 的那部分命令。
skyzh 发布 tiny-llm 课程,面向系统工程师在 Apple Silicon 上用 MLX 从零实现 Qwen3 推理全流程。
能拿走一套四周课程路线,从 mlx.core 手写 Qwen3 推理到连续批处理、分页 KV 和带检查点的编码 Agent,前提是有 Apple Silicon 机器并愿意自己实现算子,MLX 只当正确性基准。
作者用一个 60 行的 Breaker 类给大模型调用加熔断,核心是三个阈值:滑动窗口 20 次、失败率 50% 打开、冷却 30 秒后放 3 个探测请求、2 个成功才关闭。
能拿走滑动窗口20次、失败率50%、冷却30秒加3个探测请求的熔断状态机,落到软件工厂的模型调用链路上,前提是设 max_retries=0 并让上层接住 None,还要按模型和区域分桶。
作者用《剑桥中国秦汉史》3 页 300 DPI 样本实测三种 OCR 方案,本地 qwen3.5-9b 字错率 0.5% 质量最高,Apple Vision 3.2% 且单页 12 秒快 15 倍,gemma-4-e4b 达 40.1% 中文不可用。
能拿走金丝雀页测模型是否真看图、关思考加封顶 token 防空输出,以及 Vision 跑量加 qwen 抽检的二校架构,代价是 qwen 单页 80 秒且独占槽位。
这篇教程给出 Python 生态下千万级向量检索的内存优化方案,选用 faiss 1.7.4 配合乘积量化(PQ)压缩,在 16GB 内存服务器上把索引总占用从 12GB 降到 2GB,召回率(@10)从 99.5% 降到 92.3%。
能拿走 faiss 1.7.4 的 IVFPQ 配置(m=12、nbits=8、nlist 取向量数平方根)和训练样本量要求,落到本地向量检索的内存裁剪上,代价是召回率从 99.5% 降到 92.3%。
作者用微信小程序原生前端加纯 Node.js 内置模块后端做了一个病历归档工具,拍照后由 AI 提取就诊日期、医院、疾病名称和报告分类,并复盘了本地 Qwen2.5-VL 3B 推理落地时的几个工程坑。
能拿走异步 jobId 轮询、Provider 环境变量切换、1x1 PNG 带图预热三套做法,落到本地模型部署和软件工厂的长任务链路,代价是内存队列无持久化、CPU 推理仍要 40-60 秒。
作者为儿童系列故事 Agent 设计了一套 Story Bible 长期记忆系统,用 PostgreSQL 存事实条目、pgvector 做语义召回,解决角色名、道具归属、伏笔状态在多集之间前后矛盾的问题。
能拿走一套 Story Bible 表结构加四层召回和混合打分权重,落到小说创作与知识沉淀线;代价是要自建 candidate 人工确认和 embedding 版本管理。
文章提出用 ErrorStreak 连续错误检测识别 Agent 的伪进展,即参数在变但每轮都失败、CycleDetector 抓不住的空转状态。算法是滑动窗口计数器,默认连续 5 次相似错误注入警告、8 次触发 strategy reset 强制 Plan 反思,任一次成功即清零。
能拿走 ErrorStreak 滑动窗口计数器与 strategy reset 两阶段协议,落到软件工厂的 Agent 运行时兜底,代价是要自己定义相似错误判定,且成功一次即清零会放过间歇性失败。
作者提出多 Agent 拆分的关键不是分几个而是按什么维度分,可用「两个 Agent 能否同时是用户当前处境」做检验,功能是动词可组合、阶段是状态互斥,因此按售前售后、风险、自主权拆才拆得干净。
能拿走互斥性检验、工具重合度与 prompt 重复度两个阈值、槽位渲染传事实不传对话,以及路由与抽槽合并省一次调用;落到多 Agent 派单和知识沉淀,代价是 JSON 解析要包 try 兜底。
这篇指南梳理了 Claude Code 插件机制,插件是把 Skills、Agents、Hooks、斜杠命令、MCP Server 五类组件打包分发的单元,官方市场 claude-plugins-official 已收录 6 个插件,用 claude plugin install <插件名>@claude-plugins-official 一条命令安装。
能拿走一份最小 plugin.json 加 commands/hooks 目录的插件骨架和 Java 规范检查实例,把散在 settings.json 的配置打包成可版本化分发单元,前提是 Claude Code v2.1.269+,且组件目录不能塞进 .claude-plugin。