技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
545 条精选近 30 天 539 条共收录 2,452 条
Inngest 工程师 Linell 做了一个名为 Docsferatu 的 agent，监听 SDK 仓库的 PR，判断文档是否需要更新，需要时由 Claude 在网站仓库开一个草稿 PR。
能拿走一套可复用的做法，用 Inngest 持久化执行把慢 agent 拆成命名步骤，配 debounce、singleton、throttle 和沙箱快照；代价是要接受 Inngest 这套编排依赖，且默认拒绝的 hook 会误杀 StructuredOutput 这类内部工具。
claude-mem 把编码 Agent 的会话观察压缩成摘要，存进 SQLite 加 Chroma 双层存储，再通过四个 MCP 工具做分层检索，GitHub 星数已达 105,550。
能拿走 claude-mem 的四步链路和分层检索做法，把会话摘要压进 SQLite 加 Chroma 再经 MCP 按层取回，落到软件工厂的编码 Agent 上；代价是要用 npx 安装并重启宿主，还要处理托管试用和隐私排除。
作者把 AI Coding Agent 的记忆底座迁到自建 OpenViking，用 99 元/年的阿里云 2核2G 实例跑通，本地只做存储检索、计算全交给外部 API。
能拿走一套 OpenViking 记忆底座的组件选型与配置，含 query_planner 单独指定、VLM 设 reasoning_effort low、向量模型锁 128K 多模态；落到本地模型部署与知识沉淀线，代价是 2G 机器要配 Swap 并限制容器内存。
这篇指南提出 Agent 架构选型应 workflow 优先、agent 兜底，流程能在设计期固定就用 workflow，只有需要中间决策才上 agent。
能拿走一个五参数选型函数和症状对照表，把 workflow 优先、单 Agent 兜底、真并行才上多 Agent 的判断固化成代码，落到软件工厂的架构选型环节；代价是文中成本数字引自 Anthropic 研究，自己项目仍需实测。
同一开源模型本地跑和云 API 调用效果差距大，主要来自量化精度、聊天模板、采样参数和上下文截断四层没对齐，而非模型本身不同。文中给出数据：Llama 3 8B 量化到 FP8 后 MMLU 保留 99.2% 基线准确率，INT4 下 GSM8K 掉 9%–18% 而 MMLU 只掉 1%–3%。
按量化精度、聊天模板、采样参数、上下文截断四层排查本地与云端差异，附可跑的 Ollama 与云 API 对照脚本；代价是数学和代码任务在 INT4 下仍追不上 bf16。
Werk 用一个菜谱 Agent 演示四步提示词缓存改造，同一模型同一套规则下提示词成本降低 73%，整场测试花费不到一美分。四步分别是把每分钟变化的日期移到用户消息末尾、把个人资料移出共享指令、让所有套餐发送同一份工具列表、工具调用只追加不重建请求。
四个改法可直接照搬：把日期和用户资料挪到末尾、各套餐共用同一份工具列表、工具调用只追加不重建、再用不调模型的断言测试锁住前缀。代价是要改 harness 的拼装逻辑，且缓存过期时首条消息仍读不到。
Factory 发布 Droid 1.0，这是其 Droid 智能体框架迄今最大的一次更新，核心变化是程序化工具调用默认开启，模型改为编写 JavaScript 脚本在无文件、网络和系统权限的沙箱中执行工具，一次模型请求可驱动数百次工具调用。
把工具调用改成模型写 JavaScript 脚本在沙箱里跑，只回传打印结果，能换掉现在每次工具输出都灌进上下文的串行循环；代价是要维护沙箱和 Script 工具，且基准成绩均为厂商自测。
OpenScience 发布开源科研 AI 工作台，用户用自然语言给出目标后，它规划步骤、检索文献、写并运行代码和实验，最后产出可核查的结果，每一步都留痕。
能拿走的是带权限粒度的科研 agent 工作台配置，shell/Python/R 内核加显式读写授权、按目标主机放行网络、worker 并行分派，可落到本地模型部署和知识沉淀两条线；代价是要自备 API key 或本地端点，BioNeMo 适配器仍标实验性。
Tadpole 开源了一个约 3500 行纯 Python、不依赖 agent 框架的工具调用 agent，带文件、shell、网页搜索抓取、会话与上下文压缩，可跑在本地 4B 模型或任意 OpenAI 兼容 API 上，并能以 Telegram 机器人常驻。
能拿走一份 3500 行纯 Python 的 agent 分阶段实现和 SFT 数据配方，落到本地模型部署与软件工厂线；代价是训练要 24GB CUDA 显卡，整条后训练线约 140 美元。
开发者张益达Yida 用 OCR 加 Qwen3-0.6B 做端侧支付截图记账 App，把单张端到端耗时从 596 秒降到 8.4 到 11 秒，30 张回归集硬字段准确率保持 30/30 通过。
能拿走四轮端侧优化路径和三个静默失败坑，落到本地模型部署线，代价是要自己复现 30 张回归闸门和天玑 9000+ 硬件口径。
作者给 QQ 上的 Agent 做固定角色语音回复，先用 CosyVoice2 zero-shot 加频响补偿做到够用，再用自写脚本量出说话人余弦只有 0.06–0.09、底噪抖动达 30dB 的天花板。
可拿走一套 TTS 量化脚本（人声厚度、底噪 p10、说话人余弦）和 GPT-SoVITS v2 微调参数，把固定角色音色从 zero-shot 换成训练进权重，代价是要 100s 级清洗音源并接受 seed 抖动。
同一模型本地跑和云 API 调用效果差别大，主要来自量化精度、聊天模板和采样参数三层没对齐，而非模型本身不同。文中给出可复算数据，Llama 3 8B 量化到 FP8 后 MMLU 保留 99.2% 基线，INT4 下 GSM8K 准确率掉 9%–18% 而 MMLU 只掉 1%–3%。
能拿走四层排查顺序和一段本地与云端同参对比代码，落到本地模型部署线；前提是两端 prompt 与采样参数完全一致，且要接受 INT4 下数学与长上下文任务追不上 bf16。
作者在 RTX 5070 Ti 16GB 上用 vLLM 0.30.0 部署 Qwen2.5-VL-7B-Instruct-AWQ（6.5GB），跑通二维码缺陷质检的码制识别与可见性判定批量推理。
能拿走 16GB 单卡跑 7B 多模态的整套 vLLM 参数和六个坑，直接落到本地模型部署与质检流水线，代价是版本组合敏感、需自行验证 flashinfer 开关。
umutsevdi 在 Hacker News 发布终端编码智能体 Imza，用 Plan、Build、Review 三个显式模式让开发者在计划、实现和评审各环节保持参与。
可借鉴的是把 Plan、Build、Review 做成可回流的循环，计划文档可逐条批注后整体回传，评审发现再作为新修订进入下一轮；代价是要接受原生 C++ 终端 UI 和自带模型配置的门槛。
文章给出一套给 AI 编码智能体搭代码验证器的方案，核心是把需求写成可执行的验收条件、把所有检查收进一个入口、把失败信息回传给 AI 形成自动返工闭环。验证器按静态检查、单元与契约测试、端到端行为测试、AI 评审与人工抽检分层，越便宜越确定的越靠前。
能拿走一套四步验证器搭法，需求先写成 pytest 验收用例、检查收进单入口脚本、报错带期望与实际、设返工轮数上限，落到软件工厂的自动返工闭环，代价是前期需求拆解和分层设计投入大。
威哥爱编程在系列第 5 篇里给小E 加上 RAG 检索，解决模型对课程级别和退费规则凭空编造的问题。工程按切片、向量化、召回、带片段回答四段实现，切片先按 markdown 标题粗分再按中文标点递归细切，chunk_size 取 160、overlap 取 40，三份资料切出 21 个片段。
能拿走一套零依赖 RAG 链路，含按标题粗分加标点细切、chunk_size 160 与 overlap 40、阈值 0.25 拒答、[编号] 溯源质检；落到知识沉淀线，代价是哈希向量只认字面，上线要换真语义向量。
作者把启明英语助教小E的作文批改从八百行 review_once() 函数改写成 LangGraph 状态机，拆成 check_input、check_grammar、check_words、check_structure、score_and_feedback 五个节点。
能拿走 LangGraph 的 State 契约、条件边加 attempts 上限、MemorySaver 配 thread_id 续跑这套拆法，把八百行批改函数换成可回退可单测的图，代价是得先想清每个字段归谁写、覆盖还是累加。
作者给出了一套多模型混合动态路由网关的完整实现，用正则结构特征加本地嵌入向量相似度在 10ms 内给 Prompt 打复杂度分，按阈值分流到轻量、中端、旗舰三档模型，并附 FastAPI 异步代码和 429/5xx 自动降级逻辑。
能拿走一套纯 CPU 10ms 内的复杂度打分加三级模型分流代码，落到本地模型部署和成本控制线上；代价是阈值和锚点要自己按业务调，长文本误判和流式断流得另做处理。
作者在 macOS 上把本机 Chrome 已登录会话复用到 Playwright，不碰账号密码和 2FA，就能驱动填表、抓数和点按钮。
能拿走 Chrome cookie 解密脚本和 Playwright 注入流程，落到本地自动化抓数或填表产线；代价是 v20 app-bound 加密走不通，Chrome 130+ 还要剥 32 字节 domain hash。
作者结合 Claude Code、Codex 和 Pi-Bolt 的实际使用，把 Rules、Skill、MCP、Workflow、Memory 分别对应到长期约定、任务做法、外部接入、执行顺序与确认条件、跨会话信息保存五类问题。
能拿走 Rules、Skill、MCP、Workflow、Memory 五者的分工表和各家目录路径，落到软件工厂的配置分层上；代价是要按客户端版本逐个核对加载方式，规则文件本身拦不住越权动作。