技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
545 条精选近 30 天 539 条共收录 2,452 条
作者用 @modelcontextprotocol/sdk 1.30 手写了一个不到 120 行的 MCP Client 和 Agent Loop，把 stdio Server 迁到 Streamable HTTP 后，实现连接、tools/list 发现、JSON Schema 转模型 tools 格式、tool_calls 执行回灌的完整三轮调用链。
能拿走不到 120 行的 MCP Client 与 Agent Loop 骨架，含 JSON Schema 转 tools 格式、工具名加来源前缀、错误回灌三条纪律，落到软件工厂的工具接入层；代价是得自己兜首次连接重试和工具数量膨胀的 token 成本。
AgentScope-Java 系列教程第三篇演示用 orchestrator-workers 模式搭内容团队，在 workspace 的 agents/ 目录放一个 Markdown 文件就声明一个子 Agent，YAML front matter 写 name、description、temperature、tools，正文即系统提示词，Java 代码零改动。
能拿走 agents/ 目录下 md 文件声明子 Agent 的写法，front matter 里 name、description、temperature、tools 各管一件事，落到软件工厂的多角色流水线；代价是 description 漏写不报错、子 Agent 不自动继承父级工具，得靠 AgentSpecLoader 写单测兜底。
文章解析了 Agentic Awesome Skills（AAS）V19.13.0，一个收录 2737+ 个 SKILL.md 文件的本地优先 Agent 技能控制平面，通过 npm exec 配置本地 MCP 接入 Codex 或 Claude，首次配置会预览变更并要求手动确认。
能拿走的是用 npm exec 配本地 MCP 接入 Codex/Claude、先 dry-run 预览再确认的流程，以及用过滤和 --all 控制 2700+ 技能带来的上下文过载，代价是 Apply 与恢复仍属实验性，需人工审批兜底。
Graphify 通过 tree-sitter 在本地对约 40 种语言做 AST 解析，把代码库连同文档、PDF 等资产建成可查询知识图谱，替代向量检索式 RAG。
可用 tree-sitter 本地解析代码建图替代向量 RAG，边标 EXTRACTED/INFERRED 便于核对；代价是动态语言依赖捕获不全、重构后增量更新开销未说明。
作者从 GitHub 项目 open-bots 的 git 历史里挖出被删除的 api/chat.ts 共 713 行，逐段拆出 5 个可复用设计和 2 个反面教材。
能直接抄走总预算超时、尾部答案提取、SSRF 三道锁和 402 只报价不付款四段代码，落到 Agent 工具链和软件工厂；前提是读 TypeScript 并接受 DNS 全量解析仍有 TOCTOU 缺口。
Ward 复盘开源 AI 网关 Magpie 的调优过程，把路由收敛为 5 大组，全天 4,685 个请求中 4,671 次正常返回、无 400 崩溃，Prompt Cache 命中率超 95%。
能拿走顺位排错、跨家族只读审查子代理加 AGENTS.md 门禁、rotate+session 亲和轮换多账号三套配置，落到软件工厂的多模型路由上，代价是得自己翻日志找截胡和缓存偷跑。
美团技术团队把 Karpathy 的 AutoResearch 搬进企业云端训练平台，经三次重构从单线程 LOOP 升级为 CyclicGraph Engine 图探索架构，两个业务建模项目单任务耗时较人工基线分别减少约 85% 与 83%。
能拿走 Spawn-Converge 三步闭环和状态文件硬约束的做法，换掉单 agent 串行 LOOP 的迭代流程，前提是训练可异步、指标可机器判读，且需自建知识库与人工审核卡点。
《Agent Harness 从用到造》第 2 讲提出工具调用是传输、服务、参数校验、执行、回滚五段链路，MCP 只标准化了前两段，校验、执行抛错和回滚的责任仍归写 harness 的人。
能拿走五段链路归因表和 naive/guarded 双线台架，给工具调用逐段加拦截与回滚，落到软件工厂的 Agent 派单链路上；代价是超时只是预算不是确定性，全局 try/except 也换不来可定位。
这篇长文系统梳理 AI Agent 的持久化记忆体系，把用户记忆和共享知识库放在同一套技术栈下讨论。
能拿走四种记忆存储格式的取舍标准、BM25 与混合检索加跨编码器重排序的完整流水线，以及 Proposer/Reviewer 异源互审的知识更新流程；落到知识沉淀和本地模型部署两条线，代价是结构化索引和上下文前缀都要额外 LLM 调用。
TenseMem 在 GitHub 发布 0.1.0 alpha，为 AI 智能体提供嵌入式确定性记忆，默认存储是进程内单个 SQLite 文件，无需服务器。模型只提出类型化事实，由引擎按槽位决定当前值，每次读取返回 as_of_seq、pending、is_current 等新鲜度信息，并拒绝从自身输出中学习。
能拿走一套确定性记忆层做法，模型只提类型化事实、引擎按槽位裁决当前值并回报新鲜度，落到 Agent 长期记忆和知识沉淀；代价是需先注册谓词、抽取要用户原话引用，且仍是 0.1.0 alpha。
GoWind CMS 拆解其智能问数（NL2SQL）功能的四层护栏，核心文件是 core 服务的 ai_query_service.go（627 行，带测试），主链路为 LLM 生成 SQL、过护栏、只读事务执行、再让 LLM 生成结论。
能拿走四层护栏的具体实现，表白名单兼作数据字典、禁分号与注释、外层包 LIMIT 100、READ ONLY 事务加 30 秒超时，落到知识沉淀和本地模型部署的 NL2SQL 链路上，代价是黑名单仍有编码绕过，需靠白名单和租户谓词校验兜底。
作者通过抓包对比 Claude Code 2.1.303 和 2.1.304 的请求体，梳理出后台 Bash、后台 Agent、Monitor、Cron/ScheduleWakeup、Workflow 五种异步工具形态，并给出各自的调用方式、生命周期限制和选型表。
能拿走后台 Bash、TaskStop、输出落盘、deadline 四件套和按 prompt cache TTL 设计唤醒间隔的做法，落到软件工厂的派单流程；代价是任务管理、缓存 miss 和子代理独立上下文都要额外付 token。
作者用 Node 和官方 TypeScript SDK 写离线 MCP 服务器 cn-dev-mcp 时发现，stdio 传输下 stdout 只能输出一行一个 JSON-RPC，不带换行的日志会和下一条消息拼成一行导致解析失败，客户端 5 秒后超时而服务器本身不报错。
能拿走 stdout 守门测试和日志全走 stderr 的规则，落到本地 MCP 服务器部署这条线；代价是依赖库如 dotenv 17 默认往 stdout 打字，加依赖后得重跑测试。
Context Hub 发布本地 Agent 资产库，把 MCP server、技能、提示词和插件包集中存一份，再按 Claude Code 和 Codex 各自的格式投递到 .mcp.json、config.toml 和技能目录。
可借鉴 JSONC/TOML 逐节点文本区间编辑、注释标记幂等投递、上游哈希加本地目录哈希双判更新三条做法，落到本地模型部署与知识沉淀线，代价是要为两种格式各写一套编辑器并覆盖注释、尾逗号等边界测试。
文章指出 prefix caching 只优化 prefill 不影响 decode，收益集中在 TTFT，多 agent 共享 system prompt 和工具定义时命中率接近零的根因是前缀没对齐。
能拿走一套 prompt 拼装顺序和 stable_json 固定序列化写法，把多 agent 共享前缀的命中率从接近零拉起来；代价是要改字符串拼装规范，且容量不足时缓存反而互相淘汰。
得物技术总结在华为昇腾 910C 上优化 Qwen3.5-35B-A3B 在线推理的实践，仅靠镜像版本升级与参数调优，c=1 的 TPOT 从基线 14.22ms 降至 7.8ms，下降 45.1%。
能拿走一整套昇腾 910C 上 vllm-ascend 的调参清单，含 HCCL_OP_EXPANSION_MODE=AIV、静态 kernel、PYTORCH_NPU_ALLOC_CONF 与 jemalloc 的具体值，可直接换掉现有在线推理部署配置；代价是多数收益绑定 0.23.0 版本与 Qwen3.5-35B-A3B 结构，且需逐模型实测，文中还列了十余项负向尝试。
作者逐段拆解 Grok Bot 团队 Lauren 的分享，她借助 AI Coding 在一个月内把 2000 个 PR 合进主干，并称这是对 Agent 信任度提升后自然产生的结果。
可拿走 ControlGlass 验证技能加功能地图、Dune 导入依赖图禁注释、五层信任金字塔三件套，落到软件工厂的 Agent 派单与验收环节，前提是先有可打分的性能指标和团队资深工程师写技能。
文章梳理 LLM 应用写完就读却读到旧数据的四类场景，并给出五种工程解法。场景覆盖主从复制延迟、向量库索引未建好、Agent Memory 写入后不可见和 stream 中途 prompt 竞态；解法包括写后读路由、向量库 wait=True 加版本轮询、上下文注入、Fencing Token 和事件驱动门控。
能拿走五种写后读一致性解法及选型决策树，落到 RAG 知识库和 Multi-Agent 共享 Memory 两条线，代价是主库读压力、Token 开销和额外 10-25ms 延迟。
作者针对多 Agent 批量上线后 429 限流雪崩与 Token 账单翻 5 倍的问题，给出一套纯 Python 标准库实现的大模型网关核心代码，包含向量语义缓存、RPM+TPM 双桶限流和三态熔断降级路由。
能拿走语义缓存阈值0.85、RPM+TPM双桶预扣、三态熔断三段代码，落到本地模型部署与软件工厂的网关层；代价是向量用字符n-gram散列近似，相似度阈值和Token预估倍数要按业务调。
Twine 发布面向编码智能体的 macOS 协作工作台，用受控工作流、可视化轨迹和跨 agent 记忆把多个 agent 串起来。
内置对抗、协调者等四种工作流和跨 agent 记忆，工作流存成 TOML 可进版本库复用；代价是仅限 macOS 26 与 Apple Silicon，且不建 worktree 或沙箱，并行 worker 的文件归属只是约定。