技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
545 条精选近 30 天 539 条共收录 2,452 条
GPUStack 团队在 DGX Spark（GB10、aarch64、121GB 统一内存）上部署了 Qwen-Image-2.1，通过 GPUStack 网关对外提供 OpenAI 兼容的文生图、图改图、RGBA 透明底和 LoRA 四项能力，硬件零改动。
能拿走一套 ARM 上跑 vLLM-Omni 镜像的排查顺序和只新增不替换的依赖锁法，落到本地模型部署这条线；代价是要自己写几十行参数翻译层，且 LoRA 只验了加载链路。
作者用 80 行纯标准库 Python 复现了主动性 Agent 的 Fast/Slow Path 两级过滤，6 条模拟事件中 3 条在程序层被零模型成本滤掉、1 条被语义层拒绝，仅 2 条进入派发。
能拿走 Fast/Slow Path 两级过滤的 80 行纯标准库模拟器和 observe/auto 双模式灰度，落到软件工厂的事件准入环节，代价是 Slow Path 用关键词替身，误报压力全转到提示词质量上。
文章拆解 AI Agent 的 SSE 链路跑通后仍会在后台持续消耗的三处契约错配，分别是 Starlette 0.49.1+ 快速路径假设 send() 在断开时抛 OSError 而 uvicorn 直接 return、异步生成器 running 状态下并发 aclose() 抛 RuntimeError 被 except Exception 吞掉、fetch-event-source 2.0.1 对 204 持续重试却把 clean close 当流结束。修复上给出无条件走 task-group 与 listen_for_disconnect 的 CancellableStreamingResponse、清理放 finally 且不在 finally 里 yield、onopen 识别 204 抛 FatalError 并自行实现递增退避。续传部分要求回放分支两条出口都补发带可解析 id 的 done，优雅关闭需在 lifespan 中尽早广播 sentinel 并调小 timeout_graceful_shutdown，幂等键要加 user_id 维度。作者给出验证方法，在生成器 yield 处打日志后中途关闭标签页，看服务端是否继续输出。
能拿走三处契约错配的具体修法，包括无条件走 task-group 的 CancellableStreamingResponse、finally 里不 yield 只重抛、204 抛 FatalError 并自算退避；落到 Agent 服务端 SSE 长连接这条线，代价是要按自己 uvicorn 小版本用日志实测，不能直接套结论。
作者在「推理 INFRA 方法论」系列第 2 篇中把集合通信拆成步数、启动时延 α 和每卡字节数，给出 T=步数×α+每卡字节/busBW 的时延模型，并结合 H20 8 卡 4 NIC 的 NUMA 与 PCIe 拓扑解释实测差异。
能拿走集合通信的时延模型 T=步数×α+每卡字节/busBW 和分层 AllReduce 做法，用于排查跨机推理通信瓶颈；前提是拿到目标机器的 GPU-NIC 亲和矩阵和实测 α、busBW，模型值只能定位问题。
这篇教程按权重、KV、激活和通信预算推演 Attention 与 MoE 的并行组合，给出 TP、DP、EP、CP、PP 的选型判据。核心结论是 GQA 可沿头维切 KV 直接走 TP，MLA 的 KV 全头共享只能复制、必须走 DP；EP 的通信优势来自 EP 域大于 top-k，k=8 时 EP8 与 MoE-TP 持平、EP32 省 4 倍。
能拿走一套按模型结构选并行维度的判据，GQA 走 TP、MLA 必走 DP、卡多上 EP、长上下文用 CP/DCP，代价是结论绑定 DeepSeek V3 口径与 H20 实测，换模型或换卡要重算显存和通信预算。
八月蝉在「推理 INFRA 方法论」系列第 1 篇里，用 Roofline 模型把 GPU 计算拆成算力 F 与带宽 BW 两条上限，给出 T ≥ max(W/F, Q/BW) 的时延预算和 I 与转折点 R 的判瓶颈流程。
能拿走一套 Roofline 判瓶颈流程和 H20 实测数字，用来给 decode 权重 GEMM 定 batch 饱和点、给 attention 判该不该融合；前提是接受 Q 按实际 HBM 往返算、带宽只打八五折，小形状上固定开销会盖过理论值。
这篇 MoE 推理方法论沿 batch 主线拆解专家覆盖率、all2all 通信量、tile 填充和负载倾斜，并用 Qwen3.5-397B-A17B-FP8 在 8×H20 上实测校验理论预算。
能拿走 B*≈Ridge·W_total·bpp/(2·N_active) 的拐点估算、DeepGEMM 静态 buffer 加 masked_m 动态行数、DeepEP hook 把通信变 max 的做法，落到本地模型部署的容量规划上；前提是跨机大 EP 场景，机内 NVLink 只能藏住 20–27% 通信。
作者在系列第 4 篇中给自研 K8s Operator KubeSentry 加上分级自愈引擎，按过载型、局部故障、版本级故障三类信号分别从 L1 扩容、L2 摘除、L3 回滚起步，再按观察窗逐级升级。
能拿走故障三分类起点映射、五条状态机规则和改 App.Spec.Image 而非 Deployment 的回滚写法，落到本地模型部署的运维线上；代价是要先有 Operator 和 Prometheus 指标，且 revisionHistoryLimit 为 0 时回滚无目标。
作者用同一个 Java 订单金额计算修 bug 任务，在 Claude Code 2.1.299 上跑 6 种设置并用 10 个隐藏用例验收，花费从 Opus 5.5 medium 的 0.694 美元降到 Haiku 5.5 的 0.021 美元，6 组全部 10/10 通过。
同一 Java 修 bug 任务跑 6 组设置，给出 --model、--effort、--safe-mode、FORCE_PROMPT_CACHING_5M 的具体命令和 token 拆账，能直接换掉现在默认 Opus medium 跑小任务的配置；代价是每组只跑一次、任务偏小，数字只能看量级。
开发者 vinijack 以 MIT 协议开源 OpenSelect，这是一个用 Bun + TypeScript 写的本机守护服务，把多个 opencode-go 账号和 Z.ai、MiniMax、Command Code、Ollama Cloud、DeepSeek 官方等订阅池化，在 Claude Code 和 opencode 里实现首字节前无感换号重试。
能拿走多账号池化加首字节前换号重试的做法，把 17 个 opencode-go 账号和多家订阅串成 Claude Code 的本地高可用入口，代价是要自己维护账号凭据和 97% 阈值调参。
作者把单循环 Agent 重构为规划、执行、校验三段式 Super-Agent 架构，同一竞品动态任务平均耗时从 47.3 秒降到 14.8 秒，成功率从 6/10 升到 9/10。
能拿走规划器 Pydantic 约束 DAG、asyncio 信号量并发执行、校验器增量重跑三段代码，替换单循环 Agent 串行调工具的做法，代价是要多一次规划与校验的 LLM 调用，且工具描述必须写细否则误用。
T3 Code 是一个 agent harness control surface，在桌面、Web 和移动客户端上控制开发机上的 Codex、Claude Code 等 coding agent，自身不重新实现这些运行时。
能拿走的是把命令收据、事件日志、投影和副作用 outbox 放进同一 SQLite 事务、外部动作交给 EffectWorker 的拆分方式，可换掉现在单进程里发完消息就当作已执行的做法；代价是要自己处理幂等标识、重放边界和 WAL 断电回退。
作者复盘一次 Claude Code 会话因消息 930665 token 加 128000 输出预留超过 deepseek-v4-pro 的 1048576 上限而全部请求报 400 的事故，指出 /compact 需先发全量记录所以同样失败。
能拿走一套上下文超限的抢救顺序和两个 settings.json 配置，落到本地模型部署与软件工厂的长任务会话上；前提是接受输出预留从 128K 降到 64K，且 env 改动必须重启进程才生效。
作者给出一套在 TS 层自研的前端 Agent 编排引擎实现，覆盖 ReAct 图执行、工具注册、流式事件协议与生成式 UI。核心设计包括 AG-UI 风格事件类型、带 zod 校验和风险分级的 ToolRegistry、云端 deepseek-reasoner 与端侧 Qwen1.5-0.5B 混合规划，以及基于 IndexedDB 的检查点恢复。
能拿走一套 TS 自研前端 Agent 编排骨架，含事件协议、ToolRegistry 带 zod 校验与高危中断、ReAct 图与检查点，可落到软件工厂的智能后台和浏览器自动化；代价是 Planner 流式解析与恢复逻辑要自己补全。
「不用框架，手搓 AI Agent」系列第七篇给出工具报错后的自救与熔断实现，代码接在第六篇 Plan Mode 工程上，新增 src/context/recovery.ts 和 src/tool-runner.ts 并改 bash.ts、agent.ts 共 4 处。
能拿走错误分类表、调用指纹哈希和 3/6 双账本熔断的具体实现，接到手搓 Agent 的工具循环里，代价是 edit_file 报错文案与分类正则强耦合，改措辞要同步改规则。
文章以 DeepSeek《Super-agent 设计探索》的 Router/Worker 双层架构为蓝本，讲如何用事件驱动把任务起点从人身上移开，解决人只能同时跟进 3 到 5 个会话的注意力瓶颈。
能拿走两级过滤加路由表的事件调度骨架，代码可直接跑，落到软件工厂的告警、CI、日报自动化上；代价是慢路径语义判断要接真模型，且需自建事件中台和决策卡片。
作者复盘 AI 备课链路中 LLM 输出格式合法但业务不可用的问题，把失败拆成序列化、结构、业务三层，分别走定向重试、Schema 校验和局部重生成。文中给出 Pydantic 契约校验代码与多智能体状态机 YAML 配置，只回退出错节点而不重跑全链路。
能拿走三层失败分类、Pydantic 契约校验和状态机局部回退配置，落到软件工厂的生成链路；代价是业务层偏差仍需人工复核，并发上限得靠压测找质量拐点。
Hugging Face 发布 transformers-mic，提出模型集成契约（MIC）标准，把真实 checkpoint 缩成小 fixture 并在 CPU 上跑固定用法路径，与人工审核过的基线比对。
可照搬的是一套缩小真实 checkpoint 做 CPU 快速集成测试的配方，含四步缩模型、冻结基线、按改动文件选测试，代价是基线需人工审核且目前不阻塞 PR。
作者在干净的 Ubuntu 22.04 上从零实测 DeepSeek Harness 0.2.1-rc.5，用 npx 或全局 npm 两条命令装好，让它写 Markdown 表格转 CSV 工具，1 轮 11 步产出 5 个文件、+678 行、合计 632 行代码，3 个测试 328 ms 全绿。
能拿走 Node 22 门槛、npm 11 需 --allow-scripts 放行原生模块、headless 只认环境变量 Key 这三个坑，落到本地模型部署和软件工厂的 CI 环节，代价是预览版会有破坏性变更。
作者在 x86-64 + CUDA 后端上为 Qwen3.5-27B 的 MTP 投机草稿头完成 CPU 侧适配，梳理出 15 个张量（另 2 个与主模型共享）和 stem 加 1 层 full attention 加 1 层 FFN 的结构，模块级对拍 11 阶段 × 5 token 全部 PASS，max_rel 在 1.5e-6 到 3.4e-6。
能拿走 MTP 头 15 张量清单、stem 接线和四个写反也跑得动的口径点，落到本地模型部署的投机解码线上；代价是没有官方 oracle，基准得自己造，且只能证单侧笔误。