技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
545 条精选近 30 天 539 条共收录 2,452 条
作者开源了一条从 LLM 选题、剧本、主体确认、分格生图到微信公众号草稿箱的 Web 流水线，MIT 协议，clone 后三条命令即可跑起来。项目用 Next.js 15 加 Prisma 7 和嵌入式 SQLite，约 3.4 万行、201 个单测全绿，核心业务放在不依赖框架的 pipeline 纯函数层。
能拿走 pipeline 纯函数加 route 薄壳的分层、按格动态拼参考图、文件名版本化与进程内串行写链，落到小说创作和视频产线；代价是单进程锁不能横向扩展，生图协议要按网关方言另写通路。
DeepSeek 开源了支撑 V4.1 Flash 的生产推理引擎 DeepInfer，并公布单集群日均 155 万亿 token、96% 输入缓存命中、首 token 平均 400ms、生成 230 token/s（编码场景 300 token/s）等生产数据。
能拿走的是分阶段部署形状和缓存分层做法，prefill 用八卡机、decode 用 64–128 卡超节点，KV 前缀放 3FS 共享存储让路由不再绑缓存亲和；代价是 KV 管理和负载均衡未开源，得自己补。
Hugging Face 开源 Agent Manager，一个跑在 Docker Space 里的私有云管理器，可在浏览器中同时运行 Claude Code、Codex、Gemini CLI、opencode、Hermes、OpenClaw 和 fx 等编码 CLI 会话。
把 Claude Code、Codex 等 CLI 会话收进一个私有 Docker Space，挂 /data 桶保住登录和文件，代价是 Space 休眠即断进程、应用本身无登录鉴权。
米小虾在 Agent 开发入门系列第 8 篇中提出护栏应分三层：上下文层控制模型能看到什么，执行层控制模型能做什么，数据层控制世界最终能变成什么样，并辅以人工干预。
能拿走三层护栏的分工清单和工具风险四维评级，落到 Agent 工具调用与凭证管理上；代价是数据层要人工设计评审，三层叠加抬高延迟。
一篇 Java 实战教程用 Spring Boot + Reactor + AgentScope Java + Spring AI 实现 orchestrator-workers 多智能体编排，把一次请求拆成规划、扇出、并行执行、收敛四幕。
能拿走 orchestrator-workers 四幕骨架和五维隔离的具体做法，包括一次性 scopeKey 当 userId、浏览器只读白名单、Flux.using 管生命周期，落到软件工厂的多 agent 派单流程；代价是 token 成倍放大且缺持久化与预算熔断。
文章分析 2026 年一线团队把 Agent 工具接入重心从 MCP 协议封装回摆到 CLI 命令执行的原因，指出大厂并未抛弃 MCP 而是在重新分层。
能拿走的是 CLI 优先、MCP 兜底的接入分层和 --json 输出、exit code 语义、--help 当文档这几条工具设计规则，可落到软件工厂的 Agent 工具链上，代价是自由生成 shell 命令要另加白名单与沙箱护栏。
Unterm 发布跨平台纯 Rust 终端，把终端本身做成可被外部 AI agent 通过 MCP 驱动的接口，提供 152 个需鉴权的 JSON-RPC 方法，可创建 shell、执行命令、读取窗格状态、截图和录制会话。
能拿走的是把终端做成 MCP 可控面这套做法，152 个方法加 NATO 实例发现文件，让外部 agent 直接驱动窗口；落到本地多 agent 编排这条线，代价是要接受终端内不做 AI 生成、配置全走浏览器。
AWS 与 Keyfactor 工程团队联合发布参考架构，用 X.509 PKI 为多智能体系统补上 MCP 缺失的身份认证。方案分用户认证、智能体间、MCP 工具服务三层，靠签名信封、用户签名的委托断言、RFC 8693 降权 token 和实时 OCSP 吊销四项机制串联，私钥在客户端本地生成、EJBCA 只签发证书。
能拿走三层认证加签名信封、委托断言、RFC 8693 降权 token、OCSP 吊销四件套的完整代码，落到多智能体工具调用的身份链路上，代价是要自建 EJBCA 和 Keycloak 并处理 OCSP 可用性。
AWS 发布教程，演示编排器如何通过 AWS Agent Registry 在运行时按语义搜索发现 MCP 服务器和 A2A 智能体，再按请求临时组装内层 agent 执行。
能拿走 Discover→Instantiate→Execute 循环和按请求临时组装内层 agent 的写法，替换把工具硬编码进编排器的做法，代价是每轮多一次 Registry 检索，且凭证仍需另走 Cognito 和 Secrets Manager。
AWS 在 Amazon SageMaker HyperPod 上用 LoRA 微调 GPT-OSS-20B，SFT 把推理语言正确率从 22% 提到 100%，再叠加 GRPO 把答案语言正确率从 62% 提到 70%。
能拿走 SFT 与 GRPO 的分工判据和 LoRA r=8/α=16 配置，落到本地模型部署与训练流水线；前提是先测出 pass@k 与 pass@1 的差距，没有余量时 GRPO 白烧 GPU。
Tenbri 发布开源 Apache-2.0 工具，为 AI 智能体生成签名的只追加决策记录，记录谁在什么规则和输入下做了什么、谁批准、结果如何，任何人可用一个指纹离线验证。
可把 Claude、OpenAI、LangGraph 智能体的每次工具调用签成只追加的决策记录，落到软件工厂的审计与事故复盘线；代价是需自管存储与密钥指纹，0.1.0-beta.5 仍有大量功能在路线图上。
Meta 工程团队发文介绍其数据管道智能体采用的薄编排器架构，用约1300行代码把20多条工作流路由到14个专家子智能体，编排层自身不做任何领域推理。此前单个全能智能体在生产环境中出现概念串扰和幻觉，改为确定性路由加隔离上下文的专家分工后，新增列配置的准备时间从手工三到四天降到一小时以内，约三分之二的改动无需大量人工修改。
可拿走薄编排器加14个专家子智能体的分层做法，7步固定协议里只有委派一步走LLM，落到软件工厂能替换单agent串行派活，代价是要先拆清领域边界并维护25+知识文件。
Lexifina 给 Agent 接入覆盖全所事务、文档、条款、客户、法条和工时的知识图谱后，五个全所级问题的回答时间减少 73%、输入 token 减少 92%、模型调用减少 66%，准确率从 99% 升到 100%。
可拿走规则优先、只把规则读不出的句子送小模型并缓存答案的建图流程，落到知识沉淀和 Agent 检索上，代价是每类数据源要写适配器、规则要长期维护、每次记录变更都要重建。
Headroom 是一款本地运行的 LLM 代理与库，在数据送入 LLM 前做可逆压缩，官方称编码代理可减少 20% Token 消耗，JSON 类数据压缩率达 60-95%。
可借鉴其分层压缩思路，用 CacheAligner 保缓存、ContentRouter 分流、AST 压缩代码，落到本地模型部署和软件工厂降 token；代价是压缩器需按数据类型调，AST 压缩可能丢代码细节。
HeyGen 开源 HTML 转视频框架 HyperFrames，把视频合成写成普通 HTML 文件，用 data-start、data-duration、data-track-index 标注时间和轨道，动画用 GSAP 等可 seek 库编写，渲染时无头 Chrome 逐帧截图再由 FFmpeg 编码，同样输入得到同样帧。
视频源码改成纯 HTML 加 data-* 时间轨道，动画用可 seek 的 GSAP 时间线，无头 Chrome 逐帧截图再 FFmpeg 编码，能接进视频产线的 CI 回归；代价是需 Node.js 22+ 和 FFmpeg，且 387 个未关闭 Issue 要先对照自己场景。
VAST 开源实时生成式渲染器 EdenLive，同时放出 5B、14B 模型权重（各含双向生成与少步流式生成两个版本）、实时流式推理代码、EdenGolem v0.1 和前端工作台，并公开技术报告。
能拿走 5B/14B 权重、流式推理代码和 EdenGolem skill，把交互状态与画面渲染拆开，接进游戏灰盒或具身数据增强流程；代价是要自备上游交互系统维护规则，长时复杂交互尚未验证。
Visokio 团队用 Claude Code 在一周内搭出一套 AI 编辑部，每周自动生成一小时播客，9 月 4 日开工后 7 天产生 168 次提交、约 6500 行代码。
可拿走一套多智能体编辑部架构：编辑用 Opus 打分留痕、研究员用 Sonnet 只摘不评、抄写员用无工具小模型把网页转成事实记录，配合 --restricted 与支出上限防注入和失控；代价是每期约 30 美元 API 成本与大量调音工作。
Reticle 开源了一套验证工具，在应用内注入 dev-only SDK，让 Claude Code、Cursor、Codex 等 MCP agent 通过工具驱动真实运行的应用，读取网络响应、store 状态和 console，返回 pass、fail 或 cannot tell 的判定并附 file:line。
把验证做成 MCP 工具塞进 agent 循环，用 dev-only SDK 读网络、store 和 console 出 pass/fail/unknown 判定并给 file:line，可接进软件工厂的 CI gate；代价是要改构建配置、重启 dev server，且看不到 IndexedDB 和 Web Worker。
作者开源 rtk-pipeline-laya-delegate 流水线，用本地 Laya 分类器给任务打上 bug、setup、write、data 标签，在 write 和 data 任务上拦截智能体的首次搜索或读文件，改派 Haiku 的 Explore 子智能体去查，并对超过 350 行的整文件读取用 Haiku 摘要代替。
能拿走一套 RTK pipeline 配置，按任务类型把探查交给 Haiku 子智能体并压缩输出，落到软件工厂的派单流程；前提是本地跑 Laya 分类器并备 Anthropic key，短 bug 任务反而涨 80% 成本。
Google 在 PyTorch Conference 上发布 llm-d 1.0，这是与 Red Hat、IBM 等共同发起的 Kubernetes 原生分布式 LLM 推理开源栈，已有 25 个以上组织的 500 多名贡献者参与。
可先在自己 vLLM 部署前加前缀感知路由，再逐步加流控、KV cache 卸载和 prefill/decode 拆分；代价是要有 Kubernetes 集群和 TPU/GPU 混合池，组件需自行拼装调优。