技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
545 条精选近 30 天 539 条共收录 2,452 条
WeWorker 作者复盘浏览器 Agent 的像素派与工具派两条路线，说明团队在真实站点跑一个月后因失败不可诊断、改版耐受度低、每步都过模型导致成本高而选择工具派。
可拿走 Adapter 契约加注册中心、manifest 内嵌 requires_confirmation 的写操作安全设计，以及探索 agent 生成只读工具草稿再验证上架的流程，落到本地工具接入和 Agent 派单线；代价是每站首次接入成本高，动态渲染和反自动化站点仍需人工写。
作者在百万 token 上下文可用后实测把中型前端仓库整包塞入让模型改代码，结果模型调用了不存在的 store 方法并改错方向，于是改为向量检索先压到十个片段、再让长窗口做跨文件交叉比对、最后要求三百字内给结论。作者还发现把工具 schema 从对话中段挪到系统段首位后，模型无视工具说明的问题消失，并把系统提示词从一千多字删到不足四百字，只保留任务边界、输出格式和硬性禁止三类内容。
可拿走三段链路（向量检索压到十个片段、长窗口交叉比对、三百字内出结论）和把工具 schema 挪到系统段首位、示例放用户消息末轮的做法，落到软件工厂的代码修改流程；前提是先有可观测性区分没检索到和看到了没采纳。
作者拆解 DeepSeek Harness 团队 10 月底开源的 Super-agent 架构，核心是把单会话 Agent 改成 Router 调度层加 Worker 执行层的常驻系统，Router 只做路由不配执行工具，Worker 隔离并发。
能拿走 Router-Worker 双层配置、AGENTS.md 规则和 Worker 知识库 Schema 三段模板，落到知识沉淀与本地部署线；前提是先把高频知识结构化沉淀，任务复用率低时这套账算不过来。
作者在系列第 9 篇中给出生产 Agent 的三层安全做法，把提示注入、工具越权和执行隔离分开处理。具体包括用带 untrusted 标签的块包裹 RAG 与工具返回内容、服务端 TOOL_ROLES 白名单加 Zod 参数校验、身份只读 RequestContext 并把租户条件写进查询、写操作走 HITL 与幂等键，以及用受限沙箱执行 Shell 和代码。
能拿走一套可落地的 Agent 安全骨架，含不可信内容标签包裹、TOOL_ROLES 白名单、Zod 参数校验、租户条件进 SQL、沙箱策略接口和注入回归用例；代价是权限表与沙箱隔离都得在应用层和运行时自己实现，Prompt 层只能降概率。
三位独立研究者汇总截至 2026 年 10 月 5 日可核实的 9B–20B 开源模型在 vLLM/SGLang 上的量化公开实测，发现所有计时都符合内存带宽与计算的 roofline 规则：batch 1 时 INT4 提速 1.35–2.12 倍，batch 256 时 W4A16 仅 1.02 倍，FP8 仍有 1.68 倍。
能拿走的是 roofline 判断法加 7 条量化报告清单，用来定小 batch 选 W4A16、大 batch 选 FP8 的配方；代价是证据来自不同引擎版本，只能组内比较。
AgentSight 发布本地优先的 AI 智能体可观测工具，用 eBPF 和 TLS 流量追踪把提示词、模型调用、工具决策与进程、文件、网络活动关联起来，无需 SDK、代理或厂商集成即可监控 Claude Code、Codex、Gemini CLI 等闭源 CLI。
能拿 eBPF 加 TLS 抓包把提示词、模型调用和子进程、文件、网络动作串成一条时间线，换掉只靠应用层日志排障的做法；代价是要 Linux 内核 4.1+ 和 sudo，闭源 CLI 静态链接 SSL 时还得手动指定 binary-path。
腾讯发布新一代大语言模型 Hy4，称其已进入全球领先开源模型行列，模型权重和系统卡将在未来几天放出。Hy4 首次引入视觉理解与 computer-use 能力，可操作命令行和图形界面，并针对 Blender、CAD 等专业软件做了专项训练，在指令遵循、长上下文和长程智能体任务上有明显提升。
Hy4 首次加入视觉理解与 computer-use，并在 Blender、CAD、UE/Unity/Godot 上做专项训练，可接到视频产线和本地模型部署两条线；权重和系统卡要等几天后才放出，现在只能走 API 或腾讯云。
Microsoft Research 联合 GitHub Next 发布研究原型 PDD Kit，把用户意图转成 Verus 形式规约，证明智能体写的代码对每个输入都满足规约，证明覆盖不到的部分退回测试。
能拿走的是把意图先写成 Verus 形式规约、再让 agent 写证明并用变异检查防弱规约的流程，可接到软件工厂的代码审查环节，代价是只支持 Rust 且证明本身仍要投入。
Mistral 发布 Mistral Large 4（Le Chonk），主打编码、防御性网络安全和复杂文档推理，同时扩展企业平台 Mistral Studio，新增托管 agent、应用、workflow 事件触发与可视化图、企业上下文、agent 可观测性和评测。
可借鉴其托管 agent 的 skills、沙箱、子 agent 与 hooks 分层，以及 workflow 断点续跑和可视化图；前提是已有企业数据连接器和 MCP server，代价是绑定 Studio 运行时。
Call4Agents 0.6 发布，为 Python 智能体中发邮件、付款、写库等有副作用的动作提供崩溃重试下的一次性执行保证，可接入 LangGraph、Pydantic AI、OpenAI Agents SDK、MCP 或纯 Python，不替换原有框架。
给已有 agent 的副作用工具加一层 SQLite 运行记录，用参数哈希做审批绑定和幂等键，能直接换掉崩溃重试就重复发邮件付款的流程，代价是每个动作要自己装饰、参数需稳定文本形式。
Rivet 发布面向智能体负载的编排器，用 actor 模型把每个 agent 做成一个由 S3 支撑的轻量 Rivet Actor，而非独立沙箱。官方数据为每个 Actor 72 KB、p99 冷启动 4.99 ms，SQLite 落在 S3 上 p99 写入 1.07 ms、读取 1.36 ms，空闲时休眠不计费。
每个 agent 换成一个 72 KB 的 Rivet Actor 共享进程，S3 当唯一依赖，能替掉每 agent 一个沙箱的部署方式；代价是 Actor 跑在共享进程里，不可信代码得另走 agentOS。
NVIDIA 开源的 Auto Ontology 在 Agent 与数据库之间加一层上下文层，先从元数据自动抽取业务术语、SQL 属性和表间关系，经人工测试认证后再让 Agent 基于这些定义写 SQL 并校验，候选覆盖度不足时明确回答答不了。
能拿走的是「生成术语与 SQL 属性、人工认证、Agent 检索后校验」这套流程和 MCP 只读接口清单，可接到企业数据问答线上；代价是摄取接口无认证、默认密码要改，且 SQL 仍由模型生成。
文章解释 KIMI K3 混合注意力中的 KDA 把历史压成固定 recurrent state 和 convolution state，使 Prefix Cache 与 KV Cache 不再等价，恢复点必须是 MLA KV 与两类状态都齐全的共同边界。
能拿走 SGLang 与 vLLM 对 KDA 状态缓存的具体源码入口和函数名，落到本地模型部署这条线，前提是接受 checkpoint 密度换显存与重算的取舍，且 INT8 checkpoint 并非默认开启。
Ergon 开源一套 AI 智能体搭建工具包，包含 Python SDK 引擎和拖拽式可视化 Studio，Studio 在画布上设计的 harness 可导出为 Python 代码，也能通过 SDK 的 bridge 无头运行。
能拿走一套 Python SDK 加可视化画布生成代码的 agent 搭建方式，画布导出的 harness 可 headless 跑，代价是 SDK 与 Studio 两套工具链要分别装，靠 bootstrap 脚本统一。
作者给出在 RK3588 上排查模型算子静默回退到 CPU 的完整方法：rknn_init 必须带 RKNN_FLAG_COLLECT_PERF_MASK（值 8）。
能拿走 RKNN_FLAG_COLLECT_PERF_MASK 加 rknn_query 读逐算子账本、按 CPU 时间占比判回退的口径，落到本地模型部署线；代价是 init 漏标志会静默返回空，单次延迟还会虚高约 15%。
程语AI 在 pgvector + bge-m3 环境下实测 HyDE 与多 query 改写两种 RAG 查询扩展方案，给出提示词、RRF 融合代码和分类型评测。
能拿走 HyDE 与多 query 的提示词、RRF 融合代码和分类型评测表，落到知识沉淀的检索链路上；代价是每次扩展多一次 LLM 调用和几路检索延迟，且假设答案不能当事实上下文。
作者复盘 Java 诊断探针的超时缺陷：同一份代码两轮评测从 11/14 通过掉到 0/9，8 次中断耗时挤在 303–313 秒，根因是 future.get(300s) 量的是总时长而非静默时长。
能拿走双尺子看门狗（idle 60s 滑动续期 + total 600s 封顶）、降上下文重试和失败轮记账的具体源码，替换掉单把总时长闹钟的流式调用；代价是 LangChain4j 流式接口返回 void 拿不到取消句柄，只能靠作废标志隔离，服务端计费止不住。
Munk AI 作者用 19 天让多 Agent 团队全权接管开源桌面比对工具 OpenCompare，受理 213 个需求、交付上线 212 个，产出 22.7 万行代码、544 次 Git 提交和 24 个版本（v0.1.0 到 v0.2.23）。
能拿走的是 24 个 Agent 角色的分工边界与值班排班，以及 Open Company 模版可直接 Fork 复用；落到软件工厂这条线，代价是 61.3 亿 Token 和 19 天连续值守。
作者在 2 vCPU / 1.8 GiB 的阿里云 ECS 上只亲手做了两件事，装 DeepSeek Harness 和开通 RAM 子账号，其余建库、部署项目、开二级域名、扩证书、排查故障都交给 Agent 执行。
能拿走一套人机分工模板，人只装 DSH 和开 RAM 子账号，其余建库、开二级域名、扩证书、排障交给 Agent；代价是要自己定授权范围和密钥轮换，写操作还得人工点头。
这篇 Codex 源码剖析（commit d58d0e5841）拆解了执行引擎与沙箱层，指出 Codex 不用 Docker 或虚拟机，而是直接调用 macOS sandbox-exec、Linux Seccomp-BPF 加 Landlock、Windows CreateRestrictedToken 做内核级隔离。
能拿走双端截断的 response_clipped 标签、AST 锚点补丁语法和四级模糊寻址，替换现在全文件重写和行号 diff 的改码流程；代价是要自己实现补丁解析与 tree-sitter 拦截，沙箱部分还得逐平台适配内核机制。