跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

545 条精选近 30 天 539 条共收录 2,452 条

更新

精选归档 · 第 4 页

11月5日周四第 61–80 条
  1. 掘金72

    得物技术总结多 Agent 架构三次反转:从 Master Agent 调度到任务看板与 Advisor

    得物技术把多 Agent 协作归纳为三种架构,控制权依次从中心节点下沉到共享状态、再到执行 Agent 自己。Master Agent 负责拆解与路由但易变成超级 Agent,任务看板用 PENDING 到 SUCCEEDED 的状态机加租约实现并行与故障接手,Advisor 只在高风险判断时提供第二意见。

    借鉴点

    能拿走按上下文边界而非职业标签切 Agent、看板任务状态机加租约回收、Advisor 只给第二意见三条做法,落到软件工厂的多 Agent 编排线,代价是要自己实现锁、幂等和超时回退。

  2. 掘金88

    Agent 上下文管理实现详解:从窗口工程到长期记忆

    这篇工程综述把 Agent 上下文管理拆成 Write、Select、Compress、Isolate 四类策略,并逐项对照 Claude Code、Cline、Aider、LangGraph、OpenAI Responses API 的落地做法。

    借鉴点

    能拿走 Write/Select/Compress/Isolate 四策略和工具结果截断、固定前缀顺序等具体阈值,落到软件工厂的 Agent 上下文治理;代价是阈值需按自家任务和窗口实测,且多为二手归纳。

  3. Hacker News · 首页74

    Gauge 开源 CLI 发布,用真实编码 agent 递归改进文档与 Skill

    Gauge 发布开源 CLI,让编码 agent 反复跑真实任务、找出卡点、改完再测,用来改进 Skills、CLI、SDK、MCP 和文档对 agent 的可用性。

    借鉴点

    能拿走一套可复用的闭环,用 Docker 起真实编码 agent 跑任务、抓卡点、改完再跑同一 eval 对比批次;前提是 Node 22.13+、Docker 和 agent 凭证,本地模式只覆盖 Skills、SDK、CLI 和文件。

  4. Hacker News · AI 讨论71

    Mentat:用 MCP 把个人笔记共享给所有 AI 工具

    作者 benkelly 发布 Mentat,把个人笔记做成私有 git 仓库,通过 Cloudflare Worker 以 MCP 服务器形式提供给 Claude 和 OpenCode 读取,解决每次新对话都要重述背景的问题。

    借鉴点

    用 markdown 加 git 仓库存个人上下文,经 Cloudflare Worker 以 MCP 暴露给 Claude 和 OpenCode,写入只开 PR 并做路径与敏感信息校验,可接到知识沉淀线;代价是要自己部署 Worker 并维护 OAuth 与 CI。

  5. AWS Machine Learning Blog78

    AWS 详解 Deep Insight 生产级 AI 智能体的四层上下文工程

    AWS 以开源多智能体数据分析方案 Deep Insight 为参考实现,拆解生产级 AI 智能体的四层上下文工程:架构层用 Coordinator、Planner、Supervisor 与工具智能体各自独立上下文。

    借鉴点

    四层上下文工程可直接照搬,write_and_execute 工具把代码留在文件里省约 95% token,技能按需加载省约 97% 系统提示词,代价是要先搭多智能体分层和文件通信约定。

  6. AWS Machine Learning Blog58

    如何在 Amazon Bedrock AgentCore Evaluations 中接入 Jev 与 Strands Decider 决策模型

    AWS 官方博客演示如何通过 code-based evaluator 把 Jev 和 Strands Decider 2B 两个决策模型接入 Amazon Bedrock AgentCore Evaluations,把 OpenTelemetry span 转成决策模型请求,再把概率分布映射回评估结果。

    借鉴点

    能把决策模型包进 Lambda 注册成 code-based evaluator,用校准概率做阈值筛选,再让内置 LLM 评估器只跑低分轮次;代价是要自备标注样本验证阈值,Jev 还需 TypeSafe API key。

  7. Hacker News · AI 讨论71

    Atlas 发布 macOS 隐藏桌面,让 AI 智能体在独立账号里操作而不占用你的屏幕

    Atlas 发布一个 macOS 隐藏桌面方案,为 AI 智能体创建独立的第二个登录账号,智能体在其中打开应用、点击和输入,用户自己的屏幕、鼠标和键盘不受影响。

    借鉴点

    能在 Mac 上给 agent 开一个隐藏的独立登录桌面,用一条 curl 装完,把 Computer Use 的截图上下文从 232k 压到 36k;代价是它只是普通账号不是安全沙箱,Safari 和原生保存面板要接 Screen Sharing。

  8. Hacker News · AI 讨论75

    CXAgent 发布 .NET 终端多智能体编码工作台,支持 Ollama 与 Anthropic

    nickprotop 在 Show HN 发布 CXAgent,一个用 .NET 写的终端多智能体编码工作台,MIT 许可,可在 Linux、macOS、Windows 上运行,模型可选 Ollama、OpenAI 兼容端点或 Anthropic。

    借鉴点

    能拿走的是多智能体分工加固定顺序系统提示词的做法,每个 worker 独立上下文和 token 账本,可换掉单 agent 串行派活;代价是每轮重发历史、子智能体等于第二次完整跑,费用翻倍且无撤销。

  9. Hacker News · AI 讨论75

    Cleric 用多智能体架构把 agent 评测成本降低 100 倍

    Cleric 把原来基于 Claude Agent SDK 的单个调查 agent 拆成约 40 个按角色分工的松耦合 agent,由中心 investigator 编排,使单次评测成本从 0.54 美元降到 0.0052 美元、耗时从 137 秒降到 27 秒。

    借鉴点

    把单体调查 agent 拆成约 40 个按角色分工的松耦合 agent,每个角色独立选模型和 harness,eval 从端到端全流程改成单角色聚焦测试,单次成本从 0.54 美元降到 0.0052 美元;代价是编排、追踪、成本统计都要重做,agent 之间靠自然语言对话缺少契约约束。

  10. Hacker News · AI 讨论72

    Maki 发布高效编码 Agent,用 tree-sitter 索引和沙箱执行压缩上下文 token

    Maki 发布一款主打极省上下文 token 的编码 Agent,用 tree-sitter 解析代码生成文件骨架并标注每项起止行,作者称索引每轮多花 59 tok、读文件省 224 tok,净省 165 tok/turn。

    借鉴点

    可借鉴其上下文省 token 的三件套,tree-sitter 索引先探骨架再读文件、code_execution 在沙箱里过滤数据不进上下文、子任务按需选强弱模型;代价是要自己接 tree-sitter 和沙箱,省下的主要是读文件那 65% 的 token。

11月4日周三
  1. Hacker News · AI 讨论78

    SpaceApp 发布自托管工作区,可并行运行 16 个 AI 编码 CLI

    SpaceApp 发布自托管工作区,用一条 npx --yes run-spaceapp@latest install 命令在 Linux、macOS 或 Windows 11 上装好 Docker 栈,让 OpenCode、Codex、Claude Code、Gemini、Qwen、Kimi、Grok、DeepSeek 等 16 个编码 CLI 在各自账号下并行运行。

    借鉴点

    能拿走一条 npx 安装命令和 provider install、workspace add 的 CLI 用法,把 Claude Code、Codex、Gemini 等多个编码 CLI 塞进同一台机器的 Docker 房间并行跑;代价是 small 档要 4 核 7 GiB 内存,容器隔离不算安全边界,host-root 挂载会直接放开整台主机。

  2. Together AI Blog60

    Together AI 发布 Together Compiler,用 agent 持续编译优化推理

    Together AI 发布 Together Compiler(TKCC),用高吞吐 agent 针对不同流量形态持续生成推理优化,24 小时内在前沿开源模型上取得 1.3-3x 的 TPS 提升。

    借鉴点

    可借鉴的是持久化引擎加热重载候选前向、多 agent 消息板并行试错、快慢两级引擎权衡吞吐与保真度,能落到本地模型部署的推理调优;代价是要自建成本模型和引擎热重载能力。

  3. Hacker News · AI 讨论71

    Google Cloud 团队总结评估 Agent 技能的五条规则,避免技能撑爆上下文窗口

    Google Cloud 团队公开其评估 Agent 技能(SKILL.md)的五条工程规则,用于判断一个技能是否值得占用上下文 token。

    借鉴点

    五条规则可直接搬进 skill 评测流程,含 frontmatter 触发冲突检测、配对 WITH/WITHOUT 消融、评分维度正交防刷分;前提是得有容器沙箱和 CI,本地跑的数字不可信。

  4. Hacker News · AI 讨论71

    agent-roast 开源:检测编码智能体是否靠削弱测试让构建变绿

    Nariman Abdukarimov 开源 agent-roast,用确定性离线规则对比改动前后,抓出放宽断言、跳过或删除测试、下调覆盖率阈值、让 CI 步骤允许失败这类让红构建变绿的改动。

    借鉴点

    能拿走一套确定性离线检测规则,把断言放宽、跳过测试、降覆盖率阈值、CI 步骤允许失败这几类改动在 agent hook 和 PR 检查里拦下,接到软件工厂的提交前环节;代价是只读文本不读语义,约五分之一告警是误报,agent hook 还没在长时间真实会话里跑过。

  5. 掘金72

    老金带你玩AI 用两段提示词管住 Codex 反复改测烧 Token

    老金带你玩AI 复盘 Codex 反复改代码、反复跑测试导致 Token 大量消耗的问题,给出两段可直接粘贴的提示词。第一段让 Codex 先暂停并只读已有记录,分清已知与未知,只提一个有理由的下一步动作;第二段限定只改本次相关问题、先找同一根因、每轮复查受影响部分,同一问题两次没修好就停下汇报。

    借鉴点

    两段可直接粘进对话和 AGENTS.md 的提示词,把 Codex 反复改测的循环压成先查记录、最小改动、两次不成就停,代价是要自己补材料和连接。

  6. 掘金76

    Plan 系统从 DAG 退回线性清单:一个 Agent 引擎的设计教训

    一个 Plan 系统团队把最初基于 DAG 的步骤编排重构回线性清单,核心逻辑代码量减少约 40%,跨约 30 个文件。

    借鉴点

    把 Plan 从 DAG 退回有序数组,删掉 depends_on 与图算法,验证降级为咨询信号,完成判据改成跨轮次的实质化账本;能落到软件工厂的 Agent 编排层,代价是放弃引擎级并行调度,进度精度靠共享盖章换取。

  7. 掘金78

    MCP 调不通却不报错:HTTP 200 之后的两种静默失败

    作者在 MCP 服务端联调中遇到两种静默失败,HTTP 200 但调用实际失败,一种是 body 有内容而错误藏在 result.isError: true 里、error 字段为空,另一种是字符串 id 被官方 SDK 的 extractId() 丢弃导致响应体 0 字节。

    借鉴点

    能拿走一套 MCP 服务端排查顺序和 stdout 重定向 stderr 的代码,落到本地模型部署与工具调用链路上,代价是要自己补 Resources/Prompts 分支并处理 SDK 只认数字 id 的坑。

  8. 掘金71

    超级东哥CyberFD 开源自托管个人上下文系统 OneSelf,让所有 AI 共用一份用户资料

    作者开源了自托管的个人上下文管理系统 OneSelf,把个人资料放在自己机器上,通过 PCP 协议和 MCP 接口供各个 AI 读取,避免在每个工具里重复自我介绍。

    借鉴点

    可借鉴用一张操作注册表同时生成 OpenAPI 与 MCP 工具、用 OAuth 设备码让 Agent 授权且密钥操作不暴露给 Agent,落到知识沉淀线;代价是要自托管 Node 与 PostgreSQL、RustFS 并自己维护协议。

  9. 掘金88

    Magpie 实战教程:用本地网关让 Claude Code 跑 DeepSeek、Codex 跑 Kimi

    Magpie 是一个跑在 127.0.0.1:3425 的本地网关,同时讲 OpenAI Chat Completions、OpenAI Responses、Anthropic Messages 和 Gemini 四种 API 并互相转换,让 Claude Code、Codex、Gemini CLI 改用任意厂商模型。

    借鉴点

    能拿走的是 magpie 的四行命令换模型、路由组 stays 与 compact 规则、意图路由配小模型做分类器;可落到本地模型部署和软件工厂多 Agent 派单,代价是订阅共享可能违反厂商条款、脱敏后针对值本身的任务做不了。

  10. Hacker News · AI 讨论71

    Engraphis 发布面向 AI 编码智能体的本地优先双时态记忆库

    Engraphis 发布本地优先的 AI 智能体持久记忆库,用 SQLite 离线存储按 workspace、repo、session 分域的项目知识,并跨向量、词法、图和代码检索返回带来源的有界上下文。

    借鉴点

    能拿走的是按 workspace/repo/session 分域存记忆、向量加词法加图加代码检索后按硬性 token 预算打包,并保留时间版本而非覆盖;可接到软件工厂与知识沉淀两条线,代价是要 Python 3.10 环境、SQLite 本地库,且基准只是三个离线小样本,撑不起通用任务性能。