跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

545 条精选近 30 天 539 条共收录 2,452 条

更新

精选归档 · 第 5 页

11月4日周三第 81–100 条
  1. 掘金78

    AI-SDLC 实践:用 Claude Code 与 Codex 的六种能力搭流程

    作者梳理 Claude Code 和 Codex 共有的六种能力,即 AGENTS.md/CLAUDE.md、Skill、Subagent、Hook、MCP、权限与沙箱,并说明各自作用在上下文窗口的哪个位置。

    借鉴点

    能拿走一套中立源加 sync 投影的双宿主配置法,把角色和 skill 只写一份再生成 Claude Code 与 Codex 的配置,落到软件工厂的流程编排上;代价是 sync 跑在会话启动路径上要够快,且 Codex 每条 hook 改配置就要重新审核。

  2. 掘金82

    读完 DeepSeek Harness 源码后,作者整理出约 1000 行最小 CLI Agent 的施工图

    作者通读 DeepSeek Harness(DSH)源码后,给自己列了一份约 1000 行、零第三方依赖的 Python 最小 CLI Agent 施工图,含 10 个模块、7 个决策点和 12 条不变量。

    借鉴点

    能拿走事件日志当唯一真源、历史靠投影推导、结果按模型顺序提交这套骨架,落到软件工厂的 CLI Agent 主循环;代价是要自己补 max_steps 和 dispatch 层超时,没有 OS 级沙箱时 bash 只能始终 ask。

  3. 掘金71

    NVIDIA 开源 auto-ontology:为企业数据库生成语义本体,让 Agent 用业务术语查数

    NVIDIA 开源 auto-ontology,从企业数据库元数据自动生成术语表和关系本体,让 AI Agent 用业务术语提问并返回可追溯的 SQL 答案。系统先用 pgvector 检索相关术语和列,再让 LLM 只在候选表内生成 SQL,并用 coverage 判断问题能否从现有数据回答,数据不足时拒绝作答。

    借鉴点

    能拿走的是语义本体加 LangGraph 多 Agent 的 Text-to-SQL 流程,含 coverage 可答性判断和七轮 SQL 重构上限,可换掉把整库 Schema 塞进 prompt 的做法;代价是需 NVIDIA API 密钥、Postgres+pgvector,首次编译可能数小时。

  4. 掘金72

    用 TypeScript、OpenAI 兼容接口和 Qdrant 从零搭建企业知识库 RAG

    作者用 TypeScript、OpenAI 兼容 Embeddings 接口和 Qdrant 搭出一条可验证的企业知识库 RAG 最小链路,覆盖清洗切片、向量写入、按租户角色版本过滤检索、带引用回答和效果评估。

    借鉴点

    能拿走 Chunk 元数据字段设计、按段贪心切片代码、检索阶段租户角色版本三重过滤和 RRF 融合公式,落到知识沉淀与软件工厂两条线;代价是示例只覆盖 Markdown,鉴权、索引版本切换和评估集要自己补。

  5. 掘金74

    实测浏览器 Agent 跑社区日常任务的四类卡点与绕过写法

    作者让 Agent 操作浏览器完成浏览、点赞、收藏、评论、发布等社区日常任务,发现失败集中在环境、框架契约和状态确认,而非模型能力。

    借鉴点

    能拿走一套浏览器 Agent 的降级动作与断言写法,包括事件序列派发、contenteditable 写入加 Ctrl+Enter、rect 判可见性,落到软件工厂的自动化流程;代价是每个站点都要从 DOM 和网络请求反推契约。

  6. MarkTechPost71

    NVIDIA 在 DGX Spark 上用三项优化把 Ling-3.0-flash 的 MoE 推理吞吐提升 42.5%

    NVIDIA 技术博客给出在单台 DGX Spark 上加速 Ling-3.0-flash 这个 124B 参数、5.1B 激活 MoE 模型推理的三项叠加优化,在全部 1,319 道 GSM8K 题上解码吞吐从 37.81 提升到 53.89 tokens/s,涨幅 42.5%,平均延迟下降 24.5%,准确率 96.89% 对 96.82%。

    借鉴点

    可照搬三项叠加做法,换 Humming MXFP4 kernel、开 SGLANG_ENABLE_FP8_LM_HEAD=1、用模型自带 NEXTN 做 MTP 投机解码;坑是 FP8 LM head 与 MTP 同开必须共享完整 LM head 模块,否则静默回退、接受长度掉到 1.00。

  7. Hacker News · AI 讨论71

    Revolut 用自托管 GLM 替代 Claude,AI 编码推理成本降约 90%

    英国金融科技公司 Revolut 称在不到一年内把 AI 编码推理成本削减约 90%,做法是把自托管模型设为默认,替代此前主要依赖的 Claude 等商业服务。

    借鉴点

    自托管 GLM 替代商业 API 的完整成本账,含 56 张 B200、NVFP4 量化、prefill/decode 分离和 256k 上下文取舍,可对照本地模型部署线估算自己的 token 单价与首字延迟门槛。

  8. 掘金78

    Lightpanda 用 Zig 从零写无头浏览器,100 个页面峰值内存 123MB

    Lightpanda 用 Zig 从零实现专为 AI Agent 和自动化设计的无头浏览器,不 fork Chromium,官方基准在 m5.large 上抓 100 个页面峰值内存 123MB、耗时 5 秒,对比 headless Chrome 的 2GB 和 46 秒。

    借鉴点

    可把抓取和表单自动化从 headless Chrome 切到 Lightpanda,Puppeteer/Playwright 只改连接地址;代价是 AGPL-3.0 商用需过法务、无原生 Windows、复杂渲染站点要实测。

  9. AWS Machine Learning Blog58

    用 EDB Postgres AI 与 Amazon Bedrock AgentCore 为智能体搭建语义层

    AWS 与 EDB 联合发布教程,演示如何在 EDB Postgres AI 内用 AIDB 扩展构建语义知识库,让运行在 Amazon Bedrock AgentCore 上的 Strands Agents 智能体回答客户 360 问题。

    借鉴点

    把业务语义写进 Postgres 的 COMMENT ON 和视图注释,再用 create_semantic_kb 建向量索引,可替换独立的语义层或指标目录;代价是前期要逐列补注释,且多 KB 并存时每次检索都得显式传 kb_name。

  10. AWS Machine Learning Blog58

    AWS 演示 Bedrock AgentCore Gateway 如何用 OBO 令牌交换让 Agent 以用户身份调用 ServiceNow

    AWS 发布教程,演示在 Amazon Bedrock AgentCore Gateway 上配置 on-behalf-of(OBO)令牌交换,让 AI Agent 调用 ServiceNow REST API 时保留发起用户的身份。

    借鉴点

    能拿走一套 OBO 令牌交换配置,把 Agent 调企业 API 的身份从应用本身换成发起用户;前提是 Entra 双应用注册、ServiceNow 入站 OAuth 和 MCP 2025-11-25 网关,漏掉 requested_token_use 参数就会认证失败。

11月3日周二
  1. 掘金78

    Vercel 开源 agent-desktop,用无障碍树 ref 替代截图坐标操作桌面应用

    Vercel 开源 Rust 项目 agent-desktop,让 AI agent 通过 macOS Accessibility、Windows UI Automation 和 Linux AT-SPI 的无障碍树读写桌面应用。

    借鉴点

    能拿走的是 snapshot 拿 ref、动作认 ref 不认坐标,以及按 error.disposition.retry 决定重试或停机;可接到本地桌面自动化流水线,代价是只覆盖有无障碍语义的控件,自绘画布和游戏走不通。

  2. Hacker News · AI 讨论88

    AOT Library 汇总 60 种智能体优化方法并附证据

    AOT Library 收录 60 种智能体优化策略,每条附研究论文与实测结果,并给出可直接粘进编码智能体的提示词。库中引用 279 个来源中的 217 篇论文、662 条结果中的 386 条,另有 166 条结果互相矛盾或混杂,按模型选择、工具、提示词、记忆、上下文、拓扑、编排、检索、验证、安全十类组织。作者称每周更新,最近一次更新为 10 月 26 日。

    借鉴点

    能直接抄走工具描述固定分段、工具输出限 15-20KB 或落盘返路径、提示词前缀缓存稳定这几条,落到软件工厂和本地模型部署;代价是要逐条实测,作者自己也标了 166 条结果互相矛盾。

  3. Hacker News · AI 讨论72

    Metaview 介绍如何为所有招聘 agent 搭建统一 harness

    Metaview 介绍其招聘 agent 共用的统一 harness,新 agent 上线时间从数天降到两小时以内。harness 由 Cloudflare Durable Object 控制面、Modal Sandbox 沙箱、AWS Lambda broker 和会话快照恢复组成,agent 本身只剩系统提示词、技能目录、脚本和配置文件。

    借鉴点

    可借鉴其共享 harness 的四层拆分(Durable Object 控制面、Modal 沙箱、Lambda broker、快照恢复),把新 agent 上线从数天压到两小时;代价是自建运维,且沙箱内跑循环需靠 broker 隔离凭证。

  4. Hacker News · 首页78

    deepsense.ai 总结编码智能体的 9 个 harness 模式

    deepsense.ai 团队基于 Codex 与 Claude Code 的实测和 HyperCode 项目经验,给出 9 个可套用到真实仓库的编码智能体 harness 模式,覆盖 AGENTS.md 知识库、按任务即时组装上下文、验证命令菜单、有界反馈循环和把错误沉淀为护栏。

    借鉴点

    能拿走 AGENTS.md 骨架、Makefile 验证菜单、review-looper 三段式子智能体 JSON 契约和重试上限,落到软件工厂的编码智能体流程;代价是要持续维护文档与技能库,且被动式自我记录不可靠,得靠 stop-hook 或 PR 关卡强制。

  5. Hacker News · AI 讨论71

    Trim 开源本地代理,在请求到达 LLM 前压缩编码提示词

    Trim 发布本地 OpenAI 兼容代理,把 Cursor、Continue、VS Code Chat、Claude Code 等客户端的 Base URL 指向 http://127.0.0.1:8888/v1,在请求发往上游模型前压缩提示词。

    借鉴点

    可把 Cursor、Claude Code 等客户端的 Base URL 指向本地 8888 端口的 OpenAI 兼容代理,用 AST 启发式压缩或本地 LLMLingua 的 Deep 模式缩短提示词;代价是 Deep 模式需先 bootstrap 装依赖,且压缩会改写用户正文。

  6. 掘金71

    用浏览器 Agent 跑掘金每日任务:踩坑与工程记录

    作者把掘金每日掘友分任务交给能操作浏览器的 Agent 跑了一遍,结论是这类 Agent 读互联网已经相当能打,写互联网还处处漏风。文中记录了几个关键坑:点赞按钮在可访问性树上没有独立节点,靠父容器偏移猜坐标会点到举报旁的空白,工具层仍返回 success;两次偏掉的点击被风控判为高频交互,digg/save 被拦。

    借鉴点

    可拿走可访问性树 ref 定位、写操作 postcondition 断言、四段式压缩摘要和幂等重试四条做法,落到浏览器自动化与 Agent 编排线上;代价是快照压缩要赌模型看不全也能做对,无锚点图标按钮仍会点偏。

  7. 掘金76

    浏览器 Agent 实战复盘:上下文编排、写操作断言与风控三个工程问题

    作者用浏览器 Agent 跑掘金每日任务,总结出三个工程真问题:上下文快照要做可见性过滤并保持元素顺序稳定以维持 prompt caching 命中,写操作必须带 postcondition 断言(如检查 interact_api/v1/digg/save 请求或 DOM 文案变化),风控看的是点击分布与停留时长等行为特征。

    借鉴点

    可拿走四段式交接摘要、写操作强制 postcondition 断言、快照元素顺序稳定以保缓存命中,落到软件工厂的浏览器自动化链路;代价是每步写操作要加验证与幂等重试,失败即停会牺牲任务完成率。

  8. 掘金71

    深度剖析开源编码 Agent DeepSeek-Reasonix:用前缀缓存把长会话 Token 成本降 80%

    作者拆解了 30k star 的开源终端编码 Agent DeepSeek-Reasonix,它不做上下文压缩,而是用缓存优先、只追加的会话循环把长会话 Token 成本降下来。

    借鉴点

    能拿走三层上下文分区加只追加日志的会话设计,把长会话前缀缓存命中率拉高,落到本地编码 Agent 和长文档 Agent 的降本上;代价是强绑 DeepSeek 前缀缓存,换模型优势即失效,且上下文只增不减会撞窗口上限。

  9. 掘金88

    Agent 省钱工程:七成成本来自结构而非模型,六个杠杆按 ROI 排序

    一篇系统梳理 Agent 成本结构的实践长文指出,Agent 账单里真正由模型思考产生的部分通常不到三成,其余来自每轮重发的系统提示与工具定义、缓存未命中的折价和返工轮次。

    借鉴点

    能拿走清账参数配置、缓存断点与工具面收窄的具体做法,落到本地模型部署和软件工厂的成本控制上,代价是清账会打断前缀缓存、各杠杆互相抵消,需先埋点再动手。

  10. 掘金88

    Google Research 开源 Harness²:不改模型只改 Agent 外壳,GLM-5 在 WorkBuddy-Bench 涨 11.5 分

    Google Research 开源 Harness²,让 agent 递归改写自己的执行外壳(prompt、技能、脚本、子代理等 8 个组件)并沉淀改进库,不训练也不换模型。

    借鉴点

    可抄走的是 harness 八组件成本模型和 INV/DOM 双提案对比流程,能落到软件工厂的 agent 编排上;代价是每任务 4k 次 rollout,且只补流程缺陷、不提升内容判断。