跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

545 条精选近 30 天 539 条共收录 2,452 条

更新

精选归档 · 第 16 页

10月28日周三第 301–320 条
  1. Hacker News · AI 讨论76

    API Anything 开源:让 agent 把网站请求学成 API 调用

    API Anything 开源了一个本地工具,agent 只需学一次网站的请求,之后就能像调 API 一样拿到 JSON,优先走纯 HTTP,站点拦截时才回退到浏览器,学习过程不用 LLM。

    借鉴点

    把网站请求学成可复用操作,让 agent 走纯 HTTP 拿 JSON,省掉浏览器和 LLM 解析;代价是站点改版要重学,登录态和写操作得自己兜底。

  2. Databricks58

    Databricks 用 ai_extract 与 MLflow Prompt Registry 建立文档抽取评测闭环

    Databricks 介绍一套文档抽取的可重复改进流程,用 ai_extract 的 schema 描述承载字段规则、全局指令承载文档级逻辑、precision mode 处理复杂表格,并用 MLflow Prompt Registry 对 prompt 和 schema 一起做版本与别名管理。

    借鉴点

    把字段规则写进 schema、文档级逻辑放全局指令、结构难题开 precision mode,再用 MLflow Prompt Registry 的别名做灰度与回滚,前提是先攒出几百份人工审核过的固定评测集,否则改动好坏分不清。

10月27日周二
  1. Hacker News · 首页74

    Spec-First 发布 Agentic 开发插件,用 spec 驱动编码并加提交门禁

    Spec-First 发布面向 AI 编码智能体的 spec-first 开发插件,让每个改动先写成仓库内的 spec,经独立 reviewer 对照代码审查后再由智能体在独立分支和 worktree 上实现,提交时通过 commit gate 校验。

    借鉴点

    可把编码流程拆成 create-spec、review-spec、apply-spec、deliver-spec 四个技能,每个 spec 独立分支和 worktree,提交前用 commit gate 跑 verify 阶段;代价是要先 bootstrap 项目上下文,且依赖 Claude Code 插件或 AGENTS.md 加 git hook。

  2. Hacker News · AI 讨论71

    carmen 开源:让 Claude 写 Metal GPU kernel 并自动验证提速

    utsav1033 发布开源工具 carmen,让 Claude 为 Apple Silicon 写 Metal GPU kernel,再自动测试并测量真实模型是否变快。

    借鉴点

    可拿走三件事:给测试集藏一部分输入防模型刷分、把单 kernel 加速放回真实模型里复测、用 Amdahl 定律先算理论上限再动手;代价是要有 Apple Silicon 机器和 Anthropic key 才能自己生成 kernel。

  3. Hacker News · AI 讨论71

    Doozy 如何把 API key 挡在 AI agent 沙箱之外,以及这解决不了什么

    Doozy 介绍其 Slack AI agent 的凭证隔离设计,agent 沙箱内只持有签名短时 job token,真实 API key 由沙箱外的凭证网关在校验 token、工作区和工具开关后注入单次调用。

    借鉴点

    可拿走凭证代理加短时 job token 的沙箱隔离做法,以及只读 SQL 包装器(超时 30 秒、200 行上限),落到本地模型部署和软件工厂的工具调用链上;代价是仍需自行处理提示注入滥用已开工具的问题。

  4. 钛媒体71

    Anthropic 主张把子 Agent 折叠回主循环,Kimi K3.1 Pro 额度消耗过快成案例

    Anthropic 发文《构建 Agent:何时该把子 Agent 折叠回主循环》,称带技能的单 Agent 在质量、成本和延迟上优于多子 Agent 分工,token 消耗远低于后者,并开源 single-agent-loop-kit 工具。

    借鉴点

    可把子Agent按需折叠成Skill,砍掉80%以上系统提示词,落到软件工厂的多步任务编排上;前提是模型上下文够长,否则省下的token会被信息衰减和人格碎片吃掉。

  5. 掘金74

    BaoCode 发布原生 GUI 外壳,复用本机 Claude Code 配置

    BaoCode 发布 Flutter + Dart 原生 GUI,不自己实现 agent,直接跑本机已装的 Claude Code,settings、CLAUDE.md、MCP、skills、subagents、hooks 均不改动。

    借鉴点

    能拿走的是不重造 agent、直接复用本机 Claude Code 配置加 GUI 外壳的思路,以及把帧耗时写进 changelog 的做法;落到本地模型部署和软件工厂这条线,代价是 Monaco 和 xterm 都得用 Dart 重写一遍。

  6. 掘金78

    同一份 MCP Server 接入 Claude Code、Codex CLI、OpenCode 的配置差异与 10 个踩坑

    作者把自研的代码库知识图谱 MCP Server 接进 Claude Code、Codex CLI、OpenCode 三个客户端,记录了配置路径与格式差异以及 10 个实际踩坑。

    借鉴点

    能直接抄五个客户端的 MCP 配置写法,把自研 server 接进 Claude Code、Codex CLI、OpenCode;前提是 command 写绝对路径、日志只走 stderr、路径全从 env 取,否则连上也是空工具列表。

  7. Hacker News · AI 讨论71

    Imp 发布面向 RTX 50 系 Blackwell 单卡的 LLM 服务器,由 Claude Code 编写

    Imp 是一个只支持 NVIDIA Blackwell sm_120a 单卡(RTX 5050 到 5090、RTX PRO 2000 到 6000)的 LLM 服务器,提供 OpenAI 与 Anthropic 兼容 API 和内置聊天界面,一条 docker run 即可启动,MIT 许可。

    借鉴点

    单卡自建推理服务可直接照抄 docker run 加 stage-model.sh 的流程,用 NVFP4 权重和 pinned host RAM 跑超显存 MoE;代价是只支持 Blackwell sm_120a 单卡,无多卡无 CI,性能数字全来自作者一张 5090。

  8. 掘金78

    Codex 多智能体机制下篇:并发治理、角色分层与落地清单

    作者基于 codex-rs 仓库 commit 8c07694 的 V2 实现,拆解 Codex 多智能体的治理层,包括执行容量、驻留驱逐、树级共享 token 预算、角色与模型分层和四层可观测性。

    借鉴点

    能拿走两层容量治理加树级共享 token 预算的配置思路,落到软件工厂的多 agent 派单上,代价是编排不可复现、子 Agent 结论以 assistant 身份回流缺少核验标记。

  9. 掘金71

    OpenBot 如何用本地桌面工作台让 Codex、Claude、Grok 持久协作

    OpenBot 是一个本地优先的桌面工作台,通过 ACP 统一接入 Codex、Claude Code、Grok CLI、Gemini、Cursor CLI、Cline CLI 等智能体,为每个智能体提供独立且持久的工作区,并共享任务队列与文件系统。

    借鉴点

    能拿走的是多智能体各自独立持久工作区加共享任务队列和文件系统的分工方式,可换掉单 agent 串行派活;代价是默认 danger-full-access 且不逐次确认,需自担安全风险。

  10. 掘金78

    单人 90 天重构通用 Agent 运行时:从能力展开到单一事实源收束

    一位作者用约 90 天、1,136 次提交、27 个 crate 和约 18 万行 Rust 单人完成一个通用 Agent 运行时,并复盘其从能力展开到系统收束的三阶段演进。

    借鉴点

    能拿走总线看门狗、四级压缩梯子、证据账本对账三套机制,落到软件工厂与本地模型部署的长会话稳定性上,前提是接受单人单负载的观察性结论,不能当团队效率数据用。

  11. 掘金75

    Claude Code 额度优化实践:缓存写入单价是读取的 40 倍,四条可落地的会话习惯

    一位后端架构师基于掘金开发者 ZzT 的账单拆解与三份独立统计,给出四条 Claude Code 省额度习惯:换话题就开新会话、离开超过一小时前先收尾、把子 agent 缓存 TTL 调到 1h、合盖前确认任务已结束。

    借鉴点

    能拿走四条会话习惯和两个配置项 subagentPromptCacheTtl 与 idleCompaction,落到本地模型部署和软件工厂的额度治理上,前提是数据来自他人账单拆解,作者未实测省多少。

  12. 掘金78

    AI 私有化实战第 5 讲:一张卡能扛几路并发,取决于显存账和首字延迟两道闸

    《AI 私有化实战》第 5 讲给出并发容量算法:并发显存 = 权重 + 路数 × 每路上下文 × 每 token 缓存,实测每 8192 token 占 96 MiB KV 缓存,约 12 KiB/token。

    借鉴点

    能拿走并发显存公式(权重+路数×每路ctx×每token缓存,实测12 KiB/token)和 --ctx-size 必须随 --parallel 一起乘的判据,落到本地模型部署;代价是要自己读 /props 的 n_ctx 并量首字延迟 p95,压测脚本还得同时读 reasoning_content。

  13. Hacker News · AI 讨论71

    RandComp Studio 发布本地多智能体编码桌面应用

    RandComp Studio 发布 macOS 早期预览版,在本地把编码任务拆给协调者和多个角色执行,再由独立检查者复核结果。应用可驱动 Claude Code、Codex、Kimi Code 或 Ollama 上的本地模型,同一套项目可通过桌面界面、randcomp 命令行和 MCP 三种方式操作,文件以 plan.md、qa-report.md 等纯文本形式留在本机。

    借鉴点

    能拿走的是协调者拆任务加独立检查者复核的多角色编排,以及 app、randcomp 命令、MCP 三条入口共用同一份本地项目;代价是每个角色都要单独接一个已登录的 CLI 工具,多开 agent 就多烧 token。

  14. 掘金72

    EAGLE 与 EAGLE-3 如何用特征预测加速投机解码

    文章讲解 EAGLE 与 EAGLE-3 如何借助 Target Model 的隐藏特征训练轻量 Drafter 来加速投机解码,最终候选仍由 Target 批量验证。

    借鉴点

    能拿走 vLLM 里 method=eagle/eagle3 的配置差异和 K 值调优思路,落到本地模型部署的 Decode 加速上,代价是 Drafter 权重与 KV Cache 额外占用,高并发下 K 过大可能负收益。

  15. 掘金71

    TesterArmy 的 e2e 如何拆分混合式端到端测试步骤

    TesterArmy 的 e2e 框架把一条端到端测试拆成两部分,稳定结果交给 locator 和 expect 断言,易碎路径交给 agent.act 用自然语言驱动,没有 agent 步骤的用例不产生模型调用。

    借鉴点

    可把现有 e2e 套件按失败成本拆开,稳定结果留给 expect 断言、易碎路径交给 agent.act,靠回放跳过未变界面的模型调用;代价是首次铺开仍要付全量推理账单,且 1.0 前配置会变。

  16. 掘金74

    tenmin 开源:用 Python 把番剧解说制作拆成 10 个可重跑阶段

    作者发布命令行工具 tenmin,把番剧素材到解说成片拆成 ingest、translate、signals、script、docgen、voice、timeline、audio、render、check 十个可单独重跑的阶段,最终输出 MP4。

    借鉴点

    能拿走十阶段流水线拆分和按产物新鲜度做阶段缓存的做法,落到视频产线可只重跑受影响阶段;代价是 OCR 限 macOS、ASR 限 Apple Silicon,渲染要带 libass 的 FFmpeg。

  17. 掘金71

    Qwen-Image-2.1 Q4 在 Windows ComfyUI 的本地部署排错教程

    作者在 Windows + RTX 3080 20GB 上用 ComfyUI portable 加 ComfyUI-GGUF 跑通 Qwen-Image-2.1 Q4 文生图,验证配置为 768×768 单张 8 步采样,单次含加载耗时 53.36 秒。

    借鉴点

    能拿走一套 Windows ComfyUI 跑 Qwen-Image-2.1 Q4 的完整配置,含三份权重用途、8 步 sigma 序列和改插件后必须重启后端的坑,前提是 RTX 3080 20GB 且只验证了 768×768 文生图。