跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

545 条精选近 30 天 539 条共收录 2,452 条

更新

精选归档 · 第 14 页

10月29日周四第 261–280 条
  1. 掘金72

    如何用父子分块破解 RAG 切块大小与语义完整性的矛盾

    文章提出用父子分块(Parent-Child Chunking)解耦 RAG 的检索单元与生成单元,子切片 128~256 Token 只做向量检索,父切片 800~2000 Token 只做上下文生成,两者通过 Parent_ID 关联。

    借鉴点

    能拿走父子分块的具体参数与五步检索流程,Child 128~256 Token、Parent 800~2000 Token、1:4 到 1:8,落到知识沉淀线替换单层切块;代价是要维护向量库与 KV 库的跨库一致性,还得处理 Rerank 只排子块不排父块。

  2. 掘金72

    Agent Loop 深度解析:理解、规划、行动、观察与纠错六阶段

    文章把 AI Agent 的执行循环抽象为输入理解、任务规划、工具执行、结果观察、错误修正、最终响应六个逻辑阶段,强调这是工程抽象而非行业统一标准。

    借鉴点

    把 Agent 循环拆成六阶段并给出状态结构、工具错误字段和最小 Runtime 伪代码,可直接对照改造现有 Agent 的规划与纠错环节,代价是需自行补齐持久化、幂等和审批等生产机制。

  3. 掘金71

    用 Claude Code 5 天写出 8400 行塔防小游戏,先搭一套让 AI 自查的 make 工具

    作者用 Claude Code 在 5 天内写出竖屏塔防小游戏「圣光防线」,77 个 GDScript 文件共 8408 行代码,全部由 AI 编写,作者只提需求、试玩和拍板。

    借鉴点

    能拿走一套 make 命令组合,test、lint、smoke、frames 让 Claude Code 自己验证改动,落到软件工厂线;代价是 GDScript 无覆盖率工具,且导出包与编辑器行为不一致需另加打包后自动试玩。

  4. 掘金78

    得物技术实测 Jev 轻量决策层:三个测试场景接入 AI 工作流

    得物技术在 AI Testing 平台上用 Jev 接入用例打标、UI 自动化和知识库召回三个测试场景,300 条用例打标耗时 5 秒、费用约 0.01 元,对比 DeepSeek 方案的 4 分 5 秒和约 0.31 元。

    借鉴点

    能拿走 noul/choice/score 三种判断类型加阈值分流的写法,把打标、UI 选元素、检索精排从通用大模型换成轻量决策层,代价是选项语义要写清、低置信结果得留人工复核。

  5. Hacker News · AI 讨论74

    HLock 发布 harness.lock,把 Agent 配置打包成可复现的锁文件

    HLock 发布面向 Agent 配置的打包层,用 harness.lock 记录 harness 版本、模型、MCP server、skill、插件、指令文件和配置并逐项哈希,可提交 git 后在任意机器用 hlock sync 还原。

    借鉴点

    把 harness、模型、MCP server、skill 和配置钉进 harness.lock 并提交 git,换掉靠手工复刻环境;代价是密钥要改成 HLOCK_SECRET_* 占位符,sync 时自己补值。

  6. 掘金72

    生产环境 Agent 会话服务与鉴权上下文怎么设计:RequestContext、Run 幂等与取消

    作者以虚构案例 OpsPilot 复盘生产 Agent 的会话服务设计,核心是身份只认登录态拼出的 RequestContext、一次点击只起一条 Run、取消要写库并打断模型和工具请求。

    借鉴点

    能拿走 RequestContext 结构、runs 表唯一约束防重复起 Run、取消写库加 abort 三件套,落到软件工厂的 Agent 服务端;代价是要自己补队列和工具层二次鉴权。

  7. Hacker News · AI 讨论78

    Tilde 开源智能体注册中心,统一注册、部署与监控企业 Agent

    Tilde 发布开源智能体注册中心,可把任意语言或框架构建的 Agent 注册到同一处,并统一做部署、健康检查、暂停与下线。它通过 SDK 让 Agent 主动连到网关,网关负责聊天渠道路由、凭证加密存储、MCP 与自有工具审计、LLM 请求与成本追踪、提示词版本管理和会话追踪。

    借鉴点

    能拿走一套 agent 注册与网关的落地做法,包括容器化 quickstart、SDK 接入和 tilde dev 自动注册部署,可接到本地模型部署与软件工厂线;代价是开源版没有登录鉴权,需自己加反向代理,且依赖 PostgreSQL、ClickHouse 和 S3。

  8. Hacker News · AI 讨论71

    ThreadShelf 开源本地 AI 对话归档工具,支持语义搜索与 MCP 接入

    ThreadShelf 是一个本地优先的 AI 对话归档工具,可解析 ChatGPT、Claude、Google AI Studio、OpenRouter、LM Studio 和 Grok 的导出文件,在本地做多语言嵌入并存入 LanceDB,支持语义搜索与精确子串搜索。

    借鉴点

    可借鉴其多源对话导出解析加本地嵌入存 LanceDB 再经 MCP 暴露检索的管线,落到知识沉淀线;代价是 AI Studio、OpenRouter、LM Studio、Grok 导出格式均无文档,版本一变解析就断。

  9. Hacker News · AI 讨论72

    Agent Ring 开源发布:AI 智能体可在锁屏状态下打电话找你决策

    Agent Ring 发布预发布版,让 AI 智能体在需要决策、卡住或长任务完成时拨打你的手机,锁屏和 Doze 状态下也能响铃,语音 AI 说明情况后把对话转写交回智能体继续执行。

    借鉴点

    能拿走一套自托管方案,让 agent 通过 MCP 或 CLI 在需要决策时打电话到锁屏手机,语音 AI 转写后回传继续跑;代价是要自备 Linux 服务器、Firebase 项目和 Gemini API key,且仅支持 Android、单用户。

  10. Hacker News · AI 讨论82

    Agent Scrum:用两小时冲刺调度 AI 编码智能体团队,38 天跑完 324 个冲刺

    作者用一支 AI 编码智能体团队在 38 天里围绕真实产品待办跑了 324 个两小时冲刺,其中专职 scrum 团队 agent 执行的 90 个冲刺里 79% 的承诺故事在冲刺内完成,仪式耗时不到 5 分钟。

    借鉴点

    能拿走一套可照抄的 Agent Scrum 最小配置,产品负责人 agent 管规划、独立 scrum master agent 跑两小时冲刺、外部定时器触发收尾;代价是回顾项 159 条只关了 40 条,合并环节和写代码一样耗时。

  11. Hacker News · AI 讨论78

    WOML 开源发布:用 HTML 风格标记语言编排工作流与 AI 智能体

    WOML 发布开源代码优先的工作流编排语言与运行时,用 HTML 风格标记描述触发、步骤、并行、分支和审批,逻辑写在 .woml 文件里的内联 JavaScript 或导入的 JS/TS 模块中。

    借鉴点

    能拿走 .woml 的标记结构加内联 JavaScript 写法,把 webhook、并行检查、分支审批串成可 Git 审查的流程,落到软件工厂和 Agent 编排线;代价是要装 Bun 1.3.14 以上并接受自建运行时。

10月28日周三
  1. Hacker News · AI 讨论75

    Parley 开源:用 IRC 频道让多个编码 agent 会话互相协作

    Parley 是一个单文件 Go 二进制工具,把多个编码 agent 会话和你放进同一个 IRC 频道,会话之间自行通报变更、需要输入时发问,你用任意 IRC 客户端读全部消息并随时介入。

    借鉴点

    能把多个编码 agent 会话拉进同一个 IRC 频道互相通报、按需找你,换掉人工在会话间转述 handoff 的做法;代价是要跑本地 ergo 服务、Claude Code 需加 --dangerously-load-development-channels 启动,且 OpenCode 只支持 2.x 的 line 模式。

  2. Hacker News · AI 讨论78

    contextWatcher:用 Rust 写的 LLM 上下文窗口垃圾回收器

    gionag 发布 contextWatcher(cw),一个本地 CPU 上运行、耗时不到 2ms 的 Rust 代理,用来替代 /compact 式压缩。

    借鉴点

    能拿走的是用 Rust 代理在 CPU 上做上下文去重、工具输出裁剪和尾部规则重钉,替代 /compact 式摘要压缩,代价是只适用于本地或自建 harness,且原文只给了四条机制名、没给配置和代码。

  3. Hacker News · AI 讨论74

    lakehouse-agent-skills 发布 15 个技能,让编码 agent 先剖析数据再画图

    LuynoxRD 发布 lakehouse-agent-skills,用 15 个技能、9 条生命周期命令和 4 个只读审查子 agent,强制编码 agent 按 PROFILE、CLEAN、MODEL、QUERY、VISUALIZE、ASSEMBLE、NARRATE、DISCLOSE 的顺序处理数据。

    借鉴点

    15 个技能加 9 条生命周期命令把数据工作拆成 PROFILE 到 DISCLOSE 的固定阶段,每阶段落一个文件而非靠记忆,能直接换掉让 agent 直接对着表格画图的做法;代价是要装插件或 skills CLI,且校验脚本依赖 DuckDB 重算数字。

  4. Hacker News · 首页78

    Cursor 发布 Agent SDK,可用代码定义并部署托管智能体

    Cursor 正式发布 Agent SDK,这是它构建 Bugbot、安全审查智能体和 Rollouts 等自有托管智能体所用的框架。

    借鉴点

    能用 Markdown 写提示词、TypeScript 写工具,把审查类智能体按项目方式版本化,一条 deploy 命令上 Cursor 基础设施;代价是绑定其运行时,自托管需自行打包 Node 进程。

  5. 掘金71

    MemTrace 如何自动溯源并优化 LLM 记忆系统错误

    MemTrace 把 LLM 记忆流水线转成可执行的记忆演化图,用图归因 Agent 定位最早决定性故障操作,再据此自动改写提示词,在 Mem0 加 LoCoMo 上三轮优化后任务性能提升 7.62%。

    借鉴点

    能拿走一套可复用的记忆系统排错链路,插桩录制执行图、沿图定位最早故障操作、再把归因结果转成 prompt 改写;落到知识沉淀和本地部署调优上,代价是归因准确率约一半、每轮要重跑完整流水线。

  6. 雷峰网71

    逐际动力开源 FluxVLA Engine 技术报告解读,统一 VLA 数据训练评测与真机部署

    雷峰网解读逐际动力开源的具身智能工程底座 FluxVLA Engine 技术报告,该底座贯通数据、训练、评测、推理与真机部署,10 月 22 日完成重要更新。报告称在英伟达 AGX Orin 64GB 上 GR00T 推理频率从 3.2Hz 提升到 7.4Hz、π0.5 从 1.4Hz 提升到 4.4Hz,并引入 RTC 与轨迹后处理解决时序错位和物理约束问题。

    借鉴点

    能拿走的是三层真机落地机制,CUDA Graph 加速、RTC 前缀条件、轨迹后处理限速限加速度,可直接套到自家 VLA 部署链;代价是各模型仍需适配器与动作空间转换,RL 效果依赖奖励设计。

  7. 掘金71

    spec-superflow 2.0 发布:小任务走 Direct,复杂任务走 Planned

    spec-superflow 2.0 发布,把 AI 编程任务按风险分成两个入口,边界清楚的小任务走 Direct 在当前会话连续开发验证,复杂任务走 Planned 用 proposal.md 和 tasks.md 锁定范围。

    借鉴点

    可拿走 Direct/Planned 双入口与 9 个 Skill 的组合方式,替换现在单流程串所有任务的派单逻辑;代价是要先写 proposal 和 tasks 并接受验证指纹绑定,小任务才真正省事。

  8. Hacker News · AI 讨论72

    Nuvrail 开源邮件审批层,AI agent 删改发邮件前须人工确认

    Nuvrail 开源了一个夹在 AI agent 与真实邮箱之间的 IMAP/SMTP 代理,agent 的读取、搜索、列文件夹即时放行,移动、删除、改标记和发信全部暂存,等用户在手机或浏览器上一键批准后才落到真实服务器。

    借鉴点

    把 IMAP/SMTP 代理夹在 agent 和真实邮箱之间,读放行、写暂存等人工一键批准,EXPUNGE 直接封死;代价是要自建 Docker 加 nginx 和证书,首次构建 5–9 分钟。

  9. Hacker News · AI 讨论71

    TAW 发布 tmux 插件,一屏查看 22 个编码 agent 谁在等你

    作者发布 tmux 插件 TAW,用 herdr 的检测引擎读取 22 个编码 agent 的状态,prefix + A 打开会话树,Tab 跳到阻塞或刚完成的 agent。

    借鉴点

    能拿走一个 tmux 插件,把 22 个编码 agent 的状态汇总成一棵树并用 Tab 跳到卡住的会话,代价是要 tmux 3.2 以上、每个 agent 装一次 hook 才能恢复对话。