跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

545 条精选近 30 天 539 条共收录 2,452 条

更新

精选归档 · 第 21 页

10月24日周六第 401–420 条
  1. 掘金85

    LangChain 拆解 Agent 检索的三大坑与六套解法

    LangChain 在 2026 年 10 月 24 日的官方博客中把 Agent 上下文工程的第一步定为检索,指出低效搜索、一次塞太多、无关或过期三类问题会连锁放大。

    借鉴点

    能拿走 glob/grep 优先、检索只返路径、子 Agent 读原文、共享同一 backend 这套组合,落到知识沉淀和软件工厂的检索层;代价是多一次模型调用,且 grep 只做字面量匹配。

  2. Hacker News · AI 讨论71

    task-view 发布:把编码 agent 的改动画成结构图而非 diff 列表

    gtindo 发布开源工具 task-view,把编码 agent 完成的任务整理成一张离线 HTML 页面,用图、流程和 diff 覆盖图展示改动的函数、组件、接口和测试及其关系。

    借鉴点

    能让编码 agent 收尾时输出结构化 review 文件,把改动画成图、流程和 diff 覆盖图,替代逐个开文件读 diff;代价是要先给 agent 装 skill 或写进 AGENTS.md,且只校验引用是否对得上 Git,不判断代码对错。

  3. Hacker News · AI 讨论71

    Token Beggar 发布 Claude Code 插件,把编码子任务路由给更便宜的模型

    Token Beggar 发布 Claude Code 插件 0.3.0,在大模型动手前先判断便宜模型能否胜任,小任务留在聊天里,大任务交给一个便宜 worker,再由聊天侧读完整 git diff 并跑测试复核。

    借鉴点

    可把 Claude Code 里的大任务按约 5 次工具调用、多文件、改测循环判给便宜 worker,聊天侧读全量 diff 并跑测试复核;代价是省钱倍数只对 Opus 5.5 high 实测,小任务基本无收益。

  4. Hacker News · AI 讨论71

    Rebuno 推出自托管个人智能体 Nu,按策略管控工具调用并支持崩溃续跑

    Rebuno 发布自托管个人智能体 Nu,每次工具调用都按用户策略校验,策略不允许的操作会等待用户批准。Nu 记录每一步执行,崩溃或重启后可从中断处继续而不重复副作用,shell 命令和文件编辑运行在不持有 Nu 密钥的沙箱容器中。

    借鉴点

    自托管个人智能体把工具调用按策略拦截并等人工批准,步骤落盘支持崩溃后续跑,shell 与文件编辑放在不含密钥的沙箱容器里,代价是要自备 Docker Compose 和 Node.js 24 以上环境。

  5. AWS Machine Learning Blog58

    AWS 发布 SageMaker AI 多轮强化学习实操指南,gpt-oss-20b 解词率从 61% 升至 84%

    AWS 发布在 Amazon SageMaker AI 上做多轮强化学习(MTRL)的端到端实操指南,用 Wordle 演示训练 gpt-oss-20b 在留出词上的解词率从 61% 提升到 84%。

    借鉴点

    能拿走一套多轮 RL 流水线,Agent 与奖励函数同文件部署到 AgentCore,数据集只放任务不放轨迹,奖励按结果主导加小幅 shaping;代价是训练 token 费用约 339 美元、AgentCore 另计约 79 美元,且训练中不能重新部署 agent。

  6. Hacker News · AI 讨论78

    Argus 0.7.3 发布:在 VPS 上无人值守运行 AI 智能体,支持网页与 Telegram 控制

    Argus 发布 0.7.3,这是一个自托管系统,可在 VPS 上连续数天到数周运行 AI 智能体,并通过网页界面或 Telegram 查看和控制。每个项目有独立文件夹、模型、指令、记忆和预算,所有运行都经过同一个预算 governor 检查,/panic 可在五秒内停止全部任务。

    借鉴点

    可借鉴其预算 governor、Landlock 沙箱、/undo 与崩溃重试的设计,把无人值守 agent 跑在 VPS 上;代价是依赖 dsh 0.2.0-rc.2,尚无他人生产验证。

  7. Databricks60

    Databricks 实测 Spark 声明式管线与过程式 PySpark 的 agent 编写差异

    Databricks 用 Opus 4.8 在 22 个数据工程任务、每任务 12 份脏数据上对比过程式 PySpark 与 Spark Declarative Pipelines,共 528 次构建,声明式在 dry run 阶段拦下 55 个结构性错误,集群耗时从 596 executor-seconds 降到 17,约 34 倍。

    借鉴点

    同一 agent 跑 22 个任务各 12 份脏数据,对比过程式 PySpark 与声明式 SDP 的 dry run 拦截率、代码行数和 token 成本,可用来定数据管线的写法规范;代价是声明式前期 token 约 2.3 倍,且拦不住逻辑错误。

  8. Hacker News · AI 讨论74

    从零构建基础 AI Agent 第二期:会话压缩与生命周期管理

    作者在从零构建 AI Agent 系列第二篇中为会话加上上下文压缩,在每次模型请求前估算 token,超过 --max-context-tokens 的 80%(默认 24000 预算下约 19200)时自动触发,也可用 \compact 手动触发。

    借鉴点

    能拿走一套上下文压缩的落地做法,按最近一条 user 消息切分、只摘要更早轮次、摘要以不可信数据块回填,并保留磁盘完整记录;代价是每次压缩多一次模型调用并计入会话开销。

  9. Hacker News · AI 讨论78

    AWFlow 讲多智能体团队协调运行时:三种协作模式、交接地图与硬预算

    AWFlow 发文介绍其多智能体团队的协调运行时,用三种协作模式、交接地图和每线程硬预算避免循环、重复劳动和 token 账单膨胀。三种模式分别是 lead 规划派活的 lead routes、固定顺序传递结果的 pipeline,以及由人 @ 指定谁回答的 open table。

    借鉴点

    能拿走三套协作模式、按 handoff map 生成 delegate_to 工具、交接只传任务和上下文、先查预算再花钱、规则只收紧不放松、注入 runMember 便于测试;可落到软件工厂的多 agent 派单流程,代价是线程只在浏览器打开时运行,本地小模型建议从 pipeline 模式起步。

  10. Hacker News · AI 讨论71

    作者实测 LLM 评审打分不稳:同一份代码八次评分在 0.82 到 0.93 之间漂移

    作者把同一份 React 组件代码、同一张渲染截图和同一张 Figma 参考图交给 gpt-5.6-terra(medium 推理强度)连打八次分,结果在 0.82 到 0.93 之间波动,7 次过 0.85 门槛、1 次不过,而 schema 是否合法等布尔字段八次完全一致。

    借鉴点

    同一份代码同一张截图连打八次分,分数在 0.82 到 0.93 之间漂,说明用 LLM 打分当门禁会把噪声当回归;可拿走的是植入已知缺陷、多次重跑、再加一道 Clef 否决的做法,代价是要重跑一遍缺陷集且 Clef 会把大图缩到 30 万像素。

  11. AWS Machine Learning Blog58

    Bayer Crop Science 如何在 Amazon Bedrock AgentCore 上构建智能体决策引擎

    Bayer Crop Science 在 Amazon Bedrock AgentCore 上构建了 Agentic Decision Engine(ADE),用 supervisor 智能体把自然语言问题路由给 22 个领域专家智能体,第一阶段约 80% 的用户问题无需工程师介入即可解决。

    借鉴点

    可拿走五条落地做法:LangGraph 检查点写 DynamoDB、按 agent 收窄工具目录、OpenAPI 注册成 MCP 工具、稳定前缀做 prompt 缓存省 20–30% 输入 token、按任务而非 HTTP 状态做告警;前提是已有 AgentCore 与 IAM 体系。

10月23日周五
  1. Hacker News · AI 讨论80

    Sidefleet 发布开源控制面,把闲置电脑组成 AI 编码智能体集群

    Sidefleet 发布开源控制面与 worker,把多台已有电脑组成编码智能体集群,任务按仓库和空闲度派给最闲的机器。它复用各机器上已登录的 Claude Code 和 Codex,无需 API key,worker 只向控制面发起出站 HTTP 调用,不开端口。

    借鉴点

    可借鉴其控制面加 worker 的调度方式,把多台机器上的 Claude Code、Codex 按仓库和空闲度派活,任务各走独立 worktree 分支;代价是要自建 Postgres 控制面,且订阅账号的无人值守使用需自行核对条款。

  2. Hacker News · AI 讨论75

    TanStack AI 发布 1.0 稳定版并推出实验性 agent harness

    TanStack AI 发布 1.0,核心 API 转为稳定并可用于生产,同时推出实验性的 @tanstack/ai-harness。

    借鉴点

    可借鉴其 harness 设计:会话日志持久化、steer 与 follow-up 区分、审批中断跨重启恢复,用来替换单次 chat() 撑不起的长任务流程;代价是 harness 仍是 0.x 实验 API,内存持久化不跨主机恢复。

  3. 掘金74

    Raven 开源多智能体编排框架,把 Claude Code、Codex 等接入并让 harness 自我改进

    EverMind-AI 开源 Raven,定位为 Host Agent,可编排 Research、Code、Design、Oncall 四个内置智能体,并通过 ACP、CLI 或 OpenAI 兼容 API 接入 Claude Code、Codex 等 13 个预设第三方智能体。

    借鉴点

    可借鉴把 Agent loop 拆成 Memory/Planning/Capability/Action 四块分别替换评测,并用评测门控决定改动去留;代价是 Curator 仍属实验性、不在安装包内,性能数字均为项目自述。

  4. 掘金71

    AgentScope-Java 实战:把 Agent 会话状态从本地 JSON 迁到 Redis

    AgentScope-Java 系列第四篇演示如何把 Agent 会话状态从默认的 JsonFileAgentStateStore 切到 RedisAgentStateStore,只需在 HarnessAgent.builder() 里加一行 .stateStore(store),业务代码不用改。

    借鉴点

    能拿走 RedisAgentStateStore 的 builder 配置、key 结构设计和 compaction 两个参数,把本地 JSON 状态换成集中存储,代价是 Redis 客户端要自己建、改 keyPrefix 等于换库。

  5. 掘金78

    pgvector 0.8 评测:迭代索引扫描如何修复过滤向量检索的召回不足

    pgvector 0.8.0 引入迭代索引扫描,在过滤后结果不足 LIMIT 时继续向后扫描索引,直到凑够行数或触达安全上限,解决 HNSW 先取 ef_search 个候选再过滤导致高选择性条件返回不足的问题。

    借鉴点

    能拿走三个 GUC 参数的具体配法和 relaxed_order 与 strict_order 的取舍标准,落到知识沉淀的 RAG 召回线;前提是过滤列建了 B-tree 索引,且 langchain-postgres 把过滤放在 JSONB metadata 上时要绕开封装。

  6. 掘金78

    用 Windows Junction 让 7 个 AI Agent 共享同一份 Skills

    作者给出一套让 Claude Code、Codex、Cursor、Qoder、Trae、WorkBuddy 等 7 个 AI Agent 共享同一份 Skills 的方案,用一个 git 仓库作唯一实体层,其余 Agent 技能目录全部用 Windows Junction 指入,改一处全端生效。

    借鉴点

    用 git 仓库做唯一实体层、各 Agent 目录 Junction 指入,配正向建链、反向收编、每周体检三个脚本;代价是 Junction 存绝对路径,仓库一改名全机断链,Node 建链在占用目录会 EBUSY 需 PowerShell 兜底。

  7. 掘金78

    Windows 桌面语音唤醒从 Vosk ASR 迁移到 sherpa-onnx KWS 的实践复盘

    作者把 Windows Electron 桌面语音助手的唤醒方案从 Vosk Grammar 模式换成 sherpa-onnx 的 KeywordSpotter 加 Silero VAD,唤醒判定从识别文本的字符串匹配变成声学 token 序列精确匹配。

    借鉴点

    能拿走 KWS 阈值三档、400ms 宽限期、预卷环形缓冲和 numThreads=1 这几个具体配置,换掉用 ASR 文本匹配做唤醒的链路;代价是 VAD 挡不住旁人真语音,还得另加声纹或文本过滤。

  8. 掘金71

    显存被占满时用 CPU 微调模型:实测耗时与四个坑

    作者在 48GB 显存被推理服务占满的情况下,用 CPU 对 2B 以下模型做 LoRA 微调,同任务同数据耗时约为 GPU 的 11 倍,精度差在小数点后三位。

    借鉴点

    能拿走 CPU 跑 LoRA 的四个具体坑和修法,包括 device 与精度成对切换、qwen3_nothink 模板、8bit 量化、LFS 指针检查,落到本地模型部署这条线,代价是 2B 以下窄任务要等 11 倍时间。

  9. Hacker News · AI 讨论71

    Warden 开源自主 AI 运维智能体,用确定性哨兵加按需唤醒 LLM 守护 Ubuntu 服务器

    Warden 是一个开源的自主 AI 运维智能体,用确定性哨兵读取内核计数器和日志流(约 4 ms 一次检查)自行封禁攻击者,只在需要判断时才唤醒 LLM,安静服务器多数时候零 LLM 调用。

    借鉴点

    可借鉴其确定性哨兵加门控唤醒 LLM 的分层结构,把高频检测留在内核与日志流、只在异常时调模型,代价是要自己写触发器和只读分类器,且需从 observe 模式起步。