跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

545 条精选近 30 天 539 条共收录 2,452 条

更新

精选归档 · 第 19 页

10月25日周日第 361–380 条
  1. 掘金78

    一份可直接运行的 Python 四层 AI Agent 工具调用防护实现

    作者给出约 150 行、仅依赖标准库的 Python 工具调用防护层 ToolGuard,按白名单、硬禁、权限、确认、参数校验、熔断的顺序拦截,五个典型场景依次打印出每层在哪一步拦下调用。

    借鉴点

    可直接抄走 ToolGuard 四层拦截骨架,含别名归一、参数白名单、硬禁名单、sort_keys 指纹熔断,接进现有 Agent 只需守住候选集来源、唯一调用入口、确认走状态机三点;代价是 call_counts 为进程内字典,多实例需换 Redis 加 TTL。

  2. 掘金80

    从参数校验到高危二次确认:AI Agent 工具误调用的四层工程防线

    文章针对 AI Agent 工具误调用,提出 Schema 约束、工具分类隔离、权限白名单、运行时风控四层工程防线,并给出 Pydantic 校验、别名归一化、重复调用指纹等可复用代码。

    借鉴点

    能拿走四层防线加 Pydantic 校验、别名归一化、重复调用指纹和确认框四要素,落到软件工厂的工具调用治理;代价是工具少于 5 个时反而拖慢响应,且人工确认准确率数据多为二手转述。

  3. 掘金71

    AgentScope-Java 接入 Spring Boot 与 SSE 流式实战

    技术老孙用 AgentScope 2.0.1 加 Spring Boot 4.1.1(MVC)把 HarnessAgent 接进 Web,通过 SseEmitter 把 streamEvents() 的 Reactor 事件流转成浏览器可消费的 SSE,实现逐字输出。

    借鉴点

    能拿走 AgentScope 事件流转 SSE 的四层接法,含事件裁剪成 {type,content} 与超时设 0,落到软件工厂的 Agent 前端接入;代价是 Spring Boot 4 需补 starter-json 且 Flux 必须手动 subscribe。

  4. 掘金76

    用 250 行 Python 标准库给 Agent 造一道可验证的出站门

    作者用约 250 行纯 Python 标准库写出 egress_gate.py,为 Agent 出站请求做默认拒绝、动作级白名单和 SHA-256 哈希链证据,并在 Python 3.13.14 上跑通 8 个用例。

    借鉴点

    能直接拿走 egress_gate.py 的默认拒绝加 (host, method, path, purpose) 四元组策略和 SHA-256 哈希链,挂到 Agent 出站代理上做策略引擎;代价是单机 JSON 账本并发会丢计数,且 Agent 绕过决策点就抓不到。

  5. 掘金78

    作者把 76,175 字符的 AI 记忆文件重构为 4,507 字符常驻加 14 个分片

    作者墨流觞雪把给 AI 助手用的 76,175 字符记忆档案重构成 4,507 字符常驻层加 14 个分片,起因是实测发现常驻记忆文件被静默截断,7,174 字符只注入约 4,120 字符、断在第 69 行,丢掉的部分包含档案索引本身。

    借鉴点

    可拿走四层记忆结构(L0 常驻规程加索引加分片加归档)、首末行探针和按处境切分片的判据,落到知识沉淀与 Agent 长跑协作;代价是常驻层每轮计费、需脚本维护元数据,且无法强制 Agent 真去读。

  6. 掘金71

    Polter 发布终端总管与总控台,解决 Claude Code 通宵卡在确认框

    Polter 发布自带控制中枢的终端,用总管(Supervisor)和总控台(Control Room)解决 Claude Code 长任务半夜卡在 y/n 确认框的问题。

    借鉴点

    可借鉴其终端值守机制,用 terminal_read 读纯文本而非截图 OCR,屏幕静止 3 分钟才推送唤醒总管,安全操作代答、破坏性操作报警,代价是要把长任务迁进 Polter 终端并接受本地状态目录。

  7. 掘金70

    用 Python 标准库实现一个能读代码改 Bug 跑测试的 Agent 最小闭环

    程序员小袁用 Python 3.10+ 标准库写了一个可运行的 Agent 最小闭环,读取 calculator.py 和测试、复现加法函数错误、提交补丁经用户批准后写入、再跑测试验证。

    借鉴点

    能拿走一套只用标准库的 Agent 最小闭环,含工具 Schema、执行器审批、快照验收和离线替身,可换掉现在靠模型自觉守规矩的写法,代价是文件白名单和固定测试命令只适用于教学小项目,不是安全沙箱。

  8. Reddit · r/artificial71

    开发者开源 AIPass,用常驻 AI 智能体团队维护项目

    独立开发者 /u/Input-X 开源 AIPass,用一套常驻 AI 智能体团队维护自己的项目。他只与技术负责人 DevPulse 对话定方向,DevPulse 再制定执行计划、把任务派给 @hooks、@memory、@ai_mail、@flow 等各管一块的专家智能体,派完即休眠,等对方完成后再唤醒验收测试并整合。

    借鉴点

    能拿走的是常驻专家 agent 加调度层这套结构,每个 agent 有自己的目录、记忆、邮箱和测试,调度者派单后休眠、完成再唤醒验收;落到软件工厂这条线,可换掉单 agent 串行派活。代价是系统体量大、上手要时间,还要按 CPU 余量排期,作者自己成了审阅瓶颈。

  9. 掘金75

    生产级 RAG 知识库系统架构拆解:从 DeepDOC 解析到混合检索与像素级溯源

    一篇教程按入库与检索两条路径拆解生产级 RAG 知识库,覆盖多格式分流解析、结构化切块、双模索引、混合召回与二次打分、多模态溯源。

    借鉴点

    能拿走一套可落地的 RAG 参数与防护,包括 512 Token 切块、0.7 词项加 0.3 向量打分、48M 像素渲染预算;代价是解析链路重、并发与内存要自己压住。

  10. 掘金78

    实测 Claude Code 7 天 4423 次请求:六成成本花在缓存读取上

    作者统计本机 7 天 Claude Code 使用记录,共 4423 次 API 请求、10.3 亿 token,按 API 标价折算约 335 美元,其中缓存读取占成本 59.9%,缓存写入占 27.8%,模型输出只占 12.3%。

    借鉴点

    能拿走按 requestId 去重统计 ~/.claude/projects 会话记录的做法,落到本地模型部署的成本核算上;前提是接受单人单机样本,且订阅额度计量方式官方未公开。

  11. Hacker News · AI 讨论71

    Denis Zontak 搭建能自行分诊并修复 bug 的 AI 流水线,31 分钟出 PR、花费 2.45 美元

    Denis Zontak 公开了一套自建 AI 流水线,由 Night Watch 监控日志并分诊、Day Shift 生成规格并产出 PR,人只在批准修复方案和签收结果两处介入。

    借鉴点

    可借鉴双服务分工(日志监控+修复流水线)与两道人工闸门的设计,以及用演练开关和埋 bug 验证整条链路;代价是要自建日志告警预算和回放验证,否则会重复构建、告警刷屏。

  12. MarkTechPost71

    用 llama.cpp 跑 Underdog Saluki 27B 2-bit 量化版并实测工具调用

    MarkTechPost 发布教程,在原生 llama.cpp 上运行 7.9 GB 的 Underdog Saluki 27B(Qwen3.8-27B 的 2-bit 构建),并与 ISTA-DASLab 的 GSQ-RCO IQ2_XS 版本逐张量、逐字节对比。

    借鉴点

    能拿走一套可复现的 GGUF 对比流程,逐张量读 header、按字节比对权重、用 BFCL 自带 checker 打分,落到本地模型部署这条线;代价是要一块 GPU 或 Apple 芯片,120 题样本小,结论只能看置信区间。

  13. 掘金78

    Meowcute 用 Qwen-Image-2.1 在单张 4090 上生成角色四视图的实测报告

    Meowcute 项目用单张 RTX 4090 加全离线 Qwen-Image-2.1,把游戏角色四视图做到可用,单套约 1~1.5 分钟、峰值显存 14.7GB。

    借鉴点

    能拿走一套四视图做法,正视图文生图、侧背右以正视图为参考逐张指令转身、numpy 拼板,落到游戏素材产线;代价是 470 字八段指令工程和 40 步画质底线,90° 正侧面仍会丢背包。

  14. 掘金71

    用 Mastra 搭多 Agent 写作系统:Research、Analysis、Writer、Reviewer 协作实战

    作者用 Mastra 搭了一个四 Agent 技术文章生成系统,Research 检索知识库、Analysis 设计结构、Writer 写稿、Reviewer 输出 approve/revise/research 决策驱动 dountil 审核循环,最终以三次审核两次修订后通过收尾。

    借鉴点

    能拿走一套四 Agent 加 dountil 审核循环的 Mastra 编排骨架,以及 Zod 契约与 superRefine 业务校验分离的写法,落到软件工厂的内容产线;代价是结构化输出不稳时要花大量时间补 Schema 和 preprocess。

  15. 掘金78

    Codex CLI 智能体执行机制分析:从普通 ReAct 到 V1、V2 多智能体

    作者基于 Codex CLI 开源 Rust 代码(commit 8c07694)拆解其智能体执行机制,对比普通 ReAct、V1 与 V2 三种模式。V1 把派活从同步函数调用改为异步派生,子智能体有独立线程、上下文和可恢复历史,但完成通知只带状态不带内容;V2 补上驻留槽位与 LRU 换出重载、树级共享信箱和 fork_turns 精细上下文继承。

    借鉴点

    能拿走 Codex V1/V2 两代多智能体的线程派生、LRU 换出、树级信箱与 fork_turns 上下文裁剪设计,落到软件工厂的多 agent 派单流程;代价是要自己实现监工、驻留槽位和并发治理。

  16. 掘金78

    LangGraph 状态图教程:从节点、边到中断恢复手写多 Agent 工作流

    一篇 LangGraph 教程从 State、Node、Edge 三要素出发,手写多 Agent 工作流,覆盖 Annotation 与 Reducer、条件边、循环重试、Checkpointer 断点续跑和 interrupt 人工审批。

    借鉴点

    能拿走 Annotation+Reducer、条件边、Checkpointer、interrupt 的完整代码骨架,落到多 Agent 编排和人工审批流程;坑是只写 default 不写 reducer 会失效,interrupt 前的副作用恢复时会重跑。

  17. 掘金75

    Spring AI Alibaba Agent 长流程栈溢出:从 Reactor 调用链到修复验证

    作者复盘一条 Spring AI Alibaba Agent 请求运行约 2 分 42 秒后因 StackOverflowError 中断,定位到图执行器每完成一个节点就用 concatWith(Flux.defer(...)) 把下一步接到当前 Reactor 流上,循环增多后 request() 调用链耗尽线程栈。

    借鉴点

    可复用其排查路径:按链路标识锁定首个 StackOverflowError,看 FluxConcatArray 的 request() 是否成组重复,再用 3000 次无模型自循环测试隔离图执行器;代价是要回移上游补丁并逐类对照源码。

  18. 掘金71

    gpu-unlock-ada 开源项目:内核模块解锁 Ada 消费级显卡张量算力

    GitHub 项目 gpu-unlock-ada 通过在 Linux 启动阶段抢先加载内核模块、修改流多处理器速度选择寄存器,把 RTX 4090 的 FP16/FP32 与 BF16/FP32 张量吞吐从 165 TF/s 提升到 331 TF/s,INT8 与 dp4a 维持基线。

    借鉴点

    能拿走的是 initramfs 抢先加载内核模块、用 gpu_unlock.targets 指定 PCI 地址、冷启动清 WPR2 这套流程,可落到本地模型部署的 FP16/BF16 推理提速;代价是仅三款 Ada 卡验证、每次内核更新要重装、热重启可能失败。

  19. Hacker News · AI 讨论74

    Kevlar 发布 MCP 防火墙,拦截工具描述注入与凭据外泄

    Kevlar 是一个位于 MCP 客户端与服务器之间的代理防火墙,对 tools/list 无条件清空所有 description 字段,只保留 name 和 inputSchema。

    借鉴点

    能拿走的是 MCP 代理层的四道拦截做法,剥 description、扫注入、拦带凭据出站、握手后锁工具表,可直接套到本地 MCP 客户端前面;代价是只支持 Linux 和 macOS、需 Python 3.10+,且 tools/call 结果只能靠阈值打分,误杀风险要先用 audit 模式摸清。

  20. Hacker News · AI 讨论76

    Mindoo 为 12 款应用接入 WebMCP 智能体工具的经验总结

    Mindoo 联合创始人 Karsten Lehmann 总结为 Haven 工作区中 12 款应用(Word/Excel/PowerPoint 编辑器、思维导图、CRM、邮件、教师工作台等)接入 WebMCP 智能体工具的经验。

    借鉴点

    能拿走一套 WebMCP 工具设计规则和分层暴露做法,包括 get_context 先行、ops_guide 按需展开、写操作一步一撤销;落到软件工厂的 agent 工具层,代价是要自己补测试和桥接层。