跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

545 条精选近 30 天 539 条共收录 2,452 条

更新

精选归档 · 第 7 页

11月3日周二第 121–140 条
  1. 掘金75

    沙箱核心功能系列 05:E2B、CubeSandbox、OpenSandbox、agent-sandbox 的 Agent 与进程执行 API 对比

    作者源码级拆解 E2B、CubeSandbox、OpenSandbox、agent-sandbox 四家沙箱的 Agent 进程执行与文件 API,按位置通道、进程、文件、有状态代码、安全五个维度逐家对照。

    借鉴点

    能拿走四家沙箱进程/文件 API 的逐项对照和自研清单,落到本地模型部署与 Agent 工具链选型;代价是要读源码级细节,且各家默认鉴权普遍偏弱,验收得盯默认路径。

  2. Hacker News · AI 讨论78

    MCPgraphy 发布 MCP 代理,从 agent 调用中学习工具在哪些状态下可用

    MCPgraphy 发布一个插在 agent 与 MCP server 之间的代理,工具原样透传,它通过每次调用前后回读资源,从 agent 自己的调用中构建状态-工具行为图,在 warn 或 block 策略下提前警告或拦截已知会失败的调用。

    借鉴点

    能拿走的是一层被动学习代理,从 agent 自己的调用里建状态-工具行为图,用 warn/block 两档策略拦下重复失败调用;落到本地模型部署和软件工厂的工具链上,代价是要为每个 server 手写 adapter 描述观测工具和 id 参数,且隐藏状态类失败它看不出来。

  3. 掘金78

    browser-use 实战踩坑记录:CDP 混合启动方案与四层安全护栏

    作者用 Python 3.12 加 browser-use v0.13.14 给本地 AI 中控接上浏览器能力,记录了三个致命坑及解法。启动竞态改用自己拉起 Chromium 开远程调试端口、轮询 CDP 就绪后再交给框架,Windows 后台子进程一律 DEVNULL 防管道死锁,代理需显式加 --proxy-bypass-list=127.0.0.1,localhost。

    借鉴点

    能拿走 CDP-Connect 自拉 Chromium 再轮询端点、DEVNULL 防 Windows 管道死锁、代理 bypass 本地地址、验证码关键词兜底上限 2 次,落到本地模型部署与软件工厂的浏览器工具链,代价是单任务 1~3 分钟且需高指令跟随模型。

  4. 掘金75

    用 Hermes Agent + Python 搭小红书 AI 资讯自动发布系统:50 天发 35 篇

    作者用 Hermes Agent 加 9 个 Python 脚本搭出一条小红书 AI 资讯自动发布流水线,从 2026-09-14 跑到 2026-11-02 共发出 35 篇,失败 3 次且均为模型侧超时。

    借鉴点

    可拿走 CDP 常驻 profile 保登录态、AX 树定位 shadow DOM 按钮、三级降级点击、三判据验收与幂等查重这套做法,落到内容发布产线;代价是登录态需人工维护、强依赖页面选择器。

  5. 掘金75

    WorkBuddy 如何组织专家与专家团

    WorkBuddy 把专家做成插件目录包,用 init、validate、register、package 四个脚本完成创建与校验,人格正文经 ExpertPromptSlotCollector 填入 {{ PluginAgentPrompt }} 槽位并附 Role Override。

    借鉴点

    能拿走专家包目录结构、四个校验脚本和团队工具协议,落到多 Agent 编排线上;代价是规范层与运行时提示词互相矛盾,需两边一起改一起测。

  6. 掘金75

    糖糖写作作者复盘 LLM 应用架构:状态机加台账,260 章实测踩了五个坑

    作者用 DeepSeek V4.1 Flash 搭了一套写长篇小说的 LLM 应用,分控制层 8 环节状态机、约束层 26 张按环节加载的规则卡、记忆层四本台账,连续推进 260 章约 70 多万字,返修率约 8%。

    借鉴点

    能拿走三层架构(8 环节状态机、26 张按环节加载的规则卡、四本台账)和写回四约束、摘要固定字段拼装、裁剪顺序写死,落到小说创作与知识沉淀线;代价是短篇摊不平约 6 万字符固定开销,换题材要手动清台账。

  7. 掘金78

    用静态安检门禁扫 browser-use 出 176 个 BLOCK,作者逐条复核后仍集成

    作者用自写的 check_safety.py 对 browser-use 做只读静态扫描,421 个文本文件共 114348 行扫出 176 个 BLOCK、359 个 WARN,机器结论为 REJECT,但逐条复核后判定绝大多数命中是该框架的本职业务,最终有条件放行并接入使用。

    借鉴点

    能拿走两套正则规则库和 wrap_external 打标函数,落到本地模型部署与知识沉淀的第三方代码准入环节;代价是 176 条命中仍需人工逐条复核,二进制文件正则扫不到。

  8. 掘金71

    Impeccable 用 61 条无模型规则拦截编码 Agent 的模板化界面

    Paul Bakaus 的 Impeccable 把编码 Agent 的界面同质化问题从提示词里拆出来,用 1 个技能、24 条命令和 61 条确定性检测规则在保存文件时做检查,命令行和浏览器扩展跑这些规则时不调用模型也不要 API key。

    借鉴点

    可照搬它的分层做法,把产品事实写进 PRODUCT.md、视觉方向写进 DESIGN.md,再用 61 条不调模型的规则在保存时拦截模板化痕迹;代价是要按各家工具分别配置钩子落点,装错层会静默失效。

  9. 掘金80

    FreeToken 引擎解析:如何在游戏本上运行 290B 参数 MoE 模型

    FreeToken 是一个边缘原生 MoE 推理引擎,声称能把 290B 参数级开放权重模型放到游戏 PC 上以交互式速度本地运行。它靠带宽自适应的 CPU-GPU 协同执行、全层双缓冲预填充流式传输和全局 LRU 专家缓存来应对显存带宽瓶颈,并用语义锚点检查点只重算上下文编辑后的分支。

    借鉴点

    能拿走带宽自适应专家调度、全层双缓冲预填充、语义锚点 KV 缓存三套做法,落到本地模型部署线;前提是接受文中未给实测数据的结论,且需 RTX 30 以上显卡。

  10. 掘金78

    Lightpanda 用 Zig 重写无头浏览器,内存降 16 倍、速度快 9 倍

    Lightpanda 是一款用 Zig 从头编写的无头浏览器,官方数据显示相比无头 Chrome 内存占用从 2GB 降到 123MB、执行时间从 46s 降到 5s。

    借鉴点

    能拿 Lightpanda 的 CLI fetch 转 Markdown/结构化数据、CDP 接 Playwright,替换无头 Chrome 跑抓取;代价是 Linux 二进制依赖 glibc,Alpine 需换镜像,Windows 只能走 WSL2。

  11. 掘金78

    AI Agent 性能评估的 4 维 15 项指标与 200 行 Python 自动化评测方案

    文章给出 AI Agent 的四维评估体系,涵盖结果交付、过程轨迹、性能成本、安全合规共 15 项指标,并附一套不到 200 行 Python 的本地自动化评测方案。

    借鉴点

    能拿走一套可跑的评测骨架,入口函数返回工具轨迹与沙盒终态,配 test_cases.json 断言和 Pass^k 门禁,代价是要先改造 Agent 接口暴露 trace,软指标还得接 DeepEval 和裁判模型。

  12. 掘金75

    Agent 为什么总失忆:工作记忆、会话状态、长期记忆与 RAG 的生产实践

    作者以虚构运维助手 OpsPilot 为例,把 Agent 记忆拆成工作记忆、会话状态、长期记忆和 RAG 四个盒子,并给出 TypeScript 的上下文组装与读写代码。

    借鉴点

    能拿走四层记忆拆分、硬软区 Token 预算和 assemblePrompt 代码,落到知识沉淀与 Agent 产线,代价是要自己实现会话状态存储和记忆抽取接口。

  13. 掘金71

    Anthropic 主张折叠 subagent、DeepSeek 主张加 Router,两篇 Agent 架构文章为何不矛盾

    作者对比 Anthropic《When to fold subagents into your main agent loop》与 DeepSeek Harness 团队《Super-agent 设计探索》后认为两者并不矛盾,前者讲单任务内部把 subagent 折叠回单 loop 加 skills 和 tools,后者讲跨会话用常驻 Router 编排隔离的 Worker。

    借鉴点

    能拿走的是把脚手架分成能力型和机械型两类,再按单任务内、跨任务两层决定拆还是建;落到软件工厂的 agent 编排上,前提是先有端到端 eval,否则折叠和加 Router 都只能凭感觉。

  14. Hacker News · AI 讨论76

    Lyngvi 2.0.0 发布面向自主编码智能体的加固沙箱

    Lyngvi 2.0.0 发布,这是一个 MIT 许可、面向自主编码智能体的加固沙箱,支持 macOS 和 Linux,需 Podman 5+,提供 JavaFX 桌面应用和 CLI 两个前端。

    借鉴点

    能拿走一套容器隔离配置,无默认路由加 Squid 白名单、复制工作树换新 .git、网关侧车托管密钥、交付按 apply/hold/reject 三桶分类;可落到本地模型部署和软件工厂,代价是要装 Podman 5+ 并维护 profile 与域名白名单。

  15. Hacker News · AI 讨论78

    作者用 3 万段柔术教学视频微调 Qwen2.5-7B 打造领域教练模型

    作者 maxdemarzi 公开了一套在单张 GPU 上构建巴西柔术领域 AI 教练的完整配方,基于 Qwen2.5-7B-Instruct 训练出 bjj-coach-7b-v3,在自建 BJJ-Bench-250 上运动学精度达 5.00/5.0、幻觉通过率 100%。

    借鉴点

    可复用的完整配方,含上下文头、知识图谱互斥惩罚、CLIP+VLM 视觉块、5 路 listwise 重排、2.5x 决策权重 QLoRA 与 disable_adapter 零额外显存 DPO,单卡约 30 分钟跑完,代价是要自建领域词典和标注基准。

  16. Hacker News · AI 讨论76

    如何为 AI 智能体编写 eval:从 LLM eval 的区别到七步落地

    EvalShift 的 Lukas Babaliauskas 撰文讲解智能体 eval 的写法,指出 LLM eval 只评单条回复,智能体 eval 要评整次运行的工具调用、参数、留下的状态和最终回复,否则智能体没调退款工具却回复已退款也会被判通过。

    借鉴点

    七步流程可直接照搬,核心是成功标准写成世界状态而非回复文本,代码判分优先、LLM judge 只判文风,代价是每个任务要跑 3 到 5 次并人工标注 30 到 50 条校准 judge。

  17. Hacker News · AI 讨论71

    实测 DaVinci Resolve 21.1 通过 MCP 让 AI 完成剪辑全流程

    DaVinci Resolve 21.1 新增 AI Assistance,可通过 MCP 服务器让 Claude、Codex 等工具直接操作剪辑时间线,完成选条、跳剪、加标题和导出。

    借鉴点

    可复用其 MCP 接入 Resolve 的配置步骤与提示词结构,把选条、跳剪、标题、导出串成一条视频产线;前提是付费 Studio 21.1 加 Deepgram 词级时间戳,否则内置转写漏词会让剪辑点错位。

  18. Hacker News · AI 讨论80

    Mago Studio 开源本地 AI 视频编辑器,通过 ComfyUI 在本机 GPU 渲染

    Mago Studio 发布开源桌面版 AI 视频编辑器,项目和视频留在本机,渲染走自己的 GPU 上的 ComfyUI,登录后也可用 Mago Cloud 渲染。

    借鉴点

    能拿走的是本地渲染的完整配置清单,Windows 向导装 ComfyUI、节点包和 MiniMax H3 系列 LoRA,接自建 ComfyUI 需 v0.34.0 以上、三个节点包和约 54 GB 模型,代价是 NVIDIA 8 GB 显存起步、约 63 GB 磁盘,且脚本与参考图离线需另装本地 LLM 和图像模型组。

  19. Hacker News · AI 讨论78

    Parad0x Labs 发布本地优先智能体 VOOL 0.7.7-beta,记忆评测领先 OpenClaw 与 Hermes

    Parad0x Labs 发布本地优先个人智能体 VOOL 0.7.7-beta,MIT 许可、无需账号,可跑 Ollama 本地模型或自带云模型 key。官方称在 150 道未用过的 LoCoMo 题上答对 82.7%,高于 OpenClaw 的 71.3% 和 Hermes 的 62.7%,每题 9.6k token、0.0033 美元、中位 11.2 秒。

    借鉴点

    可借鉴的是把记忆存成可读文件、每次工具调用留可离线校验的签名回执,以及用同一批 LoCoMo 题对比 token 与成本的评测口径;代价是本地模型要逐轮嵌入、多跳问题仍吃力。