跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

545 条精选近 30 天 539 条共收录 2,452 条

更新

精选归档 · 第 13 页

10月30日周五第 241–260 条
  1. 掘金71

    GitHub 开源 mobile-mcp 实测:用自然语言让 AI Agent 在 iOS 和 Android 真机上跑测试用例

    作者实测了 Mobile Next 团队开源的 MCP 服务器 mobile-mcp,它把 iOS 模拟器、iOS 真机、Android 仿真器和真机的控制能力封装成 30 多个 MCP 工具,Agent 接上后可用自然语言装应用、点按钮、输文字、截屏录屏和抓崩溃日志。

    借鉴点

    能拿走 accessibility-first 读元素树代替截图、mobile_batch_commands 合并动作省 token,以及把探索路径固化成回归脚本这条线;代价是 iOS 真机要手动开 tunnel 和端口转发,WDA 签名过期得重签。

  2. 掘金78

    GUI-JEPA 用隐空间打分替代解码,0.5B 参数一步 51 毫秒

    上海交大、南洋理工和阿里巴巴团队提出 GUI-JEPA,用 JEPA 隐空间对候选控件打分替代逐 token 解码,在 AndroidControl 上以 0.5B 参数保留 Qwen2.5-VL-7B 微调模型 86-92% 的步级精度。

    借鉴点

    可借鉴候选打分替代逐 token 解码的做法,把截图编码一次、对 a11y 树候选批量打分,落到端侧智能体和手机自动化线;前提是能拿到无障碍树,且只验证了步级准确率、没有在线任务完成率。

  3. Hacker News · AI 讨论74

    envgit 发布:为编码智能体环境做版本控制,按请求拦截 git push 和 npm publish

    作者发布 envgit,一个给编码智能体工作环境做版本控制的开源工具,在每一步后快照工作目录,并用请求级 YAML 策略拦截 git push、npm publish 等不可逆操作。

    借鉴点

    envgit 用每步快照加请求级策略(按 method 和 path 拦 git push、npm publish)补上三个 agent 沙箱默认放行 ~/.ssh 和出网的缺口,代价是 Copilot CLI 只能记录不能强制,shell 规则形同虚设。

  4. Hacker News · AI 讨论78

    Kinoloom 发布本地 AI 电影工作室,8 GB 显卡跑 LTX-2.5 与 MiniMax H3

    Kinoloom 是一个跑在单台 Windows PC 上的本地 AI 电影工作室,作者称在 8 GB 显存的 RTX 3070 上跑起了 22B 的 LTX-2.5 和约 20B 的 MiniMax H3。

    借鉴点

    能拿走的是 8 GB 卡跑 22B 视频模型的三招,单模型独占 GPU 租约、权重留内存按需流式上卡、在 latent 空间接长镜头;代价是 Windows 独占、64 GB 内存和 211 GB 权重,且只在一台机器上测过。

  5. Hacker News · AI 讨论71

    Apgar 发布 AI 智能体发布健康监控工具,无需 LLM judge 即可发现回归

    Apgar 发布面向 AI 智能体的发布健康监控工具,在每次发布后的最初几小时对比上一次发布,发现工具报错、重试和循环增多、工具调用减少、回答变短、成本或延迟升高等退化。

    借鉴点

    能拿它做发布后的回归监控,从已有 trace 里比对工具报错、重试、循环、调用量、回答长度、成本和延迟,不用 LLM judge 也不用数据集;前提是接入 OpenTelemetry 或 Langfuse 并给每次部署打 release 标签,还要自托管 Docker Compose 或 Kubernetes。

  6. AWS Machine Learning Blog60

    MoEngage 如何用 AgentCore Gateway 把 400 多个内部 API 变成智能体工具

    MoEngage 用 Amazon Bedrock AgentCore Gateway 把约 400 个 VPC 私有 REST API 注册为权限受限的智能体工具,估算省下约六个月平台工程工作量,新 API 接入从数天缩短到数小时。

    借鉴点

    把 OpenAPI spec 当工具定义、用 Cedar 策略在序列化前按主体裁剪 tools/list、身份走 header 不进模型参数,这套做法能直接换掉每团队自建 MCP server 的方案,前提是接受平台组统一托管协议层。

10月29日周四
  1. Mistral AI78

    Mistral 开源 Mistral Large 4(Le Chonk)权重,1 万亿参数多模态模型

    Mistral 发布 Mistral Large 4(Le Chonk)的开源权重,这是其 1 万亿参数原生多模态旗舰模型,此前已进入公开预览。

    借鉴点

    能拿走的是三档推理模式与 token 效率取舍,以及 vLLM/SGLang 自托管部署路径;可落到本地模型部署和软件工厂,代价是 1 万亿参数对硬件要求高,商用 MaaS 还需另签许可。

  2. Hacker News · AI 讨论71

    vibecheck 发布 AI 生成应用上线前安全审计工具

    vibecheck 发布面向 AI 生成应用的上线前安全审计工具,用零依赖扫描器跑 60 多项检查,再由 AI 智能体复核并剔除误报,输出 0 到 100 的 Launch Score 和 GO、FIX FIRST、NO-GO 结论。

    借鉴点

    能拿走一套零依赖扫描脚本加 Claude Code 插件钩子,把密钥泄露、Supabase 无 RLS、浏览器直调付费 API 这类问题挡在提交和部署前,代价是只覆盖它列出的规则,深度集中在 Next.js、Supabase、Stripe 等栈。

  3. Hacker News · AI 讨论78

    OAR 发布统一编码 agent runtime 的编程接口

    OAR(Open Agent Runtime)发布 provider 无关的编程接口,同一套代码把 runtime 名从 claude 换成 codex、grok 或 pi 即可驱动,runtime 无法满足的选项会在会话打开前被拒绝而不是静默丢弃。

    借鉴点

    能用一个 API 把 claude、codex、grok、pi 等编码 agent runtime 统一起来,换掉为每个 harness 各写一套适配的活;代价是 Node 24+ 且 Cursor、Pi Durable 要宿主自己传 SDK 和 Harness。

  4. Hacker News · AI 讨论72

    Deriv 开源自托管 AI 平台 Deriv One,含技能注册表与 Slack 智能体

    Deriv 以 MIT 协议开源自托管 AI 平台 Deriv One,把共享技能目录、Slack 智能体、多窗格工作区和无代码 Lab 应用构建器统一在一套身份目录与密钥库上,用量按自有模型网关统计。

    借鉴点

    能拿走一套自托管 AI 平台的四块拼法,技能注册表加审核流、Slack 智能体、多窗格工作区、无代码 Lab,全跑在自有身份目录和密钥库上;要落地得自备模型网关、身份代理和云,生产插件与内部集成不在仓库里。

  5. Hacker News · AI 讨论71

    AWF 发布 AI 工作流框架,含 CLI、ZPM 推理层与 ztick 调度器三个开源二进制

    AWF 发布一套面向企业 AI 集成的开源生态,由三个静态二进制组成:Go 编写的 AWF CLI 用 YAML 定义工作流并支持 OpenAI、Claude、Gemini、Ollama 多provider、并行、重试与断点续跑。

    借鉴点

    可拿走 YAML 定义工作流、单静态二进制、按步记录 token 与 JSONL 审计的做法,替换现在脚本加 SDK 拼的流水线;代价是 Go 与 Zig 三件套要自己运维,ZPM 的 Prolog 推理只覆盖事实规则类知识。

  6. 掘金78

    我用 SQLite 加 FTS5 和向量实现零依赖中文全文检索

    作者在 delta search 中用 SQLite FTS5 加向量表实现零依赖中文混合检索,解决 unicode61 把整句中文当成一个 token 导致搜不到的问题。

    借鉴点

    能拿走中文 bigram 分词加 FTS5 空格串索引、Float32 BLOB 存向量、RRF 融合三件套,落到本地知识沉淀和检索链路上;代价是单字查询失效、长查询 AND 过严、embedding 失败即永久降级。

  7. 掘金78

    CycleDetector 如何用三维度检测与工具四级分类识别 Agent 循环

    CycleDetector 用三个独立 streak 计数器检测 Agent 循环,分别是完全相同的调用、工具类别连续计数和特定工具独立阈值。它把工具按四级 fallback 分为 exploration 与 action 两类,对 edit、write、apply_patch 等写操作在参数变化时把 streak 减半,以区分迭代改进和盲目重复。

    借鉴点

    能拿走三 streak 计数器加参数变化减半的完整伪代码和阈值表,落到软件工厂的 Agent 终止判据上,代价是要自己维护工具分类和 per-tool 阈值。

  8. Hacker News · AI 讨论71

    mustfail 发布 0.1.0,用回滚源码验证 agent 测试是否真能失败

    Greenlit Books 发布开源工具 mustfail 0.1.0,把编码 agent 改过的源文件回滚到基线、保留它新写的测试再跑一遍,仍然通过的检查被判为没有测到实际改动。

    借鉴点

    把改动源码回滚、保留 agent 新写的测试再跑一遍,用负向对照判断测试是否真能失败;代价是跑两遍测试套件,纯重构会被误判为未覆盖。

  9. Hacker News · AI 讨论78

    Open Agent Primitives 发布企业级 AI Agent 安全运行平台

    Open Agent Primitives(OAP)发布一套在自有集群上安全运行企业 AI Agent 的平台,核心是让平台而非模型在每次动作执行前做授权检查。

    借鉴点

    六个原语(AgentClass 模板、声明式工具契约、凭证代理注入、逐动作授权、多渠道校验、记忆分权)可直接对照自建 Agent 平台的权限层,代价是要自备集群并接受 OWASP 十项里仍有六项在建设中。

  10. Hacker News · AI 讨论78

    shellfirm 发布:为 AI 智能体执行 shell 命令加装安全带

    shellfirm 发布,在危险 shell 命令执行前拦截,内置 23 组共 496 项检查,覆盖 git、Kubernetes、Terraform、Docker 与云平台等,默认全部开启。

    借鉴点

    能拿 shellfirm connect claude-code 给 Claude Code 的 Bash 调用加前置拦截,把危险命令挡在执行前;代价是只读命令行、脚本内容和运行时拼接命令看不到,Nushell 内置命令拦不住。

  11. 掘金78

    美团技术团队分享分布式存储系统里用 AI Coding 的实践与边界

    美团基础技术部结合分布式存储实践,总结 AI 评审、AI Debug 和 AI 自动化三类场景中 AI 能做什么、容易错在哪、哪些环节必须由人把关。文章给出四层证据体系,静态评审找候选、构建与单测判真伪、集成测试降误报、运行时日志看线上是否发生,并强调流畅不是证据、变绿不等于问题解决。文中还给出结论按证据等级分档、只沉淀稳定不变式、建立分层授权等可复用做法。

    借鉴点

    可拿走四层证据分级(静态评审、单测红绿、集成测试、运行时日志)和分层授权做法,落到软件工厂的评审与验证环节,代价是要先补 sanitizer、故障注入等测试基础设施。

  12. Hacker News · AI 讨论80

    Bernstein 发布 v3.23.0 开源 AI 智能体治理层,含 53 个 CLI 适配器

    Bernstein 发布 v3.23.0,作为 AI 智能体的开源治理层,提供 53 个 CLI 适配器,采用 Apache 2.0 许可并支持本地部署。它用确定性 Python 调度器并行运行多个智能体,协调环节不引入模型,同一计划可逐字节复现;流程分拆解、隔离 worktree 起 agent、测试类型 lint 校验、只合已验证 diff 四阶段。

    借鉴点

    可拿走四阶段流水线(拆解、隔离 worktree 起 agent、测试类型 lint 校验、只合已验证 diff)和 HMAC 链式审计日志,落到软件工厂的并行派单与可复核交付;代价是策略要自己写成代码,调度器刻意不放模型。

  13. 掘金80

    给 MCP Server 补契约快照与回放测试:八个用例锁住模型看到的 schema

    作者用八个内存用例给 MCP Server 补上契约快照、行为断言和回放测试,不开端口不走网络,单次调用往返 0.034 毫秒。

    借鉴点

    能拿走一套 MCP Server 测试骨架,把 createNotesServer 与 listen 拆开、用 InMemoryTransport 直连、导出契约快照加回放 fixture,落到本地工具链和软件工厂的回归环节;代价是快照和 fixture 要随有意改动手动更新并 review diff。

  14. Hacker News · 首页71

    Flamerix AI 用 Bun preload 关掉 Claude Code 后台智能体摘要,省下约 15-20% token

    Flamerix AI 发布 MIT 许可的 no-agent-summary.js,用 Bun preload 拦截 Claude Code 每约 30 秒为每个后台智能体生成 3-5 词状态摘要的定时器,作者称这占其全部 Claude Code 花费的 16.4%、API 请求的 19.7%。

    借鉴点

    用 Bun preload 包住 setTimeout,按回调源码里的锚点字符串拦掉 agent_summary 定时器,能省下约 15-20% token;代价是每次更新后要重跑 Verify,锚点一改名就静默失效。