跳到正文

内容类型

教程实践 最新动态

拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。

439 条精选近 30 天 437 条共收录 1,601 条

更新

精选归档 · 第 22 页

10月21日周三第 421–439 条
  1. Hacker News · AI 讨论80

    Meta 分享薄编排器架构:1300行路由层调度14个专家智能体

    Meta 工程团队发文介绍其数据管道智能体采用的薄编排器架构,用约1300行代码把20多条工作流路由到14个专家子智能体,编排层自身不做任何领域推理。此前单个全能智能体在生产环境中出现概念串扰和幻觉,改为确定性路由加隔离上下文的专家分工后,新增列配置的准备时间从手工三到四天降到一小时以内,约三分之二的改动无需大量人工修改。

    借鉴点

    可拿走薄编排器加14个专家子智能体的分层做法,7步固定协议里只有委派一步走LLM,落到软件工厂能替换单agent串行派活,代价是要先拆清领域边界并维护25+知识文件。

10月20日周二
  1. Hacker News · 首页74

    Lexifina 用全所知识图谱给 Agent 提速,回答时间减少 73%

    Lexifina 给 Agent 接入覆盖全所事务、文档、条款、客户、法条和工时的知识图谱后,五个全所级问题的回答时间减少 73%、输入 token 减少 92%、模型调用减少 66%,准确率从 99% 升到 100%。

    借鉴点

    可拿走规则优先、只把规则读不出的句子送小模型并缓存答案的建图流程,落到知识沉淀和 Agent 检索上,代价是每类数据源要写适配器、规则要长期维护、每次记录变更都要重建。

  2. 掘金78

    XERJ 发布 Rust 本地搜索引擎,为 AI Agent 提供 MCP 检索与记忆

    XERJ 是一个用 Rust 写的本地优先搜索引擎,通过 BM25 加向量混合搜索和 MCP 协议为 AI Agent 提供代码与文档检索。官方称替代 grep 后 Agent 输出 Token 降至原来的 1/2.7,比纯记忆方案减少 26 倍,部分 Java 任务降低 278 倍且任务解决率不变。

    借鉴点

    能拿走的是 xerj autoindex 自动嗅探目录建 AST 索引、MCP 暴露 17 个工具接 Claude Code 和 Cursor、/_memory 做跨会话向量记忆;可落到本地模型部署和知识沉淀两条线,代价是默认词法嵌入器语义精度不足,高并发写入 p99 延迟不如 ES 8.13.4。

  3. 掘金80

    Headroom 深度解析:本地 LLM 代理如何压缩编码代理的 Token

    Headroom 是一款本地运行的 LLM 代理与库,在数据送入 LLM 前做可逆压缩,官方称编码代理可减少 20% Token 消耗,JSON 类数据压缩率达 60-95%。

    借鉴点

    可借鉴其分层压缩思路,用 CacheAligner 保缓存、ContentRouter 分流、AST 压缩代码,落到本地模型部署和软件工厂降 token;代价是压缩器需按数据类型调,AST 压缩可能丢代码细节。

  4. 掘金87

    HeyGen 开源 HyperFrames:写 HTML 就能渲染确定性视频,专为 AI Agent 设计

    HeyGen 开源 HTML 转视频框架 HyperFrames,把视频合成写成普通 HTML 文件,用 data-start、data-duration、data-track-index 标注时间和轨道,动画用 GSAP 等可 seek 库编写,渲染时无头 Chrome 逐帧截图再由 FFmpeg 编码,同样输入得到同样帧。

    借鉴点

    视频源码改成纯 HTML 加 data-* 时间轨道,动画用可 seek 的 GSAP 时间线,无头 Chrome 逐帧截图再 FFmpeg 编码,能接进视频产线的 CI 回归;代价是需 Node.js 22+ 和 FFmpeg,且 387 个未关闭 Issue 要先对照自己场景。

  5. Hacker News · AI 讨论70

    Visokio 用 Claude Code 一周搭出 AI 编辑部,每周自动生成一小时播客

    Visokio 团队用 Claude Code 在一周内搭出一套 AI 编辑部,每周自动生成一小时播客,9 月 4 日开工后 7 天产生 168 次提交、约 6500 行代码。

    借鉴点

    可拿走一套多智能体编辑部架构:编辑用 Opus 打分留痕、研究员用 Sonnet 只摘不评、抄写员用无工具小模型把网页转成事实记录,配合 --restricted 与支出上限防注入和失控;代价是每期约 30 美元 API 成本与大量调音工作。

  6. Hacker News · AI 讨论72

    用 62 行 bash、curl 和 jq 写一个极简 AI 编码智能体

    作者开源了一个用 bash、curl 和 jq 搭建的极简 AI 编码智能体教程,共 62 行,分 3 个编号脚本逐层叠加。01 是单次 curl 调用 chat completions,02 把调用封装成函数并加入对话 JSON 数组和读入、调用、打印循环,03 加入 bash 工具让模型请求执行命令并回灌结果。

    借鉴点

    能拿走一个 62 行 bash 脚本的最小 agent 骨架,按 01 到 03 三步逐层加 curl 调用、对话数组和工具回灌,可换掉本地模型调试时先装框架的做法,代价是 03 步会无确认执行模型给出的命令。

  7. Hacker News · AI 讨论71

    rtk-pipeline-laya-delegate 发布智能体委派流水线,SkillsBench 上总成本降 13.9%

    作者开源 rtk-pipeline-laya-delegate 流水线,用本地 Laya 分类器给任务打上 bug、setup、write、data 标签,在 write 和 data 任务上拦截智能体的首次搜索或读文件,改派 Haiku 的 Explore 子智能体去查,并对超过 350 行的整文件读取用 Haiku 摘要代替。

    借鉴点

    能拿走一套 RTK pipeline 配置,按任务类型把探查交给 Haiku 子智能体并压缩输出,落到软件工厂的派单流程;前提是本地跑 Laya 分类器并备 Anthropic key,短 bug 任务反而涨 80% 成本。

  8. Hacker News · AI 讨论71

    deepsense.ai 提出智能体评测框架:通过评测不等于可以上线

    deepsense.ai 发布一套智能体 AI 系统评测框架,主张上线前要验证行为而非只看最终答案。

    借鉴点

    四层框架可直接搬:手写小数据集加审核过的合成用例、固定 harness 与环境快照、按 pass^k 多次跑、用二元检查验轨迹,代价是每个用例要跑 k 次且 judge 需人工标注校准。

  9. 掘金72

    RAG 查询路由全景梳理:三大流派、两个旁支与十一种指路方式

    文章把多源 RAG 的查询路由收拢成一张全景图,按决策者分为规则派、相似度派、大模型派三大流派,外加全查融合与级联降级两个旁支,共十一种方式。每种方式给出了速度、成本、理解深度和规模上限的横向对比,例如语义路由约 50ms 且意图数建议不超过 20 个,逻辑路由约 500~800ms 且数据源不超过 5 个最稳。

    借鉴点

    能拿走三层混搭路由方案和逻辑路由的提示词模板,落到知识沉淀与本地部署的检索链路上,代价是示例问句库要持续维护、LLM 路由每次多 500ms 和 token 开销。

  10. 掘金78

    阿里云云原生团队详解 HiRoute 如何用 Jev 做模型智能路由

    阿里云云原生团队介绍开源本机路由引擎 HiRoute 如何用百炼 System One 的 Jev 决策模型判断任务类别、复杂度和上一阶段完成质量,再决定交给经济模型还是主力模型。

    借鉴点

    能拿走一套可复用的路由决策请求结构,把分类、复杂度、阶段胜任度拆成独立问题一次调用,落到本地模型部署和软件工厂的模型选型上;代价是要自己写评分标准和阈值,历史裁剪与证据完整性得单独处理。

  11. Hacker News · AI 讨论74

    vramkit 在 MacBook 上实测 LLM 权重与 KV-cache 压缩

    vramkit 在 MacBook 上用纯 PyTorch 实测了 LLM 权重与 KV-cache 两种压缩方案,每个数字都带可运行基准。权重侧用 32 位区间编码器加二维自适应上下文模型,在 Qwen2.5-0.5B 真实 int4 权重上做到无损 2.676 bits/weight,比原始 4-bit 少 33%,优于 zstd-19 和 xz-9e。

    借鉴点

    可直接抄走 per-channel int8 量化 K、per-token 量化 V 的 KV cache 方案,2 倍压缩只涨 0.1% 困惑度,代价是流式解码要按 KIVI 分组并保留最新 token 为 fp16。

  12. Cloudflare AI75

    Cloudflare 把 AI 代码审查单次成本从 2.43 美元降到 0.77 美元

    Cloudflare 把 AI 代码审查的平均成本从 2.43 美元降到 0.77 美元,降幅 68%,中位耗时从 4 分 09 秒缩短到 1 分 32 秒。节省中约 40% 来自代码改动,其余来自模型与 effort 组合的调整,其中最大单项是让每个会话的首次请求真正命中前缀缓存。

    借鉴点

    可拿走三招:给共享前缀单独设缓存断点、把参考索引塞进 prompt 免掉前几轮读文件、多 reviewer 共用同一前缀由第一个写缓存其余读。前提是接受首请求多等最多 20 秒,且要逐档核对 effort 降级后是否漏掉真问题。

  13. AWS Machine Learning Blog65

    AWS 详解 vLLM 推模式 KV 传输:TTFT 最高改善 3 倍

    AWS 在 vLLM 中贡献了推模式(push-based)NIXL KV 连接器,把 decode 侧的块注册和传输提交从首 token 关键路径移到 prefill 侧后台线程,从而降低 TTFT 和 TPOT。

    借鉴点

    在 vLLM 的 P-D 分离部署里把 NixlConnector 换成 NixlPushConnector,让 decode 侧注册与传输提交挪到 prefill 后台线程,代价是 decode 实例需提前选定、失去按负载后置路由的灵活性。

  14. AWS Machine Learning Blog71

    AWS 用 vLLM 双向 KV 传输降低多轮 Agent 负载的 TTFT

    AWS 在 vLLM 中实现双向 KV 传输,让 decode 节点把已算好的 KV 回传给 prefill 节点复用,减少多轮 Agent 对话中重复的 prefill 计算。

    借鉴点

    在 vLLM 的 P-D 分离部署里开启 bidirectional_kv_xfer,让 decode 节点把 KV 回传给 prefill 复用,可换掉每轮重算整段历史的做法;代价是要配 KV-cache 感知路由,并调好 480 秒 TTL 和 64 token 重算阈值。

10月19日周一
  1. Qdrant71

    Qdrant 实测 UltraBERT-Embed-150M 的 32K token 整篇向量与分块检索

    Qdrant 用 LongEmbed 五项任务和 MLDR 的 20 万篇维基文章,对比 UltraBERT-Embed-150M 的整篇向量与 512 token 分块检索,结论是分块在细节检索上仍更强。

    借鉴点

    能拿走一套长文档检索的对照配置,整篇向量对 512 与 256 token 分块,再加 DBSF/RRF 混合与 1-bit TurboQuant 压缩;落到知识沉淀和本地检索,代价是整篇嵌入耗时约 3 倍、压缩后需重打分补 4 到 11 ms。

10月17日周六
  1. AWS Machine Learning Blog64

    AWS 用 Amazon Bedrock AgentCore 搭建智能体九阶段评估框架

    AWS 的 SMGS 团队基于 Amazon Bedrock AgentCore Evaluations 搭建了一套覆盖智能体全生命周期的九阶段评估框架,从定义质量标准、版本对比、CI 回归门禁、CD 质量门、金丝雀监控、安全防护、漂移检测、实时可观测到自动优化闭环。

    借鉴点

    可拿走九阶段评估闭环的具体配置,包括哨兵集15例、30分钟批量评估窗口、连续三窗才告警、工具调用冻结回放;落到软件工厂的 CI/CD 回归门禁,代价是要先建金标集和六类失败分类器。

10月15日周四
  1. Apple Machine Learning58

    Apple 介绍用 MLX 在 Mac Studio 上本地与分布式推理大模型

    Apple 发布新版 MLX,演示在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open,四台 M5 Ultra 集群解码速度超过 36 tokens/s。

    借鉴点

    能拿走 mlx.launch 配 jaccl 后端跑流水线/张量并行的完整命令和 OpenCode 接本地 server 的配置,落到本地模型部署这条线,前提是 macOS 26.2 加 Thunderbolt 5 双线互联,816B 模型仍需四台机器才跑得动。

9月9日周三
  1. Mistral AI62

    Mistral 用 AI 智能体把 4 万行 Fortran 77 迁移到 C++ 的实践

    Mistral 披露其帮助一家欧洲能源运营商把 4 万行 Fortran 77 水库模拟代码迁移到 C++,这是 30 万行代码库首个冲刺覆盖的部分。做法是先给 Fortran 加状态导出子程序、搭 C++ 测试框架和 Skill.md 建立数值对齐测试台,再用自定义解析器生成调用树、由 Vibe CLI 调度上百个智能体逐节点补文档并提 PR。

    借鉴点

    可拿走的是先建数值对齐测试台再迁移、按调用树切小于1万行模块、planner/coder/tester/reviewer 加人工卡点的流程,能落到软件工厂的遗留系统改造线,代价是要先补测试与文档。