跳到正文

内容类型

教程实践 最新动态

拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。

439 条精选近 30 天 437 条共收录 1,601 条

更新

精选归档 · 第 21 页

10月22日周四第 401–420 条
  1. 掘金82

    得物技术总结昇腾 910C 大模型推理优化:镜像升级与参数调优使 TPOT 下降 45.1%

    得物技术总结在华为昇腾 910C 上优化 Qwen3.5-35B-A3B 在线推理的实践,仅靠镜像版本升级与参数调优,c=1 的 TPOT 从基线 14.22ms 降至 7.8ms,下降 45.1%。

    借鉴点

    能拿走一整套昇腾 910C 上 vllm-ascend 的调参清单,含 HCCL_OP_EXPANSION_MODE=AIV、静态 kernel、PYTORCH_NPU_ALLOC_CONF 与 jemalloc 的具体值,可直接换掉现有在线推理部署配置;代价是多数收益绑定 0.23.0 版本与 Qwen3.5-35B-A3B 结构,且需逐模型实测,文中还列了十余项负向尝试。

  2. 掘金71

    拆解 Grok Bot 团队 Lauren 用 AI Coding 一个月合并 2000 个 PR 的方法

    作者逐段拆解 Grok Bot 团队 Lauren 的分享,她借助 AI Coding 在一个月内把 2000 个 PR 合进主干,并称这是对 Agent 信任度提升后自然产生的结果。

    借鉴点

    可拿走 ControlGlass 验证技能加功能地图、Dune 导入依赖图禁注释、五层信任金字塔三件套,落到软件工厂的 Agent 派单与验收环节,前提是先有可打分的性能指标和团队资深工程师写技能。

  3. 掘金78

    LLM 应用 Read-Your-Writes 一致性实践:写完就读模型却返回旧数据的五种解法

    文章梳理 LLM 应用写完就读却读到旧数据的四类场景,并给出五种工程解法。场景覆盖主从复制延迟、向量库索引未建好、Agent Memory 写入后不可见和 stream 中途 prompt 竞态;解法包括写后读路由、向量库 wait=True 加版本轮询、上下文注入、Fencing Token 和事件驱动门控。

    借鉴点

    能拿走五种写后读一致性解法及选型决策树,落到 RAG 知识库和 Multi-Agent 共享 Memory 两条线,代价是主库读压力、Token 开销和额外 10-25ms 延迟。

  4. 掘金74

    如何搭建抗住海量 Agent 并发的大模型网关:语义缓存、双桶限流与三态熔断

    作者针对多 Agent 批量上线后 429 限流雪崩与 Token 账单翻 5 倍的问题,给出一套纯 Python 标准库实现的大模型网关核心代码,包含向量语义缓存、RPM+TPM 双桶限流和三态熔断降级路由。

    借鉴点

    能拿走语义缓存阈值0.85、RPM+TPM双桶预扣、三态熔断三段代码,落到本地模型部署与软件工厂的网关层;代价是向量用字符n-gram散列近似,相似度阈值和Token预估倍数要按业务调。

  5. AWS Machine Learning Blog72

    AWS 团队详解 Deep Insight 多智能体系统的 5 个生产挑战与解法

    AWS 解决方案架构团队开源了多智能体系统 Deep Insight,并逐条说明生产环境中的 5 个挑战及对应技术栈。

    借鉴点

    能拿走 Strands Graph 定执行顺序、Agents-as-Tools 让 Supervisor 按需调子 agent、按角色配 Haiku/Opus/Sonnet 并选择性开 Prompt Caching,落到软件工厂的多 agent 编排;代价是要自建 Fargate 沙箱和 VPC 隔离。

  6. AWS Machine Learning Blog62

    AWS 用 Strands Agents 搭建 AAIF 三层智能体框架,本地 SLM 分流约 80% 请求

    AWS 发布教程,用 Strands Agents 搭建自适应智能体智能框架 AAIF,把请求分三层处理:llama3.2:1b 做编排路由,Ollama 上的本地 SLM 处理设备遥测和图像分析,复杂分析经 boto3 调 Amazon Bedrock。

    借鉴点

    能拿走一套三层路由骨架,1B 模型做编排、Ollama 跑本地工具、Bedrock 兜复杂请求,直接换掉全部请求打大模型的做法;代价是要维护两套模型和路由判断,本地还需约 2GB 磁盘。

10月21日周三
  1. Hacker News · AI 讨论78

    CTGT 研究:开启确定性推理后,策略解析流水线仍产出四种不同结果

    CTGT Engineering 在 Qwen3.8-27B 上开启 SGLang 确定性推理后,同一份银行政策手册跑四遍仍提交了 32、31、33、33 条不同义务,其中一次漏掉升级到合规负责人的规则。

    借鉴点

    能拿走一套可复用的排查协议和 Concordance 工具,定位同文档多次运行结果不一致的源头,落到知识沉淀和软件工厂线;代价是要接受它只测一致性、不测规则正确性,且结论来自单文档五次运行。

  2. Hacker News · AI 讨论71

    Kept 作者总结构建可靠 Agent 循环的五条基本规则

    开源电商售后 Agent Kept 的作者 dragosbln 发文总结构建可靠 Agent 循环的五条规则,包括先画状态机再写代码、把循环运行器与 host 分离、把错误转成 outcome、保证对话历史原子提交、每个状态转移从结果、历史与 trace 三方面断言。

    借鉴点

    能拿走状态机先行、host 与 loop runner 分离、错误转 outcome、历史原子提交、三向断言五条做法,落到软件工厂的 agent 可靠性设计上,代价是要先建完整 trace 层并手写首版循环。

  3. Hacker News · AI 讨论71

    为何压缩应成为 agent harness 的标准环节

    作者主张把上下文压缩放进调用模型、执行工具的 harness 里,而不是等上下文窗口快满时才做。文章区分确定性压缩与语义压缩,实测 RTK 0.49.0 的 minify-json 把 1MB JSON 减少 16.8%、pytest 日志减少 53.1%、重复日志减少 88.7%,但通用日志过滤器误判 Android 日志的 170 条 W 记录为 0 条警告。

    借鉴点

    把压缩放进 harness 而非交给主模型,给出确定性过滤加校验回退的流程,并附 RTK 实测数字;代价是需按格式写规则、保留原文,且压缩器自身 token 可能超过节省量。

  4. Hacker News · AI 讨论71

    作者用 AI 一周删除编译器 1.9 万行死代码,一个月零回滚

    作者用 AI 辅助在一周内删掉编译器约 1.9 万行死代码,二进制体积减少 50+ MB,一个月后没有回滚也没有修复提交。做法是先靠 compile_commands.json 上的静态分析划定依赖 --XYZ 的范围,让 LLM 给每个函数标红蓝两色,再按机械删除、跨团队、副作用、手术四类分级,每类配一个对应风险的测试,AI 分轮改、子 agent 先审、人工再审。

    借鉴点

    可复用五步删代码流程:静态分析定范围、LLM 标红蓝、四类分级配测试、子 agent 加人工复核、只清理动过的代码;前提是已有 compile_commands.json 和回归测试,动态注册的 pass 需人工兜底。

  5. 掘金76

    DeepSeek Harness 插件架构解析:Agent Loop 也能替换

    DeepSeek Harness(dsh)把模型适配器、工具注册表、会话日志和默认 Agent loop 都做成可组合替换的插件,底层依赖 Cordis 的依赖注入与生命周期机制。Session 采用仅追加事件日志再派生模型可见历史,压缩由压力测量、规则修剪和模型摘要分层完成。作者指出替换组件仍需遵守接口约定,作用域不构成沙箱,Session 默认内存存储需另配持久化后端。

    借鉴点

    能拿走的是 dsh 的分层替换位置,模型适配器、工具注册表、会话日志和 Agent loop 都可换,落到本地模型部署和软件工厂时,代价是自写驱动仍要处理输入、状态、取消和资源释放。

  6. 掘金74

    开源 AI 漫画到微信公众号草稿箱流水线,含分格一致性与并发锁实现

    作者开源了一条从 LLM 选题、剧本、主体确认、分格生图到微信公众号草稿箱的 Web 流水线,MIT 协议,clone 后三条命令即可跑起来。项目用 Next.js 15 加 Prisma 7 和嵌入式 SQLite,约 3.4 万行、201 个单测全绿,核心业务放在不依赖框架的 pipeline 纯函数层。

    借鉴点

    能拿走 pipeline 纯函数加 route 薄壳的分层、按格动态拼参考图、文件名版本化与进程内串行写链,落到小说创作和视频产线;代价是单进程锁不能横向扩展,生图协议要按网关方言另写通路。

  7. 掘金72

    三层护栏:为什么只在提示词里写「不许做」拦不住提示注入

    米小虾在 Agent 开发入门系列第 8 篇中提出护栏应分三层:上下文层控制模型能看到什么,执行层控制模型能做什么,数据层控制世界最终能变成什么样,并辅以人工干预。

    借鉴点

    能拿走三层护栏的分工清单和工具风险四维评级,落到 Agent 工具调用与凭证管理上;代价是数据层要人工设计评审,三层叠加抬高延迟。

  8. 掘金82

    多智能体编排实战:拆分、隔离与收敛的 Java 实现

    一篇 Java 实战教程用 Spring Boot + Reactor + AgentScope Java + Spring AI 实现 orchestrator-workers 多智能体编排,把一次请求拆成规划、扇出、并行执行、收敛四幕。

    借鉴点

    能拿走 orchestrator-workers 四幕骨架和五维隔离的具体做法,包括一次性 scopeKey 当 userId、浏览器只读白名单、Flux.using 管生命周期,落到软件工厂的多 agent 派单流程;代价是 token 成倍放大且缺持久化与预算熔断。

  9. 掘金78

    Cloudflare 开源 security-audit-skill,让编码代理分阶段互审漏洞

    Cloudflare 开源 security-audit-skill,一套让支持工具调用的编码代理按侦察、狩猎、验证、输出、再验证、报告六阶段做安全审计的技能文件,核心是让全新代理实例去反驳候选发现而非自我背书。

    借鉴点

    能拿走六阶段审计流程和 coverage-ledger.json、findings.json 两个账本文件,把编码代理的漏洞排查改成可追溯、可多轮累加;前提是代理支持工具调用和并行子代理,且本机有 Node.js,缺 OS 沙箱时结论会卡在 needs_validation。

  10. 掘金75

    实测 Codex 只读 AGENTS.md 前 32 KiB,OpenAI 自家仓库测试规范也被截掉

    作者对照 Codex 源码 agents_md.rs 并用 Codex CLI 0.162.1 实测,确认 Codex 把路径上的 AGENTS.md 拼起来后按 project_doc_max_bytes 默认 32,768 字节截断,超出部分按字节切掉且只在日志留 warning。

    借鉴点

    能拿走一套自查脚本和 project_doc_max_bytes 调参法,用来排查 Codex 读 AGENTS.md 时子目录规则被截的问题,代价是调高上限只对本地生效,团队还得靠给根文件减肥。

  11. AWS Machine Learning Blog60

    AWS 与 Keyfactor 用 X.509 PKI 为 AI 智能体建立身份认证参考架构

    AWS 与 Keyfactor 工程团队联合发布参考架构,用 X.509 PKI 为多智能体系统补上 MCP 缺失的身份认证。方案分用户认证、智能体间、MCP 工具服务三层,靠签名信封、用户签名的委托断言、RFC 8693 降权 token 和实时 OCSP 吊销四项机制串联,私钥在客户端本地生成、EJBCA 只签发证书。

    借鉴点

    能拿走三层认证加签名信封、委托断言、RFC 8693 降权 token、OCSP 吊销四件套的完整代码,落到多智能体工具调用的身份链路上,代价是要自建 EJBCA 和 Keycloak 并处理 OCSP 可用性。

  12. AWS Machine Learning Blog58

    AWS 发布 Agent Registry 运行时工具发现教程

    AWS 发布教程,演示编排器如何通过 AWS Agent Registry 在运行时按语义搜索发现 MCP 服务器和 A2A 智能体,再按请求临时组装内层 agent 执行。

    借鉴点

    能拿走 Discover→Instantiate→Execute 循环和按请求临时组装内层 agent 的写法,替换把工具硬编码进编排器的做法,代价是每轮多一次 Registry 检索,且凭证仍需另走 Cognito 和 Secrets Manager。

  13. AWS Machine Learning Blog58

    AWS 在 SageMaker HyperPod 上微调 GPT-OSS-20B 多语言推理,SFT 加 GRPO 把答案语言正确率提到 70%

    AWS 在 Amazon SageMaker HyperPod 上用 LoRA 微调 GPT-OSS-20B,SFT 把推理语言正确率从 22% 提到 100%,再叠加 GRPO 把答案语言正确率从 62% 提到 70%。

    借鉴点

    能拿走 SFT 与 GRPO 的分工判据和 LoRA r=8/α=16 配置,落到本地模型部署与训练流水线;前提是先测出 pass@k 与 pass@1 的差距,没有余量时 GRPO 白烧 GPU。

  14. Hacker News · AI 讨论82

    foundry-protocol 开源 AI 智能体复杂任务编排框架

    foundry-protocol 是一个用人类/AI 编排协议、Claude 规划加子智能体执行器来编排复杂任务的可复用框架,从 2026-09 一个合规审计项目(T0-T5、25 张工单)中抽取并泛化而来。

    借鉴点

    能拿走一套人机编排协议加 Claude Skills 和 MCP 引擎,把多 agent 派单、验收门、跨会话续跑固化成模板;代价是要先填 ORCHESTRATION.md 的 §0/§3,runtime 部分仍是实验态。