技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
545 条精选近 30 天 539 条共收录 2,452 条
AWS 发布教程，用 Amazon Nova Multimodal Embeddings、Amazon Bedrock AgentCore 和开源 Strands Agents SDK 搭建多智能体工程助手，把零件替换评估中的人工交叉比对改为自动汇集证据。
能拿走一套可复用做法：planner 用 Haiku 路由、Sonnet 跑工具、Opus 只在多专家时汇总，规格判定全用 Python 确定性代码；代价是要自建多模态知识库和 S3 Vectors 索引，图片查询路径权限缺失会静默回退。
AWS 在 SageMaker AI 上用序列级知识蒸馏（SeqKD）把 GLM-5.3 教师生成的购物 Agent 轨迹蒸馏进 Qwen3.5-4B，在 ShoppingBench 324 道留出题上平均绝对成功率从基座的 0.297 升到 0.541，追平教师和中等规模前沿模型。
能拿走一套完整做法，用前沿模型采样轨迹加程序化打分筛出解出的样本，按步编码成 chat 格式做 SFT，再把 LoRA adapter 挂到同一端点。落到软件工厂和本地模型部署两条线，前提是任务本身在 4B 容量内，且要接受 IFEval 掉 6 到 8 分。
AWS 发布教程，演示用开源 Python 爬虫 Crawl4AI 把网页抓取并整理成 Markdown 加 metadata sidecar 写入 S3，再由 Amazon Bedrock Knowledge Bases 的 S3 数据源完成解析、分块、嵌入和索引。
能拿走一套 Crawl4AI 抓取加 S3 metadata sidecar 再触发 ingestion 的流水线，换掉自己写爬虫清洗网页的活；代价是 sidecar 限 10 KB、分块策略建库后改不了，失败不报警。
作者三金因 VibeKankan 停止维护，转而实测 54.6k star 的 Multica，这是一个可自定义多 Agent 协作、带任务看板的工作区平台。
能拿走 make selfhost 一键起 Web、API 和 PostgreSQL 的自部署流程，以及小队派活加看板流转的配置方式，落到本地模型部署和软件工厂两条线；代价是邮件服务要自己配 SMTP，否则验证码得翻 backend 日志，3D 建模单任务跑了一个多小时。
kaitoy 在 Show HN 发布 A2Flow，一个把 ITSM 式流程重建在 AI 智能体上的聊天驱动工作流引擎。流程以 Git 仓库中的 SKILL.md 形式存在，agent 先规划成带依赖的任务图并发布，运行中每个改变状态的 MCP 工具调用都要指定审批人在聊天里批准。
把流程写成 Git 里的 SKILL.md，agent 先出 DAG 再按依赖执行，破坏性工具调用前卡人工审批；代价是要自托管 PostgreSQL 和 Docker Compose，默认还得有 Google API key。
Deedglass 发布开源自托管工具，在 AI 智能体与数据库之间拦截每次工具调用，用规则决定放行或需人工批准，再读 Postgres 变更日志核对智能体自报结果并封存为可离线校验的签名记录。
能拿走的是规则放行、读 Postgres 变更日志核对、签名封存记录、人工会签后回滚这条链路，可接到数据库写入型 agent 的派单流程上；代价是 Proven 级只覆盖 Postgres，需开 wal_level=logical 和 REPLICA IDENTITY FULL，且挡不住持有合法 key 的越权调用。
Maat 是开源的 MCP 服务器与工具包，让 AI 智能体诊断 Ubuntu 系统，但把改机权限交给内核而非提示词。
能拿走的是把只读诊断和改机拆成两个进程、用 snap 的 AppArmor 与 polkit 在内核层兜底的做法，可换掉给 agent 一个 shell 的运维流程；代价是牺牲网络与 socket 视图，且只支持 .service 单元。
作者实测 Claude 和 Codex 的 Memory 上限后提出，CLAUDE.md 应控制在 200 行以内，200K 上下文窗口里它约占 40000 字符，MEMORY.md 每次会话只加载前 200 行或前 25KB，规则写多会被截断且相互干扰。
把规则从 Memory 拆到 Skill，Memory 只留索引，附 200 行/25KB 上限数字和一个判断函数，能直接改现有 CLAUDE.md 的写法；代价是要重写 Skill 的 description 才能自动触发。
GitHub 开源项目 Claude Code Game Studios 把 Claude Code 改造成游戏开发工作室模板，用 49 个智能体、72 个工作流技能和 74 个斜杠命令复现总监、部门负责人、专家的层级分工。
能拿走的是按角色分层指定模型、用路径规则和 Git 钩子强制编码规范、五步协作协议把写文件权留给人类；可落到软件工厂线，代价是要自己维护 49 个智能体配置和 74 个命令，且原文实验显示多写文档只换来可追溯性。
DeepSeek 产品部发布 Super-agent 设计文章，把接消息、记任务关系的 Router 和实际执行的 Worker 拆成两层，让新需求能插进正在跑的任务。
能拿走 Router 接话、Worker 执行的双层拆分和 observe 观察模式起步的配置路径，落到软件工厂的派单环节，代价是缓存读取 Token 从 605 万涨到 2323 万，且原型跑在本机、权限等同系统账号。
作者复盘把200页产品手册PDF做成RAG问答助手时踩的4个坑，并给出对应做法。PDF提取改用unstructured（hi_res模式）或Marker保留表格与标题结构，跨章节问题用父文档检索以小chunk匹配、返回大chunk，全文摘要用Refine渐进式精炼或Map-Reduce加Refine两阶段，长上下文模型则与RAG互补而非替代。
能拿走 unstructured/Marker 解析 PDF、父文档检索、Refine 两阶段摘要和 RAG 加长上下文互补四套做法，落到知识沉淀和本地模型部署；代价是 hi_res 解析慢、Refine 串行耗时。
作者统计自己 517 次 DSH 沙箱审批记录，发现 55% 的弹窗来自构建缓存写不进沙箱和写工作区外配置目录，于是开发插件 dsh-sandbox-tune。
能拿走三个可复用做法，缓存重定向到 $TMPDIR、按段校验命令放行、fs.watch 监听父目录热更新配置，落到本地 Agent 沙箱调优这条线，代价是依赖仓库不能重定向、会话覆盖不持久化。
作者用同一 Claude Code 2.1.289 与 Sonnet 5.5，在 Caliptra 的 VeeR EL2 转发缺陷上各跑 10 次，纯 shell 平均 55.8 分钟、配 Booley 0.3.0 平均 21.3 分钟，全部产出被接受的修复与复现测试。
可拿走三条 RTL 调试配置：按需录波形并用 B-Wave 按信号名查值、用阻塞式 sim 命令替代固定 sleep、把构建配置写进 FuseSoC core 文件并让仿真缺固件即失败；代价是需先一次性适配项目，且作者自建 Booley 存在立场。
一篇面向学习者的总结，把 RAG 拆成写入与读取两条线，并给出智能体三层记忆的工程实现。写入侧强调走消息队列异步向量化、每种索引绑定一个 embedding 模型且换模型要建新索引做 A/B 双写、embedding 输入拼接类目路径和标题做上下文增强，并提醒批量调用要用返回的 index 加批次起始下标还原全局位置。
能拿走一套 RAG 写入与检索的工程做法，包括批量 embedding 用返回 index 还原全局下标、RRF 融合稀疏稠密两路、分数门控宁缺毋滥，以及记忆的语义加时间加结构化三重过滤；可落到知识沉淀和本地模型部署两条线，代价是要自建向量库、消息队列和 50~100 条回归测试集。
作者以英语作文批改智能体为例，用 Python 搭了一套离线评测流水线，把改提示词后的效果从凭感觉变成看分数。体系包含带反例的 16 条 JSONL 评测集、exact_match 与 set_f1 等纯函数指标、四档 rubric 的 LLM as judge 裁判、markdown 报告和按核心指标阈值判退化的版本对比，42 个测试用例离线全绿。
能拿走一套离线评测流水线，含反例评测集、纯函数指标、四档 rubric 裁判和按标签的退化判定，用来替换改提示词后随手试几个例子的做法；代价是要先人工标注评测集，且裁判调用会多一层开销。
AI狂想在第 5 篇 Rule 工程化实践中提出，把五十条 Rule 全塞进 alwaysApply 会让 Context 被噪声占满，安全条款反而被挤出窗口。
能拿走一套规则分层与预算降级脚本，把 alwaysApply 拆成 SEC/GATE/SCN/SUG/DOM 五层并按意图路由，落到软件工厂的规则配置上；代价是路由表得给每类包配意图关键词，否则降级报告里全是走错片场的条目。
这篇教程讲怎么量化衡量和优化 vLLM 推理服务，把吞吐量、延迟和显存利用率之间的权衡拆成一套可执行的方法。延迟被拆成 TTFT 和 TPOT，大 batch 换吞吐但伤延迟，显存留够余量才能避免 OOM。
能拿走一套先定位瓶颈再调参的流程和真实 vLLM 指标名，落到本地模型部署线；代价是原文工具链偏 NVIDIA，昇腾要换成 npu-smi、msprof 和 AISBench。
NVIDIA 以 Apache 2.0 协议开源 Auto Ontology，这是一个从企业元数据生成语义层的框架，Agent 通过它按经过认证的业务定义编写 SQL。
能拿走一套从元数据生成语义层、再用 9 个只读 MCP 工具把 agent 的 SQL 限定在认证定义上的做法，可接到知识沉淀和软件工厂的数据查询链路上；代价是官方只报了本体创建时间缩短 90%，text-to-SQL 准确率要自己跑 auto-ontology-eval 才能判断。
作者用 Spring AI 2.0.1 接 deepseek-chat 做流式对话，实测出两个不报错的坑：客户端断开后服务端与模型之间的流仍在消费 token，InMemoryChatMemoryRepository 只限单会话消息条数不限会话数量，10,000 个会话占 115 MB 堆内存，折算 10 万个约 1.1 GB。
能拿走 SseEmitter 断连检测加 dispose 取消上游订阅、Caffeine 给会话数设上限两段可照抄代码，落到本地模型部署和软件工厂的流式接口上，代价是内存数只是数量级、断连省下的 token 未实测。
阿里云云原生解读 DeepSeek 8 月开源的 DeepSeek Harness 及其 dsh-superagent-prototype，把跨会话保持上下文、并行推进多任务的 Agent 称为 Super-agent，并拆出双层架构、事件驱动、计算状态与环境分离、Watchdog 等模块。
能拿走双层架构、订阅直通、链式召回、投机执行、Watchdog 巡检五个模块的具体分工，落到软件工厂的多任务派单和本地环境接入；代价是 Router 批处理只提有效吞吐，云端与端侧默认互信，提示词注入会波及所有接入设备。