技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
545 条精选近 30 天 539 条共收录 2,452 条
AWS 解决方案架构团队开源了多智能体系统 Deep Insight，并逐条说明生产环境中的 5 个挑战及对应技术栈。
能拿走 Strands Graph 定执行顺序、Agents-as-Tools 让 Supervisor 按需调子 agent、按角色配 Haiku/Opus/Sonnet 并选择性开 Prompt Caching，落到软件工厂的多 agent 编排；代价是要自建 Fargate 沙箱和 VPC 隔离。
Vercel 开源 durable-harness，一个把编码 agent 会话写入持久日志、在崩溃或超时后继续执行的 npm 包，可包装 Pi、OpenCode、fx、Claude Code 和 Codex 而不改动原有 harness。
把编码 agent 会话写进持久日志，崩溃后由队列换新函数续跑，已完成的模型和工具调用不重跑也不重复计费；代价是 0.0.x 实验版 API，Claude Code 和 Codex 只能跑在 Vercel Sandbox 里。
Omnara 发布开源托管智能体平台，作为 Claude Managed Agents 和 OpenAI Agents API 的自托管替代，采用 Apache 2.0 许可。
能拿走 agent.yaml 配置加 SKILL.md 的打包方式，把智能体跑在自有机器或 11 家沙箱上，状态存进自己的 Postgres；代价是自托管要自己运维 Docker Compose 和公网 URL。
Brain v2 发布，这是一个可自托管的开源 Agent 服务器，定位为 Claude Managed Agents 和 OpenAI Agents SDK 的替代方案，用自己选的模型跑在自己的基础设施上。
可把会话、事件流、可插拔 harness、工具服务和 checkpoint 拆开自托管，替换 Claude Managed Agents 那套托管方案；代价是要自己跑 Go 1.26+ 和 Node 24+ 服务并维护工具服务。
UC Berkeley Sky Computing Lab 开源了 Agency，一个用于运行、调试、性能剖析和控制 AI 智能体的平台，把 LLM 请求、工具调用和系统活动汇总到一处。
能拿它当 agent 的 htop+gdb，用关键路径剖析定位长任务里到底卡在模型请求、工具调用还是等待；前提是 Linux x86-64、Python 3.12+ 和 Docker/Podman，接入已有 Claude Code、Codex CLI 会话仍是实验性，控制能力有限。
AWS 发布教程，用 Strands Agents 搭建自适应智能体智能框架 AAIF，把请求分三层处理：llama3.2:1b 做编排路由，Ollama 上的本地 SLM 处理设备遥测和图像分析，复杂分析经 boto3 调 Amazon Bedrock。
能拿走一套三层路由骨架，1B 模型做编排、Ollama 跑本地工具、Bedrock 兜复杂请求，直接换掉全部请求打大模型的做法；代价是要维护两套模型和路由判断，本地还需约 2GB 磁盘。
NVIDIA 发布预训练关系型基础模型 Kumo Relational，可直接在企业数据库上做流失、需求、欺诈等预测，单次前向推理完成，无需任务训练和特征工程。
能直接拿 PQL 写预测查询、用 structured-data-models 库在 GPU notebook 里做上下文学习，替掉现在按任务搭的 XGBoost 特征工程流水线；代价是上下文最多 1 万条样本，训练集极大时仍要靠微调。
Dharma AI 在 Hugging Face 博客披露 VocabX 方法，在不改基础模型、数据和训练配方的前提下，把 Qwen3-4B 葡语作文评分器的实测推理成本降低 77.0%，平均响应从 350 token 降到 101 token。
能拿走按 token 成本而非频次重建词表的方法，子词合并加宏 token 两层同预算筛选，落到本地小模型部署可省 77% 推理成本；代价是需重训分词器并重跑训练，且压缩掉关键决策 token 会掉点。
Summonr 发布开源编码智能体 0.1.0，官方称在 Terminal-Bench 2.1 上每解决一个任务的输入 token 比 Codex 少 3 倍、内存占用约 27 MB 比 Codex 的 276 MB 少约 10 倍。
能拿走的是多子智能体共享构建缓存、@ 提及跨模型派活、复用本机 Chrome 免 API key 搜索这几处配置；可落到软件工厂和本地模型部署两条线，代价是没有沙箱、需自备容器，且基准数据由官方自测。
vinhnx 在 Hacker News 发布开源终端编码 agent VT Code，可在仓库内探索、规划、编辑和验证，支持托管或本地模型、沙箱化工具与可恢复会话。
可借鉴其 HOVER 循环（假设、观察、验证、评估、修正）与只读规划加 turn diff 审查的做法，用于软件工厂的编码 agent 流程；代价是需 Rust 1.98.1+ 自行构建，Windows 产物滞后。
LLMPanel 开源了一套自托管 LLM 推理控制面板，指向 GPU 服务器或 RunPod、Vast.ai 云账号，选模型、量化和 GPU 后即可在后台完成部署，得到一个带 API key、用量分析和聊天 playground 的 OpenAI 兼容端点。
能拿走一套自托管推理面板的部署路径，四步选 provider、模型、量化、GPU 后自动拉权重起容器，落到本地模型部署这条线；代价是要 Linux root 和 NVIDIA 驱动，暴露公网前得自己收口注册和容器端口。
CTGT Engineering 在 Qwen3.8-27B 上开启 SGLang 确定性推理后，同一份银行政策手册跑四遍仍提交了 32、31、33、33 条不同义务，其中一次漏掉升级到合规负责人的规则。
能拿走一套可复用的排查协议和 Concordance 工具，定位同文档多次运行结果不一致的源头，落到知识沉淀和软件工厂线；代价是要接受它只测一致性、不测规则正确性，且结论来自单文档五次运行。
开源电商售后 Agent Kept 的作者 dragosbln 发文总结构建可靠 Agent 循环的五条规则，包括先画状态机再写代码、把循环运行器与 host 分离、把错误转成 outcome、保证对话历史原子提交、每个状态转移从结果、历史与 trace 三方面断言。
能拿走状态机先行、host 与 loop runner 分离、错误转 outcome、历史原子提交、三向断言五条做法，落到软件工厂的 agent 可靠性设计上，代价是要先建完整 trace 层并手写首版循环。
作者主张把上下文压缩放进调用模型、执行工具的 harness 里，而不是等上下文窗口快满时才做。文章区分确定性压缩与语义压缩，实测 RTK 0.49.0 的 minify-json 把 1MB JSON 减少 16.8%、pytest 日志减少 53.1%、重复日志减少 88.7%，但通用日志过滤器误判 Android 日志的 170 条 W 记录为 0 条警告。
把压缩放进 harness 而非交给主模型，给出确定性过滤加校验回退的流程，并附 RTK 实测数字；代价是需按格式写规则、保留原文，且压缩器自身 token 可能超过节省量。
mnestiq 在 GitHub 发布 AI Agent 飞行记录器 v0.2 草案，记录 Agent 看到、决定和执行的内容，用 RFC 8785 规范化 JSON 加 SHA-256 做哈希链、Ed25519 签名的 Merkle 检查点保证事后不可篡改。
能拿走一套可落地的 Agent 取证做法，哈希链加 Ed25519 签名检查点、按来源给上下文打标签、六条注入检测规则，落到软件工厂的 Agent 事故复盘线；代价是签名密钥要放在 Agent 读不到的地方，否则整条链可被重签。
Memdoor 发布开源编码智能体，可在 CI、定时任务或 shell 中无头运行，并用 memdoor resume 从手机或窗口接管同一次运行。它把工作流写成每步一个 YAML 由 mario 按图执行，独立步骤并行、检查通过才算完成、失败从失败步骤续跑。
可把工作流写成每步一个 YAML 由 mario 按图执行，独立步骤并行、检查通过才算完成、失败从断点续跑；代价是要自己接 provider key，免费模型会拿数据训练。
作者用 AI 辅助在一周内删掉编译器约 1.9 万行死代码，二进制体积减少 50+ MB，一个月后没有回滚也没有修复提交。做法是先靠 compile_commands.json 上的静态分析划定依赖 --XYZ 的范围，让 LLM 给每个函数标红蓝两色，再按机械删除、跨团队、副作用、手术四类分级，每类配一个对应风险的测试，AI 分轮改、子 agent 先审、人工再审。
可复用五步删代码流程：静态分析定范围、LLM 标红蓝、四类分级配测试、子 agent 加人工复核、只清理动过的代码；前提是已有 compile_commands.json 和回归测试，动态注册的 pass 需人工兜底。
NVIDIA 在 GTC Berlin 展示 RTX Spark、DGX Spark 和 DGX Station 三条本地 AI 硬件线，DGX Spark 64GB 版本从 10 月 23 日起由合作伙伴出货。
能拿走的是 DGX Spark 集群配置、Model Launcher 一键拉模型接 OpenCode、以及 llama.cpp/vLLM 投机解码加速参数；可落到本地模型部署和软件工厂两条线，前提是要有 DGX Spark 或 RTX PRO 硬件，八机集群仍需手动配置。
DeepSeek Harness（dsh）把模型适配器、工具注册表、会话日志和默认 Agent loop 都做成可组合替换的插件，底层依赖 Cordis 的依赖注入与生命周期机制。Session 采用仅追加事件日志再派生模型可见历史，压缩由压力测量、规则修剪和模型摘要分层完成。作者指出替换组件仍需遵守接口约定，作用域不构成沙箱，Session 默认内存存储需另配持久化后端。
能拿走的是 dsh 的分层替换位置，模型适配器、工具注册表、会话日志和 Agent loop 都可换，落到本地模型部署和软件工厂时，代价是自写驱动仍要处理输入、状态、取消和资源释放。
NVIDIA 扩充 Nemotron Retriever 系列，开源发布 Nemotron 3.5 Embed 8B/1B（含 NVFP4 量化）、Rerank 8B 和 631M 参数的 Parse 文档解析模型。
能直接换掉现有 RAG 的检索段，Embed 8B/1B 加 Rerank 8B 组合可省约 14% 智能体 token，Parse 支持单双三遍推理调精度；代价是要有支持 NVFP4 的硬件，域适配还得自建合成查询和难负样本。