技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
545 条精选近 30 天 539 条共收录 2,452 条
Halis Code 发布带护栏的编码智能体，同一套代码提供终端 UI 和 Electron 桌面应用，可读取、编辑并运行项目代码。它针对长会话问题做了四项设计：上下文接近 token 预算时把旧历史折叠成模型写的摘要且不拆开工具调用与结果，相同调用在 3、5、8 次时逐级提醒并在 12 次硬停，危险 shell 命令先审批并给出原因，超大工具输出写入文件只留预览和指针。
可借鉴其长会话防退化设计，压缩时安全切点不拆工具调用与结果，重复调用按 3/5/8 次逐级提醒、12 次硬停，超长输出落文件留指针；代价是需自建摘要与规范化逻辑。
Sandkiln 在 Show HN 发布自托管、MIT 许可的 Firecracker microVM 沙箱，每次执行都分配独立内核、文件系统和网络，冷启动实测 10.5–10.9ms，exec 往返 220–250µs，从快照恢复 6.5–7.7ms。
自托管 Firecracker microVM 沙箱，冷启动 10.5–10.9ms、exec 往返 220–250µs，可替换容器跑 AI 生成代码；代价是需 KVM 与单节点自建，预暖池、出网防火墙等仍属计划中。
HAR 1.0 发布，这是一个开源 AI 编码工作流 harness，以 CLI 和 MCP server 两种形式提供，可为每个编码 agent 分配独立 worktree、端口和数据库，并执行确定性的 launch、verify、teardown 流程。
可把仓库转成每 agent 独立 worktree、端口和数据库的隔离槽位，用统一 verify 步骤留下日志与树哈希证据，替代手写脚本和 CLAUDE.md 散落约定，代价是要先 har onboard 生成 .har/ 契约并维护模板漂移。
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，此前已开源一系列大模型、TileLang 编译工具及推理算子库。基于 DeepInfer，DeepSeek 已实现 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务，未来新模型的推理代码及后续优化也将在此持续更新。
DeepSeek 把内部推理框架 DeepInfer 开源，可替换自建推理服务栈；但材料只有一句摘要，没有部署方式、硬件要求和性能数字，落地前得自己去仓库摸。
deepsense.ai 发布一套智能体 AI 系统评测框架，主张上线前要验证行为而非只看最终答案。
四层框架可直接搬：手写小数据集加审核过的合成用例、固定 harness 与环境快照、按 pass^k 多次跑、用二元检查验轨迹，代价是每个用例要跑 k 次且 judge 需人工标注校准。
MiniMax 于 10 月 19 日正式更新 M3.1 Flash，并确认此前匿名出现在 OpenCode 上的 Space Bunny 就是它的早期版本，匿名期累计处理超 200T Token。
可参考它按推理档位（high/xhigh/max）分档跑编程任务的成本曲线，用来决定哪段任务交给便宜模型；代价是重构类任务仍明显落后旗舰，且权重10月23日才放出。
文章把多源 RAG 的查询路由收拢成一张全景图，按决策者分为规则派、相似度派、大模型派三大流派，外加全查融合与级联降级两个旁支，共十一种方式。每种方式给出了速度、成本、理解深度和规模上限的横向对比，例如语义路由约 50ms 且意图数建议不超过 20 个，逻辑路由约 500~800ms 且数据源不超过 5 个最稳。
能拿走三层混搭路由方案和逻辑路由的提示词模板，落到知识沉淀与本地部署的检索链路上，代价是示例问句库要持续维护、LLM 路由每次多 500ms 和 token 开销。
阿里云云原生团队介绍开源本机路由引擎 HiRoute 如何用百炼 System One 的 Jev 决策模型判断任务类别、复杂度和上一阶段完成质量，再决定交给经济模型还是主力模型。
能拿走一套可复用的路由决策请求结构，把分类、复杂度、阶段胜任度拆成独立问题一次调用，落到本地模型部署和软件工厂的模型选型上；代价是要自己写评分标准和阈值，历史裁剪与证据完整性得单独处理。
作者结合 Anthropic 博客中让 Claude 分别盯单个组件的 superfans 做法，提出用智能体做系统监控，并已搭出原型：agent 依据服务代码提出监控方案，脚手架执行方案，再由 agent 调查触发的监控并升级给人类。
可借鉴其监控架构：让 agent 先写监控 spec，再由确定性系统执行，比纯 agent 循环 token 更省、信号更干净；前提是接好代码库与可观测栈，并自建降噪启发式和标注评测集。
vramkit 在 MacBook 上用纯 PyTorch 实测了 LLM 权重与 KV-cache 两种压缩方案，每个数字都带可运行基准。权重侧用 32 位区间编码器加二维自适应上下文模型，在 Qwen2.5-0.5B 真实 int4 权重上做到无损 2.676 bits/weight，比原始 4-bit 少 33%，优于 zstd-19 和 xz-9e。
可直接抄走 per-channel int8 量化 K、per-token 量化 V 的 KV cache 方案，2 倍压缩只涨 0.1% 困惑度，代价是流式解码要按 KIVI 分组并保留最新 token 为 fp16。
Cloudflare 把 AI 代码审查的平均成本从 2.43 美元降到 0.77 美元，降幅 68%，中位耗时从 4 分 09 秒缩短到 1 分 32 秒。节省中约 40% 来自代码改动，其余来自模型与 effort 组合的调整，其中最大单项是让每个会话的首次请求真正命中前缀缓存。
可拿走三招：给共享前缀单独设缓存断点、把参考索引塞进 prompt 免掉前几轮读文件、多 reviewer 共用同一前缀由第一个写缓存其余读。前提是接受首请求多等最多 20 秒，且要逐档核对 effort 降级后是否漏掉真问题。
Cloudflare 发布 System One 类抽取模型 Clairic，已在 Workers AI 以 @cf/cloudflare/clairic 提供预览，并计划后续开放权重。
可用字段 schema 一次并行抽取文本 span、数字、日期、估计分布和预测区间，替换 LLM 逐字段生成 JSON 的抽取管线；代价是多步算术和长序列预测仍要交给代码。
TwelveLabs 的 Pegasus 1.5 视频语言模型已在 Amazon Bedrock 上线，可分析整段视频并按用户定义的分段条件返回带起止时间的 JSON 元数据。
能拿走按 segment_definitions 定义字段、一次请求返回带起止时间的 JSON 分段，直接接进视频产线做切片和打标；代价是单请求最长 2 小时、S3 上限 2 GB，且需在 us-west-2 开通模型权限。
AWS 在 vLLM 中贡献了推模式（push-based）NIXL KV 连接器，把 decode 侧的块注册和传输提交从首 token 关键路径移到 prefill 侧后台线程，从而降低 TTFT 和 TPOT。
在 vLLM 的 P-D 分离部署里把 NixlConnector 换成 NixlPushConnector，让 decode 侧注册与传输提交挪到 prefill 后台线程，代价是 decode 实例需提前选定、失去按负载后置路由的灵活性。
AWS 在 vLLM 中实现双向 KV 传输，让 decode 节点把已算好的 KV 回传给 prefill 节点复用，减少多轮 Agent 对话中重复的 prefill 计算。
在 vLLM 的 P-D 分离部署里开启 bidirectional_kv_xfer，让 decode 节点把 KV 回传给 prefill 复用，可换掉每轮重算整段历史的做法；代价是要配 KV-cache 感知路由，并调好 480 秒 TTL 和 64 token 重算阈值。
NVIDIA 将完整的 Run:ai 平台以 Apache 2.0 协议在 GitHub 开源，包含控制面、集群服务、安装器、CLI 和 MCP server，平台团队可自行审查、fork 和自托管，无需付费订阅。
能拿走本地开发脚本 local-dev.sh，用 5 节点 Kind 集群加 8 张模拟 A10 跑通约 50 个 Go 服务，不用真卡就能验证 GPU 调度；代价是 Linux 需 16GB 内存和 100GB 磁盘，社区版没有企业支持。
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线，用户可在本地或 Ollama 云端运行。Clef 由 Qwen3.8-27B 微调而来，采用 Apache 2.0 许可，接收文本、JSON 或图像输入，一次读取即对所有问题同时打分，兼容 Jev 与 System One API。
能拿走的是把决策任务改成一次前向打分而非逐词生成，配合 schema 定义问题；可落到本地模型部署和 Agent 工具调用前置校验，代价是 27B 模型本地跑需足够显存，且基准数据来自 Cloudflare 自评。
Qdrant 用 LongEmbed 五项任务和 MLDR 的 20 万篇维基文章，对比 UltraBERT-Embed-150M 的整篇向量与 512 token 分块检索，结论是分块在细节检索上仍更强。
能拿走一套长文档检索的对照配置，整篇向量对 512 与 256 token 分块，再加 DBSF/RRF 混合与 1-bit TurboQuant 压缩；落到知识沉淀和本地检索，代价是整篇嵌入耗时约 3 倍、压缩后需重打分补 4 到 11 ms。
AWS 的 SMGS 团队基于 Amazon Bedrock AgentCore Evaluations 搭建了一套覆盖智能体全生命周期的九阶段评估框架，从定义质量标准、版本对比、CI 回归门禁、CD 质量门、金丝雀监控、安全防护、漂移检测、实时可观测到自动优化闭环。
可拿走九阶段评估闭环的具体配置，包括哨兵集15例、30分钟批量评估窗口、连续三窗才告警、工具调用冻结回放；落到软件工厂的 CI/CD 回归门禁，代价是要先建金标集和六类失败分类器。
Apple 发布新版 MLX，演示在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open，四台 M5 Ultra 集群解码速度超过 36 tokens/s。
能拿走 mlx.launch 配 jaccl 后端跑流水线/张量并行的完整命令和 OpenCode 接本地 server 的配置，落到本地模型部署这条线，前提是 macOS 26.2 加 Thunderbolt 5 双线互联，816B 模型仍需四台机器才跑得动。