技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
545 条精选近 30 天 539 条共收录 2,452 条
百度发布 ERNIE-5.5-Flash-Base，一个 280B 总参数、每 token 激活 14B 的稀疏 MoE 基座模型，在 33.5T token 上从零预训练，训练上下文逐步扩到 128K，微调与推理支持 1M token 上下文。
可拿走稀疏 MoE 加混合 MLA/HCA 注意力、Multi-Router 路由和 ECHO 复用末层做投机解码草稿这几处设计，落到本地模型部署与训练线；代价是要自己扛 280B 权重和 1M 上下文显存。
阿里云云原生发布开源本地 Agent 智能路由引擎 HiRoute 的新版本，可在 Codex、Claude Code、Qoder、Pi、OpenCode、Hermes、DeepSeek Harness 等 Agent 中按每一步难度自动切换模型。
可借鉴其按步判断模型的路由思路与三问拆解法，把简单步骤交给便宜模型、关键判断留给主力，代价是每轮多一次决策调用并需积累评分证据才敢调档。
NVIDIA 的 Auto Ontology 项目把业务术语、列映射、连接路径和 SQL 属性做成可修订的语义层，再让查询 Agent 基于这份上下文写 SQL 并检查执行。
能拿走的是语义层接入 NL-to-SQL 的完整链路拆解，含并行提取顺序提交、采样熔断、桥接表补回和三层重试的具体阈值，可落到知识沉淀与本地部署；代价是要人维护术语口径，且意图校验失败会降级放行。
物流团队用多模态模型识别四千张真实运单，字段识别率从 91.4% 提到 96.9%，叠加规则校验后错误率从 3.2% 降到 0.4%。三个坑分别是通用提示词不认运单结构、整页 PDF 直接丢给模型导致 500 张里 41 张失败、置信度 0.9 以上字段仍有 3.2% 出错。
能拿走领域先验提示词、字段级 confidence 加正则与号段校验的复核队列、PDF 转 PNG 拆页压到 2000px 三条做法，落到软件工厂的文档录入链路；代价是复核队列仍占约 11% 人工。
作者开源了 OpenDrain，一个把下载结果落盘、只向 Agent 返回约 557 字节 JSON 回执的下载器，避免整页 HTML 进入上下文。实测 MDN 的 HTTP Headers 页 293,636 字节约 73,000 tokens，改用 OpenDrain 后回执约 140 tokens，后续用 grep 按需取段约 997 tokens/段。
能拿走的是把下载从上下文里剥离的做法，字节落盘只回 557 字节 JSON 回执，配 flock 任务锁和强制 sha256 校验；可接到本地模型部署和知识沉淀的取数环节，代价是并发分片反而比 curl 单连接慢，Windows 无跨进程锁。
Tokenfree 团队把合同摘要服务主模型从 M1 换到 M2，按 10%、50%、100% 三档灰度九天，每档只盯人工抽检通过率、首字 p95、下游解析失败率三个指标。
按请求 ID 哈希分流加环境变量控制灰度比例，每档只盯抽检通过率、首字 p95、下游解析失败率三个指标，能直接套到换模型或换提示词的发布流程；前提是两模型走同一套兼容接口，代价是约 1.5 人天盯盘。
作者复盘本周三起 Agent 安全事件并给出一个 40 行沙箱配置审计器。
能拿走一个 40 行静态审计器，查沙箱启动 flag、js/deno/process 全局桥和文档声明矛盾三类问题，塞进 CI 在 PR 时跑；前提是沙箱配置进版本库，且它只查静态配置，查不出已写入的 .pth 持久化。
作者在 RTX 4060 Laptop 8GB 上用 vLLM 0.33.0 跑 Qwen2.5-7B 的 AWQ 与 GPTQ-Int4 量化版，给出可复现的启动参数组合：gpu-memory-utilization 0.85、max-model-len 8192、必须开启 enforce-eager。
能直接抄走 8GB 卡跑 7B 的启动参数组合（0.85 利用率、8192 上下文、必开 enforce-eager）和三个 vLLM issue 的本地补丁，落到本地模型部署线；代价是数据只来自 RTX 4060 Laptop 单卡，换卡换模型要重测。
作者把纠斜、去噪、二值化拆成开关，在英文页上跑Tesseract 108组、中文页跑macOS自带识别60组，发现椒盐噪声下先去噪再纠斜准确率98.6～99.1，先纠斜再去噪只剩91.5～94.4。中值核开到9×9时英文准确率从98.9掉到91.0，自适应二值化遇高斯噪声输出全空。作者还发现歪5度只做中值掉到34.0是Tesseract版面被切碎所致，改用--psm 6后回到96.51%。
能拿走一套可复用的开关测法，用编辑距离加非空行数在自家扫描件上逐项开关预处理，落到知识沉淀的文档入库流程；代价是样本只有两页清晰印刷件，参数和结论换识别器就得重测。
作者用 ffmpeg 的 signalstats 滤镜逐帧输出 YDIF 亮度差分，找出异常尖峰，再用前后帧 PSNR 把尖峰分成换镜头接缝和同镜头闪烁，阈值取 25dB。
用 ffmpeg signalstats 的 YDIF 逐帧差分找尖峰，再用前后帧 PSNR 区分换镜头与闪烁，门槛取 max(中位+8×MAD, P95×1.5) 防塌陷，可挂进视频产线的发布闸门，代价是只抓高运动切低运动一个方向。
作者把 Function Calling、MCP、Agent 拆成模型能力、接口标准、控制流三层，指出三者正交且故障会互相伪装，因此排查要固定为先用 tools/list 验证工具清单、再看工具描述、最后查 Agent 循环。
把 Function Calling、MCP、Agent 拆成三层并给出固定排查顺序和四问选型流程，可直接换掉现在混着找 bug 的做法，代价是要先手动跑通 tools/list 验证下层。
作者用方舟 Seed 2.1 lite 做了双臂对照实验，让模型只写 Markdown 草稿、由本地单文件 CLI 渲染成带图表的单页 HTML，三个真实问题里两题一次通过，输出 token 省 2.2–2.75 倍。
把排版从模型手里拿走，模型只写 Markdown 草稿加几行 DSL 图表描述，本地单文件 CLI 渲染成离线 HTML，能落到知识沉淀和小说创作配图；代价是草稿规范要写严，否则修复轮反而更贵。
作者实测 dsh-auto-memory 1.3.0（npm 2026-10-29 发布）三周，踩到四个坑：autoSummarize 默认 false 不会自动记、注入预算 maxBytes 默认 4096 字节且超出按索引位置截断、candidate 状态记忆会照常注入需人工升 verified、LongMemEval-S 仅 23.3% 不适合长文档检索。
能拿走一套 agent 持久记忆的配置取舍，autoSummarize 默认关、maxBytes 4096 按索引位置截断、关键条目 pin 住、candidate 需人工升 verified，代价是每周五分钟维护且无多机同步。
一篇教程拆解大模型 API 流式输出的四个工程坑并给出基于 httpx 的可运行实现。作者指出按 chunk 切分会切断 JSON、UTF-8 多字节字符会被截断、流已产出内容后重试会导致重复输出、中断时不关闭连接会继续计费，对应做法是缓冲区按空行聚合分帧、用增量解码器、只在零输出时重试、在 finally 里 gen.close()。
能拿走一份 httpx 流式实现，含按空行聚合分帧、增量解码、零输出才重试、finally 关连接，直接换掉现在按 chunk 切 JSON 的写法，代价是要自己维护缓冲和重试边界。
作者实测了用 Zig 从零重写的无头浏览器 Lightpanda，给出接入 Playwright 与 Agent 工作流的具体做法。核心是用 playwright-core 走 connectOverCDP 连接 lightpanda serve，并遵守一进程一连接一 context 一页面的硬限制，并发靠多进程而非多标签。
能拿走 connectOverCDP 接法、LP 私有域四个命令和 /save 导出可回放脚本；落到 Agent 网页工具与批量抓取线，代价是一进程一页面、无渲染、AGPL 限制。
Rack Community 发布 1.0.0 首个公开版本，是一个跑在单台机器上的自托管 AI 实验台，自带实时仪表盘、拒绝压垮机器的作业队列、训练与测试用的 recipe 模板、需人工确认的智能体记忆和可让 AI 加入的团队房间。
能拿走 admit.sh 的内存准入规则和按片原子落盘加外部超时的作业队列，落到本地模型部署这条线，代价是脚本以启动用户身份运行、没有沙箱，且 Somnus 和 TalkBack 无登录。
面壁智能的 Agent ForgeKernel 在 22.5 小时无人直播中，不参考 DeepSeek 源码，用一块 B200、22 个 GPU 小时、42 轮迭代写出 Prefill 算子，最终耗时 472 微秒，比 FlashMLA 的 518 微秒快 9.8%。
能拿走的是用逐比特对齐加责任分离让模型自写训练框架和算子，落到软件工厂和本地模型部署两条线，前提是几十B模型、几百卡以内，万卡集群和稳定性还接不住。
作者复盘 AI-SDLC 交付流程设计，结论是既不全交给 Agent 也不全交给脚本，改由 Agent 操作 CLI 串联五个阶段。CLI 持有 Workflow 流程定义、Phase 阶段定义和 State 实例状态，Agent 在阶段内决定怎么做并通过 CLI 查询进度、登记产物、请求推进，人只在流程类型、需求规格、技术方案、写目标仓、风险与跳过证据、外部写入六个点确认。
可拿走 Workflow/Phase/State 三层拆分和 Agent 操作 CLI 的分工，落到软件工厂的多阶段交付流程；代价是 schema 与 hash 强校验会卡住迭代，只留缺输入、业务失败、越权、写入冲突四类拦截。
作者为桌面 AI 助手做屏幕感知时采用截图加 UIA 控件清单的双通道方案，纯视觉定位 5 步复合任务成功率约 40%，加入控件清单后可从结构化数据中挑选目标。
可拿走截图加 UIA 控件清单的双通道感知、1568px 缩放上限和 30 行 PowerShell 取控件树的做法，落到桌面 Agent 的定位环节；代价是纯视觉 5 步任务成功率仅约 40%，且 UIA 只覆盖 Windows 标准应用。
作者发布 Agent-LongRun-Framework v3，用单轮写租约、7 态状态机和项目根绑定三条运行时契约，让 Agent 在未获批准时写操作被代码拒绝而非靠提示词自觉。
能拿走单轮写租约加7态状态机的做法，把写权限绑到turn_index，换掉v2那种一次enable_writes永久可写的开关；代价是宿主必须在每条新消息调begin_turn，且状态文件不支持并发写。