技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
545 条精选近 30 天 539 条共收录 2,452 条
作者在 8 核 CPU、16G 内存的旧笔记本上跑 qwen3:8b 量化模型，逐个试了 Ollama 六个参数，结论是只有 num_thread、num_ctx、keep_alive 三个真有用。
能直接抄走 num_thread 填物理核数、num_ctx 压到 2048、keep_alive 设 -1 三组配置，落到本地模型部署线；代价是上下文压小后长文档会静默截断，无独显时提速上限约 3 到 6 字/秒。
作者用 Codex Skill 把知识解说视频链路拆成 DeepSeek 分镜、Qwen-TTS 逐句配音、汇影AI 素材检索和 capcut-meta 生成剪映草稿四段，各环节定好输入输出契约。
能拿走强制 visual/comment 二分类的分镜提示词与 JSON Schema，把文案到剪映草稿的机械环节自动化，落到视频产线；代价是要自己处理素材链接过期、片段重叠和编码不统一。
作者用 31 篇中文技术笔记和 30 条唯一答案问题，离线跑了 4 种切分乘 3 种召回的 24 组配置，上下文预算固定 1200 字，纯关键词召回命中率 53%，纯向量 40%，混合召回最高 73%。
能直接拿走一套离线 RAG 评测配置，31 篇笔记 30 题、1200 字预算固定，对比 4 种切分乘 3 种召回，落到知识沉淀线；代价是结论绑中文技术笔记语料，换领域要重跑。
Answer me with HTML 是一个 Agent 技能，模型只写 Markdown 草稿，由内置 CLI 负责排版、配色和绘图，约 50 ms 生成一个可离线打开的单文件 HTML 页面。
把排版、配色、SVG 坐标交给 CLI，模型只写 Markdown 草稿，token 降到约 1/8；代价是需 Node.js 20+ 并接受固定模板与主题，自定义样式受限。
Cindy 开源智能体发布，可把 Claude Code 和 Codex 作为可互换的 harness 运行，模型与 harness 可自由组合并在任务中途切换，工作区、记忆、技能和工具保持连续。
可参考它把 Claude Code 与 Codex 当可换 harness 混用、任务中途切换且记忆技能不断线的编排思路，代价是要接受默认连官方云服务、本地模式功能受限。
作者拆解 TypeSafe AI 于 2026 年 9 月 15 日发布的 Jev 模型，它不做逐字生成，而是用 Choice、Score、Noul 三个原语在单次前向传播中并行输出分类、打分和布尔概率。
能拿走 Choice/Score/Noul 三个原语的请求写法与读法，把工单路由、严重度打分、是否升级人工拆成并行判别，落到软件工厂的前置分流层；代价是中文长文本准确率低、无状态回溯，必须配置信度阈值和兜底。
得物技术发布《昇腾 910C 大模型推理优化实践》下篇，在 vllm-ascend 源码、算子层和 MTP 投机解码三处做优化，Qwen3.5-35B-A3B 在 c=1 下 TPOT 从 8.2ms 压到 5.0ms。
能拿走一整套昇腾 910C 上 vllm-ascend 的改法，包括多流重叠 shared expert、block_table CPU 快路径、词表并行 argmax 和 910C 融合算子，落到本地模型部署这条线；代价是要改 vllm-ascend 源码并重编 AscendC 算子，且收益集中在 c≤8 低并发。
Paradev 发布一个统一工作台，可同时运行 Claude Code、Codex、OpenCode 等任意 CLI 编码智能体，每个任务分配独立的 Git worktree 和分支，官方称可扩展到 100+ 个 agent 并行。
每个 agent 独占一个 Git worktree 并行跑，配 CLI、SDK 和 MCP server 可脚本化接入 CI，代价是合并时仍会冲突，桌面端只有 macOS 和实验性 Linux。
Aroha 开源一套面向 AI 智能体的签名授权协议，人类签发带消费上限和 TTL 的 IntentMandate，编排器只能向下收窄权限再委派给子智能体，任一环节可离线校验整条签名链。
能拿走的是可衰减的签名授权链和两行接入的 verifyMandateChain，把多智能体跨厂商调用的权限收窄落到软件工厂的派单链路上，代价是要自建 DID 与撤销见证服务，运行时桌面端尚未开源。
Mistrial 是一个可对现有 LLM judge 重复采样并输出可靠性卡片的命令行工具，报告自一致率、翻转用例、judge 间 Cohen's kappa 与 Krippendorff's alpha，以及与人标的准确率。
能拿它把现有 LLM judge 重跑多轮，量出自一致率、翻转用例和 kappa，再按 gate-risk 反推 CI 通过线；代价是要多花调用费，且 kappa 在几十条用例上不构成证据。
文章把 Prompt、Context、Harness、Loop 四代工程串成一条线，提出循环工程的核心是闭环而非自动，并拆出自动调度、工作隔离、技能沉淀、工具连接、子代理互审加状态记忆六个零件。
能拿走六件套循环结构（自动调度、工作树隔离、SKILL.md 沉淀、MCP 连接、子代理互审、状态文件）和五条可循环判定条件，落到软件工厂线；代价是 token 成本可达聊天 4 倍以上、多 Agent 15 倍，且 47 轮状态机极难调试。
作者拆解了一个不写代码的 Agent，把扫描件、合同、发票等非结构化材料回填成业务表单，全程只允许三种写动作：改字段、加一行结构化数据、记一条待确认问题。观察层用 150 dpi 渲染加逐页 OCR 还原表格，线框检测约 10 毫秒一页用于判断有无表格；DOCX 版端到端 17.5 秒，2 页扫描件版 26.3 秒。
可拿走三动作事件协议（patch/slot.item/issue.added）、snippet 逐字命中校验和连续两轮无新增的饱和停止条件，落到知识沉淀类表单录入线；代价是动作空间被钉死，做不了开放式产出。
AWS 博客给出在 Amazon Bedrock 上调用 OpenAI 模型时使用提示词缓存的完整模式，覆盖静态工具与指令缓存、对话历史滚动断点、会话中途追加工具、子智能体共享前缀和新会话复用缓存键。
能拿走一套 Bedrock 上 OpenAI 模型的提示词缓存写法，含 prompt_cache_key、显式断点、additional_tools 追加工具和 warm 后 fan out 子智能体，落到软件工厂的多 agent 派单线；代价是前缀须逐字节稳定且至少 1024 token，缓存写入按 1.25 倍计费。
Entire 发布首个面向智能体与人类协作的 Git forge，用 Trail 取代传统 PR 评审，每次推送由多个评审 agent 在云端沙箱独立打分并给出 findings，分数稳定且问题清零后才允许合并。
可借鉴 Trail 用多个评审 agent 独立打分、连续 5 轮看分数是否收敛再合并的做法，以及 entire-graph 本地建代码地图省 token；代价是要接入 Daytona、E2B 沙箱和 Buildkite、Depot 的 CI。
AWS 发布教程，用单个 Python CDK 应用在 Managed Amazon Bedrock Knowledge Base 和 AgentCore 上搭建企业级智能体检索，一个 cdk deploy --all 部署四个栈。
能拿走一套 CDK 四栈模板，把两个 Managed KB 经 AgentCore Gateway 暴露成 MCP 工具做语义路由，并带七层 CloudWatch 遥测和在线评估；代价是区域支持有限、在线评估按采样率烧 LLM 调用。
Ubicloud 工程师用 vLLM 0.31 的约束解码服务端开关，把 Kimi K2.6 和 DeepSeek V4 Flash 的工具调用 schema 准确率从 92% 提升到 100%。
用 vLLM 的 --tool-strict-level 开启约束解码，把 Kimi K2.6 工具调用 schema 准确率从 92% 拉到 100%，代价是部分模型默认开启会跑偏、语法翻译和投机解码有冲突 bug。
load-lock 发布一个整机共享的计数信号量，让 OpenCode、Codex CLI、Claude Code 等多个并行编码 agent 在跑构建和测试前先 acquire 许可，排队时继续做轻量工作，容量释放后按 FIFO 收到 offer 再 claim 执行。
多 agent 并行跑构建和测试时用共享计数信号量排队，acquire 后继续写代码、收到 FIFO offer 再 claim；代价是要装 daemon 并给每个 harness 配 hook，Claude Code 和 Cursor 适配只做了契约测试。
清华大学与香港中文大学研究者开源 AKV，一个基于 SGLang 的 KV cache 工程服务系统，让智能体直接丢弃选定的 KV 条目并复用其余部分，而不改写历史文本。
能拿走的是 drop/repos 两种 KV 操作加 OpenAI 兼容的无状态接口，把工具调用历史直接丢缓存而不重写文本，落到本地模型部署和 Agent 长任务线上；代价是只支持 Qwen、GPT-OSS、MiniMax-M2 文本模型，且需 SGLang 与 NVIDIA GPU。
技术老孙在 AgentScope-Java 系列完结篇中盘点前五篇踩坑，并给出生产化四件套真代码：基于 ModelCallEndEvent 中 ChatUsage 的会话成本统计中间件、5 线程不同 sessionId 的并发隔离验证（实测 5/5 通过）、每秒 5 令牌桶容量 10 的限流拦截器。
能拿走成本统计中间件、令牌桶限流拦截器、声明式权限规则和 16 条踩坑表，落到软件工厂的 Agent 上线环节；代价是需自备 Redis 与真 Key 跑并发验证，且被 DENY 的调用照样计费。
小密盾团队复盘了让 Claude Code、Codex 等 AI 编程助手用密钥但看不到明文的工程实现，核心判断都放在桌面 App 里，AI 只通过 rootkey mcp 和 rootkey run 两个入口接入。
能拿走 MCP 工具分组设计、outputSchema 禁用 $ref、run 注入后 zeroize、按块边界打码这几处具体做法，落到本地模型部署与软件工厂的密钥注入环节，代价是打码只防误带不防恶意 AI，Windows 无祖先链识别。