技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
545 条精选近 30 天 539 条共收录 2,452 条
英伟达与 MIT 的 Efficient-Large-Model 团队在 Hugging Face 发布基于 MiniMax H3 的视频增强项目 Open-H3-Regenerate-2K 权重，推理代码开在 NVlabs/Sana 仓库，支持 2560×1440 的 2K 输出、最高 3840×2160 的 4K 重生成。
能拿走的是只训细化 LoRA、主干与 VAE 冻结，再叠社区适配器三步去噪做 2K/4K 重生成；落到视频产线可把低分辨率草稿放大成片，代价是要 B200 级算力和潜空间放大器等社区组件配合。
阿里云云原生团队以“向五位客户发通知邮件”为例，拆解 Durable Agent 如何让任务在进程崩溃后从已提交阶段继续，而不只是恢复聊天记录。文章给出 AgentScope 的 Session、Entry、Document、Task、Commit 五层状态模型，工具调用分 call 与 execute 两阶段，只有保存的重放策略为 safe 才重新执行。
能拿走 AgentScope 的 Session/Entry/Document/Task/Commit 五层状态模型和 call/execute 两阶段工具重放策略，把会话恢复升级成任务级恢复；前提是外部动作要自带幂等标识和原操作查询，否则第四封邮件这类窗口只能留人工核实。
作者用 VoiceStudio 加 VoxCPM 2 在本地搭出一套可商用的中文配音流程，给出图形界面和 Mac 上 mlx-audio 两条路线。
能拿走参考音频清洗流程（HTDemucs 分离加 DeepFilterNet3 降噪、停顿低于语音 25 dB 的门禁）、每段不超 100 字只在句末切、ASR 对稿超 0.15 换种子重试，落到视频产线和本地模型部署；代价是 Mac 上单进程串行跑，参考不干净会整段返工。
作者在单张RTX 5090（32GB）上实测Strata v0.2.2加载Qwen3.8-Flash-Next Q2_0（125B级MoE），模型文件66.4GB对31.8GiB显存缺口约2.1倍，靠把全部24576个专家常驻主机内存、按热度缓存到显存跑通。
能拿走一条槽位公式（可用显存减884MiB再除1.318MiB，上限24576）和五段传导链，用来给本地部署做容量规划；前提是只测了Q2_0一档、PCIe固定Gen3×16，换量化档或平台要重算。
作者把 20B 级扩散模型推理框架从 CUDA 移植到另一种加速卡时，接入的开源 ring attention 实现端到端出图不对但不报错，排查后确认该库的注意力实现根本没做通信，只算了本地那一段。
能拿走三件东西，单层并行与朴素实现逐元素对比、并行输出与只用本地数据比 max_err 是否为 0 判通信、单机分块 LSE 合并单测；可落到本地模型部署与推理移植线，前提是得先有可对照的朴素实现和能跑多进程的环境。
作者把 1,439 张 AI 生成的人体姿势线稿做成 ComfyUI 本地节点 comfyui-pose-gallery，内置 288 组姿势、每组最多 5 个视角，支持中文检索和按姿势分组浏览，选中后直接输出 image、width、height、pose_id 到工作流。
能拿走一套 ComfyUI 姿势图库节点加三条实测工作流，把抽卡式生图换成先选线稿再出图，代价是仓库 660 MB 且深度控制对手指面部仍不稳。
作者用同一订单校验需求手工构造放开写与带约束写两版代码，以 acorn 解析的 AST 脚本统计函数长度、嵌套深度和圈复杂度，放开写版为 102 行、嵌套 4 层、圈复杂度 32，带约束版为 27 行、2 层、8。
能拿走 AST 四指标脚本、CI 门禁写法和 AGENTS.md 维护约束，落到软件工厂的代码生成与合并环节；代价是两版样本为手工构造，指标只量结构不量对错。
作者在 80 逻辑核双路 Xeon 服务器上实测 llama-cpp-python 跑 Qwen3-0.6B-Q8_0，8 线程达到峰值 36.27 tok/s，20 线程掉 24%，80 线程只有 11.04 tok/s，退回单线程水平。
能直接拿走线程扫描表、taskset 绑 NUMA 节点和 numactl --cpunodebind 加 --membind 的组合，落到本地模型部署线；代价是绝对 tok/s 是共享负载下的下限，只能看相对趋势。
作者用一台 Ubuntu 服务器、两个 Docker 容器和五个自写插件，把 NapCat（OneBot v11）、AstrBot 4.29.3、DeepSeek deepseek-flash、本地 Whisper、Edge TTS 和 DSH Agent 串成一条 QQ 机器人链路，并给出可复制的命令与配置。
能拿走 NapCat+AstrBot 双容器串联、modalities 显式声明、Whisper 强制中文加 loudnorm 归一化、TTS 前正则清洗这几处具体配置，落到本地模型部署和知识沉淀线；代价是 QQ 自动化有封号风险，NapCat 重启要重扫码。
作者用飞书机器人做入口、Dify 做编排、FastAPI 做接入层，搭出一套把链接、图片、语音、文件转成可检索知识库并每天生成日报的个人系统。回调层验签后立即 ACK 把重活交给后台，并用事件落库加重启恢复兜住进程重启；去重分事件、并发、内容、恢复四层，内容层以正文 sha256 映射到 Dify document_id 做增量更新。
能拿走飞书回调 3 秒内 ACK 加事件落库恢复、四层去重和内容哈希增量入库的具体做法，落到知识沉淀线；代价是强依赖 Dify、单机 SQLite 只适合个人自用，头条抖音通道需持续维护。
开源个人 Agent Andee 发布 v0.8.0，新增约 20 分钟一次的心跳、六部分本地记录和写在代码里的刹车，没人派活也会自己动。作者称边界放在调度器而非提示词，陌生人来源的输入会被直接拒绝执行保险箱、派活、改记忆等动作；心跳多数在免费关卡停下，走一次模型约 500 token，每天最多 40 次心跳、6 次动手。
能拿走的是把安全边界写进调度器而非提示词、心跳与每日动手次数用代码常量限流、坐标点击改由专用视觉模型定位；落到本地模型部署与软件工厂线，代价是密钥自填、设备不在即停、跨设备不共享记忆。
作者静态读取 Mac 上的 Claude Code 2.1.309 二进制，确认后台 Agent 每约 30 秒会把完整 transcript 发给模型生成 3 到 5 个词的状态行，并找到同一段提示词和五条跳过规则。
能拿走的是用 OpenTelemetry 按 query_source 分组统计 agent_summary 的 cost_usd，先量出自己这套的占比再决定要不要动；代价是这些请求不写进磁盘会话日志，只读日志的成本工具会漏算。
作者给自己运行的 agent 系统写了个单文件零依赖脚本，把日志拆成单次上下文、缓存命中率、每步成本三个数，改完三处后每步成本从 0.026 元降到 0.0058 元。
能拿走三个成本指标（单次上下文、缓存命中率、每步成本）和挡工具输出、锁前缀两条纪律，落到本地模型部署和软件工厂的调用成本核算上，代价是要先有结构化日志。
作者复盘自家 Agent 向人提问机制的四个月重写，核心做法是工具不阻塞等待，而是返回一张状态为 waiting 的卡片落库，下一轮开始前找到最近一条未回答卡片补上回复再继续跑。
把等待做成工具成功后落库的一条待回答消息，下一轮开轮先补全再续跑，能换掉阻塞式 ask_user 占进程的写法；代价是要改回放和持久化路径，且提示词拦不住模型跳步，得在执行侧加签名校验。
作者在 Linux 上实测 Rust 工具 rtk v1.1.0，它拦截 Claude Code 等 AI 助手的 shell 命令输出，压缩 60%-90% 后再送进模型上下文，单个二进制 15.8MB、零依赖、开销不到 10ms。
能拿走 rtk init -g 注入 Claude Code 的 PreToolUse hook 配置和 read -l aggressive 参数，压 shell 输出省上下文；代价是默认不压缩、引擎为 BSL 1.1 商用受限。
作者以《天龙八部》问答项目为例，用 LangGraph 在图上逐步加节点，把线性 RAG 改造成可路由、可多跳、可评估联网兜底、可混合召回重排的 Agentic RAG 闭环。
能拿走 LangGraph 条件边加 withStructuredOutput 做路由、子问题拆解禁指代、LLM 决策配轮次硬护栏这套写法，落到知识沉淀和本地模型部署的检索链路上，代价是每轮多一次 LLM 调用且状态字段必须对齐。
Turnbook 发布 0.10.0，把新安装的检索模型从 mpnet 换成 EmbeddingGemma，在 LongMemEval 全部 500 题上以 3.1k 记忆 token 达到 91.8% 准确率，此前 mpnet 要 26.3k token 才有同样成绩。
把记忆写入从 LLM 摘要换成逐字存 SQLite 加本地 EmbeddingGemma 检索，省掉写入 token；代价是首次安装要后台重嵌旧记忆，且多用户服务端还没做。
作者用 Claude in Chrome 扩展让 Claude Code 在已登录的 ChatGPT 网页里自动填 prompt、发图、下载并切图，13 轮出图留下 35 张原图，全程同一个对话保持画风一致。
可照搬的是让 Claude Code 用页面 JS 操作已登录的 ChatGPT 网页出图，配固定 prompt 尾段和切图脚本；代价是网页结构会变、单轮出图最长 26 分钟，听感和观感仍需人判断。
这篇教程拆解多轮对话越聊越贵和失忆的原因，给出带裁剪策略的会话管理器实现，12 轮演示中预算裁剪把累计 token 从 4654 降到 2993，省下 35.7%。
能拿走三套裁剪策略（滑窗、预算、压缩）加本地 token 估算和可配置单价的完整模块划分，落到软件工厂里多轮对话的成本控制；代价是估算按字符经验值算，真实账单仍要取服务端 usage。
这篇教程把英语批改智能体的输出从散文改成结构化对象，用 Pydantic 定义 Correction 和 ErrorItem 契约，再经 with_structured_output 工具通路或 PydanticOutputParser 提示词通路解析。
能拿走 Pydantic schema 加 with_structured_output 与 PydanticOutputParser 双通路、业务校验层和带错因的重试闭环，落到软件工厂的结构化输出环节；代价是私有部署小模型不支持 function calling 时得走提示词备胎，且要自写假模型才能离线测。