技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
545 条精选近 30 天 539 条共收录 2,452 条
AutoVideoHub 把视频生产中最耗时的找素材环节自动化，输入文案后输出可精剪的粗剪片、素材包和分镜稿，不做文案生成也不替代精剪。链路分四段，LLM 把文案结构化成含语义、情绪、景别、主体的分镜 JSON，再映射成英文检索词，从 Pexels、Pixabay、Coverr、Mixkit 抓取免费商用素材，搜不到时用 AI 生成兜底。
能拿走四段可插拔链路和 CLIP 抽帧图文评分做素材筛选，落到视频产线；前提是自备 LLM 与素材 API，精剪仍要人工。
作者梳理 Chroma、RULER、Lost in the Middle、NoLiMa 等实验，指出长上下文衰减与任务难度无关、只与长度强相关，标称窗口不等于有效窗口。
能拿走一套上下文治理清单，压缩去噪、子代理隔离、按需检索、关键信息放首尾、约束钉在压缩外，落到软件工厂和知识沉淀两条线；代价是要自建长上下文召回回归测试，且压缩必须区分任务上下文与治理约束。
作者用 Python 3.13.5 纯标准库手写了一个 OpenAI 兼容 Chat Completions 形状的最小 tool calling Agent 循环，流程为 messages 调模型、执行 tool_calls、以 role=tool 带同一 tool_call_id 回灌、再调，直到没有工具调用或触达 max_rounds。
能拿走一套纯标准库的 tool-calling 循环骨架，含 FakeLLM 脚本复现多轮、arguments 先 json.loads、工具异常转 ERROR 字符串回灌、空 tool_calls 判结束，可换掉排障时被框架挡住看不清协议的做法，代价是并行工具、流式、重试都得自己补。
这篇 Ray 教程拆解了任务重试、worker 崩溃、对象 lineage 重建、actor 重启和 GCS 容错五层机制，并逐层给出参数默认值与边界。核心结论是 max_retries 默认 3 只管 worker 崩溃，应用异常要靠 retry_exceptions 显式开启，且它只能写布尔或异常类型列表，actor 上还必须写在方法级。
能拿走 Ray 四层容错的参数对照和踩坑清单，落到本地模型部署与软件工厂的分布式任务编排上，前提是任务本身幂等，且 RAY_TASK_MAX_RETRIES=0 会连带关掉 lineage 重建。
文章按九个场景拆解 KV 缓存，指出它把每步重算前缀的 O(N²) 压成线性，但每步注意力仍需遍历全部缓存，线性项不会消失。多轮对话与 Agent 场景下前缀任一字节改动都会让改动点之后的缓存失效，文中给出一个客服 Agent 因在系统提示词加一行时间戳导致首 token 延迟从 0.5 秒涨到 3-5 秒、月度账单近乎翻倍的案例。
能拿走三条纪律：系统提示词和工具定义冻结、动态信息追加到末尾、状态栏以 user 消息注入；落到本地模型部署和 Agent 产线，代价是改动越靠前失效越多，且各项优化节省不能相加，需端到端实测。
Redis 作者 antirez 开发的本地推理引擎 ds4（DwarfStar）只针对 DeepSeek、GLM、Qwen 少数模型做优化，在 128GB M5 Max 上跑 2 比特 DeepSeek V4 Flash（约 81 GiB）时 2K 上下文生成约 39 token/s，64K 上下文降到约 28 token/s。
能拿走 ds4 的构建命令、SSD 流式参数和 Claude Code 包装脚本，把本地 Mac 接成编码 Agent 后端；代价是 2 比特量化激进、beta 状态，长上下文生成速度会掉。
作者针对向量检索无法区分 ORD-2026-0087 与 ORD-2026-0176 这类精确字符的问题，给出向量加 BM25 双路召回、RRF 融合、Rerank 精排的四层混合检索链路，并附完整 Python 实现。
能拿走向量加 BM25 双路召回、RRF 按名次融合、每路按最高分 30% 过滤、交叉编码器精排的完整链路和 Python 代码，落到知识沉淀和本地模型部署；代价是 Rerank 要调外部 API 且候选越多算力越贵。
文章讲 Agent 的主动中断与崩溃恢复两件事，提出协作式中断标志、给正在执行的工具 3 秒收尾窗口、中断后为未完成的工具调用补占位结果三条原则。崩溃恢复部分对比 LangGraph 的节点级、Temporal 的单步级和 Microsoft Foundry 的 checkpoint 恢复粒度，作者引擎选择每轮即时持久化，崩溃只丢当前一轮。
能拿走协作式中断标志加3秒工具收尾窗口、每轮即时持久化和降级启动三条做法，落到本地模型部署与软件工厂的Agent运行时，代价是要自己实现孤儿任务扫描和SIGKILL测试。
李溪白在系列三收官篇给出生产级 Agentic RAG 的五层架构，把 LangGraph 的 Checkpointer 持久化、interrupt() 人工审批、Trace 可观测、RAGAS 评估和成本熔断串成一套可上线方案。
能拿走 LangGraph 的 PostgresSaver 断点续跑、interrupt() 人工审批、三层成本熔断和六层错误分类，落到本地模型部署与知识沉淀线；代价是要自建 Postgres 与 Langfuse 链路，代码骨架只给结构不给完整业务逻辑。
作者在 RTX 5070 Laptop 8GB 显存上把 ComfyUI 0.40 加 MiniMax H3 的生成链路改造成常驻编排服务 video_pipeline.py，监听 127.0.0.1:8898，用 FIFO 队列加单 worker 跑六阶段状态机。
能拿走大小稳定轮询、六阶段状态机、顺序锁原位替换和 PromptServer 队列钩子这几段实现，落到视频产线和本地模型部署上，代价是单 worker 串行、最坏 8 秒入队延迟，且钩子与插件补丁升级后要回归。
作者用 1M 参数的 Indra OCR 给本地求职记录工具加截图识别岗位功能，最终能识别出公司、岗位、薪资、地点、学历和 HR 并自动填表。
能拿走 Indra OCR 的本地接入做法，包括用 INDRA_OCR_MODEL_DIR 指定离线模型目录、补 script.onnx/rec_cjk.onnx/lm_cjk.npz 三个 CJK 文件，落到本地模型部署和截图录入流程，代价是国内直连 HuggingFace 超时、镜像大文件走 xethub CDN 会 401。
IBM 发布 vLLM-Hook MIA 插件，可在 vLLM 开启图捕获回放的情况下观测和干预模型内部状态，用于拒绝恶意提示、标记幻觉事实或调整语气。技术报告称其比前代 vLLM-Hook 快最多 20 倍，比向模型插入代码的同类方法快最多 14 倍；对 8B Llama 和 Qwen 1.5B 推理延迟仅增加约 2%，Llama 70B 增加约 6%。
能在 vLLM 图捕获回放开启时读写模型内部状态，把运行时安全干预塞进现有推理链路，代价是需按层指定捕获点并接受 2%–6% 的延迟开销。
阿里云云原生团队撰文解析 TypeSafe 的 Jev 模型，它定位为 System One 模型，输出固定为结构化分类结果加校准置信度，官方称智能水平接近现有 LLM 而速度快约 100 倍。
能拿走 Jev 的 choice/score/noul 三类决策入参写法和六条实践原则，落到 Agent Harness 的意图路由与风险判定环节，替代大模型 Prompt 分类；代价是数学日期计算、多跳推理和嘈杂 state 会失准，需代码兜底。
唐青枫拆解企业知识库 RAG 的落地架构，把登录授权、文档审核、异步索引、BM25 与向量混合检索、引用核验和运行追溯串成一条链路。文中给出 .NET 业务层加 Python AI 私网服务的分工，MySQL 作为授权与发布指针的权威源，ES 和 Milvus 只当可重建的检索投影，新索引先写 staging 代际、校验通过后再切换发布指针。
能拿走一套可落地的企业 RAG 分层架构，含 staging 代际切换、RRF 融合代码和权限先于检索的顺序，落到知识沉淀线；代价是需同时维护 MySQL、ES、Milvus 三套存储并自建评测集。
作者用 Claude Code 同时接入 MySQL、Loki、Grafana 三个 MCP server，把一次订单堆积排障从约 2 小时压缩到 4 分钟，定位到 settlement-svc 的 JVM Old Gen 涨到 95%。
能抄走一份三 server 的 mcpServers 配置和排障提示词，把 MySQL、Loki、Grafana 只读接进 Claude Code 做交叉定位；前提是自建只读账号、pin 版本、stdio 仅限本地，且会话别超 3 个 server。
作者发布 quantized.uk 索引，在 RTX 4090、3090、M3 Max、M2 Ultra 等真实硬件上实测 117 个模型的显存占用与 tok/s，并记录所用推理栈。
能按显卡型号和量化档位直接查 117 个模型的实测显存与 tok/s，用来定本地部署的量化等级和上下文长度；代价是数据靠手工维护，标 estimated 的行是架构推算而非实测。
基于 Karpathy 提出的 LLM Wiki 范式，开发者 nashsu 用 Tauri v2 开源的桌面应用 llm_wiki 已获 1.7 万+ Stars，它把导入的 PDF、Markdown、网页交给 LLM 编译成互相链接的 Wiki 词条，而非每次提问临时检索。
能拿走的是 Raw/Wiki/Schema 三层结构和 SHA256 增量编译，把文档一次性编译成互链 Markdown 词条，换掉每次提问都从零检索的 RAG 流程；代价是要接一个 LLM 提供商并承担逐文件编译开销。
AI Chat 作者 xlbbbcn 在 Rust 侧实现了一套工具调用风险评分，把模型返回的 tool call 按黑名单严重程度 0.40、白名单覆盖 0.25、语义异常 0.20、危险能力 0.15 加权后乘 100，映射到 L0 至 L6 七级，再按级决定放行、弹确认框或拒绝。
能拿走四维加权评分加七级阈值和分级处置表，把工具调用确认流程从命令白名单换成按风险分级；代价是纯启发式，挡不住故意绕过，真隔离还得靠容器。
作者以招标文件解析为例，讲生产级长链路 AI 工作流为何不能交给 Agent 自主规划，并给出自建架构方案。技术栈为 React、FastAPI、Redis、PostgreSQL、arq，工作流采用状态机主干加分析环节 DAG，LLM 底座自建模型切换、熔断、JSON schema 校验、全局 QPM 限流与并发控制。
能拿走自建 LLM 底座的分层做法（流式连接早发现超时、JSON schema 校验后立即重跑、全局 semaphore 加 QPM 前置快速失败）和状态机加 DAG 的断点续传设计，落到软件工厂的长任务产线；代价是要自己造轮子，作者称从零到稳要几个月。
文章用 LangGraph 的 langgraph-swarm 从零搭了一个旅行规划 Swarm，两个专家 Agent 通过 create_handoff_tool 生成的移交工具互相转接，无需中央主管调度。
能拿走 create_handoff_tool 自定义版只传 task_description 不传全量历史，换掉默认 handoff 的 token 膨胀；代价是要自己校验 agent_name 并设 recursion_limit 防互转死循环。