技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
545 条精选近 30 天 539 条共收录 2,452 条
开源项目 elastic_multimodal_search 用 Jina AI 多模态 embedding 把文本、图像、音频、视频帧映射到同一向量空间，再由 Elasticsearch 做 BM25 词法检索与 k-NN 向量检索的混合匹配，覆盖音乐、动物、图像、电影、图书、跨模态、套娃降维、词向量可视化 8 个 Streamlit 搜索模块。
能拿走一套可跑的多模态检索模板，含 Jina 多模态 embedding 加 ES 的 BM25 与 k-NN 混合检索、RRF 融合和 Matryoshka 截断到 128/256/512/1024 维；落到知识沉淀和本地模型部署，前提是自备 ES 8+ 集群和 OpenRouter、Gemini 密钥。
作者在原有串行 dev-workflow 基础上设计了 dev-workflow-router，由 Router 统一接收需求和反馈，分派给 Analyst/Planner、Coder、Reviewer 三个 Worker，在保留 #0 背景确认、#1 方案确认、#2 实现验证三道人工 gate 的前提下让可独立推进的工作提前开始。
可照搬 Router 加 Analyst/Coder/Reviewer 三角色分工、五行骨架和按影响分派反馈的做法，替换单 Agent 串行审批；代价是 token 增加、需自管文件所有权与版本快照。
Rufous 发布 alpha 版，这是一个用 Rust 写的 agent 框架，面向在自己机器上运行的 2B–12B 模型，可在编辑器内或自带 Web UI 中使用。
能拿走的是小模型 agent 的校验思路，用不可编辑的工具调用记录核对模型自述、每轮最多一次 Hold，落到本地模型部署这条线；代价是规则靠人工标注集维护，作者自测样本仅两个 4B 模型各跑三到六次。
作者给出大模型联动 CodeQL 与 Coverity 的完整落地方案，包含分层架构、Python 调度脚本和 Pydantic 数据模型。方案把两套工具的扫描结果统一导出为 SARIF 并归一化去重，再送入 LLM 判断误报、做风险分级、生成修复代码，并在出现高危漏洞时自动生成 CodeQL 自定义 QL 规则。
能拿走一套 CodeQL+Coverity 双引擎调度脚本和 Pydantic 数据模型，把扫描结果归一化成 SARIF 再交给 LLM 研判误报、生成修复代码和自定义 QL 规则，落到软件工厂的代码审计环节；前提是本地装好两套工具链并给出可编译的 build_command，LLM 输出还需自行清洗 JSON。
RAGFlow 团队（InfiniFlow）联合华东师范大学在 arXiv 发布论文《Context as Infrastructure》，提出在摄入期把语料加工成带类型工件的知识编译管线，查询时消费工件而非原始文本。
能拿走断言-证据对替换、零命中回退梯子和有限视野盈亏公式，落到知识沉淀与本地检索管线；代价是延迟约 3 倍、需另配决策门，且 91% 数字来自 N=200 单次运行。
作者用真实 Chrome 跑了 5 组基准和 25 条断言，实测 postMessage 三条通道、OffscreenCanvas 交接和 Worker 池的代价。
能拿走 transferListOf 摊平函数、约 130 行 RPC 封装和带握手与崩溃补人的 Worker 池，落到本地模型部署或视频产线的浏览器侧渲染；代价是每 worker 约 5ms 启动、15µs 消息地板和每 worker 独立堆。
Infini-AI-Lab 于 2026 年 10 月 25 日发布 Hermit v0.1.0，一个 Apache-2.0 的 harness 适配器框架，模型和 Agent 外壳都冻结，只训练外挂适配器。
能拿走的是把 Agent 外壳做成可训练文本资产的做法，配 Trainer/Judge/Evolver 闭环和 git 版本管理，可落到软件工厂的重复任务上；代价是成绩多为单次自报、只测了 GLM 5.3 Flash，沙箱还绑 Linux 加 bubblewrap。
Codedict 是一个不调用 AI 的本地代码索引工具，用 tree-sitter 解析项目并写入 SQLite，通过 Claude Code hook 把函数位置、调用方和调用链随问题一起交给模型。
用 tree-sitter 建本地 SQLite 索引，靠 Claude Code hook 把函数位置和调用链随问题一起喂进去，把 5 到 20 轮 grep 压到 1 到 2 轮；代价是每轮约 37k token 的固定开销砍不掉，模糊问题没有名字可搜。
文章基于提交 477b4f4205 的实现，拆解 DeepSeek Harness 如何协调多轮模型调用、工具执行与会话状态，把运行过程分为插件装配、回合驱动、会话日志、工具管道和异常处理五部分。
拆解了 turn/step/请求尝试三层边界、surface 投影与并发执行顺序提交的取舍，可对照改造自家 agent 循环的输入队列和日志恢复，代价是配置整段替换易丢字段、日志恢复不保证副作用回滚。
ETF Agent 作者以基金费用与持仓比较为教学任务，拆解 Agent 上下文治理的落地做法，主张每次调用前从有效任务、获准材料和真实执行记录重建工作视图，而不是维护一个不断增长的字符串。
能拿走的是按职责分区装配每轮请求的做法，系统提示词只放稳定指导，记忆先过准入再选，工具结果存成可回读引用；可落到知识沉淀和本地模型部署的上下文装配环节，代价是要自己维护版本、覆盖和回执，原文只给教学别名和示意字段，没有可直接调用的接口。
UniiChat 在自有机器上运行一组 AI 智能体，每个智能体只有一条永不结束的对话，靠记忆树保留全部历史。每条消息被压缩成一行，相邻行两两合并成二叉树，每次调用读取最多 128 KB 的视图，旧内容细节变粗但不丢失，且可逐层展开回原始消息。
可借鉴记忆树做法，把每条消息压成一行、相邻两行成对合并成二叉树，每次调用只读 128 KB 视图并命中 prompt cache，换掉现在靠 compaction 丢弃历史的方案；代价是要自己跑 Bun 和 git worktree，且作者声明代码由 AI 生成、预期有 bug。
作者在RTX 5090上跑Qwen3.8-Flash-Next Q2_0（125B级MoE），停掉同卡其他容器腾出18,106 MiB显存后，decode吞吐从140.6 tok/s升到256.2 tok/s，提升82%。
能拿走单变量对照法加两条拟合公式，缓存约等于整卡可用减6.0 GiB、decode约等于92加6.53乘缓存GiB，用来预估本地部署吞吐；代价是结论绑在Q2_0量化、32K上下文和Gen3链路上，换档位或换卡要重测。
Context Mode 是一个开源 MCP 服务器，通过沙箱工具把 Playwright 快照、GitHub issue、日志等原始数据挡在上下文窗口外，官方称 315 KB 可压缩到 5.4 KB、降幅 98%。
沙箱执行加 FTS5 索引能把工具原始输出挡在上下文外，官方给出 315KB 降到 5.4KB 和 17 个客户端的配置；代价是各平台 hook 能力不一，无 hook 的 IDE 只能靠规则文件约 60% 遵从率。
作者在 Windows 上连接红米 K80，用 OpenRouter 加 DeepSeek 视觉模型驱动 Google 开源的 Android 移动 Agent Artemis，跑通山姆会员商店 App 里进商品、分享、生成图片、存相册的全流程。
能拿走 Windows 接红米真机、OpenRouter 配视觉模型、Flash 与 Pro 选型及山姆分享图 Prompt 模板，落到本地模型部署与软件工厂的真机自动化层，代价是控机模型必须支持图像输入，单次会话约 16 万 Token。
310networks 在 GitHub 开源 OpenProject Agent Engine，轮询 OpenProject 工作包并派发给 pi 编码 agent，由引擎自己完成认领、准备每 agent 克隆、渲染提示词、运行、对照 GitHub 与 OpenProject 校验结果和全部状态流转，agent 不改状态。
能拿走一套把 OpenProject 工单轮询派给编码 agent 的完整编排，含状态机、每单独立分支和 GitHub 结果校验，可换掉人工派活；代价是要 Docker、OpenProject 17 和可推送合并的 GitHub token，分支保护还需给 reviewer 单独账号。
作者把 fastapi、uvicorn、openai-agents 这套完整 Python Agent 内核零上游改动打进 Android APK，在手机内以 127.0.0.1 环回 HTTP 服务跑通。
能拿走依赖闭包清点法、5 个自编 Rust wheel 的组包步骤和 SSL_CERT_FILE、chdir 顺序、Server.started 就绪判断三个真机坑，落到本地模型部署与软件工厂；代价是版本钉死在 NDK r27c + Chaquopy 17.2 + Python 3.12，且仅单台 arm64 真机验收。
作者以 pi-rust 的 Rust Agent 运行时 rpi 0.15.0 为例，拆解 Agent 进程重启后如何依据记录决定下一步。
能拿走一套可落地的恢复判定顺序，先查已存结果、再查上游录制、最后看历史与当前是否都声明 Safe 才重跑，否则补一条未知结果；代价是恢复入口绕过参数准备与 before_tool_call 钩子，effective_args 存的是钩子前的参数。
作者以自建书签站 linkbox 为例，用不到 100 行 TypeScript 把后端 API 包装成本地 MCP Server，让 Cursor、Claude Desktop 等客户端直接调用，集成成本从 M×N 降到 M+N。
能拿走一套把自家后端 API 包成 MCP Server 的完整骨架，三个文件加四条工具设计法则，落到软件工厂的 Agent 工具接入线；代价是要处理 stdio 下禁用 console.log、Windows 下别写 npx 这类坑。
威哥爱编程在系列第 7 篇里手写了一遍工具调用循环，让助教 Agent 不再凭印象编课表和词表等级。
能拿走手写工具调用循环的完整骨架，含 @tool(parse_docstring=True)、ToolMessage 对账、步数上限与重复调用去重，落到软件工厂的 Agent 派单流程；代价是工具报错要全转成友好文本，护栏得自己写。
作者复盘自家教育 Agent 小E上线首晚卡顿事故，给出重试、超时、降级三条保险丝的完整 Python 实现。核心做法是把异常分成临时故障、确定性失败、结构错误三类，只重试可重试项，退避带 ±10% 抖动，并用客户端 Deadline 约束整轮预算，同时把 SDK 的 max_retries 从 2 改为 0 避免重试相乘。
能拿走异常三分法、指数退避加抖动、整轮 Deadline 切片和降级链的具体代码结构，落到本地模型部署与软件工厂的稳定性层；代价是要把 SDK 自带重试关掉并自己维护幂等键。