自训 8.4MB 中文语义模型塞进浏览器:STSB 达教师 93.2%,真实检索 top1 仅 42%
作者用两天自训了一个 8.4MB 的中文语义嵌入模型,在浏览器离线运行,STSB 达到教师模型 bge 的 93.2%,但真实检索 top1 只有 42%。
可拿走三步压缩路线(32k 中文 BPE、蒸馏、三值量化到 8.4MB)和双路嵌入分开打分不拼接的做法,落到本地模型部署与知识沉淀;代价是要先跑教师模型测上限,否则容易在模型上白费功夫。
内容类型
拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。
439 条精选近 30 天 437 条共收录 1,601 条
作者用两天自训了一个 8.4MB 的中文语义嵌入模型,在浏览器离线运行,STSB 达到教师模型 bge 的 93.2%,但真实检索 top1 只有 42%。
可拿走三步压缩路线(32k 中文 BPE、蒸馏、三值量化到 8.4MB)和双路嵌入分开打分不拼接的做法,落到本地模型部署与知识沉淀;代价是要先跑教师模型测上限,否则容易在模型上白费功夫。
作者拆解了 10 月 28 日发布、权重已上 Hugging Face 的 Clover-35B-A3B-Preview,说明它用 block_size=32、threshold=0.95 的块扩散解码让一次前向落定多个 token,并把 GDN 改成历史进常数状态、块内双向注意力、记忆读出单独成一路。
能拿走块扩散解码的伪代码和 block_size=32、threshold=0.95 两个默认值,以及历史走常数状态、块内双向、读出单独成一路的三段式改法,落到本地模型部署和 Agent 长上下文这条线;代价是接受即不可撤销,块后部位置易写错 JSON 参数,且文中吞吐数字多为作者测算。
文章整理六种让 Claude Code、Codex、Cursor、Gemini CLI 等 Agent 复用日常 Chrome 登录态的方案。
六种接管已登录 Chrome 的配置可直接抄,含 Playwright 扩展标签页分组和 DevTools MCP 的 --autoConnect 参数;代价是 Chrome 136 起默认目录不再接受远程调试参数,需 144+ 手动授权。
MCK55 开源 token-context-mcp v0.3.5,一个面向多步编码 Agent 的 MCP 代码上下文引擎,用 get_repo_map、search_source、get_file_skeleton、get_symbol_context、get_impact_slice 五步按需拉取替代整库打包。
能拿走五步渐进拉取原语和 150K 会话熔断、单次响应截断的预算治理配置,替换把整库塞进 Prompt 的静态打包流程;代价是要先建 Tree-sitter 索引,且评测只覆盖 rich 与 fastify 两个仓库。
作者实测用 chrome-use 让 Claude Code 借用自己已登录的 Chrome,完成禅道 Bug 列表只读查询、ONES 维护工单查询和禅道提 Bug 表单填写(不保存)三个任务。
用扩展加原生消息把 agent 接到已登录的 Chrome,绕开 Playwright 新开 profile 的 SSO 卡点;禅道 iframe 要改用 snapshot -c,ONES 点击后补 wait --load networkidle,富文本走编辑器 API 设值,代价是每次任务必须 done 收尾。
作者分享 dev-workflow 与 bugfix-workflow 的设计心得,把研发拆成背景分析、架构方案、代码实现、独立审查、证据验证、交付归档六个阶段,用状态机与 Checkpoint 阻断模型随意跳步。
能拿走六阶段状态机加三道 Checkpoint 放行、审查与验证各限 3 次失败即转人工,以及独立 Reviewer 用干净上下文审 Diff;落到软件工厂线,代价是背景与方案两轮人工确认和多 Agent 交接开销。
作者用 MOSS 开放平台的生图与 TTS 接口加 ffmpeg,把法拉第与爱迪生的历史故事做成 1080×1920 竖屏视频,全程不开剪辑软件。
能拿走分镜 JSON 加三个脚本的纯命令行流水线,按实测音频时长反推时间线、ASS 烧字幕、ffmpeg zoompan 运镜,落到视频产线;代价是生图水印需 OpenCV inpaint 本地处理,concat 清单必须写绝对路径。
作者用一个 Python 装饰器给 MCP 工具加了两层保护,每次调用写一行 JSONL 记录 trace_id、工具名、参数、耗时和输出长度,返回文本超过 2000 字符就落盘,只回摘要、前 10 行和分页读取方式。
可直接抄的 Python 装饰器给 MCP 工具加 JSONL 调用链日志和超长输出落盘,落到本地模型部署与知识沉淀线;代价是要处理装饰器顺序、functools.wraps 和 stdio 工作目录三个坑。
作者按通信协议、感知压缩、上下文管理、决策执行四层拆解 GUI Agent 架构,对比 mobile-use、browser-use、Playwright MCP 和 vercel-labs/agent-browser 四个框架。
能拿走 A11y 压缩四步裁剪加 @eN 短引用映射,把单步观测从万级 Token 压到 200 左右;落到本地模型部署和软件工厂的浏览器自动化线,代价是要自己维护引用表并处理动态状态不能进 SystemMessage 的缓存坑。
栈知见在系列第 14 篇中拆解了 Agent 2.0 的四层上下文工程策略,包括结构化压缩、大工具结果卸载、溢出兜底和参数截断,四者相互独立、可自由组合且默认关闭。
四层上下文策略可直接照搬,压缩保留意图/摘要/产物/下一步四节,大结果超80K字符卸载留首尾预览,代价是压缩需另配小模型且卸载后要提示词引导回读。
这篇 Ray 教程把 Ray Serve 从 HTTP 框架讲到 LLM 推理编排层,梳理了 deployment、bind、serve.run、DeploymentHandle 四个核心对象与 Controller 加 HTTP/gRPC Proxy 加 replica 的架构。
能拿走 Serve 的四个核心对象、@serve.batch 攒批参数与 max_ongoing_requests 必须大于 target_ongoing_requests 的配置法则,落到本地模型部署这条线;代价是 ray.serve.llm 全系列仍是 beta,需锁版本并把导入面收窄到一个模块。
DeepSeek 在 V3.2-Exp 中引入的 DSA 用一个轻量索引器给每个 query 的历史 token 打分,只把分数最高的 2048 个 KV 条目送进精确注意力,主注意力复杂度从 O(L²) 降到 O(Lk)。
能拿走 DSA 的索引器配置(64 头 128 维、topk 2048、FP8)和两阶段训练配方,落到本地模型部署与长上下文推理线;代价是动态 Top-k 依赖 SGLang、vLLM 专用内核,短文本几乎无收益。
作者用 LangGraph 把线性 RAG 改造成 Agentic RAG 闭环,通过路由、Query 改写、混合检索加 Rerank、文档评估和重试分支让 LLM 自主决定是否检索。
能拿走一套 LangGraph 状态机骨架,含路由、Query 改写、混合检索加 Rerank、Grade 评估和 max_retry 重试上限,可替换现有线性 RAG 流水线;代价是复杂问题多次调用 LLM,延迟和 Token 消耗上升,需限流。
作者以虚构案例 OpsPilot 复盘生产 Agent 的流式推送与人在回路,给出会话、消息、Run 三张表以及 SSE 业务事件、中断记录、断点、恢复接口的 TypeScript 骨架。
能拿走 Run/中断/断点三张表加 SSE 业务事件协议和 resume 接口骨架,落到软件工厂的 Agent 后端;代价是恢复前要重读资源、重新鉴权并做幂等防双击。
作者实测了 Citro Labs 的 ego-lite,一款人和 AI Agent 共用的 Chromium 浏览器,Agent 在独立 Space 里跑网页自动化,直接继承 Chrome 的登录态、Cookie 和扩展,不抢占用户标签页。
能拿走的是 Space 隔离加继承 Chrome 登录态这套做法,把 Agent 网页任务从空白无头实例挪到真实会话里跑,代价是得装桌面端、开 bypass permissions,且仅支持 macOS 和 Windows。
作者静态阅读一份 345 行的 Sub-Agent 实现,指出子 Agent 的价值是上下文隔离而非智力提升,它不共享对话历史、只把最终结论交回父 Agent。
能拿走子 Agent 只回传结论、父子工具表用列表相加复用、路径用 resolve 加 is_relative_to 校验这几处写法,落到软件工厂的 Agent 编排上;代价是父层丢过程可见性,父循环无轮数上限、工具参数无 try 兜底,上生产前得自己补护栏。
Exowatt 用 Amazon SageMaker AI 无服务器模型定制微调 Qwen3-1.7B 和 Qwen3-14B,在告警分诊和能源市场分析两个任务上分别达到 0.911 和 0.975 macro-F1,均超过 Claude Sonnet 4.6、Claude Opus 4.7 等前沿模型。
可复用其数据配方:少量人工核验样本加三倍改写扩增,改写后逐条校验标签与数字不变;代价是改写与校验环节要额外投入,且需自建证据引用校验。
Property Finder 发现其评测标签有 96.8% 直接沿用现有 VLM 的预测而非人工核验,导致任何替代模型在比较中天然吃亏。
可拿走一套做法,先人工重标几百张图做无偏基准,再用 Micro F1 加错误分析迭代提示词,最后用 MIPROv2 自动优化;能落到本地模型部署的选型评测线,代价是要有领域专家标注,356 张只够测中等差异。
Databricks 介绍一套文档抽取的可重复改进流程,用 ai_extract 的 schema 描述承载字段规则、全局指令承载文档级逻辑、precision mode 处理复杂表格,并用 MLflow Prompt Registry 对 prompt 和 schema 一起做版本与别名管理。
把字段规则写进 schema、文档级逻辑放全局指令、结构难题开 precision mode,再用 MLflow Prompt Registry 的别名做灰度与回滚,前提是先攒出几百份人工审核过的固定评测集,否则改动好坏分不清。
作者用 Claude Code 为燃料价格应用 Petroly 写了一个 JavaScript 渲染器,把 15 秒宣传视频做成返回 SVG 的 frame(t) 函数,再经 sharp 转像素、FFmpeg 编码成视频,全程没打开视频编辑器。
把视频做成 frame(t) 返回 SVG 的纯函数,再用 sharp 转像素、FFmpeg 编码,可复用现有测试和 diff 流程;代价是动画逻辑要全部写成代码,审美仍需人眼把关。