作者在 2016 年 4 核 Celeron J3455 无显卡小主机上，用 llama.cpp 跑通 PFN 的 PLaMo 3 Translate 0.8B（Q4_K_M，573,116,288 字节），4 线程 decode 达 7.59 tok/s。
能拿走 llama-bench 逐档扫线程加 grep ggml-cpu 查后端降级的做法，落到本地模型部署线；代价是双路机器要先 taskset 绑单 NUMA，否则测出的数每次都不一样。
作者给出在 RK3588 上排查模型算子静默回退到 CPU 的完整方法：rknn_init 必须带 RKNN_FLAG_COLLECT_PERF_MASK（值 8）。
能拿走 RKNN_FLAG_COLLECT_PERF_MASK 加 rknn_query 读逐算子账本、按 CPU 时间占比判回退的口径，落到本地模型部署线；代价是 init 漏标志会静默返回空，单次延迟还会虚高约 15%。
作者在 RTX 4060 Laptop 8GB 上用 vLLM 0.33.0 跑 Qwen2.5-7B 的 AWQ 与 GPTQ-Int4 量化版，给出可复现的启动参数组合：gpu-memory-utilization 0.85、max-model-len 8192、必须开启 enforce-eager。
能直接抄走 8GB 卡跑 7B 的启动参数组合（0.85 利用率、8192 上下文、必开 enforce-eager）和三个 vLLM issue 的本地补丁，落到本地模型部署线；代价是数据只来自 RTX 4060 Laptop 单卡，换卡换模型要重测。
作者复盘本地 AI 中控的离线语音识别与唤醒实践，记录三个坑及修法。
能拿走模型候选列表顺序即优先级加环境变量逃生舱、HF_ENDPOINT 镜像、GitHub 走 REST API 下 release、SAPI5 零子进程播报；落到本地模型部署和语音产线，代价是唤醒率与音质仍需本机实测。
开发者张益达Yida 用 OCR 加 Qwen3-0.6B 做端侧支付截图记账 App，把单张端到端耗时从 596 秒降到 8.4 到 11 秒，30 张回归集硬字段准确率保持 30/30 通过。
能拿走四轮端侧优化路径和三个静默失败坑，落到本地模型部署线，代价是要自己复现 30 张回归闸门和天玑 9000+ 硬件口径。
作者用微信小程序原生前端加纯 Node.js 内置模块后端做了一个病历归档工具，拍照后由 AI 提取就诊日期、医院、疾病名称和报告分类，并复盘了本地 Qwen2.5-VL 3B 推理落地时的几个工程坑。
能拿走异步 jobId 轮询、Provider 环境变量切换、1x1 PNG 带图预热三套做法，落到本地模型部署和软件工厂的长任务链路，代价是内存队列无持久化、CPU 推理仍要 40-60 秒。
作者用两天自训了一个 8.4MB 的中文语义嵌入模型，在浏览器离线运行，STSB 达到教师模型 bge 的 93.2%，但真实检索 top1 只有 42%。
可拿走三步压缩路线（32k 中文 BPE、蒸馏、三值量化到 8.4MB）和双路嵌入分开打分不拼接的做法，落到本地模型部署与知识沉淀；代价是要先跑教师模型测上限，否则容易在模型上白费功夫。
Exowatt 用 Amazon SageMaker AI 无服务器模型定制微调 Qwen3-1.7B 和 Qwen3-14B，在告警分诊和能源市场分析两个任务上分别达到 0.911 和 0.975 macro-F1，均超过 Claude Sonnet 4.6、Claude Opus 4.7 等前沿模型。
可复用其数据配方：少量人工核验样本加三倍改写扩增，改写后逐条校验标签与数字不变；代价是改写与校验环节要额外投入，且需自建证据引用校验。
作者在 8 核 CPU、16G 内存的旧笔记本上跑 qwen3:8b 量化模型，逐个试了 Ollama 六个参数，结论是只有 num_thread、num_ctx、keep_alive 三个真有用。
能直接抄走 num_thread 填物理核数、num_ctx 压到 2048、keep_alive 设 -1 三组配置，落到本地模型部署线；代价是上下文压小后长文档会静默截断，无独显时提速上限约 3 到 6 字/秒。
Redis 作者 antirez 开发的本地推理引擎 ds4（DwarfStar）只针对 DeepSeek、GLM、Qwen 少数模型做优化，在 128GB M5 Max 上跑 2 比特 DeepSeek V4 Flash（约 81 GiB）时 2K 上下文生成约 39 token/s，64K 上下文降到约 28 token/s。
能拿走 ds4 的构建命令、SSD 流式参数和 Claude Code 包装脚本，把本地 Mac 接成编码 Agent 后端；代价是 2 比特量化激进、beta 状态，长上下文生成速度会掉。