技术方向
直接跑在手机、电脑等设备上的 AI：小模型、在本机运行模型的工具与端侧芯片。
19 条精选近 30 天 17 条共收录 198 条
作者在 2016 年 4 核 Celeron J3455 无显卡小主机上，用 llama.cpp 跑通 PFN 的 PLaMo 3 Translate 0.8B（Q4_K_M，573,116,288 字节），4 线程 decode 达 7.59 tok/s。
能拿走 llama-bench 逐档扫线程加 grep ggml-cpu 查后端降级的做法，落到本地模型部署线；代价是双路机器要先 taskset 绑单 NUMA，否则测出的数每次都不一样。
Phonon TTS 发布可在设备本地运行的小型语音模型，无需服务器和网络，提供约 65 MB 和 75 MB 两个尺寸，覆盖英语、法语、德语、西班牙语和葡萄牙语。
能拿走 ptts 多后端推理框架和 Transformers 里约 200 行的模块化接入写法，把 TTS 落到本地模型部署与端侧语音产线，代价是要自己处理 flow matching 训练不稳定和声音张量预计算。
作者给出在 RK3588 上排查模型算子静默回退到 CPU 的完整方法：rknn_init 必须带 RKNN_FLAG_COLLECT_PERF_MASK（值 8）。
能拿走 RKNN_FLAG_COLLECT_PERF_MASK 加 rknn_query 读逐算子账本、按 CPU 时间占比判回退的口径，落到本地模型部署线；代价是 init 漏标志会静默返回空，单次延迟还会虚高约 15%。
作者在 RTX 4060 Laptop 8GB 上用 vLLM 0.33.0 跑 Qwen2.5-7B 的 AWQ 与 GPTQ-Int4 量化版，给出可复现的启动参数组合：gpu-memory-utilization 0.85、max-model-len 8192、必须开启 enforce-eager。
能直接抄走 8GB 卡跑 7B 的启动参数组合（0.85 利用率、8192 上下文、必开 enforce-eager）和三个 vLLM issue 的本地补丁，落到本地模型部署线；代价是数据只来自 RTX 4060 Laptop 单卡，换卡换模型要重测。
作者复盘本地 AI 中控的离线语音识别与唤醒实践，记录三个坑及修法。
能拿走模型候选列表顺序即优先级加环境变量逃生舱、HF_ENDPOINT 镜像、GitHub 走 REST API 下 release、SAPI5 零子进程播报；落到本地模型部署和语音产线，代价是唤醒率与音质仍需本机实测。
开发者张益达Yida 用 OCR 加 Qwen3-0.6B 做端侧支付截图记账 App，把单张端到端耗时从 596 秒降到 8.4 到 11 秒，30 张回归集硬字段准确率保持 30/30 通过。
能拿走四轮端侧优化路径和三个静默失败坑，落到本地模型部署线，代价是要自己复现 30 张回归闸门和天玑 9000+ 硬件口径。
作者用微信小程序原生前端加纯 Node.js 内置模块后端做了一个病历归档工具，拍照后由 AI 提取就诊日期、医院、疾病名称和报告分类，并复盘了本地 Qwen2.5-VL 3B 推理落地时的几个工程坑。
能拿走异步 jobId 轮询、Provider 环境变量切换、1x1 PNG 带图预热三套做法，落到本地模型部署和软件工厂的长任务链路，代价是内存队列无持久化、CPU 推理仍要 40-60 秒。
上海交大、南洋理工和阿里巴巴团队提出 GUI-JEPA，用 JEPA 隐空间对候选控件打分替代逐 token 解码，在 AndroidControl 上以 0.5B 参数保留 Qwen2.5-VL-7B 微调模型 86-92% 的步级精度。
可借鉴候选打分替代逐 token 解码的做法，把截图编码一次、对 a11y 树候选批量打分，落到端侧智能体和手机自动化线；前提是能拿到无障碍树，且只验证了步级准确率、没有在线任务完成率。
作者用两天自训了一个 8.4MB 的中文语义嵌入模型，在浏览器离线运行，STSB 达到教师模型 bge 的 93.2%，但真实检索 top1 只有 42%。
可拿走三步压缩路线（32k 中文 BPE、蒸馏、三值量化到 8.4MB）和双路嵌入分开打分不拼接的做法，落到本地模型部署与知识沉淀；代价是要先跑教师模型测上限，否则容易在模型上白费功夫。
Exowatt 用 Amazon SageMaker AI 无服务器模型定制微调 Qwen3-1.7B 和 Qwen3-14B，在告警分诊和能源市场分析两个任务上分别达到 0.911 和 0.975 macro-F1，均超过 Claude Sonnet 4.6、Claude Opus 4.7 等前沿模型。
可复用其数据配方：少量人工核验样本加三倍改写扩增，改写后逐条校验标签与数字不变；代价是改写与校验环节要额外投入，且需自建证据引用校验。
Liquid AI 发布 LFM3 新一代 Liquid Foundation Models，把文本、视觉、音频、omni 和决策模型统一到 2B 参数级的同一 backbone 上，全部开源权重并已在 Hugging Face 上线。
六个 2B 级模型共用一个 backbone，单卡微调即可落地，文本模型 4-bit 约 1GB 可塞进端侧；代价是各模态需分别选型，d1 系列只输出结构化判断而非生成文本。
utsav1033 发布开源工具 carmen，让 Claude 为 Apple Silicon 写 Metal GPU kernel，再自动测试并测量真实模型是否变快。
可拿走三件事：给测试集藏一部分输入防模型刷分、把单 kernel 加速放回真实模型里复测、用 Amdahl 定律先算理论上限再动手；代价是要有 Apple Silicon 机器和 Anthropic key 才能自己生成 kernel。
作者在 8 核 CPU、16G 内存的旧笔记本上跑 qwen3:8b 量化模型，逐个试了 Ollama 六个参数，结论是只有 num_thread、num_ctx、keep_alive 三个真有用。
能直接抄走 num_thread 填物理核数、num_ctx 压到 2048、keep_alive 设 -1 三组配置，落到本地模型部署线；代价是上下文压小后长文档会静默截断，无独显时提速上限约 3 到 6 字/秒。
NeuronDump 是一个 MIT 许可的开源工具，读取 Ollama 和 llama.cpp 使用的 GGUF 文件，展示层、注意力头、词表和权重统计，并可删除未使用部分后写出仍能在 Ollama 和 llama.cpp 中运行的更小 GGUF。
能拿 GGUF 元数据把模型画成可展开的 3D 图，按层、头、专家做剪枝并直接看加载与困惑度变化，落到本地模型部署这条线；代价是要 Rust 1.88 以上自行编译，模拟影响需加 trace 特性，且目前只在 Windows 的 Ollama 模型上测过。
NVIDIA 发布开源小模型 Nemotron 3.5 Bolt E4B 4GB，面向在 RTX、Jetson 和 Spark 硬件上本地运行的语音助手、游戏 NPC 和机器人界面。
能拿走纯 RL 后训练配方、2:1 非推理/推理样本配比和 Q4_K_M 量化加 DFlash 投机解码的部署组合，落到本地模型部署和 Agent 工具调用这条线；代价是 4GB 只是显存目标，GGUF 实际 6.18GB，Tau2-Bench 落后 Qwen3.5-4B 约 20 分。
Redis 作者 antirez 开发的本地推理引擎 ds4（DwarfStar）只针对 DeepSeek、GLM、Qwen 少数模型做优化，在 128GB M5 Max 上跑 2 比特 DeepSeek V4 Flash（约 81 GiB）时 2K 上下文生成约 39 token/s，64K 上下文降到约 28 token/s。
能拿走 ds4 的构建命令、SSD 流式参数和 Claude Code 包装脚本，把本地 Mac 接成编码 Agent 后端；代价是 2 比特量化激进、beta 状态，长上下文生成速度会掉。
NVIDIA 在 GTC Berlin 展示 RTX Spark、DGX Spark 和 DGX Station 三条本地 AI 硬件线，DGX Spark 64GB 版本从 10 月 23 日起由合作伙伴出货。
能拿走的是 DGX Spark 集群配置、Model Launcher 一键拉模型接 OpenCode、以及 llama.cpp/vLLM 投机解码加速参数；可落到本地模型部署和软件工厂两条线，前提是要有 DGX Spark 或 RTX PRO 硬件，八机集群仍需手动配置。
NVIDIA 发布开源 120B 参数模型 Nemotron 3.5 Super VL，主打多模态智能体任务，官方称吞吐量最高为同类模型 5 倍，参数量约为其最大推理模型的五分之一。
开源权重加训练配方和数据集，可拿 120B 的 Super VL 做多模态文档解析与工具调用，或把 Bolt 74B-A9B 用 2-bit 量化塞进 24GB 本地跑 agent，代价是要自己接 NeMo 做后训练。
Google DeepMind 发布 EmbeddingGemma 2，一个把文本、代码、图像、视频和音频映射到统一嵌入空间的端侧多模态嵌入模型，采用 Apache 2.0 许可，参数量 740M。
可把本地 RAG 的检索层换成单一多模态嵌入模型，文本 270M、视觉 170M、音频 300M 按需加载，MRL 截到 128 维省 6 倍存储；代价是需自行接 LiteRT 或 transformers.js 部署。