开源模型扎堆发布后如何算显存：权重、KV 缓存与卡数的 Python 估算方法
作者用 Python 函数估算 Kimi K3.1 Pro、文心 5.5 Flash Base、Axion 1.0 等开源模型的部署成本，结论是权重之外 KV 缓存才是决定能否跑起来的关键。
借鉴点
能直接拿走权重、KV 缓存、卡数三段的 Python 函数和 15% 余量参数，把选型从比榜单换成算显存；前提是拿到模型的层数、kv 头数和 head_dim，kv_heads 写成总头数会算大八倍。
#数据/训练
只收明天就能用得上的掘金精选AI 评分7878 掘金精选AI 评分7878 实测五个进程同时写 SQLite：busy_timeout 设 0 时 1 万行只落库 800 行
作者用 5 个进程各写 2000 行实测 SQLite 多进程写入，busy_timeout=0 时 100 个事务有 92 个直接返回 database is locked，1 万行只落库 800 行且全部来自同一个进程。
借鉴点能直接抄走一套 SQLite 多进程写入配置，BEGIN IMMEDIATE 加 100–1000 行批量提交、busy_timeout 与 synchronous 逐连接设置、重试带随机抖动；代价是 busy_timeout 设大后最坏阻塞会叠到几十秒，需自加总时限。
掘金精选AI 评分7171 作者用108组Tesseract测试拆解OCR预处理顺序与力度
作者把纠斜、去噪、二值化拆成开关，在英文页上跑Tesseract 108组、中文页跑macOS自带识别60组，发现椒盐噪声下先去噪再纠斜准确率98.6～99.1，先纠斜再去噪只剩91.5～94.4。中值核开到9×9时英文准确率从98.9掉到91.0，自适应二值化遇高斯噪声输出全空。作者还发现歪5度只做中值掉到34.0是Tesseract版面被切碎所致，改用--psm 6后回到96.51%。
借鉴点能拿走一套可复用的开关测法，用编辑距离加非空行数在自家扫描件上逐项开关预处理，落到知识沉淀的文档入库流程；代价是样本只有两页清晰印刷件，参数和结论换识别器就得重测。
掘金精选AI 评分7878 推理 INFRA 方法论：TP、DP、EP、CP 与 PP 在分布式推理中的取舍
这篇教程按权重、KV、激活和通信预算推演 Attention 与 MoE 的并行组合，给出 TP、DP、EP、CP、PP 的选型判据。核心结论是 GQA 可沿头维切 KV 直接走 TP，MLA 的 KV 全头共享只能复制、必须走 DP；EP 的通信优势来自 EP 域大于 top-k，k=8 时 EP8 与 MoE-TP 持平、EP32 省 4 倍。
借鉴点能拿走一套按模型结构选并行维度的判据，GQA 走 TP、MLA 必走 DP、卡多上 EP、长上下文用 CP/DCP，代价是结论绑定 DeepSeek V3 口径与 H20 实测，换模型或换卡要重算显存和通信预算。
掘金精选AI 评分7878 推理 INFRA 方法论开篇：用 Roofline 算力与带宽建立性能预算
八月蝉在「推理 INFRA 方法论」系列第 1 篇里，用 Roofline 模型把 GPU 计算拆成算力 F 与带宽 BW 两条上限，给出 T ≥ max(W/F, Q/BW) 的时延预算和 I 与转折点 R 的判瓶颈流程。
借鉴点能拿走一套 Roofline 判瓶颈流程和 H20 实测数字，用来给 decode 权重 GEMM 定 batch 饱和点、给 attention 判该不该融合；前提是接受 Q 按实际 HBM 往返算、带宽只打八五折，小形状上固定开销会盖过理论值。
掘金精选AI 评分7878 推理 INFRA 方法论第 5 篇解析 MoE 推理的 Batch、DeepEP、DeepGEMM 与负载均衡
这篇 MoE 推理方法论沿 batch 主线拆解专家覆盖率、all2all 通信量、tile 填充和负载倾斜，并用 Qwen3.5-397B-A17B-FP8 在 8×H20 上实测校验理论预算。
借鉴点能拿走 B*≈Ridge·W_total·bpp/(2·N_active) 的拐点估算、DeepGEMM 静态 buffer 加 masked_m 动态行数、DeepEP hook 把通信变 max 的做法，落到本地模型部署的容量规划上；前提是跨机大 EP 场景，机内 NVLink 只能藏住 20–27% 通信。
掘金精选AI 评分7171 LLM 教学设计不合格怎么办：分层校验、局部重生成与并发质量漂移
作者复盘 AI 备课链路中 LLM 输出格式合法但业务不可用的问题，把失败拆成序列化、结构、业务三层，分别走定向重试、Schema 校验和局部重生成。文中给出 Pydantic 契约校验代码与多智能体状态机 YAML 配置，只回退出错节点而不重跑全链路。
借鉴点能拿走三层失败分类、Pydantic 契约校验和状态机局部回退配置，落到软件工厂的生成链路；代价是业务层偏差仍需人工复核，并发上限得靠压测找质量拐点。
Hacker News · AI 讨论精选AI 评分7878 作者用 3 万段柔术教学视频微调 Qwen2.5-7B 打造领域教练模型
作者 maxdemarzi 公开了一套在单张 GPU 上构建巴西柔术领域 AI 教练的完整配方，基于 Qwen2.5-7B-Instruct 训练出 bjj-coach-7b-v3，在自建 BJJ-Bench-250 上运动学精度达 5.00/5.0、幻觉通过率 100%。
借鉴点可复用的完整配方，含上下文头、知识图谱互斥惩罚、CLIP+VLM 视觉块、5 路 listwise 重排、2.5x 决策权重 QLoRA 与 disable_adapter 零额外显存 DPO，单卡约 30 分钟跑完，代价是要自建领域词典和标注基准。
AWS Machine Learning Blog精选AI 评分6464 AWS 用 SageMaker AI 上的序列级知识蒸馏把购物 Agent 蒸馏到 Qwen3.5-4B
AWS 在 SageMaker AI 上用序列级知识蒸馏（SeqKD）把 GLM-5.3 教师生成的购物 Agent 轨迹蒸馏进 Qwen3.5-4B，在 ShoppingBench 324 道留出题上平均绝对成功率从基座的 0.297 升到 0.541，追平教师和中等规模前沿模型。
借鉴点能拿走一套完整做法，用前沿模型采样轨迹加程序化打分筛出解出的样本，按步编码成 chat 格式做 SFT，再把 LoRA adapter 挂到同一端点。落到软件工厂和本地模型部署两条线，前提是任务本身在 4B 容量内，且要接受 IFEval 掉 6 到 8 分。
掘金精选AI 评分7171 200页PDF喂给AI的4个坑：PDF解析、父文档检索、Refine摘要与长上下文取舍
作者复盘把200页产品手册PDF做成RAG问答助手时踩的4个坑，并给出对应做法。PDF提取改用unstructured（hi_res模式）或Marker保留表格与标题结构，跨章节问题用父文档检索以小chunk匹配、返回大chunk，全文摘要用Refine渐进式精炼或Map-Reduce加Refine两阶段，长上下文模型则与RAG互补而非替代。
借鉴点能拿走 unstructured/Marker 解析 PDF、父文档检索、Refine 两阶段摘要和 RAG 加长上下文互补四套做法，落到知识沉淀和本地模型部署；代价是 hi_res 解析慢、Refine 串行耗时。
掘金精选AI 评分8383 Worker 与 OffscreenCanvas 实测：25 条断言拆解线程边界与传输开销
作者用真实 Chrome 跑了 5 组基准和 25 条断言，实测 postMessage 三条通道、OffscreenCanvas 交接和 Worker 池的代价。
借鉴点能拿走 transferListOf 摊平函数、约 130 行 RPC 封装和带握手与崩溃补人的 Worker 池，落到本地模型部署或视频产线的浏览器侧渲染；代价是每 worker 约 5ms 启动、15µs 消息地板和每 worker 独立堆。
掘金精选AI 评分7171 单卡跑125B MoE模型实测：多出18GB显存带来82%吞吐提升
作者在RTX 5090上跑Qwen3.8-Flash-Next Q2_0（125B级MoE），停掉同卡其他容器腾出18,106 MiB显存后，decode吞吐从140.6 tok/s升到256.2 tok/s，提升82%。
借鉴点能拿走单变量对照法加两条拟合公式，缓存约等于整卡可用减6.0 GiB、decode约等于92加6.53乘缓存GiB，用来预估本地部署吞吐；代价是结论绑在Q2_0量化、32K上下文和Gen3链路上，换档位或换卡要重测。
掘金精选AI 评分7171 在 2核2G 云主机上跑 OpenViking：云主机、向量模型与意图分析模型的选型复盘
作者把 AI Coding Agent 的记忆底座迁到自建 OpenViking，用 99 元/年的阿里云 2核2G 实例跑通，本地只做存储检索、计算全交给外部 API。
借鉴点能拿走一套 OpenViking 记忆底座的组件选型与配置，含 query_planner 单独指定、VLM 设 reasoning_effort low、向量模型锁 128K 多模态；落到本地模型部署与知识沉淀线，代价是 2G 机器要配 Swap 并限制容器内存。
掘金精选AI 评分7272 同一模型本地与云 API 效果差异的四个来源：量化精度、聊天模板、采样参数与上下文截断
同一开源模型本地跑和云 API 调用效果差距大，主要来自量化精度、聊天模板、采样参数和上下文截断四层没对齐，而非模型本身不同。文中给出数据：Llama 3 8B 量化到 FP8 后 MMLU 保留 99.2% 基线准确率，INT4 下 GSM8K 掉 9%–18% 而 MMLU 只掉 1%–3%。
借鉴点按量化精度、聊天模板、采样参数、上下文截断四层排查本地与云端差异，附可跑的 Ollama 与云 API 对照脚本；代价是数学和代码任务在 INT4 下仍追不上 bf16。
Hacker News · AI 讨论精选AI 评分7474 Tadpole 开源从零构建的 LLM agent，并用 SFT 把 Qwen3-4B 的 pass@1 从 0.419 提到 0.774
Tadpole 开源了一个约 3500 行纯 Python、不依赖 agent 框架的工具调用 agent，带文件、shell、网页搜索抓取、会话与上下文压缩，可跑在本地 4B 模型或任意 OpenAI 兼容 API 上，并能以 Telegram 机器人常驻。
借鉴点能拿走一份 3500 行纯 Python 的 agent 分阶段实现和 SFT 数据配方，落到本地模型部署与软件工厂线；代价是训练要 24GB CUDA 显卡，整条后训练线约 140 美元。
掘金精选AI 评分7070 同一模型本地与云 API 效果差异的三大原因：量化精度、聊天模板与采样参数
同一模型本地跑和云 API 调用效果差别大，主要来自量化精度、聊天模板和采样参数三层没对齐，而非模型本身不同。文中给出可复算数据，Llama 3 8B 量化到 FP8 后 MMLU 保留 99.2% 基线，INT4 下 GSM8K 准确率掉 9%–18% 而 MMLU 只掉 1%–3%。
借鉴点能拿走四层排查顺序和一段本地与云端同参对比代码，落到本地模型部署线；前提是两端 prompt 与采样参数完全一致，且要接受 INT4 下数学与长上下文任务追不上 bf16。
Hacker News · 首页精选AI 评分7171 SkyPilot 用 RL 后训练 Qwen3-4B 飞飞行跑车，风暴踢翻落地率比 GPT-6 Astra 高 21%
SkyPilot 围绕飞行跑车物理模拟器搭了一个 RL 环境，用 rank-64 LoRA 加 GRPO 后训练 Qwen3-4B，实时决策下风暴踢翻动作落地率 90%，比 GPT-6 Astra 的 74% 高 21%。
借鉴点能拿走一套可复用的 RL 后训练配方，rank-64 LoRA 加 GRPO 双教师热启动，按风级挑模仿对象、风暴样本加倍、专练慢速远车场景；落到本地模型部署和 Agent 实时决策线，代价是 4 GPU 小时约 13 美元，且配方靠多轮验证集试错才收敛。
掘金精选AI 评分7878 中小企业用RTX 5090跑125B MoE：Strata如何把显存缺口换成专家缓存
作者在单张RTX 5090（32GB）上实测Strata v0.2.2加载Qwen3.8-Flash-Next Q2_0（125B级MoE），模型文件66.4GB对31.8GiB显存缺口约2.1倍，靠把全部24576个专家常驻主机内存、按热度缓存到显存跑通。
借鉴点能拿走一条槽位公式（可用显存减884MiB再除1.318MiB，上限24576）和五段传导链，用来给本地部署做容量规划；前提是只测了Q2_0一档、PCIe固定Gen3×16，换量化档或平台要重算。
Hacker News · AI 讨论精选AI 评分7171 Benchouse 用分层上下文把 nao 分析智能体准确率从 49.6% 提到 96.5%
Benchouse 用开源分析智能体 nao 在 90 道题、59 张 marts 表的固定评测集上做实验，把准确率从 Sonnet 5 裸 schema 的 49.6% 提升到 Opus 5.5 加完整上下文的 96.5%，完整度 100%。
借鉴点能拿走分层加上下文的做法，从裸 schema 到 nao sync、全量文档、write-context-rules 技能、业务定义与回答规则逐层叠加，把分析智能体准确率从 49.6% 推到 96.5%，代价是每问成本从 $0.23 升到 $0.27，且各层改动合并测试无法拆分单项增益。
Hacker News · AI 讨论精选AI 评分7474 lakehouse-agent-skills 发布 15 个技能，让编码 agent 先剖析数据再画图
LuynoxRD 发布 lakehouse-agent-skills，用 15 个技能、9 条生命周期命令和 4 个只读审查子 agent，强制编码 agent 按 PROFILE、CLEAN、MODEL、QUERY、VISUALIZE、ASSEMBLE、NARRATE、DISCLOSE 的顺序处理数据。
借鉴点15 个技能加 9 条生命周期命令把数据工作拆成 PROFILE 到 DISCLOSE 的固定阶段，每阶段落一个文件而非靠记忆，能直接换掉让 agent 直接对着表格画图的做法；代价是要装插件或 skills CLI，且校验脚本依赖 DuckDB 重算数字。