开源模型扎堆发布后如何算显存：权重、KV 缓存与卡数的 Python 估算方法
作者用 Python 函数估算 Kimi K3.1 Pro、文心 5.5 Flash Base、Axion 1.0 等开源模型的部署成本，结论是权重之外 KV 缓存才是决定能否跑起来的关键。
借鉴点
能直接拿走权重、KV 缓存、卡数三段的 Python 函数和 15% 余量参数，把选型从比榜单换成算显存；前提是拿到模型的层数、kv 头数和 head_dim，kv_heads 写成总头数会算大八倍。
技术方向
数据与训练 最新动态
大模型是怎么练出来的：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
71 条精选近 30 天 68 条共收录 743 条
更新
数据与训练的精选
掘金精选AI 评分7878 掘金精选AI 评分7878 实测五个进程同时写 SQLite：busy_timeout 设 0 时 1 万行只落库 800 行
作者用 5 个进程各写 2000 行实测 SQLite 多进程写入，busy_timeout=0 时 100 个事务有 92 个直接返回 database is locked，1 万行只落库 800 行且全部来自同一个进程。
借鉴点能直接抄走一套 SQLite 多进程写入配置，BEGIN IMMEDIATE 加 100–1000 行批量提交、busy_timeout 与 synchronous 逐连接设置、重试带随机抖动；代价是 busy_timeout 设大后最坏阻塞会叠到几十秒，需自加总时限。
Hugging Face Blog精选AI 评分5858 NVIDIA 发布 Cosmos 3 四个开源世界模型检查点
NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点，均为 Cosmos 3 Nano 的后训练版本，各含 16B 可训练参数，采用 OpenMDW1.1 许可，允许商用与非商用。
借鉴点四个 16B 后训练检查点加四阶段配方可复用，能落到视频产线与本地模型部署，代价是要 Linux 加 NVIDIA GPU 和 Docker，且短跑通不等于收敛。
Apple Machine Learning精选AI 评分5858 Apple 提出摊销式 MIPS 方法，用小型神经网络加速 RAG 检索
Apple 在 ICML 2026 论文中提出摊销式 MIPS 方法，针对固定键库离线训练小型神经网络，把查询路由到最佳匹配所在簇，从而加速 RAG 检索。
借鉴点可借鉴用回归训练小网络替代质心路由的思路，SupportNet 做簇路由、KeyNet 改写查询接现有 IVF 索引，前提是查询分布稳定且需离线预计算真值样本。
Hacker News · 首页精选AI 评分7171 百度开源 ERNIE-5.5-Flash-Base 基座模型，280B 总参数、每 token 激活 14B
百度发布 ERNIE-5.5-Flash-Base，一个 280B 总参数、每 token 激活 14B 的稀疏 MoE 基座模型，在 33.5T token 上从零预训练，训练上下文逐步扩到 128K，微调与推理支持 1M token 上下文。
借鉴点可拿走稀疏 MoE 加混合 MLA/HCA 注意力、Multi-Router 路由和 ECHO 复用末层做投机解码草稿这几处设计，落到本地模型部署与训练线；代价是要自己扛 280B 权重和 1M 上下文显存。
掘金精选AI 评分7171 作者用108组Tesseract测试拆解OCR预处理顺序与力度
作者把纠斜、去噪、二值化拆成开关，在英文页上跑Tesseract 108组、中文页跑macOS自带识别60组，发现椒盐噪声下先去噪再纠斜准确率98.6～99.1，先纠斜再去噪只剩91.5～94.4。中值核开到9×9时英文准确率从98.9掉到91.0，自适应二值化遇高斯噪声输出全空。作者还发现歪5度只做中值掉到34.0是Tesseract版面被切碎所致，改用--psm 6后回到96.51%。
借鉴点能拿走一套可复用的开关测法，用编辑距离加非空行数在自家扫描件上逐项开关预处理，落到知识沉淀的文档入库流程；代价是样本只有两页清晰印刷件，参数和结论换识别器就得重测。
掘金精选AI 评分7474 人大、复旦、上交发布 ToolSpace，用 804 个真实工具环境训练 Agent，Qwen3.6-35B 均分从 23.0 升至 41.0
人大、复旦、上交联合团队在 arXiv 发布 ToolSpace，先从 20 万条真实执行轨迹中用确定性规则挖出工具间的数据、状态、重试三类依赖，聚成 804 个环境簇，再在图上随机游走生成任务并回放验收。
借鉴点可借鉴的是先挖真实轨迹里的工具依赖再按需造环境，无状态环境直接缓存回放，省掉一半合成文件；前提是手里有真实执行轨迹，且冷门编排进不了图。
Hugging Face Blog精选AI 评分6464 Dharma-AI 发布 20 亿参数 Dharma Field Extractor，按 schema 输出结构化 JSON
Dharma-AI 发布 20 亿参数的 Dharma Field Extractor，输入文档图像和可选 schema，输出带类型的结构化 JSON，同一 checkpoint 无需按文档类型微调。
借鉴点可借鉴在 DharmaOCR-LITE v1.1 上挂 LoRA 适配器做字段抽取，用 schema 指定键名和类型、缺失字段返回 null，直接对接下游系统；代价是要自备 GPU 推理，且训练数据以英文和葡萄牙语文档为主。
Hacker News · AI 讨论精选AI 评分7171 NVIDIA 预印本称智能体很少需要长上下文窗口
NVIDIA 研究者的预印本《You don't need long context》在 13 个长程与长输入基准上测试上下文压缩，Claude Opus 4.5 与 GPT 5.6 Sol 的准确率变化分别为 −3.7 至 +5.6 和 −3.3 至 +4.4 个百分点。
借鉴点可拿走压缩摘要的写法（任务原文、当前状态与计划、相关产物、完成标准）和把长文档存成文件让 agent 用 grep 选择性读取的做法，落到软件工厂与本地模型部署两条线；代价是开源模型在 16K 极限下会崩，Qwen 3 Coder Next 从 53.0% 掉到 3.6%，且成本节省部分来自作者自建价格模型而非真实账单。
Hugging Face Blog精选AI 评分7171 IBM Research 用合成数据微调 20B 小模型 Palette 按自有设计语言做幻灯片
IBM Research 在 Hugging Face 博客介绍 Palette，用 IBM Design Language 的合成数据对 20B 开源权重模型做 LoRA 微调，让它按自有设计语言生成幻灯片。
借鉴点可拿走设计者写 JSON brief、编码者按单页并行出 pptxgenjs 代码的两段式拆分，配几何检查器只保留有改进的重写；代价是要自建合成数据与渲染检查闭环，且小模型在叙事型 deck 上仍落后。
掘金精选AI 评分7878 推理 INFRA 方法论：TP、DP、EP、CP 与 PP 在分布式推理中的取舍
这篇教程按权重、KV、激活和通信预算推演 Attention 与 MoE 的并行组合，给出 TP、DP、EP、CP、PP 的选型判据。核心结论是 GQA 可沿头维切 KV 直接走 TP，MLA 的 KV 全头共享只能复制、必须走 DP；EP 的通信优势来自 EP 域大于 top-k，k=8 时 EP8 与 MoE-TP 持平、EP32 省 4 倍。
借鉴点能拿走一套按模型结构选并行维度的判据，GQA 走 TP、MLA 必走 DP、卡多上 EP、长上下文用 CP/DCP，代价是结论绑定 DeepSeek V3 口径与 H20 实测，换模型或换卡要重算显存和通信预算。
掘金精选AI 评分7878 推理 INFRA 方法论开篇：用 Roofline 算力与带宽建立性能预算
八月蝉在「推理 INFRA 方法论」系列第 1 篇里，用 Roofline 模型把 GPU 计算拆成算力 F 与带宽 BW 两条上限，给出 T ≥ max(W/F, Q/BW) 的时延预算和 I 与转折点 R 的判瓶颈流程。
借鉴点能拿走一套 Roofline 判瓶颈流程和 H20 实测数字，用来给 decode 权重 GEMM 定 batch 饱和点、给 attention 判该不该融合；前提是接受 Q 按实际 HBM 往返算、带宽只打八五折，小形状上固定开销会盖过理论值。
掘金精选AI 评分7878 推理 INFRA 方法论第 5 篇解析 MoE 推理的 Batch、DeepEP、DeepGEMM 与负载均衡
这篇 MoE 推理方法论沿 batch 主线拆解专家覆盖率、all2all 通信量、tile 填充和负载倾斜，并用 Qwen3.5-397B-A17B-FP8 在 8×H20 上实测校验理论预算。
借鉴点能拿走 B*≈Ridge·W_total·bpp/(2·N_active) 的拐点估算、DeepGEMM 静态 buffer 加 masked_m 动态行数、DeepEP hook 把通信变 max 的做法，落到本地模型部署的容量规划上；前提是跨机大 EP 场景，机内 NVLink 只能藏住 20–27% 通信。
掘金精选AI 评分7171 LLM 教学设计不合格怎么办：分层校验、局部重生成与并发质量漂移
作者复盘 AI 备课链路中 LLM 输出格式合法但业务不可用的问题，把失败拆成序列化、结构、业务三层，分别走定向重试、Schema 校验和局部重生成。文中给出 Pydantic 契约校验代码与多智能体状态机 YAML 配置，只回退出错节点而不重跑全链路。
借鉴点能拿走三层失败分类、Pydantic 契约校验和状态机局部回退配置，落到软件工厂的生成链路；代价是业务层偏差仍需人工复核，并发上限得靠压测找质量拐点。
Hacker News · AI 讨论精选AI 评分7878 作者用 3 万段柔术教学视频微调 Qwen2.5-7B 打造领域教练模型
作者 maxdemarzi 公开了一套在单张 GPU 上构建巴西柔术领域 AI 教练的完整配方，基于 Qwen2.5-7B-Instruct 训练出 bjj-coach-7b-v3，在自建 BJJ-Bench-250 上运动学精度达 5.00/5.0、幻觉通过率 100%。
借鉴点可复用的完整配方，含上下文头、知识图谱互斥惩罚、CLIP+VLM 视觉块、5 路 listwise 重排、2.5x 决策权重 QLoRA 与 disable_adapter 零额外显存 DPO，单卡约 30 分钟跑完，代价是要自建领域词典和标注基准。
AWS Machine Learning Blog精选AI 评分6464 AWS 用 SageMaker AI 上的序列级知识蒸馏把购物 Agent 蒸馏到 Qwen3.5-4B
AWS 在 SageMaker AI 上用序列级知识蒸馏（SeqKD）把 GLM-5.3 教师生成的购物 Agent 轨迹蒸馏进 Qwen3.5-4B，在 ShoppingBench 324 道留出题上平均绝对成功率从基座的 0.297 升到 0.541，追平教师和中等规模前沿模型。
借鉴点能拿走一套完整做法，用前沿模型采样轨迹加程序化打分筛出解出的样本，按步编码成 chat 格式做 SFT，再把 LoRA adapter 挂到同一端点。落到软件工厂和本地模型部署两条线，前提是任务本身在 4B 容量内，且要接受 IFEval 掉 6 到 8 分。
掘金精选AI 评分7171 200页PDF喂给AI的4个坑：PDF解析、父文档检索、Refine摘要与长上下文取舍
作者复盘把200页产品手册PDF做成RAG问答助手时踩的4个坑，并给出对应做法。PDF提取改用unstructured（hi_res模式）或Marker保留表格与标题结构，跨章节问题用父文档检索以小chunk匹配、返回大chunk，全文摘要用Refine渐进式精炼或Map-Reduce加Refine两阶段，长上下文模型则与RAG互补而非替代。
借鉴点能拿走 unstructured/Marker 解析 PDF、父文档检索、Refine 两阶段摘要和 RAG 加长上下文互补四套做法，落到知识沉淀和本地模型部署；代价是 hi_res 解析慢、Refine 串行耗时。
掘金精选AI 评分7474 记忆原生模型 MemT 1.0 开源发布，上线 8 天下载量达 100K
MemT 1.0 记忆原生大模型开源发布，上线 8 天总下载量达 100K。
借鉴点能拿走的是 MemT 的部署路径和记忆读写机制，Nano 版两张 GPU 起、SGLang 单节点启动，记忆快照存到 memt-state 目录；代价是 Nano 权重约 70 GB，需 Linux CUDA 和 Python 3.11 环境。
掘金精选AI 评分8383 Worker 与 OffscreenCanvas 实测：25 条断言拆解线程边界与传输开销
作者用真实 Chrome 跑了 5 组基准和 25 条断言，实测 postMessage 三条通道、OffscreenCanvas 交接和 Worker 池的代价。
借鉴点能拿走 transferListOf 摊平函数、约 130 行 RPC 封装和带握手与崩溃补人的 Worker 池，落到本地模型部署或视频产线的浏览器侧渲染；代价是每 worker 约 5ms 启动、15µs 消息地板和每 worker 独立堆。
掘金精选AI 评分7171 单卡跑125B MoE模型实测：多出18GB显存带来82%吞吐提升
作者在RTX 5090上跑Qwen3.8-Flash-Next Q2_0（125B级MoE），停掉同卡其他容器腾出18,106 MiB显存后，decode吞吐从140.6 tok/s升到256.2 tok/s，提升82%。
借鉴点能拿走单变量对照法加两条拟合公式，缓存约等于整卡可用减6.0 GiB、decode约等于92加6.53乘缓存GiB，用来预估本地部署吞吐；代价是结论绑在Q2_0量化、32K上下文和Gen3链路上，换档位或换卡要重测。