#数据/训练

四个 16B 后训练检查点加四阶段配方可复用，能落到视频产线与本地模型部署，代价是要 Linux 加 NVIDIA GPU 和 Docker，且短跑通不等于收敛。

可拿走稀疏 MoE 加混合 MLA/HCA 注意力、Multi-Router 路由和 ECHO 复用末层做投机解码草稿这几处设计，落到本地模型部署与训练线；代价是要自己扛 280B 权重和 1M 上下文显存。

可借鉴在 DharmaOCR-LITE v1.1 上挂 LoRA 适配器做字段抽取，用 schema 指定键名和类型、缺失字段返回 null，直接对接下游系统；代价是要自备 GPU 推理，且训练数据以英文和葡萄牙语文档为主。

可借鉴的是后训练用RSI自造数据的三段流程，VLM判对错并保留Uncertain档、归因聚类成原因簇、再按真实版式合成训练数据；前提是任务有客观标准答案，OCR之外的领域未必成立。

能拿走 SR-SWA 的页面门控加高分视觉 Token 桶思路，把长文档解析从结果拼接换成单次无限解码，落到知识沉淀的整本书、长研报入库；代价是需按百页级场景自测显存与精度。

能拿走的是固定容量记忆的三段拆分做法，循环状态抓大意、1024 token 局部窗口管眼前、1024 条锚点库留关键细节，把每条序列 KV 钉死在 72 MiB；落到本地模型部署和长跑 Agent 上可提前算清显存，代价是要从 Qwen3.5-4B 分阶段转换并训练评分网络，不是直接换权重。

能直接拿 PQL 写预测查询、用 structured-data-models 库在 GPU notebook 里做上下文学习，替掉现在按任务搭的 XGBoost 特征工程流水线；代价是上下文最多 1 万条样本，训练集极大时仍要靠微调。

能拿走的是 MemT 的部署路径和记忆读写机制，Nano 版两张 GPU 起、SGLang 单节点启动，记忆快照存到 memt-state 目录；代价是 Nano 权重约 70 GB，需 Linux CUDA 和 Python 3.11 环境。

可用字段 schema 一次并行抽取文本 span、数字、日期、估计分布和预测区间，替换 LLM 逐字段生成 JSON 的抽取管线；代价是多步算术和长序列预测仍要交给代码。

可借鉴的是合成数据优先加两阶段训练配方，以及把协变量按目标、仅历史、已知未来分角色做注意力掩码；前提是自建时序预测管线，代价是需自造合成数据并调 21 分位 pinball loss。