跳到正文
  1. MarkTechPost71

    NVIDIA 在 DGX Spark 上用三项优化把 Ling-3.0-flash 的 MoE 推理吞吐提升 42.5%

    NVIDIA 技术博客给出在单台 DGX Spark 上加速 Ling-3.0-flash 这个 124B 参数、5.1B 激活 MoE 模型推理的三项叠加优化,在全部 1,319 道 GSM8K 题上解码吞吐从 37.81 提升到 53.89 tokens/s,涨幅 42.5%,平均延迟下降 24.5%,准确率 96.89% 对 96.82%。

    借鉴点

    可照搬三项叠加做法,换 Humming MXFP4 kernel、开 SGLANG_ENABLE_FP8_LM_HEAD=1、用模型自带 NEXTN 做 MTP 投机解码;坑是 FP8 LM head 与 MTP 同开必须共享完整 LM head 模块,否则静默回退、接受长度掉到 1.00。

  1. Hugging Face Blog58

    Hugging Face 提出模型集成契约 MIC,用缩小版 checkpoint 在 CPU 上拦截回归

    Hugging Face 发布 transformers-mic,提出模型集成契约(MIC)标准,把真实 checkpoint 缩成小 fixture 并在 CPU 上跑固定用法路径,与人工审核过的基线比对。

    借鉴点

    可照搬的是一套缩小真实 checkpoint 做 CPU 快速集成测试的配方,含四步缩模型、冻结基线、按改动文件选测试,代价是基线需人工审核且目前不阻塞 PR。

  2. Hacker News · AI 讨论78

    作者用 3 万段柔术教学视频微调 Qwen2.5-7B 打造领域教练模型

    作者 maxdemarzi 公开了一套在单张 GPU 上构建巴西柔术领域 AI 教练的完整配方,基于 Qwen2.5-7B-Instruct 训练出 bjj-coach-7b-v3,在自建 BJJ-Bench-250 上运动学精度达 5.00/5.0、幻觉通过率 100%。

    借鉴点

    可复用的完整配方,含上下文头、知识图谱互斥惩罚、CLIP+VLM 视觉块、5 路 listwise 重排、2.5x 决策权重 QLoRA 与 disable_adapter 零额外显存 DPO,单卡约 30 分钟跑完,代价是要自建领域词典和标注基准。

  1. 雷峰网71

    逐际动力开源 FluxVLA Engine 技术报告解读,统一 VLA 数据训练评测与真机部署

    雷峰网解读逐际动力开源的具身智能工程底座 FluxVLA Engine 技术报告,该底座贯通数据、训练、评测、推理与真机部署,10 月 22 日完成重要更新。报告称在英伟达 AGX Orin 64GB 上 GR00T 推理频率从 3.2Hz 提升到 7.4Hz、π0.5 从 1.4Hz 提升到 4.4Hz,并引入 RTC 与轨迹后处理解决时序错位和物理约束问题。

    借鉴点

    能拿走的是三层真机落地机制,CUDA Graph 加速、RTC 前缀条件、轨迹后处理限速限加速度,可直接套到自家 VLA 部署链;代价是各模型仍需适配器与动作空间转换,RL 效果依赖奖励设计。

  1. 掘金71

    Indra OCR 实测:1M 参数本地 OCR 接入求职记录工具,卡在模型下载和中文识别

    作者用 1M 参数的 Indra OCR 给本地求职记录工具加截图识别岗位功能,最终能识别出公司、岗位、薪资、地点、学历和 HR 并自动填表。

    借鉴点

    能拿走 Indra OCR 的本地接入做法,包括用 INDRA_OCR_MODEL_DIR 指定离线模型目录、补 script.onnx/rec_cjk.onnx/lm_cjk.npz 三个 CJK 文件,落到本地模型部署和截图录入流程,代价是国内直连 HuggingFace 超时、镜像大文件走 xethub CDN 会 401。

  2. Hugging Face Blog62

    微软与 Hugging Face 用 ThinkingBox 数据库终态校验做 RL 奖励,Qwen3.8-27B 全对任务从 38 增至 107

    微软与 Hugging Face 联合发布 ThinkingBox-Training,把 ThinkingBox 对数据库终态的 1/0 可执行校验直接当作 RL 奖励。

    借鉴点

    可复用离线策略相对难度筛选,用 Beta 后验把任务分五档,只留 0.08 到 0.90 区间做 GRPO,代价是每个候选任务要先跑 n 次探测,且训练与评测的解析器必须对齐。

已经到底了