RTX 5070 Ti 部署 Qwen2.5-VL-7B-AWQ 做工业质检的踩坑记录
作者在 RTX 5070 Ti 16GB 上用 vLLM 0.30.0 部署 Qwen2.5-VL-7B-Instruct-AWQ（6.5GB），跑通二维码缺陷质检的码制识别与可见性判定批量推理。
借鉴点
能拿走 16GB 单卡跑 7B 多模态的整套 vLLM 参数和六个坑，直接落到本地模型部署与质检流水线，代价是版本组合敏感、需自行验证 flashinfer 开关。
技术方向
推理能力 最新动态
让大模型先想再答的能力：思维链、推理模型，数学与逻辑评测上的突破和争议。
82 条精选近 30 天 72 条共收录 377 条
更新
精选归档 · 第 2 页
掘金精选AI 评分7878 掘金精选AI 评分7171 用语义复杂度评分与意图分流搭建多模型动态路由网关
作者给出了一套多模型混合动态路由网关的完整实现，用正则结构特征加本地嵌入向量相似度在 10ms 内给 Prompt 打复杂度分，按阈值分流到轻量、中端、旗舰三档模型，并附 FastAPI 异步代码和 429/5xx 自动降级逻辑。
借鉴点能拿走一套纯 CPU 10ms 内的复杂度打分加三级模型分流代码，落到本地模型部署和成本控制线上；代价是阈值和锚点要自己按业务调，长文本误判和流式断流得另做处理。
Hacker News · 首页精选AI 评分7474 spinf 开源 spinf-serve 推理服务器，单次读取内容批量打分
spinf 开源 Apache 2.0 的 spinf-serve 推理服务器，一次读取内容即可对同一段文本回答多个分类与抽取问题，每个答案输出选项概率而非生成文本。
借鉴点可把批量分类从逐题重读改成一次读取多分支打分，拿到每个选项的概率和 floor_p 做阈值判断；代价是需 24GB 显卡和 fp8 支持，且只适合吞吐不适合单请求延迟。
Hacker News · 首页精选AI 评分7171 SkyPilot 用 RL 后训练 Qwen3-4B 飞飞行跑车，风暴踢翻落地率比 GPT-6 Astra 高 21%
SkyPilot 围绕飞行跑车物理模拟器搭了一个 RL 环境，用 rank-64 LoRA 加 GRPO 后训练 Qwen3-4B，实时决策下风暴踢翻动作落地率 90%，比 GPT-6 Astra 的 74% 高 21%。
借鉴点能拿走一套可复用的 RL 后训练配方，rank-64 LoRA 加 GRPO 双教师热启动，按风级挑模仿对象、风暴样本加倍、专练慢速远车场景；落到本地模型部署和 Agent 实时决策线，代价是 4 GPU 小时约 13 美元，且配方靠多轮验证集试错才收敛。
Hacker News · AI 讨论精选AI 评分7474 tiny-llm 在 Apple Silicon 上手写 Qwen3 推理与迷你 vLLM 课程
skyzh 发布 tiny-llm 课程，面向系统工程师在 Apple Silicon 上用 MLX 从零实现 Qwen3 推理全流程。
借鉴点能拿走一套四周课程路线，从 mlx.core 手写 Qwen3 推理到连续批处理、分页 KV 和带检查点的编码 Agent，前提是有 Apple Silicon 机器并愿意自己实现算子，MLX 只当正确性基准。
掘金精选AI 评分7878 中小企业用RTX 5090跑125B MoE：Strata如何把显存缺口换成专家缓存
作者在单张RTX 5090（32GB）上实测Strata v0.2.2加载Qwen3.8-Flash-Next Q2_0（125B级MoE），模型文件66.4GB对31.8GiB显存缺口约2.1倍，靠把全部24576个专家常驻主机内存、按热度缓存到显存跑通。
借鉴点能拿走一条槽位公式（可用显存减884MiB再除1.318MiB，上限24576）和五段传导链，用来给本地部署做容量规划；前提是只测了Q2_0一档、PCIe固定Gen3×16，换量化档或平台要重算。
掘金精选AI 评分7878 第三方并行库 ring attention 静默算错，作者记录从单卡对照到定位未通信的排查过程
作者把 20B 级扩散模型推理框架从 CUDA 移植到另一种加速卡时，接入的开源 ring attention 实现端到端出图不对但不报错，排查后确认该库的注意力实现根本没做通信，只算了本地那一段。
借鉴点能拿走三件东西，单层并行与朴素实现逐元素对比、并行输出与只用本地数据比 max_err 是否为 0 判通信、单机分块 LSE 合并单测；可落到本地模型部署与推理移植线，前提是得先有可对照的朴素实现和能跑多进程的环境。
MarkTechPost精选AI 评分7171 Baseten 发布 2B 决策模型 joey-1，每百万输入 token 收费 0.01 美元
Baseten 旗下 Base Labs 发布 2B 决策模型 joey-1，直接返回标签和校准概率而非生成文本，每百万输入 token 收费 0.01 美元，权重以 MIT 协议开源在 Hugging Face。
借鉴点能拿走的是决策模型输出标签加校准概率、共享前缀一次预填答多问的做法，可换掉现在用大模型生成文本再解析的路由环节；代价是知识面窄，需按置信度阈值回退到 9B 或 27B 模型。
Mistral AI精选AI 评分7878 Mistral 开源 Mistral Large 4（Le Chonk）权重，1 万亿参数多模态模型
Mistral 发布 Mistral Large 4（Le Chonk）的开源权重，这是其 1 万亿参数原生多模态旗舰模型，此前已进入公开预览。
借鉴点能拿走的是三档推理模式与 token 效率取舍，以及 vLLM/SGLang 自托管部署路径；可落到本地模型部署和软件工厂，代价是 1 万亿参数对硬件要求高，商用 MaaS 还需另签许可。
掘金精选AI 评分7878 得物技术实测 Jev 轻量决策层：三个测试场景接入 AI 工作流
得物技术在 AI Testing 平台上用 Jev 接入用例打标、UI 自动化和知识库召回三个测试场景，300 条用例打标耗时 5 秒、费用约 0.01 元，对比 DeepSeek 方案的 4 分 5 秒和约 0.31 元。
借鉴点能拿走 noul/choice/score 三种判断类型加阈值分流的写法，把打标、UI 选元素、检索精排从通用大模型换成轻量决策层，代价是选项语义要写清、低置信结果得留人工复核。
掘金精选AI 评分7171 MemTrace 如何自动溯源并优化 LLM 记忆系统错误
MemTrace 把 LLM 记忆流水线转成可执行的记忆演化图，用图归因 Agent 定位最早决定性故障操作，再据此自动改写提示词，在 Mem0 加 LoCoMo 上三轮优化后任务性能提升 7.62%。
借鉴点能拿走一套可复用的记忆系统排错链路，插桩录制执行图、沿图定位最早故障操作、再把归因结果转成 prompt 改写；落到知识沉淀和本地部署调优上，代价是归因准确率约一半、每轮要重跑完整流水线。
掘金精选AI 评分7171 拆解 Clover-35B-A3B-Preview：块扩散加 GDN 改造如何把并行生成塞进 Agent 长上下文
作者拆解了 10 月 28 日发布、权重已上 Hugging Face 的 Clover-35B-A3B-Preview，说明它用 block_size=32、threshold=0.95 的块扩散解码让一次前向落定多个 token，并把 GDN 改成历史进常数状态、块内双向注意力、记忆读出单独成一路。
借鉴点能拿走块扩散解码的伪代码和 block_size=32、threshold=0.95 两个默认值，以及历史走常数状态、块内双向、读出单独成一路的三段式改法，落到本地模型部署和 Agent 长上下文这条线；代价是接受即不可撤销，块后部位置易写错 JSON 参数，且文中吞吐数字多为作者测算。
MarkTechPost精选AI 评分7878 Polymathic AI 与普林斯顿等机构发布 FlashMap，Qwen3-8B 解码最高提速 6.14 倍
Polymathic AI、普林斯顿大学、USC ISI、NYU 和 Flatiron Institute 的研究者发布 FlashMap，用连续 flow map 替代离散扩散草稿器，一次前向传播草拟 16 个 token 的整块。
借鉴点能拿走的是用连续 flow map 一次草拟 16 token 的投机解码方案，配 vLLM 和 SGLang 插件即可接入现有推理服务；代价是要按目标模型单独训练 0.5B drafter，且温度大于 0 时需改采样配置。
掘金精选AI 评分7575 Ray Serve 与 LLM 服务教程：从核心对象、扩缩容到 Ray Serve LLM 部署
这篇 Ray 教程把 Ray Serve 从 HTTP 框架讲到 LLM 推理编排层，梳理了 deployment、bind、serve.run、DeploymentHandle 四个核心对象与 Controller 加 HTTP/gRPC Proxy 加 replica 的架构。
借鉴点能拿走 Serve 的四个核心对象、@serve.batch 攒批参数与 max_ongoing_requests 必须大于 target_ongoing_requests 的配置法则，落到本地模型部署这条线；代价是 ray.serve.llm 全系列仍是 beta，需锁版本并把导入面收窄到一个模块。
掘金精选AI 评分7272 DeepSeek 稀疏注意力 DSA 拆解：索引器、Top-k 选择与两阶段训练
DeepSeek 在 V3.2-Exp 中引入的 DSA 用一个轻量索引器给每个 query 的历史 token 打分，只把分数最高的 2048 个 KV 条目送进精确注意力，主注意力复杂度从 O(L²) 降到 O(Lk)。
借鉴点能拿走 DSA 的索引器配置（64 头 128 维、topk 2048、FP8）和两阶段训练配方，落到本地模型部署与长上下文推理线；代价是动态 Top-k 依赖 SGLang、vLLM 专用内核，短文本几乎无收益。
量子位精选AI 评分7474 OpenAI 发布 GPT-6.1 Terra，API 价格减半并主打电脑操作
OpenAI 发布 GPT-6.1 Terra，标准 API 输入 1 美元/百万 Token、缓存输入 0.05 美元/百万 Token、输出 5 美元/百万 Token，价格约为 GPT-5.6 Terra 的一半。
借鉴点能拿走的是按任务档位选模型的成本账，medium 档跑专业软件操作、max 档留给复杂编程，代价是复杂任务仍要切回 Sol 或 Astra。
Hacker News · AI 讨论精选AI 评分7171 Imp 发布面向 RTX 50 系 Blackwell 单卡的 LLM 服务器，由 Claude Code 编写
Imp 是一个只支持 NVIDIA Blackwell sm_120a 单卡（RTX 5050 到 5090、RTX PRO 2000 到 6000）的 LLM 服务器，提供 OpenAI 与 Anthropic 兼容 API 和内置聊天界面，一条 docker run 即可启动，MIT 许可。
借鉴点单卡自建推理服务可直接照抄 docker run 加 stage-model.sh 的流程，用 NVFP4 权重和 pinned host RAM 跑超显存 MoE；代价是只支持 Blackwell sm_120a 单卡，无多卡无 CI，性能数字全来自作者一张 5090。
掘金精选AI 评分7878 AI 私有化实战第 5 讲：一张卡能扛几路并发，取决于显存账和首字延迟两道闸
《AI 私有化实战》第 5 讲给出并发容量算法：并发显存 = 权重 + 路数 × 每路上下文 × 每 token 缓存，实测每 8192 token 占 96 MiB KV 缓存，约 12 KiB/token。
借鉴点能拿走并发显存公式（权重+路数×每路ctx×每token缓存，实测12 KiB/token）和 --ctx-size 必须随 --parallel 一起乘的判据，落到本地模型部署；代价是要自己读 /props 的 n_ctx 并量首字延迟 p95，压测脚本还得同时读 reasoning_content。
掘金精选AI 评分7272 EAGLE 与 EAGLE-3 如何用特征预测加速投机解码
文章讲解 EAGLE 与 EAGLE-3 如何借助 Target Model 的隐藏特征训练轻量 Drafter 来加速投机解码，最终候选仍由 Target 批量验证。
借鉴点能拿走 vLLM 里 method=eagle/eagle3 的配置差异和 K 值调优思路，落到本地模型部署的 Decode 加速上，代价是 Drafter 权重与 KV Cache 额外占用，高并发下 K 过大可能负收益。
掘金精选AI 评分7171 深度拆解 TypeSafe Jev：System One 判别模型的三个原语与工程边界
作者拆解 TypeSafe AI 于 2026 年 9 月 15 日发布的 Jev 模型，它不做逐字生成，而是用 Choice、Score、Noul 三个原语在单次前向传播中并行输出分类、打分和布尔概率。
借鉴点能拿走 Choice/Score/Noul 三个原语的请求写法与读法，把工单路由、严重度打分、是否升级人工拆成并行判别，落到软件工厂的前置分流层；代价是中文长文本准确率低、无状态回溯，必须配置信度阈值和兜底。