跳到正文
#推理

标签

#推理

按发布时间排列的全部收录，按天分组；筛选和搜索都在这一页。

共 377 条 · 第 8 / 10 页 · 更新于 19:17

10/23

星期五1 条

  1. MarkTechPost34Liquid AI 发布 RIPL：面向亚 50 ms 延迟 LFM 的实时推理引擎

10/22

星期四26 条

  1. 雷峰网55蚂蚁数科发布决策模型 LingDT-Decision-1.0，提供 4B 和 27B 两个版本
  2. IT之家22小鹏 IRON 人形机器人能力升级：每 0.2 秒重新推理一次，可预测 6 秒内动作变化
  3. 掘金78Kestrel_VLLM 第 15 篇：decode 四连击把 30B-A3B MoE 从 19ms/tok 降到 8.4ms/tok
  4. IT之家52蚂蚁数科发布决策模型 LingDT-Decision-1.0，Token 消耗降低超 90%
  5. 掘金34Microsoft Research 与 Zhao Song 证明 31 年历史的 KLS 猜想
  6. Hacker News · AI 讨论38Nutrient 推出只读不写的文档决策模型，约 200ms 返回选项与置信分
  7. Hacker News · AI 讨论18AI 基础设施增长能否比市场预期持续更久？
  8. Hacker News · AI 讨论28Minotaur：不用 LLM 和 GPU 实现 AI 式推理
  9. 掘金30Elastic 借 NVIDIA RTX PRO 6000 将 Jina 模型推理提速最高 8 倍
  10. 量子位60中国电信星辰实验室发布并开源意图理解模型 Xing4.0-29B-Intent
  11. 掘金65逐行读 DeepSeek 开源的推理框架 DeepInfer：调度与投机解码可抄，架构图有三块不在仓库里
  12. 掘金58阿里云云原生解读推理框架：从 Prefill/Decode 到 DeepSeek 开源 DeepInfer
  13. MarkTechPost41Perplexity 与 NVIDIA 提出 JOLT：联合师生强化学习后训练方法
  14. IT之家60讯飞星火 X2.6 端云一体大模型发布，称首次基于全国产算力实现代码与智能体能力突破
  15. 掘金62DeepSeek 开源内部推理框架 DeepInfer，支持英伟达与昇腾双平台
  16. 掘金80多 Agent 系统如何复用 KV 缓存：前缀对齐比缓存开关更重要
  17. 掘金62DeepInfer 教程拆解 DeepSeek 专用推理框架的原理、架构与部署
  18. 掘金62实测 Claude Code 与 Codex 的 effort 档位：调高只增加思考 token，不会更快
  19. 掘金82得物技术总结昇腾 910C 大模型推理优化：镜像升级与参数调优使 TPOT 下降 45.1%
  20. 掘金40GAD-RL：给 OCR 模型的 RL+蒸馏训练装上状态感知开关，抑制语言先验幻觉
  21. 掘金63弗赖堡大学论文剖析单用户长上下文推理：注意力占 90% 时间，GPU 带宽仅用 21%
  22. 掘金74如何搭建抗住海量 Agent 并发的大模型网关：语义缓存、双桶限流与三态熔断
  23. Hugging Face Blog71Dharma AI 用 VocabX 为 SLM 定制词表，实测推理成本降 77%
  24. Wired · AI60Recursive 发布开源权重编码模型 Flint，称开发流程几乎全由 AI 完成
  25. Microsoft Research29微软研究院用人类引导的 AI 智能体证明 31 年未解的 KLS 猜想
  26. Hugging Face Blog22TorchNeuron 性能剖析（一）：在 AWS Trainium 上做系统级性能分析

10/21

星期三13 条

  1. IT之家58英伟达 DGX Spark 开放最多 8 台集群，128GB 版本统一内存最高 1TB
  2. The Decoder58Inception 发布扩散语言模型 Mercury 3，称速度达 GPT-6 Luna 与 Claude Haiku 5.5 的四到八倍
  3. Hacker News · AI 讨论78CTGT 研究：开启确定性推理后，策略解析流水线仍产出四种不同结果
  4. Hugging Face Blog50NVIDIA 发布 Kumo Forecast 时序预测模型，结合预训练表示与历史模式检索
  5. 36氪 · 快讯31英伟达扩展开放模型产品线，推出 Nemotron Retriever、Cosmos 3.5 等模型
  6. NVIDIA Blog58NVIDIA 发布 Nemotron 3.5、Kumo、Cosmos 3.5 等开源模型家族
  7. 雷峰网22一次抓取背后：Token经济学如何聚合算力、模型与语料
  8. MarkTechPost78Google Cloud 发布 llm-d 1.0 稳定版，为 TPU 和 GPU 集群带来缓存感知路由
  9. 掘金58拆解 DeepSeek 开源推理框架 DeepInfer：V4.1 Flash 单集群日吞吐 155 万亿 Token
  10. Hacker News · AI 讨论41为什么用 LLM 生成置信度分数是个坏主意
  11. 量子位38是石科技发布 TokenFleet 分布式调度框架，GLM5.3 首 Token 延迟降低 32.4%
  12. 掘金52GPT-6 提示词缓存解读：命中率 83% 到 91%、推理费用降 36% 的账怎么算
  13. AWS Machine Learning Blog58AWS 在 SageMaker HyperPod 上微调 GPT-OSS-20B 多语言推理，SFT 加 GRPO 把答案语言正确率提到 70%