跳到正文
  1. 钛媒体71

    面壁智能 ForgeKernel 直播写算子跑赢 DeepSeek FlashMLA 9.8%

    面壁智能的 Agent ForgeKernel 在 22.5 小时无人直播中,不参考 DeepSeek 源码,用一块 B200、22 个 GPU 小时、42 轮迭代写出 Prefill 算子,最终耗时 472 微秒,比 FlashMLA 的 518 微秒快 9.8%。

    借鉴点

    能拿走的是用逐比特对齐加责任分离让模型自写训练框架和算子,落到软件工厂和本地模型部署两条线,前提是几十B模型、几百卡以内,万卡集群和稳定性还接不住。

  1. Hacker News · AI 讨论71

    Revolut 用自托管 GLM 替代 Claude,AI 编码推理成本降约 90%

    英国金融科技公司 Revolut 称在不到一年内把 AI 编码推理成本削减约 90%,做法是把自托管模型设为默认,替代此前主要依赖的 Claude 等商业服务。

    借鉴点

    自托管 GLM 替代商业 API 的完整成本账,含 56 张 B200、NVFP4 量化、prefill/decode 分离和 256k 上下文取舍,可对照本地模型部署线估算自己的 token 单价与首字延迟门槛。

  1. 钛媒体71

    Anthropic 主张把子 Agent 折叠回主循环,Kimi K3.1 Pro 额度消耗过快成案例

    Anthropic 发文《构建 Agent:何时该把子 Agent 折叠回主循环》,称带技能的单 Agent 在质量、成本和延迟上优于多子 Agent 分工,token 消耗远低于后者,并开源 single-agent-loop-kit 工具。

    借鉴点

    可把子Agent按需折叠成Skill,砍掉80%以上系统提示词,落到软件工厂的多步任务编排上;前提是模型上下文够长,否则省下的token会被信息衰减和人格碎片吃掉。

  1. AI News · smol.ai80

    DeepSeek 发布 V4.1-Flash 开源权重模型,采用因果编码器-解码器架构

    DeepSeek 发布 V4.1-Flash 开源权重模型,采用因果编码器-解码器架构,输入侧激活 8B 参数、输出侧激活 16B 参数,主打推理效率与低成本。

    借鉴点

    能拿走的是 890 bytes/token 的 KV 压缩思路和 SSD 流式卸载跑全精度权重的做法,可落到本地模型部署线;代价是 763B 总参数仍需 256GB 内存加 64-96GB 显存,吞吐只有个位数到几十 tok/s。

已经到底了