跳到正文
量子位· 听雨·· 19 天前同事件AI 评分74

百度发布并开源文心Unlimited OCR 2,KV缓存从47GB降至1.77GB

KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%

AI 导读

百度发布并开源文心Unlimited OCR 2,在百页级单序列测试中把峰值KV缓存从标准解码的47GB降至1.77GB,减少约96%。新模型用稀疏参考滑动窗口注意力SR-SWA做页面和视觉Token两层筛选,配合分块解码复用重叠页缓存,16路并发吞吐从360提升至1315 Token/秒。

同一件事,精选收录的是《百度开源文心 Unlimited OCR 2,支持任意页数文档解析》

来源:量子位 · qbitai.com