量子位· 听雨·· 19 天前同事件AI 评分74
百度发布并开源文心Unlimited OCR 2,KV缓存从47GB降至1.77GB
KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%
AI 导读
百度发布并开源文心Unlimited OCR 2,在百页级单序列测试中把峰值KV缓存从标准解码的47GB降至1.77GB,减少约96%。新模型用稀疏参考滑动窗口注意力SR-SWA做页面和视觉Token两层筛选,配合分块解码复用重叠页缓存,16路并发吞吐从360提升至1315 Token/秒。
同一件事,精选收录的是《百度开源文心 Unlimited OCR 2,支持任意页数文档解析》
来源:量子位 · qbitai.com