量子位· 听雨·· 20 天前
百度文心Unlimited OCR 2发布并开源,长文档KV缓存降低96%
KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%
AI 导读
百度正式发布并开源文心Unlimited OCR 2,支持连续解析3600+页超长文档。该版本引入稀疏参考滑动窗口注意力机制(SR-SWA)和无限解码机制,在百页级测试中将峰值KV缓存占用从47GB降至1.77GB,减少约96%,同时单步解码速度提升至全注意力的7倍。目前模型已在GitHub和Hugging Face开源。
来源:量子位 · qbitai.com