跳到正文
返回科技动态
原文
Apple Machine Learning·· 7 天前

加权状态混合方法提升长上下文检索效率

Weighted State Souping for Efficient Long-Context Retrieval

AI 导读

提出加权状态混合(weighted state souping)方法,通过学习查询依赖权重组合缓存状态,显著改善状态空间模型在长上下文中的性能。该方法支持单跳/多跳问答、大海捞针检索及工具使用,并衍生出稀疏变体以实现近乎恒定的编码成本。

来源:Apple Machine Learning · machinelearning.apple.com

浙ICP备2026082753号-2