Apple Machine Learning·· 7 天前
加权状态混合方法提升长上下文检索效率
Weighted State Souping for Efficient Long-Context Retrieval
AI 导读
提出加权状态混合(weighted state souping)方法,通过学习查询依赖权重组合缓存状态,显著改善状态空间模型在长上下文中的性能。该方法支持单跳/多跳问答、大海捞针检索及工具使用,并衍生出稀疏变体以实现近乎恒定的编码成本。
来源:Apple Machine Learning · machinelearning.apple.com