Apple Machine Learning·· 7 天前
状态空间模型中门控机制对记忆与上下文学习的影响
On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
AI 导读
Apple Machine Learning 研究指出,状态空间模型中的门控机制导致其优先学习权重内“记忆”方案,从而延迟或阻碍收敛到正确的上下文学习解。尽管该机制在长序列泛化上有益,但这一动态解释了 SSMs 在精确检索任务上落后于 Transformers 的原因,为改进线性时间模型提供了理论基础。
来源:Apple Machine Learning · machinelearning.apple.com