跳到正文
原文
量子位· 闻乐·· 6 天前AI 评分18

字节Seed发现DeepSeek-V4因KV Cache压缩存在相位敏感性

字节找到了DeepSeek时强时弱的原因

AI 导读

字节Seed团队发现DeepSeek-V4系列模型因分块KV Cache压缩技术,导致检索准确率随输入位置呈现周期性波动。在128K长上下文测试中,同一信息仅改变位置可使准确率差距最高达40.2个百分点。该现象被称为“相位敏感性”,虽经后训练可缩小差距,但评估此类模型时需关注不同压缩相位的性能差异。

来源:量子位 · qbitai.com