量子位· 鹭羽·· 2 天前
UniPat AI 发布湿实验预测基准 SPU,前沿模型得分远低于随机水平
「史上最严」湿实验预测基准发布!推理拉满、算力翻5倍也白搭
AI 导读
UniPat AI 牵头推出 Science Prediction Universe (SPU) 基准,包含116个任务与4207个湿实验,覆盖化学、材料等四大学科。评测显示 Claude Opus 5.5 平均分仅0.486,多数配置超随机阈值比例不足52%,且提升推理强度或算力并未显著改善预测结果。该基准旨在量化AI在自主科研中的判断能力,目前数据集与代码已开源。
来源:量子位 · qbitai.com