Apple Machine Learning·· 7 天前
Apple 研究评估 LLM 裁判在个性化写作风格中的表现
Evaluating the Evaluators: Investigating LLM Judges for Personalized Writing Style Assessment
AI 导读
Apple 团队研究发现,LLM 裁判在个性化写作风格评估中的质量与 MMLU 分数相关性弱(ρ ≤ 0.2),且“最强”模型未必能最可靠地复现人类评价。实验表明,采用成对比较而非独立打分的方式,能显著提升 LLM 评估者的一致性与性能。
来源:Apple Machine Learning · machinelearning.apple.com