The Decoder· Jonathan Kemper·· 8 天前
阿里等机构发布 Co-Design Bench:AI 编码智能体在真实任务中完全通过率仅约 26%
AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test
AI 导读
阿里巴巴与多所亚洲高校联合推出新基准测试 Co-Design Bench,旨在评估 AI 编码智能体处理真实用户变更请求的能力。测试显示,即便表现最佳的 GPT-6 Astra 平均满足约 70% 的任务要求,但仅有 26.4% 的任务能完全正确完成,大多数情况仍需人工收尾。
来源:The Decoder · the-decoder.com