SWE-bench是什么
题目全部来自真实开源仓库的 GitHub 议题与合并补丁,要求模型给出能通过测试的代码改动。
Verified 子集由人工筛选出 500 道高质量题目,是目前各家发布编程能力时最常引用的那一列。
榜单同时收录不同智能体框架的成绩,因此排名既反映模型能力,也受脚手架影响。
SWE-bench 是目前衡量模型能不能真的改代码时最常被引用的基准。
题目全部来自真实开源仓库的 GitHub 议题与合并补丁,要求模型给出能通过测试的代码改动。
Verified 子集由人工筛选出 500 道高质量题目,是目前各家发布编程能力时最常引用的那一列。
榜单同时收录不同智能体框架的成绩,因此排名既反映模型能力,也受脚手架影响。