SWE-bench

SWE-bench是一个编程基准测试，题目取自真实开源项目的GitHub issue，要求模型修改代码，再用项目自带的测试判断是否修好。SWE-bench Verified是其中经过人工核验的子集，AI公司发布编码模型时常用它的得分来比较能力。