SWE-bench VerifiedSWE-bench Team
从真实 GitHub issue 出发，检验 agent 能否理解代码库并提交正确的修复。
软件工程真实仓库问题修复
持续演进
更好的判断，始于更好的理解。
FOR PEOPLE BUILDING WITH AGENTS终端里的表现，
才是 Agent 的实战。
Terminal-Bench 4.0：把模型、工具与执行放在一起看。
理解这项评测分数之外，
你还应该看什么？
版本、harness、预算、污染风险。
读懂排行榜之前，先问这几个问题。
探索 Benchmark10
从你的任务出发，找到真正有参考价值的评测。
Terminal-BenchStanford · Harbor · Laude
在真实终端环境中完成多步骤任务，观察 agent 从计划到执行的完整能力。
终端任务长程任务Shell
持续演进
LiveCodeBenchUC Berkeley · MIT · Cornell
用带发布时间的竞赛题观察代码能力，减少旧题记忆对结果的干扰。
代码生成动态题集算法编程
定期维护
SWE-bench MultilingualSWE-bench Team
把真实仓库修复扩展到 9 种语言，补上仅看 Python 评测的盲区。
软件工程多语言真实仓库
持续演进
SWE-Bench ProScale AI
关注更复杂、跨文件的工程任务，把长程软件维护放进评测。
软件工程长程任务跨文件修改
定期维护
ProgramBenchMeta · Stanford · Harvard
只给二进制与文档，让 agent 从零重建完整程序的行为。
软件工程从零构建行为验证
持续演进
BigCodeBenchBigCodeBench Team
通过多库组合的实际编程任务，考察代码生成与指令理解。
代码生成库调用指令理解
定期维护
τ²-benchSierra Research
在用户与 agent 共同改变环境的任务中，检验工具调用与协作可靠性。
工具调用工具调用用户协作
持续演进
OSWorldXLang Lab & collaborators
让 agent 操作真实桌面应用，观察跨应用任务能否执行到位。
计算机操作Computer use跨应用
持续演进
EvalPlusEvalPlus Team
用更充分的测试重新审视 HumanEval 与 MBPP，理解“通过测试”的边界。
代码生成测试充分性函数生成
经典参考
官方来源核验方法与局限说明没有付费排名 · 不合成跨榜总分
好评测，不该埋在信息流里。
发现一个值得关注的 Benchmark？帮助更多人找到它。