Eval Report: ci-post-merge

Profile: gdm-swebench-lite-v1 | Tasks: 50 | Pass rate: 100.0% | Cost: $0.0500

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010
typescript-recovery-easy-001	easy	0.740	✓	$0.0010
python-dependency-easy-001	easy	0.740	✓	$0.0010
typescript-dependency-easy-001	easy	0.740	✓	$0.0010
python-explain-easy-001	easy	0.740	✓	$0.0010
typescript-explain-easy-001	easy	0.740	✓	$0.0010
python-security-fix-medium-001	medium	0.740	✓	$0.0010
shell-security-fix-medium-001	medium	0.740	✓	$0.0010
python-bugfix-medium-001	medium	0.740	✓	$0.0010
shell-bugfix-medium-001	medium	0.740	✓	$0.0010
python-performance-medium-001	medium	0.740	✓	$0.0010
shell-performance-medium-001	medium	0.740	✓	$0.0010
python-test-writing-medium-001	medium	0.740	✓	$0.0010
shell-test-writing-medium-001	medium	0.740	✓	$0.0010
python-multi-file-medium-001	medium	0.740	✓	$0.0010
shell-multi-file-medium-001	medium	0.740	✓	$0.0010
python-refactor-medium-001	medium	0.740	✓	$0.0010
shell-refactor-medium-001	medium	0.740	✓	$0.0010
python-config-medium-001	medium	0.740	✓	$0.0010
shell-config-medium-001	medium	0.740	✓	$0.0010
python-recovery-medium-001	medium	0.740	✓	$0.0010
shell-recovery-medium-001	medium	0.740	✓	$0.0010
python-dependency-medium-001	medium	0.740	✓	$0.0010
shell-dependency-medium-001	medium	0.740	✓	$0.0010
python-explain-medium-001	medium	0.740	✓	$0.0010
shell-explain-medium-001	medium	0.740	✓	$0.0010
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 801b0ca6-46cc-4662-8551-d1090c5bef4b | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T20:43:49.169846+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
801b0ca6-46cc-4662-8551-d1090c5bef4b	coder	07ca25bc2d511f5aee15446c60081c184e9c9122	0.740	2026-05-23T20:43:49.169846+00:00
317b153e-261b-4cb9-8fd7-9827474bd09e	coder	07ca25bc2d511f5aee15446c60081c184e9c9122	0.740	2026-05-23T20:43:49.063600+00:00
89e0948d-11c3-4601-83f5-eb03aa3257da	coder	07ca25bc2d511f5aee15446c60081c184e9c9122	0.740	2026-05-23T20:43:48.962499+00:00
d00d72f2-3349-494a-a5eb-b82cc1687c2c	coder	07ca25bc2d511f5aee15446c60081c184e9c9122	0.740	2026-05-23T20:43:48.859592+00:00
4c40c683-32db-46e4-a777-80492ca25906	coder	07ca25bc2d511f5aee15446c60081c184e9c9122	0.740	2026-05-23T20:43:48.756133+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	7080	########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

7080

########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
801b0ca6-46cc-4662-8551-d1090c5bef4b	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:43:49.169846+00:00
317b153e-261b-4cb9-8fd7-9827474bd09e	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:43:49.063600+00:00
89e0948d-11c3-4601-83f5-eb03aa3257da	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:43:48.962499+00:00
d00d72f2-3349-494a-a5eb-b82cc1687c2c	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:43:48.859592+00:00
4c40c683-32db-46e4-a777-80492ca25906	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:43:48.756133+00:00
02ffd6a5-c0f1-4e16-82a5-f74c8101689f	python-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:43:48.649581+00:00
a50e7dff-a596-48de-ab15-b8b7aa642e97	typescript-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:43:48.544597+00:00
d226fd63-bca3-4026-9099-603e55ad82c7	python-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:43:48.440916+00:00
a5847dc2-327f-4e5f-b733-95d4657c2126	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:43:48.328285+00:00
02a2aa03-d6b0-4f93-be42-ee934c16146a	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:43:48.216280+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0036  (coder)