Eval Report: ci-post-merge

Profile: gdm-swebench-lite-v1 | Tasks: 50 | Pass rate: 100.0% | Cost: $0.0500

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010
typescript-recovery-easy-001	easy	0.740	✓	$0.0010
python-dependency-easy-001	easy	0.740	✓	$0.0010
typescript-dependency-easy-001	easy	0.740	✓	$0.0010
python-explain-easy-001	easy	0.740	✓	$0.0010
typescript-explain-easy-001	easy	0.740	✓	$0.0010
python-security-fix-medium-001	medium	0.740	✓	$0.0010
shell-security-fix-medium-001	medium	0.740	✓	$0.0010
python-bugfix-medium-001	medium	0.740	✓	$0.0010
shell-bugfix-medium-001	medium	0.740	✓	$0.0010
python-performance-medium-001	medium	0.740	✓	$0.0010
shell-performance-medium-001	medium	0.740	✓	$0.0010
python-test-writing-medium-001	medium	0.740	✓	$0.0010
shell-test-writing-medium-001	medium	0.740	✓	$0.0010
python-multi-file-medium-001	medium	0.740	✓	$0.0010
shell-multi-file-medium-001	medium	0.740	✓	$0.0010
python-refactor-medium-001	medium	0.740	✓	$0.0010
shell-refactor-medium-001	medium	0.740	✓	$0.0010
python-config-medium-001	medium	0.740	✓	$0.0010
shell-config-medium-001	medium	0.740	✓	$0.0010
python-recovery-medium-001	medium	0.740	✓	$0.0010
shell-recovery-medium-001	medium	0.740	✓	$0.0010
python-dependency-medium-001	medium	0.740	✓	$0.0010
shell-dependency-medium-001	medium	0.740	✓	$0.0010
python-explain-medium-001	medium	0.740	✓	$0.0010
shell-explain-medium-001	medium	0.740	✓	$0.0010
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 649e839f-b1e2-4c5a-8412-ac5b2848ff5a | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-08T00:43:51.042825+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
649e839f-b1e2-4c5a-8412-ac5b2848ff5a	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-08T00:43:51.042825+00:00
308527a9-c838-45f7-8868-c384b72e6ec4	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-08T00:43:50.990121+00:00
cee7d94f-dc07-4961-a196-9010b9170109	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-08T00:43:50.921212+00:00
30240a0c-0530-43c0-9a72-c74495df3209	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-08T00:43:50.873982+00:00
e934a20b-dabe-4046-afdb-7fdf2c2e58ad	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-08T00:43:50.821609+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	2700	############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

2700

############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
649e839f-b1e2-4c5a-8412-ac5b2848ff5a	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T00:43:51.042825+00:00
308527a9-c838-45f7-8868-c384b72e6ec4	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T00:43:50.990121+00:00
cee7d94f-dc07-4961-a196-9010b9170109	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T00:43:50.921212+00:00
30240a0c-0530-43c0-9a72-c74495df3209	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T00:43:50.873982+00:00
e934a20b-dabe-4046-afdb-7fdf2c2e58ad	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T00:43:50.821609+00:00
52466829-4717-42af-b0e8-dba7b941d7c5	python-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T00:43:50.772710+00:00
633b9d7d-830b-4194-9a33-d7b6ed51273b	typescript-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T00:43:50.697841+00:00
3b7f7458-ab26-4bf7-b235-afab9107e6cf	python-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T00:43:50.635341+00:00
64c82053-b634-4423-ac90-4f3c07333739	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T00:43:50.582743+00:00
739a8715-6a25-40ed-aecc-a23cc972dcac	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T00:43:50.526786+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0046  (coder)