Eval Report: ci-post-merge

Profile: gdm-swebench-lite-v1 | Tasks: 50 | Pass rate: 100.0% | Cost: $0.0500

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010
typescript-recovery-easy-001	easy	0.740	✓	$0.0010
python-dependency-easy-001	easy	0.740	✓	$0.0010
typescript-dependency-easy-001	easy	0.740	✓	$0.0010
python-explain-easy-001	easy	0.740	✓	$0.0010
typescript-explain-easy-001	easy	0.740	✓	$0.0010
python-security-fix-medium-001	medium	0.740	✓	$0.0010
shell-security-fix-medium-001	medium	0.740	✓	$0.0010
python-bugfix-medium-001	medium	0.740	✓	$0.0010
shell-bugfix-medium-001	medium	0.740	✓	$0.0010
python-performance-medium-001	medium	0.740	✓	$0.0010
shell-performance-medium-001	medium	0.740	✓	$0.0010
python-test-writing-medium-001	medium	0.740	✓	$0.0010
shell-test-writing-medium-001	medium	0.740	✓	$0.0010
python-multi-file-medium-001	medium	0.740	✓	$0.0010
shell-multi-file-medium-001	medium	0.740	✓	$0.0010
python-refactor-medium-001	medium	0.740	✓	$0.0010
shell-refactor-medium-001	medium	0.740	✓	$0.0010
python-config-medium-001	medium	0.740	✓	$0.0010
shell-config-medium-001	medium	0.740	✓	$0.0010
python-recovery-medium-001	medium	0.740	✓	$0.0010
shell-recovery-medium-001	medium	0.740	✓	$0.0010
python-dependency-medium-001	medium	0.740	✓	$0.0010
shell-dependency-medium-001	medium	0.740	✓	$0.0010
python-explain-medium-001	medium	0.740	✓	$0.0010
shell-explain-medium-001	medium	0.740	✓	$0.0010
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 309963cb-4d4e-447b-9947-e8d056ff5682 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T14:21:10.631393+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
309963cb-4d4e-447b-9947-e8d056ff5682	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T14:21:10.631393+00:00
5c5850f3-bcc6-46ab-8b71-47d4cfbdf4d1	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T14:21:10.547025+00:00
5535a085-69b0-4517-b19f-cc3758d975f1	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T14:21:10.464245+00:00
1be30858-7619-4d23-a559-dcfa009af657	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T14:21:10.375280+00:00
daeaeea1-d29f-4310-bd15-2a260866c776	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T14:21:10.297239+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	4100	####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

4100

####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
309963cb-4d4e-447b-9947-e8d056ff5682	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:21:10.631393+00:00
5c5850f3-bcc6-46ab-8b71-47d4cfbdf4d1	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:21:10.547025+00:00
5535a085-69b0-4517-b19f-cc3758d975f1	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:21:10.464245+00:00
1be30858-7619-4d23-a559-dcfa009af657	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:21:10.375280+00:00
daeaeea1-d29f-4310-bd15-2a260866c776	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:21:10.297239+00:00
d0ed30d4-d878-4c32-820e-e040f4ca00ae	python-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:21:10.207186+00:00
63de15b6-aef5-4ce0-9422-a69d8d87c937	typescript-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:21:10.120266+00:00
dd0435ff-e69f-488a-93a7-c2070337b13c	python-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:21:10.031173+00:00
60cfbcb8-2530-47dd-97c9-d47c6f93f29b	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:21:09.953950+00:00
0354af5d-dbb5-4b5e-9c05-5c905707de75	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:21:09.877080+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0042  (coder)