Eval Report: ci-post-merge

Profile: gdm-swebench-lite-v1 | Tasks: 50 | Pass rate: 100.0% | Cost: $0.0500

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010
typescript-recovery-easy-001	easy	0.740	✓	$0.0010
python-dependency-easy-001	easy	0.740	✓	$0.0010
typescript-dependency-easy-001	easy	0.740	✓	$0.0010
python-explain-easy-001	easy	0.740	✓	$0.0010
typescript-explain-easy-001	easy	0.740	✓	$0.0010
python-security-fix-medium-001	medium	0.740	✓	$0.0010
shell-security-fix-medium-001	medium	0.740	✓	$0.0010
python-bugfix-medium-001	medium	0.740	✓	$0.0010
shell-bugfix-medium-001	medium	0.740	✓	$0.0010
python-performance-medium-001	medium	0.740	✓	$0.0010
shell-performance-medium-001	medium	0.740	✓	$0.0010
python-test-writing-medium-001	medium	0.740	✓	$0.0010
shell-test-writing-medium-001	medium	0.740	✓	$0.0010
python-multi-file-medium-001	medium	0.740	✓	$0.0010
shell-multi-file-medium-001	medium	0.740	✓	$0.0010
python-refactor-medium-001	medium	0.740	✓	$0.0010
shell-refactor-medium-001	medium	0.740	✓	$0.0010
python-config-medium-001	medium	0.740	✓	$0.0010
shell-config-medium-001	medium	0.740	✓	$0.0010
python-recovery-medium-001	medium	0.740	✓	$0.0010
shell-recovery-medium-001	medium	0.740	✓	$0.0010
python-dependency-medium-001	medium	0.740	✓	$0.0010
shell-dependency-medium-001	medium	0.740	✓	$0.0010
python-explain-medium-001	medium	0.740	✓	$0.0010
shell-explain-medium-001	medium	0.740	✓	$0.0010
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 8b78e47f-4938-4aa3-a382-eaf3ce0cbf02 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T18:43:56.354290+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
8b78e47f-4938-4aa3-a382-eaf3ce0cbf02	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:43:56.354290+00:00
044bdcd8-08b2-43a7-967b-12f11b7b2916	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:43:56.248568+00:00
843e9b9f-4178-4ec7-8411-5ed7bdea04c4	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:43:56.137477+00:00
e1243228-c0f3-475f-8d66-5778fc28e4e6	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:43:56.030447+00:00
9caae3ac-c2b1-4635-a936-7743c938a4d3	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:43:55.931210+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	5800	########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

5800

########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
8b78e47f-4938-4aa3-a382-eaf3ce0cbf02	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:56.354290+00:00
044bdcd8-08b2-43a7-967b-12f11b7b2916	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:56.248568+00:00
843e9b9f-4178-4ec7-8411-5ed7bdea04c4	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:56.137477+00:00
e1243228-c0f3-475f-8d66-5778fc28e4e6	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:56.030447+00:00
9caae3ac-c2b1-4635-a936-7743c938a4d3	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:55.931210+00:00
c70587b9-a807-4f06-9212-181ed0a2e7f4	python-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:55.822319+00:00
a859c84b-74da-4937-85ce-c8fe6f864b9f	typescript-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:55.709416+00:00
fff86cd4-de84-40a3-95f5-a2b03dc15b06	python-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:55.598384+00:00
ad8f30ba-ae9d-4ed0-b224-b2bc2ae470e3	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:55.480132+00:00
a5159541-060e-40c3-a58f-60037fff5287	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:55.366235+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0039  (coder)