Eval Report: ci-post-merge

Profile: gdm-swebench-lite-v1 | Tasks: 50 | Pass rate: 100.0% | Cost: $0.0500

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010
typescript-recovery-easy-001	easy	0.740	✓	$0.0010
python-dependency-easy-001	easy	0.740	✓	$0.0010
typescript-dependency-easy-001	easy	0.740	✓	$0.0010
python-explain-easy-001	easy	0.740	✓	$0.0010
typescript-explain-easy-001	easy	0.740	✓	$0.0010
python-security-fix-medium-001	medium	0.740	✓	$0.0010
shell-security-fix-medium-001	medium	0.740	✓	$0.0010
python-bugfix-medium-001	medium	0.740	✓	$0.0010
shell-bugfix-medium-001	medium	0.740	✓	$0.0010
python-performance-medium-001	medium	0.740	✓	$0.0010
shell-performance-medium-001	medium	0.740	✓	$0.0010
python-test-writing-medium-001	medium	0.740	✓	$0.0010
shell-test-writing-medium-001	medium	0.740	✓	$0.0010
python-multi-file-medium-001	medium	0.740	✓	$0.0010
shell-multi-file-medium-001	medium	0.740	✓	$0.0010
python-refactor-medium-001	medium	0.740	✓	$0.0010
shell-refactor-medium-001	medium	0.740	✓	$0.0010
python-config-medium-001	medium	0.740	✓	$0.0010
shell-config-medium-001	medium	0.740	✓	$0.0010
python-recovery-medium-001	medium	0.740	✓	$0.0010
shell-recovery-medium-001	medium	0.740	✓	$0.0010
python-dependency-medium-001	medium	0.740	✓	$0.0010
shell-dependency-medium-001	medium	0.740	✓	$0.0010
python-explain-medium-001	medium	0.740	✓	$0.0010
shell-explain-medium-001	medium	0.740	✓	$0.0010
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 009aed5a-692e-4651-81f8-b93da3c38e43 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T18:05:50.217971+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
009aed5a-692e-4651-81f8-b93da3c38e43	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:05:50.217971+00:00
1697aa06-0090-4dc1-a429-2a9633dab2ea	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:05:50.152904+00:00
dda75fd3-c5a6-43d7-8a91-3e8f6f9353e6	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:05:50.093432+00:00
3896da64-54dc-41e0-a6f4-f807e15d7e5a	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:05:50.030415+00:00
5d1de3ea-08a6-4241-97c6-21c1aee5e4c4	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:05:49.972710+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	5450	##########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

5450

##########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
009aed5a-692e-4651-81f8-b93da3c38e43	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:05:50.217971+00:00
1697aa06-0090-4dc1-a429-2a9633dab2ea	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:05:50.152904+00:00
dda75fd3-c5a6-43d7-8a91-3e8f6f9353e6	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:05:50.093432+00:00
3896da64-54dc-41e0-a6f4-f807e15d7e5a	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:05:50.030415+00:00
5d1de3ea-08a6-4241-97c6-21c1aee5e4c4	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:05:49.972710+00:00
2b4584d5-f4ab-4a38-bcea-34054d39aa03	python-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:05:49.898531+00:00
e9ddb86c-3745-4e8d-8c19-e8c323361432	typescript-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:05:49.840382+00:00
816ddda3-03ce-49a4-8f9b-443828e5d1fc	python-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:05:49.700811+00:00
7cec32b6-fad7-43c3-a718-087fc128ec64	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:05:49.635854+00:00
34385998-ce35-4d29-a8f8-c4ab0c109c58	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:05:49.564619+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0039  (coder)