Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 90407aba-6b01-4b4d-bf94-7bb58e635059 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-04-28T00:09:17.946900+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
90407aba-6b01-4b4d-bf94-7bb58e635059	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:09:17.946900+00:00
78b42711-c186-4652-91b9-03a1e28efee2	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:09:17.860692+00:00
4bae9d5d-8b91-46f6-8823-ac975f12ab8f	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:09:17.766524+00:00
4f6f989d-815d-4b65-aed5-b898d1bf8959	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:09:17.667193+00:00
cf1e9820-b567-4878-ad87-5b70ca0c2c93	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:09:17.566928+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	799	###############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

799

###############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
90407aba-6b01-4b4d-bf94-7bb58e635059	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:17.946900+00:00
78b42711-c186-4652-91b9-03a1e28efee2	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:17.860692+00:00
4bae9d5d-8b91-46f6-8823-ac975f12ab8f	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:17.766524+00:00
4f6f989d-815d-4b65-aed5-b898d1bf8959	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:17.667193+00:00
cf1e9820-b567-4878-ad87-5b70ca0c2c93	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:17.566928+00:00
9acaced2-eb39-4f51-b9d9-f810bfaf80e7	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:17.488836+00:00
505a8fec-4468-48c9-8cc2-c49e886df414	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:17.412933+00:00
bcd34ad9-d3e2-450b-9e08-e3b3cafd4b96	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:17.315459+00:00
38605ee4-39a0-4fdf-acef-6788480f9dc8	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:17.224946+00:00
59d43363-8efe-4f16-8099-09523bff17ff	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:17.131510+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0049  (coder)