Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: ea801472-aa3d-4d03-a3b5-dce9aaf2851b | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-10T00:42:11.467467+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
ea801472-aa3d-4d03-a3b5-dce9aaf2851b	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-10T00:42:11.467467+00:00
c61c2c42-6791-4ad8-9fa7-453bf279c3a6	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-10T00:42:11.421819+00:00
c22dd908-ba35-4f04-b30a-559f2ba78539	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-10T00:42:11.373060+00:00
83149168-c176-4050-ba57-a1f5c8afc115	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-10T00:42:11.325964+00:00
bdee2c15-146a-49a1-9cc5-decc3a075e32	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-10T00:42:11.282967+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	2083	###################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

2083

###################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
ea801472-aa3d-4d03-a3b5-dce9aaf2851b	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.467467+00:00
c61c2c42-6791-4ad8-9fa7-453bf279c3a6	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.421819+00:00
c22dd908-ba35-4f04-b30a-559f2ba78539	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.373060+00:00
83149168-c176-4050-ba57-a1f5c8afc115	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.325964+00:00
bdee2c15-146a-49a1-9cc5-decc3a075e32	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.282967+00:00
5773109f-4158-4242-8df5-50dd0de94433	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.232568+00:00
0d40f11b-692b-4b71-a7db-904826e9e562	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.186786+00:00
951bb177-0c21-4d68-abef-4aa0edc1e218	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.137002+00:00
56bdfa36-358e-402e-adb9-a1169e24820f	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.081829+00:00
50c0f2f8-401b-413a-a673-afe3d713a289	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.033032+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0041  (coder)