Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 2010de0c-e928-4793-af6f-86087e5b3457 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T00:28:18.453308+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
2010de0c-e928-4793-af6f-86087e5b3457	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T00:28:18.453308+00:00
2bc9dada-148f-4dde-a6c4-f36123c1b1e2	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T00:28:18.425209+00:00
907255bb-a145-4179-a651-e500939e63f4	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T00:28:18.384096+00:00
174435eb-aa1e-4a37-859c-542c4fe4bf15	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T00:28:18.347289+00:00
84decf05-ced4-45f7-b6f2-efe85b59a5e0	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T00:28:18.303974+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1504	################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1504

################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
2010de0c-e928-4793-af6f-86087e5b3457	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:18.453308+00:00
2bc9dada-148f-4dde-a6c4-f36123c1b1e2	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:18.425209+00:00
907255bb-a145-4179-a651-e500939e63f4	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:18.384096+00:00
174435eb-aa1e-4a37-859c-542c4fe4bf15	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:18.347289+00:00
84decf05-ced4-45f7-b6f2-efe85b59a5e0	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:18.303974+00:00
cf5bb7b4-384e-4cf2-b08e-c83b207b70b1	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:18.257451+00:00
e70e9813-91d9-4a1e-8269-01edef4b523c	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:18.234124+00:00
a5456145-95c7-48f2-9eaa-7ddca3380eae	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:18.172780+00:00
56fb1511-9ad4-463e-a726-567591413925	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:18.139086+00:00
2f519f1b-1033-4536-86f9-d76c101e67f3	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:18.091183+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0044  (coder)