Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 8148a2e7-98bb-49f9-ab64-2b4cf800af57 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T19:40:48.230491+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
8148a2e7-98bb-49f9-ab64-2b4cf800af57	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T19:40:48.230491+00:00
ffbed787-b8ff-4c8b-a9d8-e09ba9132315	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T19:40:48.167469+00:00
d7eab046-24e0-41c1-bdd0-1e390696f534	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T19:40:48.090309+00:00
1f565662-832d-4a3e-990b-7fac9a4e7605	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T19:40:48.010857+00:00
6340c4bc-1bff-4b40-bab7-c010b126c8e3	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T19:40:47.935599+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	2036	####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

2036

####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
8148a2e7-98bb-49f9-ab64-2b4cf800af57	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:48.230491+00:00
ffbed787-b8ff-4c8b-a9d8-e09ba9132315	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:48.167469+00:00
d7eab046-24e0-41c1-bdd0-1e390696f534	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:48.090309+00:00
1f565662-832d-4a3e-990b-7fac9a4e7605	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:48.010857+00:00
6340c4bc-1bff-4b40-bab7-c010b126c8e3	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:47.935599+00:00
4a9da22d-91d4-4e18-bcfd-a67077f1a0b4	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:47.867842+00:00
8b660a0d-5196-4592-8485-0e97599eb790	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:47.786871+00:00
1e96b093-44ba-45a7-b968-65b0e4b55896	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:47.719818+00:00
8c8e6245-960c-4259-8ed5-d1dd85202f81	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:47.625018+00:00
a7ce5927-530c-406c-a094-206f017988e7	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:47.545957+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0041  (coder)