Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: d9130911-8dde-4f5a-87b1-2b446b77344e | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T19:10:17.291476+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
d9130911-8dde-4f5a-87b1-2b446b77344e	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:10:17.291476+00:00
a97934df-c177-4370-af9b-60aea2d7f397	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:10:17.211827+00:00
658c57d6-1e1c-4199-8f2c-52cecd529f92	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:10:17.133850+00:00
4ea232d8-5fea-4b40-9d4d-2ff55e8d253a	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:10:17.052578+00:00
948ec968-eca7-4ab0-ba22-4eb4793eba6c	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:10:16.973263+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	2914	##################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

2914

##################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
d9130911-8dde-4f5a-87b1-2b446b77344e	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:10:17.291476+00:00
a97934df-c177-4370-af9b-60aea2d7f397	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:10:17.211827+00:00
658c57d6-1e1c-4199-8f2c-52cecd529f92	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:10:17.133850+00:00
4ea232d8-5fea-4b40-9d4d-2ff55e8d253a	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:10:17.052578+00:00
948ec968-eca7-4ab0-ba22-4eb4793eba6c	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:10:16.973263+00:00
e5287f33-4373-4dd0-bc13-1687a440e943	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:10:16.909827+00:00
e577b444-de8b-43fc-a3ff-38348ec46cbb	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:10:16.829808+00:00
a56cd1bf-ac23-4b39-a5fd-3bbaa4bb49d3	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:10:16.758568+00:00
b9809bf3-4689-4e20-af0a-39d295cdc3de	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:10:16.686600+00:00
4cfe08de-7384-4424-a271-0ee1e68ad42c	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:10:16.619259+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0037  (coder)