Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 3eda38d1-e39c-49fe-b770-d63002697637 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T18:56:28.283692+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
3eda38d1-e39c-49fe-b770-d63002697637	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:56:28.283692+00:00
ad0db980-8a63-4901-ac7e-220b6440defd	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:56:28.198352+00:00
99c89d63-4eda-4c1e-813b-b5cb8af9c880	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:56:28.124802+00:00
f72d2cbb-542b-4bd8-a3e8-3711c8187459	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:56:28.045356+00:00
2597890c-9d0b-48c9-b32f-3aa801ec7b3e	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:56:27.981710+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	2852	####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

2852

####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
3eda38d1-e39c-49fe-b770-d63002697637	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:56:28.283692+00:00
ad0db980-8a63-4901-ac7e-220b6440defd	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:56:28.198352+00:00
99c89d63-4eda-4c1e-813b-b5cb8af9c880	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:56:28.124802+00:00
f72d2cbb-542b-4bd8-a3e8-3711c8187459	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:56:28.045356+00:00
2597890c-9d0b-48c9-b32f-3aa801ec7b3e	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:56:27.981710+00:00
aef52a82-3c41-4f9c-be2f-1bfe6e6b6024	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:56:27.902417+00:00
fc1231fd-b465-438f-8a85-2575c11495c5	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:56:27.838853+00:00
b8afe885-e779-493c-ac96-a9c9a15a0504	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:56:27.758907+00:00
0448c80e-4f02-44d2-a9fa-0af2a56d6cc1	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:56:27.695362+00:00
f98bc1b7-ba89-4049-a859-d5b2ce77e64d	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:56:27.631802+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0037  (coder)