Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: e270dca8-bdb5-43a1-9428-564ec15a5778 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T14:36:52.684660+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
e270dca8-bdb5-43a1-9428-564ec15a5778	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T14:36:52.684660+00:00
81fab778-b7ba-400d-9c8c-d6eaf48ffd5a	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T14:36:52.567618+00:00
e41cdf18-7f54-495c-bb5c-0d8fc07b7b41	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T14:36:52.440812+00:00
cfa4e083-4691-43b5-9b3e-71b9410fdafe	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T14:36:52.290495+00:00
5af957d2-15e6-42ed-8718-746502f461c3	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T14:36:52.071571+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1959	#######################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1959

#######################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
e270dca8-bdb5-43a1-9428-564ec15a5778	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:36:52.684660+00:00
81fab778-b7ba-400d-9c8c-d6eaf48ffd5a	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:36:52.567618+00:00
e41cdf18-7f54-495c-bb5c-0d8fc07b7b41	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:36:52.440812+00:00
cfa4e083-4691-43b5-9b3e-71b9410fdafe	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:36:52.290495+00:00
5af957d2-15e6-42ed-8718-746502f461c3	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:36:52.071571+00:00
1c960b7c-4296-4f65-a47d-9fad63718b5c	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:36:51.922743+00:00
fc9e336e-c81c-47c8-ac54-cab2a2f61435	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:36:51.796000+00:00
84502f7e-1278-4771-a720-059740b5ada5	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:36:51.661353+00:00
14b28088-5fbc-4f09-8152-08c620e1c1e2	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:36:51.535235+00:00
d35096a5-0bf3-4319-a0fa-2d05f71056db	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T14:36:51.410524+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0041  (coder)