Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 2a1be2d6-9bce-4cdb-9552-f59cde4a421a | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T03:49:22.635124+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
2a1be2d6-9bce-4cdb-9552-f59cde4a421a	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:49:22.635124+00:00
b143fdbe-8db8-46d7-a6ea-b2c3b21444ea	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:49:22.570216+00:00
a9216130-154c-4de6-be58-83092f94c858	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:49:22.493197+00:00
7079d820-6a7f-4912-ace1-48721917f6ea	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:49:22.441244+00:00
dd406991-35b1-473c-809d-95483caf775d	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:49:22.363293+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1707	###########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1707

###########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
2a1be2d6-9bce-4cdb-9552-f59cde4a421a	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:22.635124+00:00
b143fdbe-8db8-46d7-a6ea-b2c3b21444ea	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:22.570216+00:00
a9216130-154c-4de6-be58-83092f94c858	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:22.493197+00:00
7079d820-6a7f-4912-ace1-48721917f6ea	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:22.441244+00:00
dd406991-35b1-473c-809d-95483caf775d	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:22.363293+00:00
b1592f9d-1b24-451a-af32-905788070335	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:22.303201+00:00
d486b61c-1b42-4beb-8995-7f990e26f483	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:22.222690+00:00
b0f2ecd2-82ea-42d1-a025-eeb53056b348	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:22.116267+00:00
5fa9f6cc-1136-4676-a01d-4283a78cbef8	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:22.048659+00:00
c9ec22cc-7513-4816-8712-7230da569776	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:21.987857+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0043  (coder)