Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 4dcde36a-c86f-446b-9933-349a82662aa4 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-10T00:42:16.677939+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
4dcde36a-c86f-446b-9933-349a82662aa4	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-10T00:42:16.677939+00:00
45e56ce1-48e4-4a2e-8d28-14e1485827c7	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-10T00:42:16.637292+00:00
b71ed419-0b0e-4045-8af4-638c6cfb90e5	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-10T00:42:16.598344+00:00
59b61110-6967-4b62-9c30-ae2ad643c9c4	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-10T00:42:16.549017+00:00
e85d16fb-d666-44db-b246-89b9d1f967c2	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-10T00:42:16.481090+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	2115	###################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

2115

###################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
4dcde36a-c86f-446b-9933-349a82662aa4	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:16.677939+00:00
45e56ce1-48e4-4a2e-8d28-14e1485827c7	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:16.637292+00:00
b71ed419-0b0e-4045-8af4-638c6cfb90e5	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:16.598344+00:00
59b61110-6967-4b62-9c30-ae2ad643c9c4	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:16.549017+00:00
e85d16fb-d666-44db-b246-89b9d1f967c2	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:16.481090+00:00
2db05a18-4afd-4cd2-8601-d959aa12276e	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:16.418142+00:00
b203738a-e948-40f8-8041-2089b8635446	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:16.360526+00:00
00dd44d6-3f45-44d5-9da2-cbad82d968fd	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:16.306900+00:00
8677a95c-5477-4640-9048-415c59af5664	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:16.266244+00:00
ed053b38-5737-4bdd-aebb-346318f47835	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:16.232506+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0041  (coder)