Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: ba1c7439-ea05-46b2-b9c2-1eec236370d8 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T20:20:44.499543+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
ba1c7439-ea05-46b2-b9c2-1eec236370d8	coder	3a1cb59613c43efee035337a7eb0f518754b79e1	0.740	2026-05-23T20:20:44.499543+00:00
3ce4184c-9449-4999-a827-fa54249d9c24	coder	3a1cb59613c43efee035337a7eb0f518754b79e1	0.740	2026-05-23T20:20:44.420609+00:00
500f1a39-6017-43df-a674-87e3bc1618d6	coder	3a1cb59613c43efee035337a7eb0f518754b79e1	0.740	2026-05-23T20:20:44.341254+00:00
b4f064b8-348e-44be-98dd-88cec503a296	coder	3a1cb59613c43efee035337a7eb0f518754b79e1	0.740	2026-05-23T20:20:44.263453+00:00
8b58d1c9-17d4-4091-8409-5924b16a2d21	coder	3a1cb59613c43efee035337a7eb0f518754b79e1	0.740	2026-05-23T20:20:44.192092+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	3196	############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

3196

############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
ba1c7439-ea05-46b2-b9c2-1eec236370d8	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:44.499543+00:00
3ce4184c-9449-4999-a827-fa54249d9c24	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:44.420609+00:00
500f1a39-6017-43df-a674-87e3bc1618d6	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:44.341254+00:00
b4f064b8-348e-44be-98dd-88cec503a296	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:44.263453+00:00
8b58d1c9-17d4-4091-8409-5924b16a2d21	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:44.192092+00:00
a6178f9c-c2e9-4d4f-bcb4-09f1c3c63b78	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:44.127561+00:00
8e1340b5-aea5-4c51-b3cb-618c7018ed6f	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:44.055409+00:00
4f5cf139-bd01-4ac2-a138-b2a5d91d3e8e	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:43.995896+00:00
29cb7bb3-b45b-4324-a552-01d8411b89fe	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:43.928507+00:00
b34494b6-22d1-4e0a-84ae-f8ef7db6807b	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:43.864918+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0036  (coder)