Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 73384625-5ee5-466b-84a5-b0e995564b87 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T00:28:13.820094+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
73384625-5ee5-466b-84a5-b0e995564b87	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T00:28:13.820094+00:00
f6af07cc-5d9f-4f35-872c-705fd7aa9f94	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T00:28:13.736695+00:00
8a5326fa-f1b5-4474-9100-a315800e6b15	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T00:28:13.663447+00:00
cbac5fb0-fd13-4984-aac5-c63373fb749f	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T00:28:13.586857+00:00
1b3f3cf6-1a95-4406-9edd-5a23e23c5ac5	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T00:28:13.526453+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1472	################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1472

################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
73384625-5ee5-466b-84a5-b0e995564b87	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.820094+00:00
f6af07cc-5d9f-4f35-872c-705fd7aa9f94	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.736695+00:00
8a5326fa-f1b5-4474-9100-a315800e6b15	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.663447+00:00
cbac5fb0-fd13-4984-aac5-c63373fb749f	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.586857+00:00
1b3f3cf6-1a95-4406-9edd-5a23e23c5ac5	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.526453+00:00
ce3afde5-a915-4cd2-8b09-93c3b530123b	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.433614+00:00
26826415-5269-448e-8427-0296606383bd	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.355894+00:00
e2f56fdd-3792-49af-bf1c-6f17dac87aaa	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.259531+00:00
28a0691c-76a5-4542-b4d4-4733e39d658e	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.172771+00:00
f6a5677c-7395-4a50-8357-53a35a7773e4	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.061050+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0044  (coder)