Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 2 | Pass rate: 100.0% | Cost: $0.0020

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: d208d1c7-0405-4064-a980-452904011611 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T00:28:14.135462+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
d208d1c7-0405-4064-a980-452904011611	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T00:28:14.135462+00:00
3e0c1d6e-cf0c-4faf-b63b-71461cb276c2	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T00:28:14.053113+00:00
73384625-5ee5-466b-84a5-b0e995564b87	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T00:28:13.820094+00:00
f6af07cc-5d9f-4f35-872c-705fd7aa9f94	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T00:28:13.736695+00:00
8a5326fa-f1b5-4474-9100-a315800e6b15	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T00:28:13.663447+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1474	##################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1474

##################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
d208d1c7-0405-4064-a980-452904011611	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:14.135462+00:00
3e0c1d6e-cf0c-4faf-b63b-71461cb276c2	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:14.053113+00:00
73384625-5ee5-466b-84a5-b0e995564b87	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.820094+00:00
f6af07cc-5d9f-4f35-872c-705fd7aa9f94	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.736695+00:00
8a5326fa-f1b5-4474-9100-a315800e6b15	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.663447+00:00
cbac5fb0-fd13-4984-aac5-c63373fb749f	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.586857+00:00
1b3f3cf6-1a95-4406-9edd-5a23e23c5ac5	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.526453+00:00
ce3afde5-a915-4cd2-8b09-93c3b530123b	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.433614+00:00
26826415-5269-448e-8427-0296606383bd	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.355894+00:00
e2f56fdd-3792-49af-bf1c-6f17dac87aaa	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T00:28:13.259531+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0044  (coder)