Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 2 | Pass rate: 100.0% | Cost: $0.0020

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 3b92e5bb-f104-4f7c-9235-9d5896c005c4 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T19:40:50.520627+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
3b92e5bb-f104-4f7c-9235-9d5896c005c4	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T19:40:50.520627+00:00
8d97716b-e020-4903-a507-45475de6a80d	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T19:40:50.435592+00:00
8148a2e7-98bb-49f9-ab64-2b4cf800af57	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T19:40:48.230491+00:00
ffbed787-b8ff-4c8b-a9d8-e09ba9132315	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T19:40:48.167469+00:00
d7eab046-24e0-41c1-bdd0-1e390696f534	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T19:40:48.090309+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	2038	######################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

2038

######################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
3b92e5bb-f104-4f7c-9235-9d5896c005c4	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:50.520627+00:00
8d97716b-e020-4903-a507-45475de6a80d	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:50.435592+00:00
8148a2e7-98bb-49f9-ab64-2b4cf800af57	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:48.230491+00:00
ffbed787-b8ff-4c8b-a9d8-e09ba9132315	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:48.167469+00:00
d7eab046-24e0-41c1-bdd0-1e390696f534	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:48.090309+00:00
1f565662-832d-4a3e-990b-7fac9a4e7605	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:48.010857+00:00
6340c4bc-1bff-4b40-bab7-c010b126c8e3	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:47.935599+00:00
4a9da22d-91d4-4e18-bcfd-a67077f1a0b4	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:47.867842+00:00
8b660a0d-5196-4592-8485-0e97599eb790	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:47.786871+00:00
1e96b093-44ba-45a7-b968-65b0e4b55896	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T19:40:47.719818+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0041  (coder)