Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 59cb2bc8-343e-4622-a4f1-ded8d3f2bc57 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-07T23:30:06.433779+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
59cb2bc8-343e-4622-a4f1-ded8d3f2bc57	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-07T23:30:06.433779+00:00
acce481d-40f6-4ae4-b4f9-2f763cdf31df	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-07T23:30:06.345818+00:00
d9f63e91-2303-4a32-a630-91203b3a9e58	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-07T23:30:06.237973+00:00
6a3cf8c7-0bd4-41c9-af20-d1c20573d2fb	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-07T23:30:06.157750+00:00
b1850d30-b8e1-4239-84a3-ea1f7eff888b	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-07T23:30:06.062293+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1160	########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1160

########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
59cb2bc8-343e-4622-a4f1-ded8d3f2bc57	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-07T23:30:06.433779+00:00
acce481d-40f6-4ae4-b4f9-2f763cdf31df	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-07T23:30:06.345818+00:00
d9f63e91-2303-4a32-a630-91203b3a9e58	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-07T23:30:06.237973+00:00
6a3cf8c7-0bd4-41c9-af20-d1c20573d2fb	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-07T23:30:06.157750+00:00
b1850d30-b8e1-4239-84a3-ea1f7eff888b	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-07T23:30:06.062293+00:00
43bd1f48-4055-4a35-aeb5-122e49960794	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-07T23:30:05.958961+00:00
b397e199-1ca8-48f2-80ef-f58720410dc1	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-07T23:30:05.854804+00:00
fde45175-48ff-485b-80ae-2996d58efc5c	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-07T23:30:05.764802+00:00
8c419097-bc74-4c02-aeae-f385ce647bdd	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-07T23:30:05.691051+00:00
f8d9e75c-0a38-4187-9790-450469390562	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-07T23:30:05.590267+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0046  (coder)