Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 7262a208-f266-4217-b0e3-2003215df7e8 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T02:18:53.631506+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
7262a208-f266-4217-b0e3-2003215df7e8	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T02:18:53.631506+00:00
b66b4294-3be0-49e1-9bfc-7e28d6615ad1	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T02:18:53.556610+00:00
9d1ed858-e5d9-4485-a6ea-50a856d776b1	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T02:18:53.428813+00:00
b1cd378c-1a45-406e-9487-ba6a05efc836	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T02:18:53.307766+00:00
f49c1301-357d-4f2e-a9ae-495d078b8848	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T02:18:53.191402+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1566	##############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1566

##############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
7262a208-f266-4217-b0e3-2003215df7e8	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:53.631506+00:00
b66b4294-3be0-49e1-9bfc-7e28d6615ad1	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:53.556610+00:00
9d1ed858-e5d9-4485-a6ea-50a856d776b1	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:53.428813+00:00
b1cd378c-1a45-406e-9487-ba6a05efc836	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:53.307766+00:00
f49c1301-357d-4f2e-a9ae-495d078b8848	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:53.191402+00:00
9be77511-49ca-4be8-915c-aacf2affa4b2	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:53.112539+00:00
d0714200-bb21-47d1-b1c2-c1590fc87971	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:53.041075+00:00
8d2492ac-b695-401b-b01d-c45618e338fa	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:52.898950+00:00
9d4245f5-22db-4074-8e69-9cb5fe2f91a1	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:52.756830+00:00
dfa4119a-0303-4640-a366-f80c2c760b5f	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:52.666360+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0044  (coder)