Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 2 | Pass rate: 100.0% | Cost: $0.0020

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 8244bb52-df53-454c-82d1-a83b6ee692ac | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T02:18:54.351983+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
8244bb52-df53-454c-82d1-a83b6ee692ac	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T02:18:54.351983+00:00
eef1ef74-99f1-404d-bf36-d0ef95e107ee	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T02:18:54.248886+00:00
7262a208-f266-4217-b0e3-2003215df7e8	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T02:18:53.631506+00:00
b66b4294-3be0-49e1-9bfc-7e28d6615ad1	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T02:18:53.556610+00:00
9d1ed858-e5d9-4485-a6ea-50a856d776b1	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T02:18:53.428813+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1568	################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1568

################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
8244bb52-df53-454c-82d1-a83b6ee692ac	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:54.351983+00:00
eef1ef74-99f1-404d-bf36-d0ef95e107ee	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:54.248886+00:00
7262a208-f266-4217-b0e3-2003215df7e8	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:53.631506+00:00
b66b4294-3be0-49e1-9bfc-7e28d6615ad1	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:53.556610+00:00
9d1ed858-e5d9-4485-a6ea-50a856d776b1	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:53.428813+00:00
b1cd378c-1a45-406e-9487-ba6a05efc836	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:53.307766+00:00
f49c1301-357d-4f2e-a9ae-495d078b8848	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:53.191402+00:00
9be77511-49ca-4be8-915c-aacf2affa4b2	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:53.112539+00:00
d0714200-bb21-47d1-b1c2-c1590fc87971	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:53.041075+00:00
8d2492ac-b695-401b-b01d-c45618e338fa	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T02:18:52.898950+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0044  (coder)