Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 2 | Pass rate: 100.0% | Cost: $0.0020

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: eb6c5267-2a27-4781-8b23-df9be9bb1df9 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T03:00:52.729342+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
eb6c5267-2a27-4781-8b23-df9be9bb1df9	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:00:52.729342+00:00
b854e9b2-240a-4288-a3af-032de16f3e22	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:00:52.509780+00:00
0383cdc2-f4fd-403a-ad43-853fcb6923d9	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:00:51.101655+00:00
28a70770-75bf-41fc-9b1b-bf614bb6798a	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:00:50.492542+00:00
d10bcc5c-e1ee-4782-8bba-4e4a53f8c7c9	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:00:49.886089+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1662	##############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1662

##############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
eb6c5267-2a27-4781-8b23-df9be9bb1df9	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:52.729342+00:00
b854e9b2-240a-4288-a3af-032de16f3e22	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:52.509780+00:00
0383cdc2-f4fd-403a-ad43-853fcb6923d9	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:51.101655+00:00
28a70770-75bf-41fc-9b1b-bf614bb6798a	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:50.492542+00:00
d10bcc5c-e1ee-4782-8bba-4e4a53f8c7c9	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:49.886089+00:00
bec5e2c2-3845-4093-8eb0-de2751bace55	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:49.626006+00:00
be092d1e-e9d6-4506-bf12-d8e1257568fb	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:49.419322+00:00
6fae71d0-2837-4c62-94a4-4b30df87ca19	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:49.312005+00:00
a2e8f34f-e16b-4f18-97d2-aa72be02846b	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:49.169810+00:00
13911f36-c40c-4191-8e1c-126ba95f8c39	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:48.980401+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0043  (coder)