Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 0383cdc2-f4fd-403a-ad43-853fcb6923d9 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T03:00:51.101655+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
0383cdc2-f4fd-403a-ad43-853fcb6923d9	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:00:51.101655+00:00
28a70770-75bf-41fc-9b1b-bf614bb6798a	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:00:50.492542+00:00
d10bcc5c-e1ee-4782-8bba-4e4a53f8c7c9	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:00:49.886089+00:00
bec5e2c2-3845-4093-8eb0-de2751bace55	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:00:49.626006+00:00
be092d1e-e9d6-4506-bf12-d8e1257568fb	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:00:49.419322+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1660	############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1660

############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
0383cdc2-f4fd-403a-ad43-853fcb6923d9	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:51.101655+00:00
28a70770-75bf-41fc-9b1b-bf614bb6798a	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:50.492542+00:00
d10bcc5c-e1ee-4782-8bba-4e4a53f8c7c9	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:49.886089+00:00
bec5e2c2-3845-4093-8eb0-de2751bace55	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:49.626006+00:00
be092d1e-e9d6-4506-bf12-d8e1257568fb	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:49.419322+00:00
6fae71d0-2837-4c62-94a4-4b30df87ca19	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:49.312005+00:00
a2e8f34f-e16b-4f18-97d2-aa72be02846b	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:49.169810+00:00
13911f36-c40c-4191-8e1c-126ba95f8c39	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:48.980401+00:00
d047f768-e826-474f-bac0-254132ea5cb4	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:48.767465+00:00
d5bb07d3-a11e-4fc4-a5e1-83ba23567020	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:00:48.639152+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0043  (coder)