Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 9124318e-faa3-4e6f-933b-7eda03bdf5e1 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T09:40:58.049239+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
9124318e-faa3-4e6f-933b-7eda03bdf5e1	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T09:40:58.049239+00:00
51e42fd8-6754-46a1-b04f-5296a83a39db	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T09:40:57.959642+00:00
7150ec59-3549-42c5-bc1e-44053e772350	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T09:40:57.898477+00:00
0988425a-3c3f-4211-8015-1b101ea91f4b	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T09:40:57.847955+00:00
11d0f5bb-d84b-4945-b018-493684c93d8c	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T09:40:57.765125+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1771	###########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1771

###########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
9124318e-faa3-4e6f-933b-7eda03bdf5e1	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T09:40:58.049239+00:00
51e42fd8-6754-46a1-b04f-5296a83a39db	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T09:40:57.959642+00:00
7150ec59-3549-42c5-bc1e-44053e772350	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T09:40:57.898477+00:00
0988425a-3c3f-4211-8015-1b101ea91f4b	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T09:40:57.847955+00:00
11d0f5bb-d84b-4945-b018-493684c93d8c	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T09:40:57.765125+00:00
c39fc90e-d0a8-4a50-80b1-459243bc1fa6	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T09:40:57.670936+00:00
435c11f5-2e90-4d5f-84dd-bd10eb033b91	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T09:40:57.606066+00:00
68391feb-c545-4013-8d3d-bf63573a0c7d	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T09:40:57.537916+00:00
6637a603-3e03-4cc0-8004-7fde67a1c8fa	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T09:40:57.474723+00:00
6d65c803-de48-4446-b822-845ecea2b9e1	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T09:40:57.396463+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0042  (coder)