Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 5210beb9-031f-4549-a911-e029b509ba8a | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T03:49:24.562190+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
5210beb9-031f-4549-a911-e029b509ba8a	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:49:24.562190+00:00
07920511-1ef9-407f-8fe5-43ecd12c52ce	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:49:24.504629+00:00
36b327d2-9aad-4bfa-8db1-2f12297f6f3d	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:49:24.436108+00:00
475e488c-1507-43c7-b8f5-878efbbd2fa3	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:49:24.376095+00:00
0231cbe3-1070-4514-b12e-eab6cb31c5b9	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T03:49:24.313875+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1724	############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1724

############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
5210beb9-031f-4549-a911-e029b509ba8a	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:24.562190+00:00
07920511-1ef9-407f-8fe5-43ecd12c52ce	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:24.504629+00:00
36b327d2-9aad-4bfa-8db1-2f12297f6f3d	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:24.436108+00:00
475e488c-1507-43c7-b8f5-878efbbd2fa3	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:24.376095+00:00
0231cbe3-1070-4514-b12e-eab6cb31c5b9	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:24.313875+00:00
02d780d3-189a-48ec-a301-a2c8ccf1a3e4	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:24.254302+00:00
31cc3487-6b0e-4cbf-9f95-48475d1150d5	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:24.185770+00:00
52c7652d-157d-481e-9c6a-17b48797dc9b	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:24.118863+00:00
beb21a9e-4fe3-4eb6-b46e-6c4ba08b8d1b	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:24.043147+00:00
25ec3067-6780-46aa-9368-0f6064144ff7	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T03:49:23.972192+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0043  (coder)