Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 1e012103-64af-46c1-9b35-8df0d071222d | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-08T22:25:50.141756+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
1e012103-64af-46c1-9b35-8df0d071222d	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-08T22:25:50.141756+00:00
b529a619-6a2b-464b-bb6f-c36721fedb59	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-08T22:25:49.963599+00:00
09f28bd8-5dd1-43ca-844c-98b71b93a57f	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-08T22:25:49.666811+00:00
d2cb8905-57e1-4a0a-bb8b-c61ab41997f4	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-08T22:25:49.423454+00:00
58703176-8d13-4ada-8251-caa782cd4e3a	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-08T22:25:49.116879+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1395	###################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1395

###################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
1e012103-64af-46c1-9b35-8df0d071222d	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:25:50.141756+00:00
b529a619-6a2b-464b-bb6f-c36721fedb59	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:25:49.963599+00:00
09f28bd8-5dd1-43ca-844c-98b71b93a57f	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:25:49.666811+00:00
d2cb8905-57e1-4a0a-bb8b-c61ab41997f4	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:25:49.423454+00:00
58703176-8d13-4ada-8251-caa782cd4e3a	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:25:49.116879+00:00
b86f29a8-d159-4dfa-81cc-59b288cde6a5	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:25:48.872538+00:00
c9ba7ae8-a3b2-4357-a3c9-e7f3633a3ec2	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:25:48.620181+00:00
019d9c0e-45fd-4f49-a0bc-d4dea943b0cd	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:25:48.435353+00:00
eaf8643e-0b94-4454-a72d-6e0612431d31	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:25:48.133534+00:00
cffa5b07-c7f6-4a5a-a9a5-72fa31e0b1b3	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:25:47.955151+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0045  (coder)