Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 159889d4-f307-47f3-b921-1f58089201da | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T19:43:29.773845+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
159889d4-f307-47f3-b921-1f58089201da	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:43:29.773845+00:00
f9d90fe9-04d4-451a-acc3-40dd950873d7	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:43:29.694429+00:00
ada565db-c3fa-4b5a-872d-ea0809b08ec9	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:43:29.615149+00:00
95cc2c06-f05e-4a17-b8a0-d3d0e9811346	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:43:29.551400+00:00
57e3efd1-89a2-4bb2-80c5-b4a17bc3aad5	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:43:29.473910+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	3008	################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

3008

################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
159889d4-f307-47f3-b921-1f58089201da	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:29.773845+00:00
f9d90fe9-04d4-451a-acc3-40dd950873d7	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:29.694429+00:00
ada565db-c3fa-4b5a-872d-ea0809b08ec9	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:29.615149+00:00
95cc2c06-f05e-4a17-b8a0-d3d0e9811346	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:29.551400+00:00
57e3efd1-89a2-4bb2-80c5-b4a17bc3aad5	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:29.473910+00:00
39b0888f-cb90-420b-9d4d-61b65ba2d8d5	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:29.392334+00:00
a1008a40-debd-499f-bb34-c4ce066c63af	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:29.329137+00:00
46a44ef5-9b6c-4286-bcb4-bfbc6adec03b	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:29.265290+00:00
1ceff0c0-9f05-4cfb-b992-2c4b3ce3fe22	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:29.185834+00:00
188cb1b9-b091-429c-93ef-f49fb8f49315	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:29.123470+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0037  (coder)