Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 4a15caf8-20b7-4b76-9dc5-b255de65b4d9 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-22T13:56:13.242835+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
4a15caf8-20b7-4b76-9dc5-b255de65b4d9	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-22T13:56:13.242835+00:00
2b6ee215-a611-4830-84f8-b85a24c12bfe	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-22T13:56:13.162499+00:00
c50982cf-979c-4e9e-b932-a0eda07f6b91	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-22T13:56:13.066573+00:00
af963daa-3093-4e3b-948f-537fdec11e6c	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-22T13:56:12.987021+00:00
d85c3119-515f-4dfe-a786-63e0b4349aac	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-22T13:56:12.891269+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	2382	##############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

2382

##############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
4a15caf8-20b7-4b76-9dc5-b255de65b4d9	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:56:13.242835+00:00
2b6ee215-a611-4830-84f8-b85a24c12bfe	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:56:13.162499+00:00
c50982cf-979c-4e9e-b932-a0eda07f6b91	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:56:13.066573+00:00
af963daa-3093-4e3b-948f-537fdec11e6c	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:56:12.987021+00:00
d85c3119-515f-4dfe-a786-63e0b4349aac	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:56:12.891269+00:00
7ff86aaf-38f4-45ed-9f37-1b46dc04d8ef	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:56:12.816909+00:00
e4ce3c1d-7b95-459f-82e2-a2082da60253	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:56:12.730952+00:00
d8c1d591-7ee6-4628-abbd-05caa762a971	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:56:12.641267+00:00
80177d2b-0357-430d-ac2e-da9d79e596bb	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:56:12.545912+00:00
cf397fc9-1860-4788-88e6-bc5bfb796b81	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:56:12.472187+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0039  (coder)