Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 2 | Pass rate: 100.0% | Cost: $0.0020

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: f3111466-bced-48b6-af56-126b5b87e879 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-10T00:42:11.953481+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
f3111466-bced-48b6-af56-126b5b87e879	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-10T00:42:11.953481+00:00
3f67a9fa-f913-4f13-8054-acb55972bbf6	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-10T00:42:11.830505+00:00
ea801472-aa3d-4d03-a3b5-dce9aaf2851b	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-10T00:42:11.467467+00:00
c61c2c42-6791-4ad8-9fa7-453bf279c3a6	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-10T00:42:11.421819+00:00
c22dd908-ba35-4f04-b30a-559f2ba78539	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-10T00:42:11.373060+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	2085	#####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

2085

#####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
f3111466-bced-48b6-af56-126b5b87e879	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.953481+00:00
3f67a9fa-f913-4f13-8054-acb55972bbf6	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.830505+00:00
ea801472-aa3d-4d03-a3b5-dce9aaf2851b	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.467467+00:00
c61c2c42-6791-4ad8-9fa7-453bf279c3a6	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.421819+00:00
c22dd908-ba35-4f04-b30a-559f2ba78539	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.373060+00:00
83149168-c176-4050-ba57-a1f5c8afc115	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.325964+00:00
bdee2c15-146a-49a1-9cc5-decc3a075e32	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.282967+00:00
5773109f-4158-4242-8df5-50dd0de94433	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.232568+00:00
0d40f11b-692b-4b71-a7db-904826e9e562	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.186786+00:00
951bb177-0c21-4d68-abef-4aa0edc1e218	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-10T00:42:11.137002+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0041  (coder)