Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: ee107e23-ed8b-4c5f-8634-2a9c46bdfa65 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T18:43:40.741754+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
ee107e23-ed8b-4c5f-8634-2a9c46bdfa65	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:43:40.741754+00:00
110e83da-3e70-49d8-b73a-790a8c209a7b	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:43:40.606682+00:00
9bdbf561-e0c0-4943-9e09-cbbccba975ca	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:43:40.511767+00:00
bcb51b61-abb7-4642-b3b9-97252838c4a9	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:43:40.385370+00:00
561a2898-6b83-43e5-945c-e447834e066b	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T18:43:40.289725+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	2711	#######################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

2711

#######################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
ee107e23-ed8b-4c5f-8634-2a9c46bdfa65	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:40.741754+00:00
110e83da-3e70-49d8-b73a-790a8c209a7b	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:40.606682+00:00
9bdbf561-e0c0-4943-9e09-cbbccba975ca	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:40.511767+00:00
bcb51b61-abb7-4642-b3b9-97252838c4a9	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:40.385370+00:00
561a2898-6b83-43e5-945c-e447834e066b	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:40.289725+00:00
30e915d5-e844-4812-a125-d2a72f69a04e	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:40.178293+00:00
7557318d-4de5-4f30-81b6-05375e532761	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:40.067526+00:00
ca00a978-aec8-4a37-b908-920dc9f37917	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:39.957379+00:00
3234002b-bddd-42de-b633-4e6e1ad06b97	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:39.850571+00:00
b6049791-4ebe-43a0-a7f2-facebf2b98b3	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T18:43:39.735832+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0038  (coder)