Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 812d450e-cb7d-4695-87ed-81eddda6a8a1 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T20:13:41.312133+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
812d450e-cb7d-4695-87ed-81eddda6a8a1	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:13:41.312133+00:00
c6059f70-c01f-4e11-baa8-c7608e0685e2	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:13:41.248801+00:00
c267024a-fe6b-42f4-8d5b-326ea545044d	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:13:41.181913+00:00
feeeede8-27d6-4e7e-9059-3a73979f6666	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:13:41.111336+00:00
de7e0f3c-626d-444d-9087-1c7598406c37	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:13:41.043085+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	3149	#############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

3149

#############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
812d450e-cb7d-4695-87ed-81eddda6a8a1	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:41.312133+00:00
c6059f70-c01f-4e11-baa8-c7608e0685e2	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:41.248801+00:00
c267024a-fe6b-42f4-8d5b-326ea545044d	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:41.181913+00:00
feeeede8-27d6-4e7e-9059-3a73979f6666	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:41.111336+00:00
de7e0f3c-626d-444d-9087-1c7598406c37	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:41.043085+00:00
dc293b0a-eeda-48db-ad99-a1ea362ef7a8	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:40.979788+00:00
ca2bcdea-681f-423c-8808-122c54d49d33	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:40.916206+00:00
ec259352-0808-49a7-827f-37e37aea11a7	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:40.852873+00:00
cdf9a4ce-feff-40dd-b925-5c8200c6d853	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:40.772827+00:00
f7828ca9-940c-432a-b95e-2bd096c46b93	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:40.709171+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0036  (coder)