Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: a3e52ee4-db12-424a-9e5b-1605ca8fe06b | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T20:07:13.479490+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
a3e52ee4-db12-424a-9e5b-1605ca8fe06b	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:07:13.479490+00:00
6d5e0fa0-b846-4d50-a0f2-2d6837e95504	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:07:13.416071+00:00
91df6bda-0251-474f-877a-2ba52cb4d08e	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:07:13.354937+00:00
663ff80f-f734-42e3-8730-c8712454741e	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:07:13.294457+00:00
cdcbb5d2-ea43-4fc9-b25c-4bf6ce4570cf	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:07:13.227205+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	3070	##############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

3070

##############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
a3e52ee4-db12-424a-9e5b-1605ca8fe06b	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:13.479490+00:00
6d5e0fa0-b846-4d50-a0f2-2d6837e95504	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:13.416071+00:00
91df6bda-0251-474f-877a-2ba52cb4d08e	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:13.354937+00:00
663ff80f-f734-42e3-8730-c8712454741e	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:13.294457+00:00
cdcbb5d2-ea43-4fc9-b25c-4bf6ce4570cf	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:13.227205+00:00
57de3d16-c699-42ab-a8aa-381fbe677dd3	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:13.161236+00:00
72f91d0f-59c6-444d-ae71-6e32010af55a	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:13.121738+00:00
9afd25ec-c7e9-4f9c-ada4-4771bbb4d66a	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:13.051214+00:00
9308e02f-4896-4a81-9dd3-7c5a356678e5	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:12.987511+00:00
5afed24e-cc0f-4059-9e9c-0a04ee5cddfe	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:12.923894+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0036  (coder)