Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 8fa4e8c0-efd6-46fe-8853-17decf620856 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T19:48:02.575642+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
8fa4e8c0-efd6-46fe-8853-17decf620856	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:48:02.575642+00:00
97e3c1fd-5ce0-432a-83ae-509a91638074	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:48:02.511891+00:00
07ed5aea-8b58-4531-a8ab-41266f3f3eab	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:48:02.438586+00:00
2e028ffc-cd93-4945-b072-19b4d3bd85a1	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:48:02.347379+00:00
0d88e59c-97fa-4849-b6d0-e84df1e54b69	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:48:02.267854+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	3055	###############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

3055

###############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
8fa4e8c0-efd6-46fe-8853-17decf620856	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:48:02.575642+00:00
97e3c1fd-5ce0-432a-83ae-509a91638074	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:48:02.511891+00:00
07ed5aea-8b58-4531-a8ab-41266f3f3eab	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:48:02.438586+00:00
2e028ffc-cd93-4945-b072-19b4d3bd85a1	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:48:02.347379+00:00
0d88e59c-97fa-4849-b6d0-e84df1e54b69	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:48:02.267854+00:00
fc47d1ee-a406-4a62-abba-3eb793ae29eb	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:48:02.186348+00:00
888686fd-d478-4126-ac65-648a7d611cc8	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:48:02.100889+00:00
17e88a62-f399-497e-ae17-54b96cd0434e	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:48:02.021197+00:00
58045c83-0d52-49a5-8391-a93c6fb443b3	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:48:01.941705+00:00
c0796082-1708-4e8a-82fa-85ad0f86237b	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:48:01.862034+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0036  (coder)