Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: d851456e-d153-432e-8ee9-43d98fad3a5b | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T20:24:48.965177+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
d851456e-d153-432e-8ee9-43d98fad3a5b	coder	3a1cb59613c43efee035337a7eb0f518754b79e1	0.740	2026-05-23T20:24:48.965177+00:00
4b0fcf9f-b82a-4a87-bb57-a6468dcb2d74	coder	3a1cb59613c43efee035337a7eb0f518754b79e1	0.740	2026-05-23T20:24:48.906255+00:00
05b33f70-fecd-4cc5-9b9f-39fd9522e512	coder	3a1cb59613c43efee035337a7eb0f518754b79e1	0.740	2026-05-23T20:24:48.822875+00:00
8d2fe4b1-0de7-4232-9ecf-5905819cba73	coder	3a1cb59613c43efee035337a7eb0f518754b79e1	0.740	2026-05-23T20:24:48.759428+00:00
7c6b06fe-72a6-42c4-81f5-201c63bc4276	coder	3a1cb59613c43efee035337a7eb0f518754b79e1	0.740	2026-05-23T20:24:48.695760+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	3211	###########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

3211

###########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
d851456e-d153-432e-8ee9-43d98fad3a5b	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:24:48.965177+00:00
4b0fcf9f-b82a-4a87-bb57-a6468dcb2d74	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:24:48.906255+00:00
05b33f70-fecd-4cc5-9b9f-39fd9522e512	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:24:48.822875+00:00
8d2fe4b1-0de7-4232-9ecf-5905819cba73	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:24:48.759428+00:00
7c6b06fe-72a6-42c4-81f5-201c63bc4276	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:24:48.695760+00:00
a455b916-2a5b-4887-9938-51e944f39d3e	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:24:48.625030+00:00
72bf8319-684b-4a72-b182-6b9720eb21dc	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:24:48.552753+00:00
c4e4bfbd-54d5-4894-a259-f1996587197c	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:24:48.489059+00:00
c27bbde9-7aca-4b25-8827-3f6a2fe53940	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:24:48.425519+00:00
16aa3ea3-305e-4741-95db-ff16ae92aeab	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:24:48.348277+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0036  (coder)