Eval Report: ci-post-merge

Profile: gdm-swebench-lite-v1 | Tasks: 50 | Pass rate: 100.0% | Cost: $0.0500

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010
typescript-recovery-easy-001	easy	0.740	✓	$0.0010
python-dependency-easy-001	easy	0.740	✓	$0.0010
typescript-dependency-easy-001	easy	0.740	✓	$0.0010
python-explain-easy-001	easy	0.740	✓	$0.0010
typescript-explain-easy-001	easy	0.740	✓	$0.0010
python-security-fix-medium-001	medium	0.740	✓	$0.0010
shell-security-fix-medium-001	medium	0.740	✓	$0.0010
python-bugfix-medium-001	medium	0.740	✓	$0.0010
shell-bugfix-medium-001	medium	0.740	✓	$0.0010
python-performance-medium-001	medium	0.740	✓	$0.0010
shell-performance-medium-001	medium	0.740	✓	$0.0010
python-test-writing-medium-001	medium	0.740	✓	$0.0010
shell-test-writing-medium-001	medium	0.740	✓	$0.0010
python-multi-file-medium-001	medium	0.740	✓	$0.0010
shell-multi-file-medium-001	medium	0.740	✓	$0.0010
python-refactor-medium-001	medium	0.740	✓	$0.0010
shell-refactor-medium-001	medium	0.740	✓	$0.0010
python-config-medium-001	medium	0.740	✓	$0.0010
shell-config-medium-001	medium	0.740	✓	$0.0010
python-recovery-medium-001	medium	0.740	✓	$0.0010
shell-recovery-medium-001	medium	0.740	✓	$0.0010
python-dependency-medium-001	medium	0.740	✓	$0.0010
shell-dependency-medium-001	medium	0.740	✓	$0.0010
python-explain-medium-001	medium	0.740	✓	$0.0010
shell-explain-medium-001	medium	0.740	✓	$0.0010
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: d2f76014-44d8-4aff-86b0-f6e6cc714f3e | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T20:20:48.706419+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
d2f76014-44d8-4aff-86b0-f6e6cc714f3e	coder	3a1cb59613c43efee035337a7eb0f518754b79e1	0.740	2026-05-23T20:20:48.706419+00:00
f8adec49-9fed-4944-8367-7903a51694bd	coder	3a1cb59613c43efee035337a7eb0f518754b79e1	0.740	2026-05-23T20:20:48.642557+00:00
3b9cda0f-de16-4b32-a227-e96c104d8693	coder	3a1cb59613c43efee035337a7eb0f518754b79e1	0.740	2026-05-23T20:20:48.565526+00:00
1851c300-b1b7-4c88-aebd-328be54edf30	coder	3a1cb59613c43efee035337a7eb0f518754b79e1	0.740	2026-05-23T20:20:48.483659+00:00
49fa17ef-2291-411f-a9bb-b4889183d89d	coder	3a1cb59613c43efee035337a7eb0f518754b79e1	0.740	2026-05-23T20:20:48.413909+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	6780	############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

6780

############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
d2f76014-44d8-4aff-86b0-f6e6cc714f3e	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:48.706419+00:00
f8adec49-9fed-4944-8367-7903a51694bd	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:48.642557+00:00
3b9cda0f-de16-4b32-a227-e96c104d8693	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:48.565526+00:00
1851c300-b1b7-4c88-aebd-328be54edf30	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:48.483659+00:00
49fa17ef-2291-411f-a9bb-b4889183d89d	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:48.413909+00:00
03a0972c-0db0-41af-9e83-513a0ae1e35f	python-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:48.331948+00:00
f0c863b0-39ab-4fef-9218-e0cedb5ea3c0	typescript-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:48.257727+00:00
a6a8d2a5-8bb7-4921-80e2-09556e05d06e	python-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:48.181974+00:00
cf300ec2-556f-4ee8-9df8-f9ddf299d8a7	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:48.118909+00:00
ae6167c5-ab17-412a-af42-766d65e19d28	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:20:48.054316+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0037  (coder)