Eval Report: ci-post-merge

Profile: gdm-swebench-lite-v1 | Tasks: 50 | Pass rate: 100.0% | Cost: $0.0500

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010
typescript-recovery-easy-001	easy	0.740	✓	$0.0010
python-dependency-easy-001	easy	0.740	✓	$0.0010
typescript-dependency-easy-001	easy	0.740	✓	$0.0010
python-explain-easy-001	easy	0.740	✓	$0.0010
typescript-explain-easy-001	easy	0.740	✓	$0.0010
python-security-fix-medium-001	medium	0.740	✓	$0.0010
shell-security-fix-medium-001	medium	0.740	✓	$0.0010
python-bugfix-medium-001	medium	0.740	✓	$0.0010
shell-bugfix-medium-001	medium	0.740	✓	$0.0010
python-performance-medium-001	medium	0.740	✓	$0.0010
shell-performance-medium-001	medium	0.740	✓	$0.0010
python-test-writing-medium-001	medium	0.740	✓	$0.0010
shell-test-writing-medium-001	medium	0.740	✓	$0.0010
python-multi-file-medium-001	medium	0.740	✓	$0.0010
shell-multi-file-medium-001	medium	0.740	✓	$0.0010
python-refactor-medium-001	medium	0.740	✓	$0.0010
shell-refactor-medium-001	medium	0.740	✓	$0.0010
python-config-medium-001	medium	0.740	✓	$0.0010
shell-config-medium-001	medium	0.740	✓	$0.0010
python-recovery-medium-001	medium	0.740	✓	$0.0010
shell-recovery-medium-001	medium	0.740	✓	$0.0010
python-dependency-medium-001	medium	0.740	✓	$0.0010
shell-dependency-medium-001	medium	0.740	✓	$0.0010
python-explain-medium-001	medium	0.740	✓	$0.0010
shell-explain-medium-001	medium	0.740	✓	$0.0010
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 0b3419f6-eb81-4109-9bef-71b9b958db21 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-04-27T17:12:28.127831+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
0b3419f6-eb81-4109-9bef-71b9b958db21	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:12:28.127831+00:00
7237b3db-2355-4df5-9f1b-355a5784f152	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:12:28.039648+00:00
31534dca-331a-4210-9550-da1d077a9ddb	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:12:27.970423+00:00
73a97f70-053c-4b58-9fdb-b70779d845c8	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:12:27.826248+00:00
86a542fb-9dc7-4fcc-864f-7be72bc152a0	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:12:27.694915+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1350	######################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1350

######################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
0b3419f6-eb81-4109-9bef-71b9b958db21	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:28.127831+00:00
7237b3db-2355-4df5-9f1b-355a5784f152	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:28.039648+00:00
31534dca-331a-4210-9550-da1d077a9ddb	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:27.970423+00:00
73a97f70-053c-4b58-9fdb-b70779d845c8	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:27.826248+00:00
86a542fb-9dc7-4fcc-864f-7be72bc152a0	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:27.694915+00:00
929d54ea-d3e9-467c-bed4-e00303cd90e8	python-performance-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:27.588051+00:00
15163e20-1c10-4f54-be0b-2dede0f2ccda	typescript-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:27.507388+00:00
3bb9d4b8-4913-4177-af72-236a53445c69	python-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:27.423392+00:00
06fdd753-e423-416c-9b19-e291c61f5c2d	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:27.331835+00:00
37361402-1889-4880-84ca-eef2d00ce47e	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:27.236229+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0052  (coder)