Eval Report: ci-post-merge

Profile: gdm-swebench-lite-v1 | Tasks: 50 | Pass rate: 100.0% | Cost: $0.0500

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010
typescript-recovery-easy-001	easy	0.740	✓	$0.0010
python-dependency-easy-001	easy	0.740	✓	$0.0010
typescript-dependency-easy-001	easy	0.740	✓	$0.0010
python-explain-easy-001	easy	0.740	✓	$0.0010
typescript-explain-easy-001	easy	0.740	✓	$0.0010
python-security-fix-medium-001	medium	0.740	✓	$0.0010
shell-security-fix-medium-001	medium	0.740	✓	$0.0010
python-bugfix-medium-001	medium	0.740	✓	$0.0010
shell-bugfix-medium-001	medium	0.740	✓	$0.0010
python-performance-medium-001	medium	0.740	✓	$0.0010
shell-performance-medium-001	medium	0.740	✓	$0.0010
python-test-writing-medium-001	medium	0.740	✓	$0.0010
shell-test-writing-medium-001	medium	0.740	✓	$0.0010
python-multi-file-medium-001	medium	0.740	✓	$0.0010
shell-multi-file-medium-001	medium	0.740	✓	$0.0010
python-refactor-medium-001	medium	0.740	✓	$0.0010
shell-refactor-medium-001	medium	0.740	✓	$0.0010
python-config-medium-001	medium	0.740	✓	$0.0010
shell-config-medium-001	medium	0.740	✓	$0.0010
python-recovery-medium-001	medium	0.740	✓	$0.0010
shell-recovery-medium-001	medium	0.740	✓	$0.0010
python-dependency-medium-001	medium	0.740	✓	$0.0010
shell-dependency-medium-001	medium	0.740	✓	$0.0010
python-explain-medium-001	medium	0.740	✓	$0.0010
shell-explain-medium-001	medium	0.740	✓	$0.0010
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 737e4042-3ff7-44da-a14b-b96246051b76 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T20:07:24.570398+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
737e4042-3ff7-44da-a14b-b96246051b76	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:07:24.570398+00:00
43742cee-5963-45fd-bb28-533094a65917	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:07:24.515653+00:00
c6691c5f-6b5c-4718-9969-eb57ca0da894	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:07:24.443965+00:00
64eced4a-e7c7-4231-b129-1398dab17256	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:07:24.396211+00:00
b5b945d2-d4dd-4dd7-9490-a36a4d4cd7e1	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:07:24.332432+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	6580	####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

6580

####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
737e4042-3ff7-44da-a14b-b96246051b76	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:24.570398+00:00
43742cee-5963-45fd-bb28-533094a65917	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:24.515653+00:00
c6691c5f-6b5c-4718-9969-eb57ca0da894	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:24.443965+00:00
64eced4a-e7c7-4231-b129-1398dab17256	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:24.396211+00:00
b5b945d2-d4dd-4dd7-9490-a36a4d4cd7e1	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:24.332432+00:00
7949b6f8-2ccf-4cfb-aa56-ce3baa4bffab	python-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:24.269138+00:00
ce9c906d-aa4b-4875-b9c2-d02b851484b1	typescript-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:24.205605+00:00
96f520d3-976c-4c95-976c-12e6a4dad732	python-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:24.142034+00:00
db206999-6789-4fce-8554-a25f7b5fc068	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:24.084098+00:00
a5a3f6fb-a88b-493d-b3a4-c9e33f2854c9	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:07:24.014905+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0037  (coder)