Eval Report: ci-post-merge

Profile: gdm-swebench-lite-v1 | Tasks: 50 | Pass rate: 100.0% | Cost: $0.0500

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010
typescript-recovery-easy-001	easy	0.740	✓	$0.0010
python-dependency-easy-001	easy	0.740	✓	$0.0010
typescript-dependency-easy-001	easy	0.740	✓	$0.0010
python-explain-easy-001	easy	0.740	✓	$0.0010
typescript-explain-easy-001	easy	0.740	✓	$0.0010
python-security-fix-medium-001	medium	0.740	✓	$0.0010
shell-security-fix-medium-001	medium	0.740	✓	$0.0010
python-bugfix-medium-001	medium	0.740	✓	$0.0010
shell-bugfix-medium-001	medium	0.740	✓	$0.0010
python-performance-medium-001	medium	0.740	✓	$0.0010
shell-performance-medium-001	medium	0.740	✓	$0.0010
python-test-writing-medium-001	medium	0.740	✓	$0.0010
shell-test-writing-medium-001	medium	0.740	✓	$0.0010
python-multi-file-medium-001	medium	0.740	✓	$0.0010
shell-multi-file-medium-001	medium	0.740	✓	$0.0010
python-refactor-medium-001	medium	0.740	✓	$0.0010
shell-refactor-medium-001	medium	0.740	✓	$0.0010
python-config-medium-001	medium	0.740	✓	$0.0010
shell-config-medium-001	medium	0.740	✓	$0.0010
python-recovery-medium-001	medium	0.740	✓	$0.0010
shell-recovery-medium-001	medium	0.740	✓	$0.0010
python-dependency-medium-001	medium	0.740	✓	$0.0010
shell-dependency-medium-001	medium	0.740	✓	$0.0010
python-explain-medium-001	medium	0.740	✓	$0.0010
shell-explain-medium-001	medium	0.740	✓	$0.0010
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 6b5b58ac-0c9d-45a8-8175-a51e23472786 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-04-28T00:24:12.290052+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
6b5b58ac-0c9d-45a8-8175-a51e23472786	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:24:12.290052+00:00
14764802-f548-4097-ba6d-46871800149c	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:24:12.216047+00:00
81598532-0533-4969-89e2-80b3ddc3fa08	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:24:12.155773+00:00
9dd299b8-52b3-459c-bade-cc19df495141	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:24:12.075528+00:00
ca99e117-6f49-4f7d-b22d-1cf09d7d0cb5	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:24:11.999998+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	2000	################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

2000

################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
6b5b58ac-0c9d-45a8-8175-a51e23472786	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:24:12.290052+00:00
14764802-f548-4097-ba6d-46871800149c	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:24:12.216047+00:00
81598532-0533-4969-89e2-80b3ddc3fa08	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:24:12.155773+00:00
9dd299b8-52b3-459c-bade-cc19df495141	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:24:12.075528+00:00
ca99e117-6f49-4f7d-b22d-1cf09d7d0cb5	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:24:11.999998+00:00
c6ae9c7d-f2b7-42fc-9703-24bff7c129b7	python-performance-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:24:11.916211+00:00
47ab8978-5515-4520-a760-778415abed42	typescript-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:24:11.803070+00:00
f793d74a-e4f7-4d65-95f2-6f76344f12f4	python-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:24:11.730741+00:00
063d86a3-1d68-4179-807c-b38dee5ca337	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:24:11.656548+00:00
c75f2df8-f179-4699-8049-ab034eae5e7e	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:24:11.579722+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0049  (coder)