Eval Report: ci-post-merge

Profile: gdm-swebench-lite-v1 | Tasks: 50 | Pass rate: 100.0% | Cost: $0.0500

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010
typescript-recovery-easy-001	easy	0.740	✓	$0.0010
python-dependency-easy-001	easy	0.740	✓	$0.0010
typescript-dependency-easy-001	easy	0.740	✓	$0.0010
python-explain-easy-001	easy	0.740	✓	$0.0010
typescript-explain-easy-001	easy	0.740	✓	$0.0010
python-security-fix-medium-001	medium	0.740	✓	$0.0010
shell-security-fix-medium-001	medium	0.740	✓	$0.0010
python-bugfix-medium-001	medium	0.740	✓	$0.0010
shell-bugfix-medium-001	medium	0.740	✓	$0.0010
python-performance-medium-001	medium	0.740	✓	$0.0010
shell-performance-medium-001	medium	0.740	✓	$0.0010
python-test-writing-medium-001	medium	0.740	✓	$0.0010
shell-test-writing-medium-001	medium	0.740	✓	$0.0010
python-multi-file-medium-001	medium	0.740	✓	$0.0010
shell-multi-file-medium-001	medium	0.740	✓	$0.0010
python-refactor-medium-001	medium	0.740	✓	$0.0010
shell-refactor-medium-001	medium	0.740	✓	$0.0010
python-config-medium-001	medium	0.740	✓	$0.0010
shell-config-medium-001	medium	0.740	✓	$0.0010
python-recovery-medium-001	medium	0.740	✓	$0.0010
shell-recovery-medium-001	medium	0.740	✓	$0.0010
python-dependency-medium-001	medium	0.740	✓	$0.0010
shell-dependency-medium-001	medium	0.740	✓	$0.0010
python-explain-medium-001	medium	0.740	✓	$0.0010
shell-explain-medium-001	medium	0.740	✓	$0.0010
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: b593b299-4018-49b7-8a76-4bd4babea890 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-08T22:26:01.560419+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
b593b299-4018-49b7-8a76-4bd4babea890	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-08T22:26:01.560419+00:00
c953790d-40c6-4496-8a04-299f27a05732	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-08T22:26:01.401445+00:00
f32e8942-0e47-43f1-a45a-8e8fe4d42a6e	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-08T22:26:01.244880+00:00
0e43d946-7aa4-46de-8e51-3aa4984870f8	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-08T22:26:01.100325+00:00
9b0e66be-f658-42d8-aaa6-f564f3345ced	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-08T22:26:00.938741+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	2950	######################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

2950

######################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
b593b299-4018-49b7-8a76-4bd4babea890	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:26:01.560419+00:00
c953790d-40c6-4496-8a04-299f27a05732	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:26:01.401445+00:00
f32e8942-0e47-43f1-a45a-8e8fe4d42a6e	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:26:01.244880+00:00
0e43d946-7aa4-46de-8e51-3aa4984870f8	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:26:01.100325+00:00
9b0e66be-f658-42d8-aaa6-f564f3345ced	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:26:00.938741+00:00
23a1d133-e2ba-4d08-b0fb-60cf900e9735	python-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:26:00.757756+00:00
2debf3fd-704e-45d9-8cbf-a7578df44db7	typescript-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:26:00.527046+00:00
9c27b902-8992-4abf-a0d1-118352c75a5d	python-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:26:00.231816+00:00
0f1ab146-9890-467a-be6a-e495d20e6e6a	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:26:00.003357+00:00
f677d879-ed5f-4ee9-9db9-2bdeb7fdfb44	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-05-08T22:25:59.870028+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0046  (coder)