Eval Report: ci-post-merge

Profile: gdm-swebench-lite-v1 | Tasks: 50 | Pass rate: 100.0% | Cost: $0.0500

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010
typescript-recovery-easy-001	easy	0.740	✓	$0.0010
python-dependency-easy-001	easy	0.740	✓	$0.0010
typescript-dependency-easy-001	easy	0.740	✓	$0.0010
python-explain-easy-001	easy	0.740	✓	$0.0010
typescript-explain-easy-001	easy	0.740	✓	$0.0010
python-security-fix-medium-001	medium	0.740	✓	$0.0010
shell-security-fix-medium-001	medium	0.740	✓	$0.0010
python-bugfix-medium-001	medium	0.740	✓	$0.0010
shell-bugfix-medium-001	medium	0.740	✓	$0.0010
python-performance-medium-001	medium	0.740	✓	$0.0010
shell-performance-medium-001	medium	0.740	✓	$0.0010
python-test-writing-medium-001	medium	0.740	✓	$0.0010
shell-test-writing-medium-001	medium	0.740	✓	$0.0010
python-multi-file-medium-001	medium	0.740	✓	$0.0010
shell-multi-file-medium-001	medium	0.740	✓	$0.0010
python-refactor-medium-001	medium	0.740	✓	$0.0010
shell-refactor-medium-001	medium	0.740	✓	$0.0010
python-config-medium-001	medium	0.740	✓	$0.0010
shell-config-medium-001	medium	0.740	✓	$0.0010
python-recovery-medium-001	medium	0.740	✓	$0.0010
shell-recovery-medium-001	medium	0.740	✓	$0.0010
python-dependency-medium-001	medium	0.740	✓	$0.0010
shell-dependency-medium-001	medium	0.740	✓	$0.0010
python-explain-medium-001	medium	0.740	✓	$0.0010
shell-explain-medium-001	medium	0.740	✓	$0.0010
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 029f5c30-9a02-4166-8de5-4728dfdb8b6b | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-04-28T00:09:22.017696+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
029f5c30-9a02-4166-8de5-4728dfdb8b6b	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:09:22.017696+00:00
526582b4-7c3f-420c-9813-b9c2bd5f1301	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:09:21.947710+00:00
cf6d50e0-83fb-47d6-b03e-048bec5321ba	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:09:21.891661+00:00
6e567366-1549-43c6-9b11-f0b7748be26c	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:09:21.828635+00:00
068c63f7-a409-4df7-b3ae-3e97eda05c0e	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:09:21.763998+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1700	####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1700

####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
029f5c30-9a02-4166-8de5-4728dfdb8b6b	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:22.017696+00:00
526582b4-7c3f-420c-9813-b9c2bd5f1301	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:21.947710+00:00
cf6d50e0-83fb-47d6-b03e-048bec5321ba	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:21.891661+00:00
6e567366-1549-43c6-9b11-f0b7748be26c	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:21.828635+00:00
068c63f7-a409-4df7-b3ae-3e97eda05c0e	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:21.763998+00:00
55421e13-9f48-4129-bf01-53533281e02c	python-performance-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:21.699916+00:00
f3cc14b3-6cac-4f46-8d52-12ef8112c5ca	typescript-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:21.628527+00:00
cf29f181-3205-47aa-bdf7-987edf9428ad	python-bugfix-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:21.571139+00:00
a7695faa-936a-406b-ba4d-94c1c8802588	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:21.494616+00:00
98bcc86e-b2a7-4544-9d71-6fbee8aa966a	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:09:21.433017+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0050  (coder)