Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 76e7b6fe-2679-4ea9-abe3-26db13c94ea9 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T12:01:28.884015+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
76e7b6fe-2679-4ea9-abe3-26db13c94ea9	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T12:01:28.884015+00:00
8d2463bd-eddf-45c2-b49a-a9bcb6182fff	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T12:01:28.862105+00:00
b0d274b9-31ef-4c04-a7cc-53c734f112e3	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T12:01:28.799670+00:00
b9302a26-32a4-4d36-bd78-ca7e43decdf3	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T12:01:28.762164+00:00
fe6ee862-dbfe-408b-82be-a4b114269a68	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T12:01:28.713951+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1818	##########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1818

##########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
76e7b6fe-2679-4ea9-abe3-26db13c94ea9	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T12:01:28.884015+00:00
8d2463bd-eddf-45c2-b49a-a9bcb6182fff	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T12:01:28.862105+00:00
b0d274b9-31ef-4c04-a7cc-53c734f112e3	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T12:01:28.799670+00:00
b9302a26-32a4-4d36-bd78-ca7e43decdf3	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T12:01:28.762164+00:00
fe6ee862-dbfe-408b-82be-a4b114269a68	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T12:01:28.713951+00:00
759e3203-18c0-4c8b-b01b-8143baed924a	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T12:01:28.658588+00:00
a99e00f3-4b3a-478b-8e07-017413579e19	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T12:01:28.611691+00:00
7fc1337e-0819-4632-bac4-19752d435327	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T12:01:28.577391+00:00
8220b950-0cb7-46e6-9e2a-2735dbcc1c3a	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T12:01:28.537483+00:00
4f91d263-7ce7-4dc4-bbb3-82ab8ae57553	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T12:01:28.485169+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0042  (coder)