Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: b1aad9f2-adde-4e00-b8f5-46c7271a3e0e | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-09T01:15:04.685071+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
b1aad9f2-adde-4e00-b8f5-46c7271a3e0e	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T01:15:04.685071+00:00
7646bf74-1bc7-4ecf-9ece-f6370754a269	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T01:15:04.575139+00:00
154b507b-c55d-4148-8cc1-e10cf7b9f5fb	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T01:15:04.467277+00:00
366720af-a260-40f1-b374-378d3e2e3db6	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T01:15:04.327265+00:00
16bfcaa4-1a95-4a48-af48-b4331f94a39f	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-09T01:15:04.216968+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	1519	###############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

1519

###############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
b1aad9f2-adde-4e00-b8f5-46c7271a3e0e	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T01:15:04.685071+00:00
7646bf74-1bc7-4ecf-9ece-f6370754a269	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T01:15:04.575139+00:00
154b507b-c55d-4148-8cc1-e10cf7b9f5fb	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T01:15:04.467277+00:00
366720af-a260-40f1-b374-378d3e2e3db6	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T01:15:04.327265+00:00
16bfcaa4-1a95-4a48-af48-b4331f94a39f	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T01:15:04.216968+00:00
bf825f3b-d51b-4b2e-a35d-cb5c2e0f4acd	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T01:15:04.124420+00:00
9f3a8597-4bd7-411f-82a5-f3a63c215eaf	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T01:15:03.951899+00:00
71a2a1ff-b5b2-4ed5-9794-dd1db945508e	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T01:15:03.817133+00:00
b775aaac-7cb1-4e9a-8461-7a1905d26ece	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T01:15:03.692074+00:00
222cfc8f-f730-4141-abcf-5758903ae185	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-09T01:15:03.578459+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0044  (coder)