Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: facfd26a-9988-407c-98f6-b7f44e59bf03 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-04-28T00:11:12.619112+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
facfd26a-9988-407c-98f6-b7f44e59bf03	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:11:12.619112+00:00
062c00d8-f824-4bd1-8211-3c4c43b83cea	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:11:12.539495+00:00
40f2c841-037f-4ba0-945f-74420970a1fe	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:11:12.463839+00:00
4bfed456-0e72-4eb1-a3ad-972d5c7dc8e0	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:11:12.397152+00:00
742f29e8-cb95-48b3-84be-fe72824c081b	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:11:12.278243+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	814	##############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

814

##############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
facfd26a-9988-407c-98f6-b7f44e59bf03	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.619112+00:00
062c00d8-f824-4bd1-8211-3c4c43b83cea	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.539495+00:00
40f2c841-037f-4ba0-945f-74420970a1fe	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.463839+00:00
4bfed456-0e72-4eb1-a3ad-972d5c7dc8e0	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.397152+00:00
742f29e8-cb95-48b3-84be-fe72824c081b	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.278243+00:00
4a2226a8-8805-4170-82e5-055ff34b0579	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.204671+00:00
56c26f8b-b8a0-49bc-8680-4ce4613b4fce	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.143155+00:00
93f9a0fb-9b63-4736-a105-cd8fb7ac238a	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.056677+00:00
f29073b5-b979-44cb-8717-3772597be393	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:11.979574+00:00
0229498f-fe79-49c9-97ac-346ca4db1e9b	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:11.909074+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0049  (coder)