Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 1694ee6f-260b-47fd-9913-3cfed9ff85cd | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-04-28T00:18:55.470679+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
1694ee6f-260b-47fd-9913-3cfed9ff85cd	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:18:55.470679+00:00
00f66d5d-b8aa-4213-b34c-d54c6ed4ff00	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:18:55.406525+00:00
d400cf3a-86f5-46af-a02a-bb428618e0ad	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:18:55.339252+00:00
87129a11-eb85-4b77-8a98-98c71a62120a	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:18:55.253768+00:00
64a83501-3505-4164-9fc3-841697e0a9df	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:18:55.173360+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	878	##############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

878

##############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
1694ee6f-260b-47fd-9913-3cfed9ff85cd	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:18:55.470679+00:00
00f66d5d-b8aa-4213-b34c-d54c6ed4ff00	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:18:55.406525+00:00
d400cf3a-86f5-46af-a02a-bb428618e0ad	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:18:55.339252+00:00
87129a11-eb85-4b77-8a98-98c71a62120a	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:18:55.253768+00:00
64a83501-3505-4164-9fc3-841697e0a9df	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:18:55.173360+00:00
7ad332bc-d4aa-4e2e-9233-fb8586e9c45f	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:18:55.104814+00:00
070afb3e-3e10-4c49-adae-0814368b2a6b	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:18:55.018385+00:00
1923e007-a6cf-4bb7-b5d5-beb50818fcad	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:18:54.956699+00:00
e45b2171-94ae-4f84-9994-95e3420ec770	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:18:54.885140+00:00
629b3d70-82a5-4301-8f0a-b03e2b652d3c	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:18:54.815947+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0048  (coder)