Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 91ab577d-e08f-4c96-872c-7ccaab94f905 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-04-27T17:10:30.323674+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
91ab577d-e08f-4c96-872c-7ccaab94f905	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:10:30.323674+00:00
31e28fa4-c119-478a-95ad-6f6192646ad5	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:10:30.237233+00:00
93717657-6cd2-4106-adfe-d00bd1d27fd0	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:10:29.563951+00:00
c57d188f-11b2-4694-ae2c-064000025a6e	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:10:29.451745+00:00
308f1d43-57cb-43cb-bcb6-1ad2656fb0b5	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:10:29.382711+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	579	###################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

579

###################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
91ab577d-e08f-4c96-872c-7ccaab94f905	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:30.323674+00:00
31e28fa4-c119-478a-95ad-6f6192646ad5	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:30.237233+00:00
93717657-6cd2-4106-adfe-d00bd1d27fd0	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:29.563951+00:00
c57d188f-11b2-4694-ae2c-064000025a6e	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:29.451745+00:00
308f1d43-57cb-43cb-bcb6-1ad2656fb0b5	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:29.382711+00:00
a2a9ec59-45e6-4581-a0b0-a416f8247194	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:29.313286+00:00
429c779d-c119-4674-ac3a-1f5e2f47a43c	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:29.237043+00:00
f7ff16cb-1b98-4e0e-bed1-2003bc9afc55	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:29.157102+00:00
0e7b6082-9892-4868-86b7-df1f9f6dc8de	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:29.070735+00:00
6d73dbf1-375a-473e-831f-c12bebbc61bf	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:29.001088+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0051  (coder)