Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 99bfa7d4-fddd-4eeb-acf4-4385b9b8e0b4 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-26T10:33:41.097881+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
99bfa7d4-fddd-4eeb-acf4-4385b9b8e0b4	coder	59417e3b6834192b1ea96a6a9010dee3105efd78	0.740	2026-05-26T10:33:41.097881+00:00
d14aebd6-7b61-4f56-9415-7f2d94fd90ef	coder	59417e3b6834192b1ea96a6a9010dee3105efd78	0.740	2026-05-26T10:33:41.006452+00:00
f1590dba-1155-415a-b5e9-cef9bc8ce17c	coder	59417e3b6834192b1ea96a6a9010dee3105efd78	0.740	2026-05-26T10:33:40.924071+00:00
4d26c7e4-df6f-4cd0-b50d-0cab382ae8f2	coder	59417e3b6834192b1ea96a6a9010dee3105efd78	0.740	2026-05-26T10:33:40.842634+00:00
d80e48b0-b12c-49c4-b568-0b61d3fe3469	coder	59417e3b6834192b1ea96a6a9010dee3105efd78	0.740	2026-05-26T10:33:40.753051+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	3352	########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

3352

########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
99bfa7d4-fddd-4eeb-acf4-4385b9b8e0b4	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-26T10:33:41.097881+00:00
d14aebd6-7b61-4f56-9415-7f2d94fd90ef	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-26T10:33:41.006452+00:00
f1590dba-1155-415a-b5e9-cef9bc8ce17c	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-26T10:33:40.924071+00:00
4d26c7e4-df6f-4cd0-b50d-0cab382ae8f2	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-26T10:33:40.842634+00:00
d80e48b0-b12c-49c4-b568-0b61d3fe3469	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-26T10:33:40.753051+00:00
9f6c666f-8dcd-4372-9808-5f51cd24f9e9	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-26T10:33:40.673982+00:00
bc3d49d6-9074-4235-a886-e881e58ee9d0	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-26T10:33:40.589224+00:00
cfbfbba8-953a-4343-90ae-58deb8917d5d	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-26T10:33:40.517839+00:00
fa776434-bb5a-4c92-b1eb-c2057a4d9c19	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-26T10:33:40.423057+00:00
48e39db8-ed06-4f37-b2fc-fbc162c41c2a	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-26T10:33:40.332670+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0035  (coder)