Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: be94915e-aa23-4c88-8fdb-4add308cf08b | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T19:43:22.966686+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
be94915e-aa23-4c88-8fdb-4add308cf08b	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:43:22.966686+00:00
27c7d9e5-4241-4c78-8ba2-24af72185a83	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:43:22.887225+00:00
cc12894f-4009-42e3-ad2c-c558b022dabc	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:43:22.827694+00:00
dedc5452-bc03-487b-a97c-671f20c42629	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:43:22.760271+00:00
f07d288f-9b8c-4c9e-9893-45a165724f1c	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:43:22.681280+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	2993	#################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

2993

#################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
be94915e-aa23-4c88-8fdb-4add308cf08b	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:22.966686+00:00
27c7d9e5-4241-4c78-8ba2-24af72185a83	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:22.887225+00:00
cc12894f-4009-42e3-ad2c-c558b022dabc	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:22.827694+00:00
dedc5452-bc03-487b-a97c-671f20c42629	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:22.760271+00:00
f07d288f-9b8c-4c9e-9893-45a165724f1c	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:22.681280+00:00
41a94c8f-3345-40c8-b620-e81047fc0266	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:22.603921+00:00
d43ee60e-b775-4406-bd20-e95e9f2cdc87	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:22.538345+00:00
52673e60-0371-43ec-9fb8-79a393ba0045	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:22.458832+00:00
9982ebb2-8134-40c4-bdcc-74ae21342b40	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:22.363031+00:00
dd8b6653-fb9f-496c-80dd-544b4cf96850	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:43:22.283943+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0037  (coder)