Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 35f55a17-4669-4f6a-afd6-33d07ff5d3d3 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-04-27T17:12:30.529712+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
35f55a17-4669-4f6a-afd6-33d07ff5d3d3	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:12:30.529712+00:00
7ff0f62e-c305-46eb-af75-7da6249fa1cc	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:12:30.432112+00:00
04ce7f69-43bf-45c8-8e63-77a2c260ff9b	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:12:30.342388+00:00
d1f9511f-0027-4825-9977-b0ecbf272779	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:12:30.279576+00:00
6db677a0-31cf-48c8-ba23-bafc8c3eb5b0	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:12:30.194046+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	658	##################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

658

##################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
35f55a17-4669-4f6a-afd6-33d07ff5d3d3	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:30.529712+00:00
7ff0f62e-c305-46eb-af75-7da6249fa1cc	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:30.432112+00:00
04ce7f69-43bf-45c8-8e63-77a2c260ff9b	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:30.342388+00:00
d1f9511f-0027-4825-9977-b0ecbf272779	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:30.279576+00:00
6db677a0-31cf-48c8-ba23-bafc8c3eb5b0	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:30.194046+00:00
5307f482-cdbb-4b8f-a4ee-3604983118b4	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:30.106061+00:00
8338da78-d755-4719-bae7-21f592a6033c	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:29.999493+00:00
b6e939ca-10f4-412e-90cb-9cb0908e7353	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:29.906961+00:00
f6796238-8e79-4838-8c2b-cd792a1cce72	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:29.767493+00:00
f43e7e49-b586-4978-ae3d-2567cebdfb53	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:12:29.647023+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0050  (coder)