Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: df1883a1-a1b6-4974-bba4-e7afb0da36fb | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-04-27T23:48:12.820843+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
df1883a1-a1b6-4974-bba4-e7afb0da36fb	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T23:48:12.820843+00:00
6c8782ea-aa65-4031-bd0a-3260ba930df1	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T23:48:12.753696+00:00
6935508f-6d76-4ab3-9408-5f19b320794a	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T23:48:12.684273+00:00
bb50473b-dcfd-4643-b527-5d7c5bfac343	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T23:48:12.611164+00:00
f6d5bab1-fc35-4076-bc9a-42d9d2c7195c	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T23:48:12.552161+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	705	#################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

705

#################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
df1883a1-a1b6-4974-bba4-e7afb0da36fb	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T23:48:12.820843+00:00
6c8782ea-aa65-4031-bd0a-3260ba930df1	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T23:48:12.753696+00:00
6935508f-6d76-4ab3-9408-5f19b320794a	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T23:48:12.684273+00:00
bb50473b-dcfd-4643-b527-5d7c5bfac343	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T23:48:12.611164+00:00
f6d5bab1-fc35-4076-bc9a-42d9d2c7195c	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T23:48:12.552161+00:00
70b77baf-464b-4a63-8e83-19c1343a112b	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T23:48:12.479414+00:00
998fcc71-ba0f-4ee5-92e6-19d6effb79d0	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T23:48:12.414269+00:00
fe106db4-1b9b-46b8-a8ca-8382fd170725	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T23:48:12.328909+00:00
b2f12a02-78c4-429f-952b-4e969481c9cb	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T23:48:12.267711+00:00
b134acef-7337-478a-8370-ff2a3b1b7e0a	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T23:48:12.201337+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0050  (coder)