Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 8849068b-0064-491f-83cd-595e99352318 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-22T13:49:37.546493+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
8849068b-0064-491f-83cd-595e99352318	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-22T13:49:37.546493+00:00
4675bc37-2254-4f68-aea9-07790b2f0cd0	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-22T13:49:37.404710+00:00
c3cbeea0-4c75-49be-8f25-b1de74b79309	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-22T13:49:37.260378+00:00
46ba9c4f-ecc5-499e-8c94-f32cca96de74	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-22T13:49:37.125824+00:00
e0fcf317-6185-4769-91c5-f2b966214b62	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-22T13:49:37.015814+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	2350	##############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

2350

##############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
8849068b-0064-491f-83cd-595e99352318	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:49:37.546493+00:00
4675bc37-2254-4f68-aea9-07790b2f0cd0	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:49:37.404710+00:00
c3cbeea0-4c75-49be-8f25-b1de74b79309	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:49:37.260378+00:00
46ba9c4f-ecc5-499e-8c94-f32cca96de74	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:49:37.125824+00:00
e0fcf317-6185-4769-91c5-f2b966214b62	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:49:37.015814+00:00
cf04e9d8-2b6e-41fe-bd93-2d062b53c76f	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:49:36.897293+00:00
27501d73-71fc-4aa0-92e2-c11e01087523	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:49:36.761824+00:00
81e6d6b9-2f1d-4ef8-8f89-fd31a0fafe59	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:49:36.615932+00:00
90b4b4ea-9f74-4854-9ed0-393cff9cce8d	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:49:36.450764+00:00
553a3128-1534-459b-8575-8f3105c0bd1b	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-22T13:49:36.313347+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0039  (coder)