Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 1215b3bb-4e6d-4094-93de-b85483fb0af1 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T19:14:36.250115+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
1215b3bb-4e6d-4094-93de-b85483fb0af1	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:14:36.250115+00:00
041bfd43-99ab-4d72-8eb6-b5df5223aa55	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:14:36.186508+00:00
db6fac23-699d-4a68-9125-f31832d3f58d	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:14:36.123163+00:00
cb1ab207-fbfc-4efb-b8e2-746b689809c1	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:14:36.059864+00:00
247a23e4-67e5-4d76-99ef-47c6199b96be	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-05-23T19:14:35.996011+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	2946	##################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

2946

##################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
1215b3bb-4e6d-4094-93de-b85483fb0af1	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:14:36.250115+00:00
041bfd43-99ab-4d72-8eb6-b5df5223aa55	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:14:36.186508+00:00
db6fac23-699d-4a68-9125-f31832d3f58d	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:14:36.123163+00:00
cb1ab207-fbfc-4efb-b8e2-746b689809c1	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:14:36.059864+00:00
247a23e4-67e5-4d76-99ef-47c6199b96be	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:14:35.996011+00:00
9245152e-83d1-48bd-9559-260b4de5e8d2	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:14:35.932768+00:00
b6acef6a-b428-4030-aaa2-ff5b91de5452	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:14:35.866394+00:00
190d0357-4f07-4f5e-9531-d42d5acf5a05	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:14:35.789228+00:00
cd703b4e-2a61-40b6-a044-cf235281eadc	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:14:35.741169+00:00
4b3dd197-b909-46c5-b2c1-982c8a580a0d	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T19:14:35.677626+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0037  (coder)