Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 15 | Pass rate: 100.0% | Cost: $0.0150

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010
python-bugfix-easy-001	easy	0.740	✓	$0.0010
typescript-bugfix-easy-001	easy	0.740	✓	$0.0010
python-performance-easy-001	easy	0.740	✓	$0.0010
typescript-performance-easy-001	easy	0.740	✓	$0.0010
python-test-writing-easy-001	easy	0.740	✓	$0.0010
typescript-test-writing-easy-001	easy	0.740	✓	$0.0010
python-multi-file-easy-001	easy	0.740	✓	$0.0010
typescript-multi-file-easy-001	easy	0.740	✓	$0.0010
python-refactor-easy-001	easy	0.740	✓	$0.0010
typescript-refactor-easy-001	easy	0.740	✓	$0.0010
python-config-easy-001	easy	0.740	✓	$0.0010
typescript-config-easy-001	easy	0.740	✓	$0.0010
python-recovery-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 03295fd4-2fc3-4149-a963-c02d28206e4e | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T20:13:33.195216+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
03295fd4-2fc3-4149-a963-c02d28206e4e	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:13:33.195216+00:00
f1215fe6-45fe-425c-ade6-feb268094cf6	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:13:33.131640+00:00
11aee55f-f628-4ae4-a1d9-36f1102e40a2	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:13:33.068556+00:00
a4314274-7f51-4de3-bd43-dfc091888e2e	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:13:33.020587+00:00
00bb8906-3782-44f7-ad8e-b071859a7686	coder	89f0f5456c5b8670ca70d1a941ab0d7272df1310	0.740	2026-05-23T20:13:32.940946+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	3117	#############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

3117

#############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
03295fd4-2fc3-4149-a963-c02d28206e4e	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:33.195216+00:00
f1215fe6-45fe-425c-ade6-feb268094cf6	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:33.131640+00:00
11aee55f-f628-4ae4-a1d9-36f1102e40a2	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:33.068556+00:00
a4314274-7f51-4de3-bd43-dfc091888e2e	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:33.020587+00:00
00bb8906-3782-44f7-ad8e-b071859a7686	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:32.940946+00:00
c9e776a1-1f84-4666-8649-064c4d6fb41a	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:32.876855+00:00
8b399715-308c-4baf-9d31-cb6872bfa29a	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:32.797007+00:00
f10dd4df-3cc9-482b-9287-733be8eab822	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:32.733947+00:00
4fa2a7dc-828f-45ea-90d3-576491427933	python-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:32.681963+00:00
b07f2286-2779-48d9-9aed-6dfa8d71060c	typescript-performance-easy-001	wrong-logic	0.740	$0.0010	2026-05-23T20:13:32.606360+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0036  (coder)