Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 2 | Pass rate: 100.0% | Cost: $0.0020

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 9260d600-ce4f-4bc7-83a9-c1c6272ec07e | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-04-27T17:10:30.976101+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
9260d600-ce4f-4bc7-83a9-c1c6272ec07e	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:10:30.976101+00:00
794e7d9b-0a2d-42c3-804d-8e80c034a003	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:10:30.894167+00:00
91ab577d-e08f-4c96-872c-7ccaab94f905	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:10:30.323674+00:00
31e28fa4-c119-478a-95ad-6f6192646ad5	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:10:30.237233+00:00
93717657-6cd2-4106-adfe-d00bd1d27fd0	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-27T17:10:29.563951+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	581	#####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

581

#####################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
9260d600-ce4f-4bc7-83a9-c1c6272ec07e	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:30.976101+00:00
794e7d9b-0a2d-42c3-804d-8e80c034a003	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:30.894167+00:00
91ab577d-e08f-4c96-872c-7ccaab94f905	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:30.323674+00:00
31e28fa4-c119-478a-95ad-6f6192646ad5	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:30.237233+00:00
93717657-6cd2-4106-adfe-d00bd1d27fd0	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:29.563951+00:00
c57d188f-11b2-4694-ae2c-064000025a6e	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:29.451745+00:00
308f1d43-57cb-43cb-bcb6-1ad2656fb0b5	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:29.382711+00:00
a2a9ec59-45e6-4581-a0b0-a416f8247194	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:29.313286+00:00
429c779d-c119-4674-ac3a-1f5e2f47a43c	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:29.237043+00:00
f7ff16cb-1b98-4e0e-bed1-2003bc9afc55	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-27T17:10:29.157102+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0051  (coder)