Eval Report: ci-pr-smoke

Profile: gdm-swebench-lite-v1 | Tasks: 2 | Pass rate: 100.0% | Cost: $0.0020

Task ID	Band	Score	Passed	Cost
python-security-fix-easy-001	easy	0.740	✓	$0.0010
typescript-security-fix-easy-001	easy	0.740	✓	$0.0010

Leaderboard Snapshot

Latest run: 68fa7897-ec96-4302-b547-f87d7b6f08ee | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-04-28T00:11:13.229432+00:00

Recent Trend

Run ID	Model	Git SHA	Score	Created
68fa7897-ec96-4302-b547-f87d7b6f08ee	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:11:13.229432+00:00
9486d759-ba74-49fb-a954-fdb8984cd2a1	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:11:13.165276+00:00
facfd26a-9988-407c-98f6-b7f44e59bf03	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:11:12.619112+00:00
062c00d8-f824-4bd1-8211-3c4c43b83cea	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:11:12.539495+00:00
40f2c841-037f-4ba0-945f-74420970a1fe	coder	4669773b4fbe9d507f1396f38777a1b36998faf3	0.740	2026-04-28T00:11:12.463839+00:00

Failure Breakdown

Taxonomy	Failures	Bar
wrong-logic	816	################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Taxonomy

Failures

Bar

wrong-logic

816

################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################

Recent Failures

Run ID	Task ID	Taxonomy	Score	Cost	Created
68fa7897-ec96-4302-b547-f87d7b6f08ee	typescript-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:13.229432+00:00
9486d759-ba74-49fb-a954-fdb8984cd2a1	python-security-fix-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:13.165276+00:00
facfd26a-9988-407c-98f6-b7f44e59bf03	python-recovery-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.619112+00:00
062c00d8-f824-4bd1-8211-3c4c43b83cea	typescript-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.539495+00:00
40f2c841-037f-4ba0-945f-74420970a1fe	python-config-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.463839+00:00
4bfed456-0e72-4eb1-a3ad-972d5c7dc8e0	typescript-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.397152+00:00
742f29e8-cb95-48b3-84be-fe72824c081b	python-refactor-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.278243+00:00
4a2226a8-8805-4170-82e5-055ff34b0579	typescript-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.204671+00:00
56c26f8b-b8a0-49bc-8680-4ce4613b4fce	python-multi-file-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.143155+00:00
93f9a0fb-9b63-4736-a105-cd8fb7ac238a	typescript-test-writing-easy-001	wrong-logic	0.740	$0.0010	2026-04-28T00:11:12.056677+00:00

Cost Frontier

pass_rate vs cost_usd (Pareto frontier marked with *)
* [####################] 100.0% @ $0.0049  (coder)