Profile: gdm-swebench-lite-v1 | Tasks: 2 | Pass rate: 100.0% | Cost: $0.0020
| Task ID | Band | Score | Passed | Cost |
|---|---|---|---|---|
| python-security-fix-easy-001 | easy | 0.740 | ✓ | $0.0010 |
| typescript-security-fix-easy-001 | easy | 0.740 | ✓ | $0.0010 |
Latest run: e79bded2-9146-42fd-9d22-4fad68816987 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T20:20:36.739398+00:00
| Run ID | Model | Git SHA | Score | Created |
|---|---|---|---|---|
| e79bded2-9146-42fd-9d22-4fad68816987 | coder | 3a1cb59613c43efee035337a7eb0f518754b79e1 | 0.740 | 2026-05-23T20:20:36.739398+00:00 |
| 03c4349c-d0d0-4fdc-a54e-e5108af72e0f | coder | 3a1cb59613c43efee035337a7eb0f518754b79e1 | 0.740 | 2026-05-23T20:20:36.676533+00:00 |
| 38c67298-f032-49b5-b06b-f91856c8d5d1 | coder | 3a1cb59613c43efee035337a7eb0f518754b79e1 | 0.740 | 2026-05-23T20:20:35.918085+00:00 |
| 0a8a2da7-9457-4977-bad5-442b6a7bc732 | coder | 3a1cb59613c43efee035337a7eb0f518754b79e1 | 0.740 | 2026-05-23T20:20:35.825472+00:00 |
| 42d2755e-ff4b-4f87-b703-2c0fde0970f9 | coder | 3a1cb59613c43efee035337a7eb0f518754b79e1 | 0.740 | 2026-05-23T20:20:35.746370+00:00 |
| Taxonomy | Failures | Bar |
|---|---|---|
| wrong-logic | 3166 | ############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################## |
| Run ID | Task ID | Taxonomy | Score | Cost | Created |
|---|---|---|---|---|---|
| e79bded2-9146-42fd-9d22-4fad68816987 | typescript-security-fix-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:20:36.739398+00:00 |
| 03c4349c-d0d0-4fdc-a54e-e5108af72e0f | python-security-fix-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:20:36.676533+00:00 |
| 38c67298-f032-49b5-b06b-f91856c8d5d1 | python-recovery-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:20:35.918085+00:00 |
| 0a8a2da7-9457-4977-bad5-442b6a7bc732 | typescript-config-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:20:35.825472+00:00 |
| 42d2755e-ff4b-4f87-b703-2c0fde0970f9 | python-config-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:20:35.746370+00:00 |
| 7edcd40d-337f-4ec4-8a6b-6249bda497f9 | typescript-refactor-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:20:35.668015+00:00 |
| 30acf6a8-3f90-4d65-896d-523dbe63be7e | python-refactor-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:20:35.589029+00:00 |
| e3125a0d-9297-44cc-bf35-d054ac8819ea | typescript-multi-file-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:20:35.509528+00:00 |
| ede45e3b-dc7f-4a00-94a8-e816a4e661da | python-multi-file-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:20:35.430507+00:00 |
| a4ef4dfd-e266-4184-a79f-6f3b760f669c | typescript-test-writing-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:20:35.356456+00:00 |
pass_rate vs cost_usd (Pareto frontier marked with *) * [####################] 100.0% @ $0.0036 (coder)