Profile: gdm-swebench-lite-v1 | Tasks: 2 | Pass rate: 100.0% | Cost: $0.0020
| Task ID | Band | Score | Passed | Cost |
|---|---|---|---|---|
| python-security-fix-easy-001 | easy | 0.740 | ✓ | $0.0010 |
| typescript-security-fix-easy-001 | easy | 0.740 | ✓ | $0.0010 |
Latest run: ae06dde7-00fd-4811-ad39-18d99bd282ef | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T19:10:08.203331+00:00
| Run ID | Model | Git SHA | Score | Created |
|---|---|---|---|---|
| ae06dde7-00fd-4811-ad39-18d99bd282ef | coder | 4669773b4fbe9d507f1396f38777a1b36998faf3 | 0.740 | 2026-05-23T19:10:08.203331+00:00 |
| ea72a8c0-c9a9-41d9-8acb-5a456edcf98d | coder | 4669773b4fbe9d507f1396f38777a1b36998faf3 | 0.740 | 2026-05-23T19:10:08.106005+00:00 |
| b935f876-55b1-48ea-92a0-a66cbbe698dc | coder | 4669773b4fbe9d507f1396f38777a1b36998faf3 | 0.740 | 2026-05-23T19:10:07.368159+00:00 |
| 1e12fcc8-eccc-44e7-93c4-7e1e05d699e6 | coder | 4669773b4fbe9d507f1396f38777a1b36998faf3 | 0.740 | 2026-05-23T19:10:07.266983+00:00 |
| e902f631-59dd-421c-931e-42f4a67c0f08 | coder | 4669773b4fbe9d507f1396f38777a1b36998faf3 | 0.740 | 2026-05-23T19:10:07.193410+00:00 |
| Taxonomy | Failures | Bar |
|---|---|---|
| wrong-logic | 2884 | #################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################### |
| Run ID | Task ID | Taxonomy | Score | Cost | Created |
|---|---|---|---|---|---|
| ae06dde7-00fd-4811-ad39-18d99bd282ef | typescript-security-fix-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:10:08.203331+00:00 |
| ea72a8c0-c9a9-41d9-8acb-5a456edcf98d | python-security-fix-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:10:08.106005+00:00 |
| b935f876-55b1-48ea-92a0-a66cbbe698dc | python-recovery-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:10:07.368159+00:00 |
| 1e12fcc8-eccc-44e7-93c4-7e1e05d699e6 | typescript-config-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:10:07.266983+00:00 |
| e902f631-59dd-421c-931e-42f4a67c0f08 | python-config-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:10:07.193410+00:00 |
| 833f5ba3-e395-4b52-bb1a-3b54a06baac5 | typescript-refactor-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:10:07.108971+00:00 |
| 6d13b47f-c4c8-4af7-b430-a79e4ebdba6b | python-refactor-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:10:07.033330+00:00 |
| 2ddb7d5f-3c81-4b12-a6d2-1e93dd6ebc14 | typescript-multi-file-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:10:06.951552+00:00 |
| da171cad-a98e-478f-b58f-e065510607a6 | python-multi-file-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:10:06.871687+00:00 |
| 8680c6ac-6cd4-4713-aad3-705d9ed7fd26 | typescript-test-writing-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:10:06.792228+00:00 |
pass_rate vs cost_usd (Pareto frontier marked with *) * [####################] 100.0% @ $0.0037 (coder)