Profile: gdm-swebench-lite-v1 | Tasks: 2 | Pass rate: 100.0% | Cost: $0.0020
| Task ID | Band | Score | Passed | Cost |
|---|---|---|---|---|
| python-security-fix-easy-001 | easy | 0.740 | ✓ | $0.0010 |
| typescript-security-fix-easy-001 | easy | 0.740 | ✓ | $0.0010 |
Latest run: 243f3629-5ae4-4b56-b063-3f4edc6bd18f | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T20:24:49.725951+00:00
| Run ID | Model | Git SHA | Score | Created |
|---|---|---|---|---|
| 243f3629-5ae4-4b56-b063-3f4edc6bd18f | coder | 3a1cb59613c43efee035337a7eb0f518754b79e1 | 0.740 | 2026-05-23T20:24:49.725951+00:00 |
| a76ee9ca-2b8d-445f-9b26-f4d07bd5fc74 | coder | 3a1cb59613c43efee035337a7eb0f518754b79e1 | 0.740 | 2026-05-23T20:24:49.652001+00:00 |
| d851456e-d153-432e-8ee9-43d98fad3a5b | coder | 3a1cb59613c43efee035337a7eb0f518754b79e1 | 0.740 | 2026-05-23T20:24:48.965177+00:00 |
| 4b0fcf9f-b82a-4a87-bb57-a6468dcb2d74 | coder | 3a1cb59613c43efee035337a7eb0f518754b79e1 | 0.740 | 2026-05-23T20:24:48.906255+00:00 |
| 05b33f70-fecd-4cc5-9b9f-39fd9522e512 | coder | 3a1cb59613c43efee035337a7eb0f518754b79e1 | 0.740 | 2026-05-23T20:24:48.822875+00:00 |
| Taxonomy | Failures | Bar |
|---|---|---|
| wrong-logic | 3213 | ############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################# |
| Run ID | Task ID | Taxonomy | Score | Cost | Created |
|---|---|---|---|---|---|
| 243f3629-5ae4-4b56-b063-3f4edc6bd18f | typescript-security-fix-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:24:49.725951+00:00 |
| a76ee9ca-2b8d-445f-9b26-f4d07bd5fc74 | python-security-fix-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:24:49.652001+00:00 |
| d851456e-d153-432e-8ee9-43d98fad3a5b | python-recovery-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:24:48.965177+00:00 |
| 4b0fcf9f-b82a-4a87-bb57-a6468dcb2d74 | typescript-config-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:24:48.906255+00:00 |
| 05b33f70-fecd-4cc5-9b9f-39fd9522e512 | python-config-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:24:48.822875+00:00 |
| 8d2fe4b1-0de7-4232-9ecf-5905819cba73 | typescript-refactor-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:24:48.759428+00:00 |
| 7c6b06fe-72a6-42c4-81f5-201c63bc4276 | python-refactor-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:24:48.695760+00:00 |
| a455b916-2a5b-4887-9938-51e944f39d3e | typescript-multi-file-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:24:48.625030+00:00 |
| 72bf8319-684b-4a72-b182-6b9720eb21dc | python-multi-file-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:24:48.552753+00:00 |
| c4e4bfbd-54d5-4894-a259-f1996587197c | typescript-test-writing-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:24:48.489059+00:00 |
pass_rate vs cost_usd (Pareto frontier marked with *) * [####################] 100.0% @ $0.0036 (coder)