Profile: gdm-swebench-lite-v1 | Tasks: 2 | Pass rate: 100.0% | Cost: $0.0020
| Task ID | Band | Score | Passed | Cost |
|---|---|---|---|---|
| python-security-fix-easy-001 | easy | 0.740 | ✓ | $0.0010 |
| typescript-security-fix-easy-001 | easy | 0.740 | ✓ | $0.0010 |
Latest run: 33e456a3-465c-45c9-8063-00d773349795 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-26T10:33:42.647911+00:00
| Run ID | Model | Git SHA | Score | Created |
|---|---|---|---|---|
| 33e456a3-465c-45c9-8063-00d773349795 | coder | 59417e3b6834192b1ea96a6a9010dee3105efd78 | 0.740 | 2026-05-26T10:33:42.647911+00:00 |
| 4c8bdb80-c181-4329-b900-01eb0c7f2abd | coder | 59417e3b6834192b1ea96a6a9010dee3105efd78 | 0.740 | 2026-05-26T10:33:42.532706+00:00 |
| 99bfa7d4-fddd-4eeb-acf4-4385b9b8e0b4 | coder | 59417e3b6834192b1ea96a6a9010dee3105efd78 | 0.740 | 2026-05-26T10:33:41.097881+00:00 |
| d14aebd6-7b61-4f56-9415-7f2d94fd90ef | coder | 59417e3b6834192b1ea96a6a9010dee3105efd78 | 0.740 | 2026-05-26T10:33:41.006452+00:00 |
| f1590dba-1155-415a-b5e9-cef9bc8ce17c | coder | 59417e3b6834192b1ea96a6a9010dee3105efd78 | 0.740 | 2026-05-26T10:33:40.924071+00:00 |
| Taxonomy | Failures | Bar |
|---|---|---|
| wrong-logic | 3354 | ########################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################## |
| Run ID | Task ID | Taxonomy | Score | Cost | Created |
|---|---|---|---|---|---|
| 33e456a3-465c-45c9-8063-00d773349795 | typescript-security-fix-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-26T10:33:42.647911+00:00 |
| 4c8bdb80-c181-4329-b900-01eb0c7f2abd | python-security-fix-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-26T10:33:42.532706+00:00 |
| 99bfa7d4-fddd-4eeb-acf4-4385b9b8e0b4 | python-recovery-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-26T10:33:41.097881+00:00 |
| d14aebd6-7b61-4f56-9415-7f2d94fd90ef | typescript-config-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-26T10:33:41.006452+00:00 |
| f1590dba-1155-415a-b5e9-cef9bc8ce17c | python-config-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-26T10:33:40.924071+00:00 |
| 4d26c7e4-df6f-4cd0-b50d-0cab382ae8f2 | typescript-refactor-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-26T10:33:40.842634+00:00 |
| d80e48b0-b12c-49c4-b568-0b61d3fe3469 | python-refactor-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-26T10:33:40.753051+00:00 |
| 9f6c666f-8dcd-4372-9808-5f51cd24f9e9 | typescript-multi-file-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-26T10:33:40.673982+00:00 |
| bc3d49d6-9074-4235-a886-e881e58ee9d0 | python-multi-file-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-26T10:33:40.589224+00:00 |
| cfbfbba8-953a-4343-90ae-58deb8917d5d | typescript-test-writing-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-26T10:33:40.517839+00:00 |
pass_rate vs cost_usd (Pareto frontier marked with *) * [####################] 100.0% @ $0.0035 (coder)