Profile: gdm-swebench-lite-v1 | Tasks: 2 | Pass rate: 100.0% | Cost: $0.0020
| Task ID | Band | Score | Passed | Cost |
|---|---|---|---|---|
| python-security-fix-easy-001 | easy | 0.740 | ✓ | $0.0010 |
| typescript-security-fix-easy-001 | easy | 0.740 | ✓ | $0.0010 |
Latest run: 4602069b-c4c9-4be4-9bf7-505fd0074905 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T19:43:21.156879+00:00
| Run ID | Model | Git SHA | Score | Created |
|---|---|---|---|---|
| 4602069b-c4c9-4be4-9bf7-505fd0074905 | coder | 4669773b4fbe9d507f1396f38777a1b36998faf3 | 0.740 | 2026-05-23T19:43:21.156879+00:00 |
| dd79264a-6af5-476e-81ea-c9b8cf09d3a2 | coder | 4669773b4fbe9d507f1396f38777a1b36998faf3 | 0.740 | 2026-05-23T19:43:21.085594+00:00 |
| f4818600-9e77-4362-bdd6-ca1fb8a6419c | coder | 4669773b4fbe9d507f1396f38777a1b36998faf3 | 0.740 | 2026-05-23T19:43:20.317559+00:00 |
| 3e215c8d-abc4-4b4c-97b7-b5985d266751 | coder | 4669773b4fbe9d507f1396f38777a1b36998faf3 | 0.740 | 2026-05-23T19:43:20.238312+00:00 |
| 2c5b2cc6-1738-4d62-a2f5-823d37ad1bda | coder | 4669773b4fbe9d507f1396f38777a1b36998faf3 | 0.740 | 2026-05-23T19:43:20.175397+00:00 |
| Taxonomy | Failures | Bar |
|---|---|---|
| wrong-logic | 2978 | ################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################## |
| Run ID | Task ID | Taxonomy | Score | Cost | Created |
|---|---|---|---|---|---|
| 4602069b-c4c9-4be4-9bf7-505fd0074905 | typescript-security-fix-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:43:21.156879+00:00 |
| dd79264a-6af5-476e-81ea-c9b8cf09d3a2 | python-security-fix-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:43:21.085594+00:00 |
| f4818600-9e77-4362-bdd6-ca1fb8a6419c | python-recovery-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:43:20.317559+00:00 |
| 3e215c8d-abc4-4b4c-97b7-b5985d266751 | typescript-config-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:43:20.238312+00:00 |
| 2c5b2cc6-1738-4d62-a2f5-823d37ad1bda | python-config-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:43:20.175397+00:00 |
| 59242783-0cef-4dc6-9ae5-f4a421473ee4 | typescript-refactor-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:43:20.095541+00:00 |
| c91610cc-d575-49ac-bc34-f1b8d2146d16 | python-refactor-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:43:20.016577+00:00 |
| 9ea71dd1-6f5d-4b89-b422-51df8873d378 | typescript-multi-file-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:43:19.952962+00:00 |
| a5263c14-9af0-4b98-a364-b4004ea7fe87 | python-multi-file-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:43:19.873574+00:00 |
| c1aa4517-79a6-486a-aaa1-21915398b9a7 | typescript-test-writing-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T19:43:19.803986+00:00 |
pass_rate vs cost_usd (Pareto frontier marked with *) * [####################] 100.0% @ $0.0037 (coder)