Profile: gdm-swebench-lite-v1 | Tasks: 2 | Pass rate: 100.0% | Cost: $0.0020
| Task ID | Band | Score | Passed | Cost |
|---|---|---|---|---|
| python-security-fix-easy-001 | easy | 0.740 | ✓ | $0.0010 |
| typescript-security-fix-easy-001 | easy | 0.740 | ✓ | $0.0010 |
Latest run: 50990c4f-acbc-4929-b309-0b632bdcd901 | Latest model: coder | Latest score: 0.740 | Recorded at: 2026-05-23T20:13:33.943355+00:00
| Run ID | Model | Git SHA | Score | Created |
|---|---|---|---|---|
| 50990c4f-acbc-4929-b309-0b632bdcd901 | coder | 89f0f5456c5b8670ca70d1a941ab0d7272df1310 | 0.740 | 2026-05-23T20:13:33.943355+00:00 |
| 7cac39c7-bccc-45fd-b9b0-dd6d2be5497c | coder | 89f0f5456c5b8670ca70d1a941ab0d7272df1310 | 0.740 | 2026-05-23T20:13:33.880294+00:00 |
| 03295fd4-2fc3-4149-a963-c02d28206e4e | coder | 89f0f5456c5b8670ca70d1a941ab0d7272df1310 | 0.740 | 2026-05-23T20:13:33.195216+00:00 |
| f1215fe6-45fe-425c-ade6-feb268094cf6 | coder | 89f0f5456c5b8670ca70d1a941ab0d7272df1310 | 0.740 | 2026-05-23T20:13:33.131640+00:00 |
| 11aee55f-f628-4ae4-a1d9-36f1102e40a2 | coder | 89f0f5456c5b8670ca70d1a941ab0d7272df1310 | 0.740 | 2026-05-23T20:13:33.068556+00:00 |
| Taxonomy | Failures | Bar |
|---|---|---|
| wrong-logic | 3119 | ############################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################################### |
| Run ID | Task ID | Taxonomy | Score | Cost | Created |
|---|---|---|---|---|---|
| 50990c4f-acbc-4929-b309-0b632bdcd901 | typescript-security-fix-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:13:33.943355+00:00 |
| 7cac39c7-bccc-45fd-b9b0-dd6d2be5497c | python-security-fix-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:13:33.880294+00:00 |
| 03295fd4-2fc3-4149-a963-c02d28206e4e | python-recovery-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:13:33.195216+00:00 |
| f1215fe6-45fe-425c-ade6-feb268094cf6 | typescript-config-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:13:33.131640+00:00 |
| 11aee55f-f628-4ae4-a1d9-36f1102e40a2 | python-config-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:13:33.068556+00:00 |
| a4314274-7f51-4de3-bd43-dfc091888e2e | typescript-refactor-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:13:33.020587+00:00 |
| 00bb8906-3782-44f7-ad8e-b071859a7686 | python-refactor-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:13:32.940946+00:00 |
| c9e776a1-1f84-4666-8649-064c4d6fb41a | typescript-multi-file-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:13:32.876855+00:00 |
| 8b399715-308c-4baf-9d31-cb6872bfa29a | python-multi-file-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:13:32.797007+00:00 |
| f10dd4df-3cc9-482b-9287-733be8eab822 | typescript-test-writing-easy-001 | wrong-logic | 0.740 | $0.0010 | 2026-05-23T20:13:32.733947+00:00 |
pass_rate vs cost_usd (Pareto frontier marked with *) * [####################] 100.0% @ $0.0036 (coder)