

                                             NVIDIA AIPerf | LLM Metrics: Effective
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━┓
┃                                    Metric ┃       avg ┃       min ┃       max ┃       p99 ┃       p90 ┃       p50 ┃      std ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━┩
│          Effective Concurrency (requests) │     15.99 │      0.00 │     16.00 │     16.00 │     16.00 │     16.00 │     0.30 │
│  Effective Decode Throughput (tokens/sec) │    610.07 │      0.00 │  6,734.28 │    699.16 │    687.59 │    677.37 │   201.29 │
│ Effective Prefill Throughput (tokens/sec) │    610.65 │      0.00 │ 10,127.36 │  9,332.68 │      0.00 │      0.00 │ 2,036.97 │
│   Effective Decode Concurrency (requests) │     14.59 │      0.00 │     16.00 │     16.00 │     16.00 │     16.00 │     4.44 │
│  Effective Prefill Concurrency (requests) │      1.40 │      0.00 │     16.00 │     16.00 │      0.00 │      0.00 │     4.43 │
│   Effective Total Throughput (tokens/sec) │  1,220.72 │      0.00 │ 10,127.36 │  9,332.68 │    680.17 │    671.32 │ 1,861.80 │
│      Effective Decode Throughput Per User │     38.18 │      0.00 │    420.89 │     43.70 │     42.98 │     42.34 │    12.50 │
│                         (tokens/sec/user) │           │           │           │           │           │           │          │
│     Effective Prefill Throughput Per User │     39.86 │      0.00 │  3,059.68 │    583.29 │      0.00 │      0.00 │   133.15 │
│                         (tokens/sec/user) │           │           │           │           │           │           │          │
│                 Tokens In Flight (tokens) │ 23,861.34 │      0.00 │ 32,762.00 │ 32,604.97 │ 30,991.00 │ 23,776.00 │ 5,096.00 │
│         Effective Latency (CO-aware) (ms) │ 26,822.08 │ 26,258.83 │ 28,534.16 │ 28,533.82 │ 28,528.64 │ 26,518.66 │   720.12 │
└───────────────────────────────────────────┴───────────┴───────────┴───────────┴───────────┴───────────┴───────────┴──────────┘
                                          NVIDIA AIPerf | LLM Metrics: Active
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━┓
┃                                 Metric ┃      avg ┃    min ┃       max ┃       p99 ┃      p90 ┃      p50 ┃      std ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━┩
│  Active Decode Throughput (tokens/sec) │   635.98 │   0.00 │  6,734.28 │    699.28 │   687.85 │   677.77 │   160.50 │
│ Active Prefill Throughput (tokens/sec) │ 6,716.09 │ 227.51 │ 10,127.36 │ 10,127.36 │ 9,332.68 │ 7,294.35 │ 2,151.81 │
│      Active Decode Throughput Per User │    39.80 │   0.00 │    420.89 │     43.71 │    42.99 │    42.36 │     9.91 │
│                      (tokens/sec/user) │          │        │           │           │          │          │          │
│     Active Prefill Throughput Per User │   438.37 │ 227.51 │  3,059.68 │    632.96 │   583.29 │   486.29 │   142.42 │
│                      (tokens/sec/user) │          │        │           │           │          │          │          │
│   Active Total Throughput (tokens/sec) │ 1,220.88 │  40.54 │ 10,127.36 │  9,332.68 │   680.17 │   671.32 │ 1,861.87 │
└────────────────────────────────────────┴──────────┴────────┴───────────┴───────────┴──────────┴──────────┴──────────┘
                                                    NVIDIA AIPerf | LLM Metrics
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━┓
┃                                        Metric ┃       avg ┃       min ┃       max ┃       p99 ┃       p90 ┃       p50 ┃      std ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━┩
│                      Time to First Token (ms) │  2,346.66 │    334.68 │  4,500.97 │  4,500.69 │  4,498.54 │  2,103.54 │   947.77 │
│                     Time to Second Token (ms) │     91.25 │      0.00 │  2,131.61 │  1,578.90 │     18.83 │      7.92 │   355.78 │
│               Time to First Output Token (ms) │ 23,294.52 │ 18,267.71 │ 27,604.25 │ 27,519.49 │ 26,756.72 │ 23,653.05 │ 3,414.52 │
│                          Request Latency (ms) │ 26,817.93 │ 26,252.62 │ 28,533.15 │ 28,532.70 │ 28,527.25 │ 26,515.27 │   721.52 │
│                          Decode Duration (ms) │ 24,471.27 │ 24,027.65 │ 26,334.58 │ 25,983.03 │ 25,232.25 │ 24,285.53 │   493.99 │
│                      Inter Token Latency (ms) │     23.92 │     23.22 │     25.74 │     25.40 │     24.66 │     23.74 │     0.48 │
│              Output Token Throughput Per User │     41.82 │     38.85 │     43.08 │     42.57 │     42.56 │     42.12 │     0.82 │
│                             (tokens/sec/user) │           │           │           │           │           │           │          │
│ E2E Output Token Throughput (tokens/sec/user) │     38.21 │     35.85 │     39.01 │     39.01 │     38.99 │     38.62 │     0.97 │
│               Output Sequence Length (tokens) │  1,024.04 │  1,021.00 │  1,036.00 │  1,024.89 │  1,024.00 │  1,024.00 │     1.19 │
│                Input Sequence Length (tokens) │  1,024.00 │  1,024.00 │  1,024.00 │  1,024.00 │  1,024.00 │  1,024.00 │     0.00 │
│          Output Token Throughput (tokens/sec) │    610.67 │       N/A │       N/A │       N/A │       N/A │       N/A │      N/A │
│           Input Token Throughput (tokens/sec) │    610.65 │       N/A │       N/A │       N/A │       N/A │       N/A │      N/A │
│             Request Throughput (requests/sec) │      0.60 │       N/A │       N/A │       N/A │       N/A │       N/A │      N/A │
│                      Request Count (requests) │    112.00 │       N/A │       N/A │       N/A │       N/A │       N/A │      N/A │
└───────────────────────────────────────────────┴───────────┴───────────┴───────────┴───────────┴───────────┴───────────┴──────────┘
