
MATRIX A — Qwen3.5-0.8B · TP1 · 16k/1k · local 4090 @2700MHz
       │                     c1                    │                    c16                    │                    c64                    
engine │          TTFT          TPOT         tok/s │          TTFT          TPOT         tok/s │          TTFT          TPOT         tok/s 
───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
arbi   │       223/223       2.6/2.7       357/344 │       839/691      9.5/10.8     1525/1359 │      1149/866     28.2/35.4     2166/1746 
vllm   │       268/273       2.5/2.6       357/343 │       715/608      7.8/10.1     1859/1487 │     1117/2346     25.5/32.8     2396/1728 
sglang │       273/264       2.5/2.5       368/357 │     2026/1960       6.4/8.0     1654/1424 │     7658/7358     19.6/26.3     2254/1838 
cells: tqkv/bf16 · TTFT,TPOT=ms median · tok/s=aggregate · best / worst>20% / worst-close / plain mid


MATRIX B — Qwen3.6-27B-AWQ · MTP5 K=5 · TP2 · box201
accept-len ~4.1-4.3 all engines · arbi on #749-fixed image slim-5eb077a
       │                     c1                    │                     c8                    
engine │          TTFT          TPOT         tok/s │          TTFT          TPOT         tok/s 
───────────────────────────────────────────────────────────────────────────────────────────────
arbi   │         81/78       8.0/8.2       125/123 │       226/226     16.9/17.1         60/59 
vllm   │         83/79       6.5/6.2       154/161 │       151/144     11.4/10.1         88/99 
sglang │         90/85       6.7/6.3       149/158 │       205/162     12.7/13.1         79/77 
cells: tqkv/bf16 · TTFT,TPOT=ms median · tok/s=aggregate · best / worst>20% / worst-close / plain mid
