Metadata-Version: 2.2
Name: vllm-hust-engine
Version: 2026.11.19.9.post1
Summary: Complete frozen vLLM-HUST R9 runtime and model adapters
Requires-Python: >=3.12,<3.13
License: Apache-2.0
Requires-Dist: vllm==0.28.1.post1.dev143+gf18cf803c.empty
Requires-Dist: vllm-ascend==0.25.1rc2.dev125+hust.20260903.4.g74f0c0a27
Requires-Dist: vllm-hust-runtime==2026.11.19.9+r9.b56fc7e63e4d
Description-Content-Type: text/markdown

# vLLM-HUST Engine R9

R9 包含完整冻结 SDK、原生库、MOD、逐文件校验清单和固定评测工具。它在 R8 执行核心上增加显式的 Intern-S2 35B 适配和状态页复制修复；Qwen 保留原 Worker 与原词表准入路径。

支持环境为 CPython 3.12、Linux aarch64、双 Ascend 910B2、CANN 9.1.0，以及固定的 Torch 2.13.0+cpu、Torch-NPU 2.13.0rc1、Triton-Ascend 3.6.0、Transformers 5.14.1。驱动、供应商 Python 环境和模型权重需预先准备。供应商依赖元数据中的 NumPy 要求仍有矛盾，因此安装清单使用 `--no-deps` 保留已验证环境，不声称自动安装全部依赖。

在独立环境安装固定的四个包，保留旧环境以便回退：

```sh
python -m pip install --no-cache-dir --force-reinstall --no-deps -r https://github.com/vLLM-HUST/vllm-hust-website/releases/download/engine-wheels-r9-v1/r9-pip-requirements-post1.txt
vllm-hust-engine verify
vllm-hust-engine install --out /data/hust-r9-install
vllm-hust-engine serve --installation /data/hust-r9-install -- \
  --model /models/Intern-S2-35B --out /data/r9-serve-001 \
  --cache /tmp/r9-compiler-001 --physical-devices 0,7 --devices 0,1 --port 8000
```

模型选择以 `config.json` 的架构、层数、词表、MoE 与注意力参数为准，不根据模型目录名称猜测。书生使用 `hust_intern_s2.worker.Worker`；Qwen 使用原来的 `betterscale.qwen35_worker.Worker`。两者均采用 BF16、TP2、MTP2、FULL、E36/R54、每 rank 4 GiB 主机状态和 20 GiB FA KV 预算。默认服务仅绑定本机地址。

普通 `vllm serve` 不会自动启用这个冻结配方。使用上述 Engine 服务入口，或明确使用已校验的部署和工具。安装和校验命令不会启动模型。运行记录保存在 `--out`；热路径记录写入独立本地临时目录，退出后归档，具体路径写入 `runtime-storage.json`。

`evaluate --installation ... -- --engine-profile r9 ...` 保留固定五项 full / MMLU200 quick 语义及原始 Qwen 对照契约。书生服务和项目联调的模型间测试独立记录；没有同模型 B0、参考分母和冻结任务结果时，不宣称书生完成该项目验收。R9 发行与切换默认版本分别处理，当前默认仍按评测入口契约执行。

性能和质量按实际记录披露；完整模型吞吐、首 token 延迟、尾延迟、任务得分及项目最终目标分别判断。回退时使用保留的 R8 环境及部署，不改写旧 Release 或旧记录。
