py_yupei_pair 提速说明
2026-10-13 · 单日全市场配对互补(玉佩2)· 三版改动都在沙箱里,没有部署
一句话
三处改动合在一起:能确定的那一段(net 配对扫描,单张、同时跑 10 个)从 91.5 秒降到 56.6 秒;53,700,105 个输出值一个都没变。整趟的标准口径(20241231、默认 15 张、同时跑 50 个、机器空着)只量到 v4 那一版:423.41 秒 → 392.23 秒;v5、v6 的整趟数字还没量,要占补算队列 25 分钟空档。
三版各改了什么
| 版本 | 改了哪里 | 原来的做法 | 现在的做法 |
|---|---|---|---|
| v4只算你要的 | 准备矩阵那一步 | 37 张矩阵每次全算、全写回、全搬进内存 | 你要 15 张,就只算这 15 张对应的两组;另外 22 张不算、不写、不搬(省约 2.3 GB 搬运) |
| v4两处重复扫描并一趟 | net 与 topk | 同一批 1303 万个配对,两边各扫一遍、各算一遍 h 和 gap | 合成一趟,h 和 gap 只算一遍;两边各自累加的方式没动 |
| v5九遍并三遍 | 每个配对内部 | 对 h、g 两个数组做 9 遍独立扫描:算 h、算 g、各找一次最大值、各找一次下标、统计量、六个累加数组分两遍 | 并成 3 遍:第一遍算 h 和 g 并同时取最大值与统计量,第二遍一趟找两个下标,第三遍把 h 口径与 gap 口径的六个累加数组并成一趟 |
| v6累加改成一次算 8 个 | 六个累加数组 | 每个元素逐个判断、逐个加 | 8 个元素一次算完,判断条件用掩码代替分支 |
数值为什么不变:h 和 g 的算式一个字没改;最大值、四个统计量的归约顺序(8 路累加、按通道依次相加、尾巴按原顺序)照旧;合并下标查找和六个数组的累加,都是「每个格子每个配对只加一次」,加法次序没变;一次算 8 个只影响同一条指令里的 8 个格子,格子之间互不相干。
实测:能直接比的那一段
同一段代码、同一台机器、同样同时跑 10 个、补算队列都在跑(约 200 个进程、负载 216~260),看每张矩阵那行「配对扫描」:
| 版本 | 配对扫描(单张 cnt_t1) | 相对 v4 | 当时的机器状态 |
|---|---|---|---|
| v4 | 91.5 秒 | — | 10-13 01:17,队列在跑 |
| v5 | 73.1 秒 | −20% | 10-13 13:29,队列 201 个进程 |
| v6 | 56.6 秒 | −38% | 10-13 14:24,队列 201 个进程 |
同一份代码连着测两次的差是 73.1 对 74.3(1.6%),上表相邻两次的差是 20% 和 23%,比噪声大一个量级以上。这三行是判断改动有没有用的依据。
整趟时间:量到多少、还差什么
| 口径 | 机器状态 | 总时间 | 能不能比 |
|---|---|---|---|
| v4:20241231、默认 15 张、同时跑 50 个 | 机器空着 | 423.41 → 392.23 秒 | 可以,这一组是同一时刻一前一后量的 |
| v5:默认 15 张、同时跑 10 个 | 队列 201 个进程在跑 | 1485.46 秒 | 只能当旁证 |
| v6:默认 15 张、同时跑 10 个 | 队列 201 个进程在跑 | 1168.67 秒 | 只能当旁证 |
| 改前:默认 15 张、同时跑 10 个 | 机器空着 | 1745.49 秒 | 不能当基线,机器状态和上面两行不一样 |
同一份代码在 15 分钟内测出 480.88 秒和 282.56 秒两个总时间,差 70%,那是补算队列抢盘造成的。所以跨时刻的总时间不能直接比,这也是早先「快 55%」那个说法错掉的原因。
net 那一段在 v4、同时跑 50 个、机器空着时是 278 秒,占整趟 392 秒的 71%。按上面 −38% 的比例推算,v6 整趟大约 286 秒。这是推算,不是实测;要准数得在补算队列空出 25 分钟的时候,按标准口径(同时跑 50 个、机器空着)跑一趟。
数值怎么验的
跑完和改前的存档一个格子一个格子比:53,700,105 个值,0 个不同;该是空值的位置也一致;股票顺序、列名顺序都没变。单张那次 358 万个值同样 0 个不同。v5、v6 各跑过一遍完整核对,都是 0 个不同。
v6 那次核对:2026-10-13 14:44 起、默认 15 张、同时跑 10 个、补算队列 201 个进程同时在跑、负载 216~260,跑了 23 分钟。
试过但更差的三条路(都退回去了)
| 做法 | 结果 | 原因 |
|---|---|---|
| 把选择用的键从 8 字节压到 4 字节 | 数值不对,而且更慢 | 挑选那一步会就地打乱数组,打乱后位置不再对应原来的股票下标 |
| 按 256 个桶先粗后细地挑前 500 名 | 数值对,但慢一倍(107.0 秒对 56.6 秒) | 数桶那一步是对同一小块内存连续读改写,相邻股票的桶号常常相同,形成串行等待 |
| 打包键改成 8 个一组 | 数值对,速度没变(56.8 对 56.6) | 那一段的瓶颈不在打包本身 |
怎么用 / 怎么退回
三版可以单独打,也可以一次全打。改动没有部署,生产位置那份库仍是 10 月 11 日 23:07,一直没动。
# 回到干净源码 cd /home/chenzongwei/rust_pyfunc && git checkout -- src/ # 一次全打(v4 + v5 + v6) git apply perf_sandbox/yupei_opt_v6.patch # 或者只打 v4 git apply perf_sandbox/yupei_opt_v4.patch # 或者在 v4 之上再打 v5 + v6 这两处 git apply perf_sandbox/yupei_opt_v4.patch git apply perf_sandbox/yupei_opt_v6_incr.patch # 只打 v5(九遍并三遍,不含 v6) git apply perf_sandbox/yupei_opt_v4.patch git apply perf_sandbox/yupei_opt_v5_third_only.patch # 编译(不部署),产物在 target/release-fast/ PATH=$HOME/.cargo/bin:$PATH cargo build --profile release-fast --jobs 8 # 退回 git checkout -- src/
不要跑 alter.sh,那会把产物装到生产位置。每个补丁都能一条命令干净重打(git apply --check 都验过)。
还没做的一处(要你决定)
| 候选 | 估省 | 要不要做的关键 |
|---|---|---|
| 去掉每张矩阵 20 列空模型对照的计算 | 10~20 秒(推算) | 会让每张矩阵的输出少 20 列,属于减输出,必须你点头 |
材料位置
- 补丁:
perf_sandbox/yupei_opt_v6.patch(三版全量)、yupei_opt_v4.patch、yupei_opt_v6_incr.patch、yupei_opt_v5_third_only.patch - 技术说明:
perf_sandbox/yupei_opt_v6_audit.md(含测速口径四条规则)、yupei_opt_audit.md、yupei_opt_v5_audit.md - 核对存档:
perf_sandbox/yp_out/vals.npy(改前的 5370 万个值)+meta.json