py_yupei_pair 提速说明

2026-10-13 · 单日全市场配对互补(玉佩2)· 三版改动都在沙箱里,没有部署

一句话

三处改动合在一起:能确定的那一段(net 配对扫描,单张、同时跑 10 个)从 91.5 秒降到 56.6 秒;53,700,105 个输出值一个都没变。整趟的标准口径(20241231、默认 15 张、同时跑 50 个、机器空着)只量到 v4 那一版:423.41 秒 → 392.23 秒;v5、v6 的整趟数字还没量,要占补算队列 25 分钟空档。

三版各改了什么

版本改了哪里原来的做法现在的做法
v4只算你要的准备矩阵那一步37 张矩阵每次全算、全写回、全搬进内存你要 15 张,就只算这 15 张对应的两组;另外 22 张不算、不写、不搬(省约 2.3 GB 搬运)
v4两处重复扫描并一趟net 与 topk同一批 1303 万个配对,两边各扫一遍、各算一遍 h 和 gap合成一趟,h 和 gap 只算一遍;两边各自累加的方式没动
v5九遍并三遍每个配对内部对 h、g 两个数组做 9 遍独立扫描:算 h、算 g、各找一次最大值、各找一次下标、统计量、六个累加数组分两遍并成 3 遍:第一遍算 h 和 g 并同时取最大值与统计量,第二遍一趟找两个下标,第三遍把 h 口径与 gap 口径的六个累加数组并成一趟
v6累加改成一次算 8 个六个累加数组每个元素逐个判断、逐个加8 个元素一次算完,判断条件用掩码代替分支

数值为什么不变:h 和 g 的算式一个字没改;最大值、四个统计量的归约顺序(8 路累加、按通道依次相加、尾巴按原顺序)照旧;合并下标查找和六个数组的累加,都是「每个格子每个配对只加一次」,加法次序没变;一次算 8 个只影响同一条指令里的 8 个格子,格子之间互不相干。

实测:能直接比的那一段

同一段代码、同一台机器、同样同时跑 10 个、补算队列都在跑(约 200 个进程、负载 216~260),看每张矩阵那行「配对扫描」:

版本配对扫描(单张 cnt_t1)相对 v4当时的机器状态
v491.5 秒—10-13 01:17,队列在跑
v573.1 秒−20%10-13 13:29,队列 201 个进程
v656.6 秒−38%10-13 14:24,队列 201 个进程

同一份代码连着测两次的差是 73.1 对 74.3(1.6%),上表相邻两次的差是 20% 和 23%,比噪声大一个量级以上。这三行是判断改动有没有用的依据。

整趟时间:量到多少、还差什么

口径机器状态总时间能不能比
v4:20241231、默认 15 张、同时跑 50 个机器空着423.41 → 392.23 秒可以,这一组是同一时刻一前一后量的
v5:默认 15 张、同时跑 10 个队列 201 个进程在跑1485.46 秒只能当旁证
v6:默认 15 张、同时跑 10 个队列 201 个进程在跑1168.67 秒只能当旁证
改前:默认 15 张、同时跑 10 个机器空着1745.49 秒不能当基线,机器状态和上面两行不一样

同一份代码在 15 分钟内测出 480.88 秒和 282.56 秒两个总时间,差 70%,那是补算队列抢盘造成的。所以跨时刻的总时间不能直接比,这也是早先「快 55%」那个说法错掉的原因。

net 那一段在 v4、同时跑 50 个、机器空着时是 278 秒,占整趟 392 秒的 71%。按上面 −38% 的比例推算,v6 整趟大约 286 秒。这是推算,不是实测;要准数得在补算队列空出 25 分钟的时候,按标准口径(同时跑 50 个、机器空着)跑一趟。

数值怎么验的

跑完和改前的存档一个格子一个格子比:53,700,105 个值,0 个不同;该是空值的位置也一致;股票顺序、列名顺序都没变。单张那次 358 万个值同样 0 个不同。v5、v6 各跑过一遍完整核对,都是 0 个不同。

v6 那次核对:2026-10-13 14:44 起、默认 15 张、同时跑 10 个、补算队列 201 个进程同时在跑、负载 216~260,跑了 23 分钟。

试过但更差的三条路(都退回去了)

做法结果原因
把选择用的键从 8 字节压到 4 字节数值不对,而且更慢挑选那一步会就地打乱数组,打乱后位置不再对应原来的股票下标
按 256 个桶先粗后细地挑前 500 名数值对,但慢一倍(107.0 秒对 56.6 秒)数桶那一步是对同一小块内存连续读改写,相邻股票的桶号常常相同,形成串行等待
打包键改成 8 个一组数值对,速度没变(56.8 对 56.6)那一段的瓶颈不在打包本身

怎么用 / 怎么退回

三版可以单独打,也可以一次全打。改动没有部署,生产位置那份库仍是 10 月 11 日 23:07,一直没动。

# 回到干净源码
cd /home/chenzongwei/rust_pyfunc && git checkout -- src/

# 一次全打(v4 + v5 + v6)
git apply perf_sandbox/yupei_opt_v6.patch

# 或者只打 v4
git apply perf_sandbox/yupei_opt_v4.patch

# 或者在 v4 之上再打 v5 + v6 这两处
git apply perf_sandbox/yupei_opt_v4.patch
git apply perf_sandbox/yupei_opt_v6_incr.patch

# 只打 v5(九遍并三遍,不含 v6)
git apply perf_sandbox/yupei_opt_v4.patch
git apply perf_sandbox/yupei_opt_v5_third_only.patch

# 编译(不部署),产物在 target/release-fast/
PATH=$HOME/.cargo/bin:$PATH cargo build --profile release-fast --jobs 8

# 退回
git checkout -- src/

不要跑 alter.sh,那会把产物装到生产位置。每个补丁都能一条命令干净重打(git apply --check 都验过)。

还没做的一处(要你决定)

候选估省要不要做的关键
去掉每张矩阵 20 列空模型对照的计算10~20 秒(推算)会让每张矩阵的输出少 20 列,属于减输出,必须你点头

材料位置