玉佩2 双层网络(配对互补)研究报告

实验 yupei2_pair_net | 机制样本 20241230–20241231 | 生成于 2026-10-09
结论
思路在数学上成立,但有硬天花板,实测下来「互补」在你这套归一化里的含量比预期少很多。
第一个指标(求和核的组合形状增益 G)已经用 Rust 实现好,全市场 N×N 只要 9.4 秒。
第二个指标(取最大近邻的覆盖增益)按 ChatGPT 给的归一化方式,600 个候选配对里一个正的都没有。
降维出的 77 个因子里,跨日稳的那批基本是现有 rec_*_reciprocity 的换皮,真正新的那批跨日只有 0.4 到 0.5。

摘要

三句话说完。你这个构造能算,算得很快,但不能用来证明「互补」。下面按重要性排。

先说口径
这张报告里的数字全部是在只保留 A 股股票的数据上算的。基金、债券、ETF 在读逐笔之前就被剔除了, 配对的两端和 X 的候选集都只含股票。有两处早期用了未过滤数据,已经重算并替换, 一处是覆盖核,一处是跨日稳定性,两处在正文里都标了更正前后的对照。
级别核心结论支撑数字
最重要 G 主要不是配对的属性。把它对 (p, q) 这个相似度剖面做完条件平均之后,只剩 0.9% 的方差是配对自己的内容 剖面解释掉 99.1%;残差 std / G 的 std = 0.094;残差与 G 的 Spearman 只有 0.013
最重要 第二个指标按 ChatGPT 的归一化方式不成立。并集的覆盖自能量因为取最大而被抬高,分母涨得比分子快 600 个候选配对 Gcov 全部为负,中位 −0.106;cov(U,U) 是 cov(B,B) 的 6.7 倍
重要 降维出来的东西,稳的是旧的,新的是不稳的。跨日最稳的前 7 条里 6 条与老因子 rec_*_reciprocity 撞 0.77 到 0.88 r5_res_max 撞老因子 0.909;真正新的那批跨日只有 0.40 到 0.50
重要 玉佩2 的股票池漏了白名单,这是代码 bug,不是优化建议。基金和债券混在横截面里参与计算,而且现在重跑依然会混进去 codes.txt 里 280 个非个股;6,784,086 对股票-股票配对里有 7.24% 的 X0 落在基金或债券上;一个 ETF 占了全部配对的 7.1%,排第三
好消息 互补关系不是相似度换了个说法。两张图的边几乎不重合 k=20 时共同邻居比例 0.55%、Jaccard 0.07%、度序列 Spearman −0.384
好消息 往 k 只篮子走比停在 2 只有希望。贪心篮子没有塌成单枢纽 8 只篮子 ρ 均值 0.456,伙伴互相 ρ 中位 0.276,退化比例仅 1.6%

建议,按该做的顺序

  1. 先修玉佩2 的白名单漏检。这是 bug 修复,不是调参。修完要让整条 2761 因子的线重算一遍, 历史备份矩阵也是带 ETF 算出来的,同样要重做。这一步不做,后面所有结论都站在被污染的数据上。 详见第八节,有代码位置和提交记录。
  2. 把 X0 换成「补缺口最大」的那只。零成本,只改一行 argmax 的目标函数。 跨日 Spearman 从 0.502 升到 0.685,前 10 名集中度从 50.6% 降到 20.7%。
  3. 把活跃度分层空模型换掉。它现在不构成检验,只是标准化。换成条件冗余残差才有判别力, 换了之后你就知道「互补」到底还剩多少内容。
  4. 因子层面只带 8 条下去,或者干脆换个方向。要带就带 p_zs_max、p_gen_top20、p_gen_max、p_quad、 s_r5_res_hhi、s_r5_res_mean、r4_deg_G_topk、r1_explain_count_z2。 更值得投入的是把 2 只伙伴推广成 k 只的贪心篮子,那一路没有塌,而且它才是你原始直觉的完整版本。

一、你的核心指标是什么

把 A 全天每一笔和 B 全天每一笔两两配对,时间差按指数衰减加权求和。名字叫距离,实际上是互动强度,成交越多越大,所以必须用自能量归一化之后才可比。

原算子(10ms 桶实现,行在后列在前,同桶 50/50 折半) S(A, B) = Σa ∈ A Σb ∈ B wa · wb · e−|ta − tb| / τ EA = 2 · Sdir[A][A] ρ(A, B) = S(A, B) √(EA · EB) |ρ| ≤ 1

你帖子里的 37 张矩阵就是这个式子换 6 种权重和多个 τ。正式口径在 src/yupei_dist/matrix_stage.rs 第 3 行起。

关键事实
拼接满足严格的 S(A, UBC) = S(A, B) + S(A, C), 我用独立 Python 暴力复算过,相对差 0.0(有向核 1.4 × 10−16)。 这条意味着拼接本身不产生任何新信息,全部信息都藏在归一化的分母里。

二、你这个思路哪里站得住、哪里要改

站得住的地方

换成归一化之后,互补和重复确实分得开了。而且互补图跟相似图在图结构上几乎不重合,k=20 时平均共同邻居只有 0.55%,两个度序列的 Spearman 是 −0.384。这不是相似度换了个说法。

三个必须知道的问题

构造的数学边界,逐条有实测数字
你的设想实测结论数字
A 离 UBC 很近,但离 B、C 都远 不可能。因为 ρ(X, UBC) ≤ √(p²+q²) ≤ √2 · max(p,q),改善上限只有 41% 上限 (√2−1)·max(p,q) ≈ 0.414·max(p,q)
实测 G 中位 0.027,p99 0.092
合并后原算子能区分互补与重复 不能。两种拼接下三个 S 逐位完全相同 互补与重复都给
S(X,B)=S(X,C)=2.0001362
S(X,U)=4.0002724
相对差 0
换成归一化 ρ 就能区分 能,但只能在下限上区分 τ→0 时
互补 ρ=1.0000(G=0.293)
重复 ρ=0.7071(G=0.0000)
G 大就说明互补 不成立。两个都平庸的独立伙伴,G 也恒为正 eB=eC 且 r=0 时
G=(√2−1)·p=0.23915
与解析值完全相同

问题一 · 硬天花板

ρ(X, UBC) = wB·ρ(X,B) + wC·ρ(X,C) ≤ √(p² + q²) ≤ √2 · max(p, q) 其中 wB = √eB / D,wC = √eC / D, D = √(eB + eC + 2·ρ(B,C)·√(eB·eC)), p = ρ(X,B),q = ρ(X,C)

所以「A 离拼接后很近、但离 B 和 C 都远」在数学上不可能出现。这不是实现问题,是算子的结构决定的。用最小时间序列把这个上限和实测对到了 1e−15。

问题二 · 你那条 argmax 规则会把 X0 垄断

第一路 X0 = argmax ρ(X, UBC)
922
只股票被选中(共 3684)
前 10 名占全部配对
50.6%
第一名 002130 独占 12.5%
第二路 X0* = argmax 补缺口
3544
前 10 名只占 20.7%
第二路是我在同一趟扫描里加的,用来治这个病 X0* = argmaxX  [ ρ(X, UBC) − max(ρ(X,B), ρ(X,C)) ] G(B,C) = ρ(X0, UBC) − max(ρ(X0,B), ρ(X0,C))

X0 集中在少数股票上,意味着 G(B,C) 很大程度在描述「这对股票对市场上最典型的那几只拟合得怎么样」,而不是 B、C 两个人的性质。

同一批股票-股票配对,如果允许基金和债券也当候选,X0 的集中度只从 50.6% 变成 49.9%, 第一名占比从 12.5% 变成 13.0%,看上去几乎没差。真正的差别是那 7.24% 的配对直接换了 X,见第八节。

问题三 · G 主要不是配对的属性

这一条是本次最重要的发现,上一版写得太绕,这里从头讲一遍,每个数都能对上文件里的字段。

第一步,先看一对股票手上到底有哪几个数。以 000001 和 600000 为例,指标算完以后这一对在文件里留下这些值。

数据来自 /tmp/yupei2_pair_so/20241231/,行列下标就是 codes.txt 的行序
字段含义这一对的值
X0.bin[000001][600000]这一对最适合解释哪只股票600036
p = rho.bin[600036][000001]B 跟这只最合适的股票有多像0.363324
q = rho.bin[600036][600000]C 跟这只最合适的股票有多像0.441098
r = rho.bin[000001][600000]B 和 C 彼此有多像0.286781
RHO_U.bin[000001][600000]把 B、C 拼起来以后跟 600036 有多像0.479130
SINGLE.bin[000001][600000]只用最好的那一只,跟 600036 有多像0.441098
G.bin[000001][600000]拼接比最好的单只强多少,就是上面两行相减0.038031

再看两对做对照,立刻能看出 G 的大小被什么决定。

配对X0pqrG
000001 + 6000006000360.36330.44110.28680.0380
000001 + 6005196016010.36970.41500.26160.0306
000533 + 6038250024160.52180.54020.15840.1475

规律是,G 主要由「B 和 C 谁更像 X0」决定。两个都像,拼起来才有增益,000533 那对两个都在 0.5 以上,G 就到 0.148。一个好一个差,拼起来反而把分数拉低。全样本分一下看得更清楚。

(p, q) 所处的档位配对数G 的均值
p 高(>0.55)而 q 低(<0.15),一个好伙伴配一个差伙伴22,913−0.0540
p、q 都在 0.30 到 0.45 之间,两个都中等1,031,277+0.0625

同样是「一对股票」,剖面不同,G 的符号就反过来了。

第二步,看去掉这个剖面之后还剩多少。做法是这样。把全部 678 万对股票按 (p, q) 分成 24 × 24 = 576 格。每一格里算该格所有配对 r 的平均值,记作 r̂。然后用每一对真实的 p 和 q,配上它所在那一格的典型 r̂ 重新算一遍 G,得到 G_pred。两者相减就是残差。

G 的标准差
0.0405
p10 到 p90 跨度 0.0912
残差的标准差
0.0038
p10 到 p90 跨度 0.0082
残差占 G 的比例
9.4%
按方差算是 0.9%

翻译成人话。只要知道两件事,B 跟它最合适的那只股票有多像、C 跟那只股票有多像,再知道这个相似度档位下大多数配对彼此有多像,就能把 G 押到九成准。真正属于「这一对股票自己」的信息只剩那 9.4%。而这 9.4% 的内容也只有一句话,就是这对股票彼此之间比同档位的其他配对更不像还是更像,残差与「同档位平均 r 减去实际 r」的 Spearman 是 0.98。

这意味着什么
按你原来的设想,G 应该是「B、C 这一对」的性质。实测下来它九成以上是「B 和 C 各自有多合群」的性质。 拿 G 当配对互补分数去建 N×N 矩阵,矩阵里绝大部分是两只股票各自的画像,配对的成分很薄。 真正带配对含义的是残差那一层,而它的跨日稳定性只有 0.30。

三、第二个指标的反直觉否定结果

取最大近邻的覆盖核实现好了,也独立核对过(逐量比对 9 位有效数字一致)。递推从加法换成取最大。

覆盖场:找离得最近的那一笔,而不是把所有笔加起来 nmax[k] = max( nmax[k−1] · d,  u[k−1] ) nearY[k] = max( nmax[k],  nmax反向[k] ) cov(A,B) = Σk uA[k] · nearB[k]  d = e−0.01/τ
600 个候选配对(rho 前 300 + 随机对照 300),τ=1 秒
统计量最小中位最大为正的个数
Gcov(按 ρ 的归一化方式),未过滤口径−0.9383−0.1057−0.01030 / 600
Gcov 同上,只用股票重跑−0.9383−0.0948−0.01030 / 600
为什么全为负
并集的覆盖自能量 Σk max(nearB, nearC)² 因为取最大而被抬高。例:000001 与 000004 这一对的 cov(U,U) = 1.02 × 107,是 cov(B,B) = 1.53 × 106 的 6.7 倍。分母涨得比分子快,ρ 必然被压低。

剔除基金债券后重跑,结论不变。cov(U,U) 相对单只被抬高的倍数,中位从 12.7 变成 13.2,量级没动; Gcov 仍然 600 对全部为负,中位从 −0.106 抬到 −0.095。也就是说这个否定结果不是非个股造成的,它是算子本身的性质。 另一个要注意的点,取最大核不是正定核,所以「柯西-施瓦茨保证 |ρ| ≤ 1」对求和核成立、对这个核不成立,它严格来说不能当相关系数用。

要让第二个指标能用,得把分母换成覆盖率而不是相似度。但那样增益恒为非负,必须再配零基线才行。

四、两个指标的实测与性能

项目做法实测判定
① 组合形状增益 G
求和核
读已有备份矩阵,不重算逐笔 7,854,666 对
200 线程 8.6 秒
50 线程 9.4 秒
成立,含量少
② 互补覆盖增益 Gcov
取最大近邻核
回到逐笔,16.4 毫秒一对 600 对全部为负
中位 −0.106
不成立
单股单日完整计算 读一只股票全天逐笔 + 建场,并行 1 0.046 秒 通过(限 1 秒)
求和核复算备份对账 独立实现,全量 1571 万个数 cnt_t1 相对差 0.99%
两遍 sha256 相同
通过
ρ 与自能量的独立复算 逐笔暴力两两配对,不加速 相对差中位 1.4 × 10−6 f32 存储量级

五、跨日稳定性

20241230 与 20241231 两天的共同股票 3746 只,共同配对 6,098,778 对,逐对比较。参照值是相似度 ρ 自己的跨日稳定性 0.743。

这里有一处数字更正
我第一次算这一组的时候,把非个股那 280 行整行整列算了进去。那 280 行两天都是 0,位置一样, 等于给相关系数塞了一批完全对齐的常数,把结果抬高了。下面的数字是只保留「股票-股票」配对重算的, 以这里为准。更正前后的对照:ρ 从 0.781 落到 0.743,G 从 0.517 落到 0.440,Z 从 0.502 落到 0.398,ZS 从 0.685 落到 0.523。
ρ(参照值)
0.743
ZS(第二路)
0.523
G(原始量)
0.440
Z(第一路)
0.398
三角残差
0.301

第二路(X0* 口径)在配对层面系统性比第一路稳,这个差距在按股票聚合的因子层面更大。

另外两条对照排掉了常见解释

竞争解释实测判定
高互补配对只是同行业凑在一起同行业基线 5.13%
Z>2 的配对 4.79%
Z>3 的配对 4.62%
排掉。高互补配对反而更不同行业
G 只是活跃度的影子Spearman(G, log 笔数对) = −0.187排掉。方向还是负的
互补关系只是分钟成交量相似度的换皮vs ρ 为 0.470
vs ZS 为 0.127
在 ρ 十分位内为 +0.02 到 −0.06
排掉。扣掉 tick 相似度后分钟量不再提供信息

六、降维结果

诊断项结果
因子数77 个(含 20 个空模型对照列)。两日整列全空 0 列、常量列 0 列
跨日最稳的前 7 条其中 6 条与老因子 rec_*_reciprocity 撞 0.77 到 0.88,基本是换皮
真正新的那批跨日只有 0.40 到 0.50,但撞老因子低于 0.70
互补图 vs 相似图k=20 时平均共同邻居比例 0.55%、Jaccard 0.07%、度序列 Spearman −0.384
G 的方差来源99.1% 来自「B、C 各自跟 X0 有多像」这个剖面
子模贪心篮子8 只篮子的 ρ 均值 0.456,伙伴之间平均 ρ 中位 0.276,退化比例仅 1.6%,没有塌成单枢纽
最佳伙伴对 vs 最佳单伙伴0.397 对 0.347,平均增益 0.0496,92.9% 的股票都为正

各族因子的跨日稳定性(中位数)

s_r5_ 残差族
0.590
r5_ 残差族
0.532
p_ 平面族
0.508
s_r1_ 角色族(第二路)
0.477
r2_ 三分解族
0.467
r3_ 贪心篮子族
0.446
r1_ 角色族(第一路)
0.317
最要命的一条
跨日最稳的前 7 条里,r5_res_max 与老因子 topk_cnt_t1_top20_mean 的 Spearman 是 0.909, r2_best_pair 与 rec_cnt_t005_reciprocity 是 0.884。 也就是说稳的东西基本是旧的,新的东西只有 0.4 到 0.5 的稳定性。

七、我建议的四个优化

  1. 把 X0 换成「补缺口最大」的那只。零成本,跨日 Spearman 从 0.502 升到 0.685,X0 的集中度从 50.6% 降到 20.7%。建议作为默认。
  2. 把活跃度分层空模型换掉。我原本以为它是检验,其实不是。空模型抽的配对本就和真实配对来自同一个分布,逐层均值方差都对得上(差出 3 个标准误的层数 0), 所以 Z 只是把数据标准化了一遍,P(Z>2)=0.091% 是分布形状,不是证据。有检验力的对照是条件冗余基线,也就是把 G 对 (p, q) 回归掉之后的残差。
  3. 基金和债券必须在计算之前筛掉,而且这是代码 bug 不是优化建议。 完整证据见下一节。
  4. 往 k 只篮子的方向走比停在 2 只更有希望。贪心篮子没有塌成单枢纽,8 只篮子的相似度均值 0.456,退化比例只有 1.6%。

八、白名单漏检的完整证据

你问得对,这确实该是默认行为。框架里确实已经有了默认剔除,但玉佩2 这一个模块没接上。不是「批量剔除、沙盒不剔除」,而是反过来,其他 12 个横截面 pipeline 都剔除了,只有玉佩2 无论在批量路径还是沙盒路径都没剔除。

位置是不是默认剔除非个股证据
框架唯一的枚举入口
data_paths::list_stock_codes
是 按 symbol_map.csv 过滤,代码注释写明「这是所有横截面 pipeline 枚举全市场股票的唯一入口,非股票标的在这里就被剔除,既不读它们的文件,也不会被算进横截面统计」
其他 12 个横截面 pipeline
peaks / urgency / yhyb / hot_stock_pool / pair_interaction / drop_event / long_order / microstructure_capm / multi_factor_capm / volume_segment / urgency_ext_cluster / cross_section_example
是 都在 2026-10-01 的提交 72a4d1c(v0.90.0「横截面 pipeline 只读 A 股股票」)里改成调用上面那个入口
玉佩2
yupei_dist/compute.rs 的 list_codes_by_size
否 自己 read_dir 扫目录,只判「六位都是数字」,完全不查股票表。那次提交的 13 个文件里没有它
玉佩2 的沙盒
sandbox_yupei_dist/cli_util.rs
否 同一套写法。我这次的 sandbox 也是照着抄的,后来才加了 --stocks-only
影响范围
玉佩2 的备份 codes.txt 里是 3964 行,其中 280 行不在股票表里(276 个 5 开头的 ETF 加 4 个 019xxx 债券)。
因为你的规则对 X 取 argmax,非个股特别容易被挑出来当 X0。一个 ETF 一个人占了全部配对的 7.1%,排第三。
把这批代码放回候选集里,6,784,086 对股票-股票配对中有 491,392 对(7.24%)的 X0 落在基金或债券上。 反过来说,只要 X0 落在股票上,两个口径选出的就是同一只(一致率 1.0000), 因为剔除非个股只减少候选、不改变股票之间的相对次序。所以污染完全集中在那 7.24% 上。
加上白名单后,Z>2 的占比从 0.317% 变成 0.091%,跨日 Spearman(ZS) 从 0.557 升到 0.685。 这还只是我这次的指标,对原来那 2761 个因子,影响落在横截面归一化、排名、邻居集合、社群划分这些环节上,没法从产物里看出来。
修法是把 list_codes_by_size 换成 crate::data_paths::list_stock_codes。 改完之后玉佩2 的全部因子值和历史备份矩阵都要重算,因为没有别的办法判断 ETF 当年影响了多少。

九、台账状态与遗留问题

实验名 yupei2_pair_net,现在推进到批量计算。期间有一条证据作废过,是我改完 Z 对称性 bug 之后脚本指纹变了(946a6bcb 变成 52a9a3cd),程序判的,我重跑了 run-2 并记了 ev-3。

假设卡上三条证伪条件逐条核对
证伪条件结果
扣掉活跃度分层空模型后 Z>2 的配对占比不超过 5%被触发(实测 0.091%)。但触发的原因是这条条件本身把 Z 当成了检验统计量,写法有缺陷,已在证据的 judgment 里写明
主力因子跨日 Spearman 低于 0.2通过
每个新因子与老 2761 因子的最大 |Spearman| 高于 0.9被违反,r5_res_max 撞到 0.909

按失败四分类,这是「与已有因子重复」加「结果不稳」两类混在一起。

建议带下去的 8 条因子
p_zs_max p_gen_top20 p_gen_max p_quad  s_r5_res_hhi s_r5_res_mean r4_deg_G_topk r1_explain_count_z2

杂事

附 · 文件清单

sandbox_yupei_pair/src/main.rs  配对互补网络(求和核),读备份矩阵
sandbox_yupei_cover/src/main.rs  取最大近邻覆盖核,回到逐笔
experiments/yupei2/pair_spec.txt  口径冻结稿,第 7 节是跑完以后修正的四条
experiments/yupei2/pair_ref.py  独立暴力复算与合成精确性检查
experiments/yupei2/pair_net_diag.py  机制诊断(四条竞争解释)
experiments/yupei2/pair_conditional.py  条件冗余残差
experiments/yupei2/pair_vs_minute.py  分钟成交量相似度对照
experiments/yupei2/pair_reduce.py  精细化降维与诊断
/tmp/yupei2_pair_so/<日期>/  矩阵产物
/tmp/yupei2_pair_so/<日期>/reduce/  77 个降维因子