rec_*_reciprocity 的换皮,真正新的那批跨日只有 0.4 到 0.5。
三句话说完。你这个构造能算,算得很快,但不能用来证明「互补」。下面按重要性排。
| 级别 | 核心结论 | 支撑数字 |
|---|---|---|
| 最重要 | G 主要不是配对的属性。把它对 (p, q) 这个相似度剖面做完条件平均之后,只剩 0.9% 的方差是配对自己的内容 | 剖面解释掉 99.1%;残差 std / G 的 std = 0.094;残差与 G 的 Spearman 只有 0.013 |
| 最重要 | 第二个指标按 ChatGPT 的归一化方式不成立。并集的覆盖自能量因为取最大而被抬高,分母涨得比分子快 | 600 个候选配对 Gcov 全部为负,中位 −0.106;cov(U,U) 是 cov(B,B) 的 6.7 倍 |
| 重要 | 降维出来的东西,稳的是旧的,新的是不稳的。跨日最稳的前 7 条里 6 条与老因子 rec_*_reciprocity 撞 0.77 到 0.88 |
r5_res_max 撞老因子 0.909;真正新的那批跨日只有 0.40 到 0.50 |
| 重要 | 玉佩2 的股票池漏了白名单,这是代码 bug,不是优化建议。基金和债券混在横截面里参与计算,而且现在重跑依然会混进去 | codes.txt 里 280 个非个股;6,784,086 对股票-股票配对里有 7.24% 的 X0 落在基金或债券上;一个 ETF 占了全部配对的 7.1%,排第三 |
| 好消息 | 互补关系不是相似度换了个说法。两张图的边几乎不重合 | k=20 时共同邻居比例 0.55%、Jaccard 0.07%、度序列 Spearman −0.384 |
| 好消息 | 往 k 只篮子走比停在 2 只有希望。贪心篮子没有塌成单枢纽 | 8 只篮子 ρ 均值 0.456,伙伴互相 ρ 中位 0.276,退化比例仅 1.6% |
p_zs_max、p_gen_top20、p_gen_max、p_quad、
s_r5_res_hhi、s_r5_res_mean、r4_deg_G_topk、r1_explain_count_z2。
更值得投入的是把 2 只伙伴推广成 k 只的贪心篮子,那一路没有塌,而且它才是你原始直觉的完整版本。
把 A 全天每一笔和 B 全天每一笔两两配对,时间差按指数衰减加权求和。名字叫距离,实际上是互动强度,成交越多越大,所以必须用自能量归一化之后才可比。
你帖子里的 37 张矩阵就是这个式子换 6 种权重和多个 τ。正式口径在 src/yupei_dist/matrix_stage.rs 第 3 行起。
换成归一化之后,互补和重复确实分得开了。而且互补图跟相似图在图结构上几乎不重合,k=20 时平均共同邻居只有 0.55%,两个度序列的 Spearman 是 −0.384。这不是相似度换了个说法。
| 你的设想 | 实测结论 | 数字 |
|---|---|---|
| A 离 UBC 很近,但离 B、C 都远 | 不可能。因为 ρ(X, UBC) ≤ √(p²+q²) ≤ √2 · max(p,q),改善上限只有 41% | 上限 (√2−1)·max(p,q) ≈ 0.414·max(p,q) 实测 G 中位 0.027,p99 0.092 |
| 合并后原算子能区分互补与重复 | 不能。两种拼接下三个 S 逐位完全相同 | 互补与重复都给 S(X,B)=S(X,C)=2.0001362 S(X,U)=4.0002724 相对差 0 |
| 换成归一化 ρ 就能区分 | 能,但只能在下限上区分 | τ→0 时 互补 ρ=1.0000(G=0.293) 重复 ρ=0.7071(G=0.0000) |
| G 大就说明互补 | 不成立。两个都平庸的独立伙伴,G 也恒为正 | eB=eC 且 r=0 时 G=(√2−1)·p=0.23915 与解析值完全相同 |
所以「A 离拼接后很近、但离 B 和 C 都远」在数学上不可能出现。这不是实现问题,是算子的结构决定的。用最小时间序列把这个上限和实测对到了 1e−15。
X0 集中在少数股票上,意味着 G(B,C) 很大程度在描述「这对股票对市场上最典型的那几只拟合得怎么样」,而不是 B、C 两个人的性质。
同一批股票-股票配对,如果允许基金和债券也当候选,X0 的集中度只从 50.6% 变成 49.9%, 第一名占比从 12.5% 变成 13.0%,看上去几乎没差。真正的差别是那 7.24% 的配对直接换了 X,见第八节。
这一条是本次最重要的发现,上一版写得太绕,这里从头讲一遍,每个数都能对上文件里的字段。
第一步,先看一对股票手上到底有哪几个数。以 000001 和 600000 为例,指标算完以后这一对在文件里留下这些值。
| 字段 | 含义 | 这一对的值 |
|---|---|---|
X0.bin[000001][600000] | 这一对最适合解释哪只股票 | 600036 |
p = rho.bin[600036][000001] | B 跟这只最合适的股票有多像 | 0.363324 |
q = rho.bin[600036][600000] | C 跟这只最合适的股票有多像 | 0.441098 |
r = rho.bin[000001][600000] | B 和 C 彼此有多像 | 0.286781 |
RHO_U.bin[000001][600000] | 把 B、C 拼起来以后跟 600036 有多像 | 0.479130 |
SINGLE.bin[000001][600000] | 只用最好的那一只,跟 600036 有多像 | 0.441098 |
G.bin[000001][600000] | 拼接比最好的单只强多少,就是上面两行相减 | 0.038031 |
再看两对做对照,立刻能看出 G 的大小被什么决定。
| 配对 | X0 | p | q | r | G |
|---|---|---|---|---|---|
| 000001 + 600000 | 600036 | 0.3633 | 0.4411 | 0.2868 | 0.0380 |
| 000001 + 600519 | 601601 | 0.3697 | 0.4150 | 0.2616 | 0.0306 |
| 000533 + 603825 | 002416 | 0.5218 | 0.5402 | 0.1584 | 0.1475 |
规律是,G 主要由「B 和 C 谁更像 X0」决定。两个都像,拼起来才有增益,000533 那对两个都在 0.5 以上,G 就到 0.148。一个好一个差,拼起来反而把分数拉低。全样本分一下看得更清楚。
| (p, q) 所处的档位 | 配对数 | G 的均值 |
|---|---|---|
| p 高(>0.55)而 q 低(<0.15),一个好伙伴配一个差伙伴 | 22,913 | −0.0540 |
| p、q 都在 0.30 到 0.45 之间,两个都中等 | 1,031,277 | +0.0625 |
同样是「一对股票」,剖面不同,G 的符号就反过来了。
第二步,看去掉这个剖面之后还剩多少。做法是这样。把全部 678 万对股票按 (p, q) 分成 24 × 24 = 576 格。每一格里算该格所有配对 r 的平均值,记作 r̂。然后用每一对真实的 p 和 q,配上它所在那一格的典型 r̂ 重新算一遍 G,得到 G_pred。两者相减就是残差。
翻译成人话。只要知道两件事,B 跟它最合适的那只股票有多像、C 跟那只股票有多像,再知道这个相似度档位下大多数配对彼此有多像,就能把 G 押到九成准。真正属于「这一对股票自己」的信息只剩那 9.4%。而这 9.4% 的内容也只有一句话,就是这对股票彼此之间比同档位的其他配对更不像还是更像,残差与「同档位平均 r 减去实际 r」的 Spearman 是 0.98。
取最大近邻的覆盖核实现好了,也独立核对过(逐量比对 9 位有效数字一致)。递推从加法换成取最大。
| 统计量 | 最小 | 中位 | 最大 | 为正的个数 |
|---|---|---|---|---|
| Gcov(按 ρ 的归一化方式),未过滤口径 | −0.9383 | −0.1057 | −0.0103 | 0 / 600 |
| Gcov 同上,只用股票重跑 | −0.9383 | −0.0948 | −0.0103 | 0 / 600 |
要让第二个指标能用,得把分母换成覆盖率而不是相似度。但那样增益恒为非负,必须再配零基线才行。
| 项目 | 做法 | 实测 | 判定 |
|---|---|---|---|
| ① 组合形状增益 G 求和核 |
读已有备份矩阵,不重算逐笔 | 7,854,666 对 200 线程 8.6 秒 50 线程 9.4 秒 |
成立,含量少 |
| ② 互补覆盖增益 Gcov 取最大近邻核 |
回到逐笔,16.4 毫秒一对 | 600 对全部为负 中位 −0.106 |
不成立 |
| 单股单日完整计算 | 读一只股票全天逐笔 + 建场,并行 1 | 0.046 秒 | 通过(限 1 秒) |
| 求和核复算备份对账 | 独立实现,全量 1571 万个数 | cnt_t1 相对差 0.99% 两遍 sha256 相同 |
通过 |
| ρ 与自能量的独立复算 | 逐笔暴力两两配对,不加速 | 相对差中位 1.4 × 10−6 | f32 存储量级 |
20241230 与 20241231 两天的共同股票 3746 只,共同配对 6,098,778 对,逐对比较。参照值是相似度 ρ 自己的跨日稳定性 0.743。
第二路(X0* 口径)在配对层面系统性比第一路稳,这个差距在按股票聚合的因子层面更大。
| 竞争解释 | 实测 | 判定 |
|---|---|---|
| 高互补配对只是同行业凑在一起 | 同行业基线 5.13% Z>2 的配对 4.79% Z>3 的配对 4.62% | 排掉。高互补配对反而更不同行业 |
| G 只是活跃度的影子 | Spearman(G, log 笔数对) = −0.187 | 排掉。方向还是负的 |
| 互补关系只是分钟成交量相似度的换皮 | vs ρ 为 0.470 vs ZS 为 0.127 在 ρ 十分位内为 +0.02 到 −0.06 | 排掉。扣掉 tick 相似度后分钟量不再提供信息 |
| 诊断项 | 结果 |
|---|---|
| 因子数 | 77 个(含 20 个空模型对照列)。两日整列全空 0 列、常量列 0 列 |
| 跨日最稳的前 7 条 | 其中 6 条与老因子 rec_*_reciprocity 撞 0.77 到 0.88,基本是换皮 |
| 真正新的那批 | 跨日只有 0.40 到 0.50,但撞老因子低于 0.70 |
| 互补图 vs 相似图 | k=20 时平均共同邻居比例 0.55%、Jaccard 0.07%、度序列 Spearman −0.384 |
| G 的方差来源 | 99.1% 来自「B、C 各自跟 X0 有多像」这个剖面 |
| 子模贪心篮子 | 8 只篮子的 ρ 均值 0.456,伙伴之间平均 ρ 中位 0.276,退化比例仅 1.6%,没有塌成单枢纽 |
| 最佳伙伴对 vs 最佳单伙伴 | 0.397 对 0.347,平均增益 0.0496,92.9% 的股票都为正 |
r5_res_max 与老因子 topk_cnt_t1_top20_mean 的 Spearman 是 0.909,
r2_best_pair 与 rec_cnt_t005_reciprocity 是 0.884。
也就是说稳的东西基本是旧的,新的东西只有 0.4 到 0.5 的稳定性。
你问得对,这确实该是默认行为。框架里确实已经有了默认剔除,但玉佩2 这一个模块没接上。不是「批量剔除、沙盒不剔除」,而是反过来,其他 12 个横截面 pipeline 都剔除了,只有玉佩2 无论在批量路径还是沙盒路径都没剔除。
| 位置 | 是不是默认剔除非个股 | 证据 |
|---|---|---|
框架唯一的枚举入口data_paths::list_stock_codes |
是 | 按 symbol_map.csv 过滤,代码注释写明「这是所有横截面 pipeline 枚举全市场股票的唯一入口,非股票标的在这里就被剔除,既不读它们的文件,也不会被算进横截面统计」 |
| 其他 12 个横截面 pipeline peaks / urgency / yhyb / hot_stock_pool / pair_interaction / drop_event / long_order / microstructure_capm / multi_factor_capm / volume_segment / urgency_ext_cluster / cross_section_example |
是 | 都在 2026-10-01 的提交 72a4d1c(v0.90.0「横截面 pipeline 只读 A 股股票」)里改成调用上面那个入口 |
玉佩2yupei_dist/compute.rs 的 list_codes_by_size |
否 | 自己 read_dir 扫目录,只判「六位都是数字」,完全不查股票表。那次提交的 13 个文件里没有它 |
玉佩2 的沙盒sandbox_yupei_dist/cli_util.rs |
否 | 同一套写法。我这次的 sandbox 也是照着抄的,后来才加了 --stocks-only |
codes.txt 里是 3964 行,其中 280 行不在股票表里(276 个 5 开头的 ETF 加 4 个 019xxx 债券)。list_codes_by_size 换成 crate::data_paths::list_stock_codes。
改完之后玉佩2 的全部因子值和历史备份矩阵都要重算,因为没有别的办法判断 ETF 当年影响了多少。
实验名 yupei2_pair_net,现在推进到批量计算。期间有一条证据作废过,是我改完 Z 对称性 bug 之后脚本指纹变了(946a6bcb 变成 52a9a3cd),程序判的,我重跑了 run-2 并记了 ev-3。
| 证伪条件 | 结果 |
|---|---|
| 扣掉活跃度分层空模型后 Z>2 的配对占比不超过 5% | 被触发(实测 0.091%)。但触发的原因是这条条件本身把 Z 当成了检验统计量,写法有缺陷,已在证据的 judgment 里写明 |
| 主力因子跨日 Spearman 低于 0.2 | 通过 |
| 每个新因子与老 2761 因子的最大 |Spearman| 高于 0.9 | 被违反,r5_res_max 撞到 0.909 |
按失败四分类,这是「与已有因子重复」加「结果不稳」两类混在一起。
p_zs_max p_gen_top20 p_gen_max p_quad
s_r5_res_hhi s_r5_res_mean r4_deg_G_topk r1_explain_count_z2
lib/compute_budget.py layer 直接崩了,报 KeyError: 'readable',我没去改它的代码。sandbox_yupei_cover 那条 cnt_t005 的对账没过,我定位到了原因。复算里前缀项多乘了一次衰减系数,误差上限恰好等于 1−d,
τ=1 对 0.995%、τ=0.05 对 18.13%,和实测的 0.9952% 与 18.127% 完全对上。修法是把 sigma * d 里的 * d 去掉。它不影响覆盖核的符号结论。