多重检验膨胀对量化研究的影响

关于下文所引数字的说明。 本文部分统计数据来自 V12 样本池队列(227,594 份买入申报,截至 2024 年)。自 2025-01-01 起,实时样本外买入样本池(28 个市场)在 20,688 份申报上的胜率为 52.96%,90 天平均收益为 +8.59%。当前数字请参阅方法论,冻结的审计参考请参阅 STRATEGY_PROOF 区块。

暴力网格搜索几乎能让任何信号看起来很聪明,直到它遇上现实的那一刻。

多重检验膨胀,或者如何把噪音变成职业生涯

量化研究有一个简单的魔术。尝试足够多的设定,其中之一终将产生一张适合放进投资者信函并自我庆贺的图表。这个把戏很老,观众仍然上当,而算术是无情的。

在本文中,我们解释在构建内部人交易信号时,如何处理对 583,000 个参数组合的搜索,以及我们选择报告什么,而不是仅仅展示页面上最好的那条线。简而言之,大规模网格搜索并不是罪过,假装它没有发生才是。

本文谈的是方法而非营销。本简报没有附带实时数据库提取,因此在通常会出现针对本文的业绩数字之处,我们写 n/a,而不是用虚构来装饰页面。根本问题不需要编造,它需要纪律。

问题不只是过拟合,而是过度报告

对这个问题的常见描述是「过拟合」。准确,但不完整。过拟合说的是所选模型过于贴合历史噪音。多重检验膨胀说的则略微更尴尬:在足够多次尝试之后,即使是完全平淡无奇的数据也会产生看似显著的赢家。

如果你以 5% 的显著性门槛做一次检验,假阳性是20次中有1次的麻烦。如果你做成千上万次检验,假阳性就不再是麻烦,而成了库存。幸运赢家的期望数量机械地上升。

为何 583,000 次试验不是脚注

假设一位研究者在以下方面进行搜索:

• 事件定义,
• 申报过滤条件,
• 内部人角色子集,
• 持有期,
• 流动性筛选,
• 市值分组,
• 再平衡规则,
• 加权方案,
• 排除窗口,
• 以及交易规模门槛。

这些选择都不荒谬,大多数站得住脚。合在一起,它们构成了一台生产「最佳」结果的组合机器。

通常的辩护是,许多组合是相关的,因此有效的独立检验数量低于 583,000。没错,但如果以此为借口而无视问题,这也是无关紧要的。检验之间的相关性降低了膨胀,但并未消除它。在高度结构化的参数空间中搜索,仍有相当大的机会使排名第一的结果成为统计纪念品。

赢家诅咒,量化版

大规模搜索中表现最好的设定,按构造就是向上偏误的。它赢得比赛,部分因为它捕捉到了信号(如果存在的话),部分因为它走运。比赛越大,赢家中预期的运气成分就越大。

这与拍卖理论中的赢家诅咒是同样的逻辑,只不过被多付价钱的对象是 Sharpe 比率。

583k 次搜索对 p 值、Sharpe 比率和常识做了什么

广泛搜索的统计效应并不局限于经典假设检验。它几乎污染了投资者喜欢引用的每一个汇总指标。

除非调整,p 值就成了宣传材料

教科书上的族系错误问题很直接。如果你检验许多假设,至少出现一次错误拒绝的概率就会上升。Bonferroni 校正是钝器:把显著性水平除以检验次数。它偏保守,在检验相关时往往过于保守,但它的好处是不会奉承研究者。

然而在策略研究中,问题通常比「很多 p 值」更糟。研究者往往在参数网格上搜索,按回测业绩排名,然后把所选策略的 p 值当作事先设定的那样来报告。其实不是。因此,这个 p 值以一场隐藏的锦标赛为条件。

Sharpe 比率也不能幸免

在广泛搜索之后发现的高样本内 Sharpe 比率,本身并不构成证据。Bailey 和 López de Prado 将此形式化为Deflated Sharpe Ratio,它针对非正态收益、样本长度和所考虑的试验次数调整观察到的 Sharpe。核心思想即使没有公式也足够清楚:「令人印象深刻」的门槛随搜索的广度而上升。

如果 583,000 个变体中有一个显示出耀眼的样本内 Sharpe,相关的问题不是「这个 Sharpe 是否高于零?」,而是「考虑到我们是用工业设备去钓鱼的,这个 Sharpe 是否仍然不寻常?」

相关性很重要,但不是乐观主义者所希望的方式

在参数网格中,相邻的设定往往相似。19天持有期和20天持有期并不是独立的宇宙。这种相关性相对于原始计数降低了有效的独立检验数量。

很好,正确地利用这一事实。

糟糕的做法是对相关性含糊其辞,因此完全不做校正。更好的做法是估计有效试验次数,或使用为相关模型搜索设计的方法,例如 White 的 Reality Check 或 Hansen 的 Superior Predictive Ability 框架。这些方法询问的是,在承认搜索过程之后,最佳模型是否真正更优。

对内部人数据的实际后果

内部人交易数据集尤其容易受到这一问题的影响:

1. 事件稀疏。 有用的信号在过滤之后可能依赖相对较少的观测。
2. 行为异质。 CEO、董事和大股东交易的原因并不相同。
3. 制度规则很重要。 披露门槛、禁售期和市场结构各不相同。
4. 时点凌乱。 申报日、交易日、公布时间和市场反应并不整齐对应。
5. 成本会咬人。 策略可能在毛收益上存活,却在实施中死去。

这带来了许多看似合理的建模选择。合理性并不能防止数据挖掘。事实上,正是这一机制让数据挖掘带上了体面的口音。

我们报告什么,而不是单一最佳回测

核心的编辑决定很简单:我们不把 583,000 格搜索的最大值当作结果,而把搜索本身当作结果。

1. 我们披露搜索空间的规模和结构

我们报告的第一个数字是所评估的策略变体数量:583,000。这个数字应当放在文章靠前的位置,而不是放在技术附录里悄悄死去。

我们还会描述变化的维度。读者应当知道,搜索之所以广泛,是因为我们探索了经济上截然不同的假设,还是因为我们把同一个想法切分成了无数个相邻的阈值。两者都重要,后者往往夸大的是信心而非洞见。

2. 我们区分探索性分析与验证性分析

探索是产生想法的地方,验证是评判想法的地方。把两者混在一起,就是制造虚假确定性的方式。

在实践中,这意味着:

• 用一个时期或子集进行发现,
• 锁定所选设定,
• 并在未触碰的数据上评估它。

如果策略只在发现样本中存活,那不是市场拒绝了你的才华,而是数据拒绝了。

3. 我们突出报告样本外表现

最佳样本内结果往往是房间里信息量最少的数字。样本外表现,尤其是在设定被冻结之后,分量重得多。

如果样本外指标疲弱、不稳定或缺失,这不是格式问题,而正是故事本身。

4. 我们使用经过缩减或考虑搜索的统计量

在相关时,我们报告考虑多重检验的统计量,例如:

• 调整后的 p 值,
• 错误发现率控制,
• White 的 Reality Check,
• Hansen 的 SPA 检验,
• 以及 Deflated Sharpe Ratio。

并非每篇文章都需要每种检验。但每篇建立在广泛搜索之上的文章,都需要对搜索做某种明确的调整。

5. 我们展示稳健性区间,而不只是点估计

一个只在某个精确阈值上有效的策略,通常是一个无效的策略。我们更愿意展示业绩在相邻参数值上是否稳定。

山脊比尖峰更可信。尖峰往往只是彬彬有礼的 bug。

缩减巨型参数扫描的工具箱

没有单一的通用校正。不同的工具回答不同的问题。明智的做法是分层使用。

White、Hansen,以及 Reality Check 家族

White 的 Reality Check

White 的 Reality Check 检验,在考虑整个模型族的数据窥探之后,一组模型中表现最好的是否显著优于基准。它使用自助法来近似零假设下最大业绩统计量的分布。

它的优点是概念上的诚实以及与模型搜索的直接相关性。它的弱点是检验功效,以及对大量糟糕备选的敏感性。如果你纳入一大堆无望的模型,检验就可能变得保守。

Hansen 的 Superior Predictive Ability 检验

Hansen 的 SPA 检验旨在改善其中一些功效问题。它对非常糟糕的备选降低权重,并能对任何候选是否真正跑赢基准给出信息量更大的评估。

对于大型的相关搜索空间,SPA 往往比假装 Bonferroni 已经解决了你的人生更实用。

为何这些检验适合策略研究

这些方法有用,因为它们与实际工作流程相吻合。我们通常不关心某一个预先设定的系数孤立地是否不同于零,而关心广泛搜索之后找到的最佳策略,是否以经得起搜索过程的方式优于基准。

这是一个不同的问题,值得一个不同的检验。

Deflated Sharpe Ratio

思路

与 Bailey 和 López de Prado 相关联的 Deflated Sharpe Ratio,针对以下因素调整观察到的 Sharpe 比率:

• 收益的非正态性,
• 有限样本效应,
• 以及多次试验。

它把「这个 Sharpe 看起来不错」变成「考虑到我们给了自己多少次机会去找出点好东西,这个 Sharpe 仍然不寻常」。

我们为何喜欢它

它说的是策略研究者实际使用的语言。Sharpe 比率为人熟悉、有缺陷,而且仍然不可避免。缩减它们比崇拜它们更有用。

它做不到什么

它无法挽救一个薄弱的流程。如果你的搜索泄露了信息、忽略了成本,或在看到结果后反复修改基准,任何优雅的比率都救不了你。统计学可以惩罚运气,却无法逆转不诚实。

错误发现率控制

在某些情境下,尤其是筛选许多相关假设时,控制错误发现率可能比不惜一切代价地控制任何假阳性的概率更合适。

Benjamini-Hochberg 等程序比族系错误控制更不保守,当目标是为进一步验证识别出一组可处理的候选,而不是做出单一的确定性论断时,它们可能是明智的。

但对于发表而言,应当谨慎。FDR 控制适用于分流,而不是把幸存者短名单当作已证实事实来呈现的许可证。

有效检验数量

由于参数组合是相关的,583,000 的原始计数高估了运气的独立机会数量。因此估计有效检验数量可以使调整更精准。

有几种方法可以做到这一点,通常基于各模型变体间检验统计量或收益的相关结构。结果不是从山上传下来的神奇数字,而是一个估计,应当如此报告。

编辑原则很直接:如果你因为相关性而减少检验计数,就展示其中的逻辑。「相信我们,它更低」不是一种方法。

这在内部人交易研究中实际是什么样子

大型内部人申报数据集会诱发参数化。这不是恶习,恶习是对尝试过什么的选择性记忆。

步骤 1. 在精细网格之前定义经济假设

我们从更高层次的假设出发,例如:

• 高管的集群公开市场买入可能表明低估,
• 由于分散投资和税务动机,卖出的信息量可能较小,
• 相对此前持仓而言更大的交易可能携带更多信息,
• 较短的申报后窗口可能捕捉到更快的信息扩散,
• 微型股可能显示出更强的原始效应,但可实施性更差。

这些是经济学思想。参数网格在其后而非其前。

步骤 2. 枚举完整的模型族

一旦假设确定,我们系统地生成策略族。这包括以下各项的所有组合:

• 事件过滤,
• 角色分类,
• 规模门槛,
• 组合构建规则,
• 入场时点,
• 出场时点,
• 再平衡频率,
• 以及成本假设。

关键在于可复现。如果一个设定本来可以被选中,它就属于计数的一部分。

步骤 3. 诚实地划分数据

至少,我们区分:

• 一个发现样本,
• 一个验证样本,
• 以及理想情况下的最终留存或前瞻期。

对于时间序列和事件驱动数据,这种划分应当尊重时间顺序。随机打乱观测可以产生整齐的交叉验证指标和不整齐的现实失望。

步骤 4. 使用事先声明的标准对候选排名

我们在查看排行榜之前选择排名标准。典型例子有:

• 净 Sharpe,
• alpha 的 t 统计量,
• 经回撤调整的收益,
• 经换手率调整的信息比率。

标准很重要,因为在看到结果后更改它会产生又一层隐藏搜索。人们可以像挖掘参数一样高效地挖掘目标函数。

步骤 5. 应用考虑搜索的推断

在这一阶段,最佳候选还不是发现,而只是提名者。然后我们使用上述一种或多种方法进行考虑搜索的评估。

步骤 6. 发布区间,而不只是冠军

一篇可信的文章会展示:

• 所选设定在分布中的位置,
• 相邻设定的表现是否相似,
• 业绩在各子时期如何变化,
• 以及扣除成本和延迟后会发生什么。

如果赢家是孤立而脆弱的,读者应当清楚地看到。

读者应当对任何建立在大规模搜索之上的文章提出什么要求

责任不只在研究者。读者、资产配置者和编辑也应当提出更好的问题。

给我看分母

如果有人展示一个样本内 Sharpe 很漂亮的策略,请问:它是从多少次试验中选出来的?如果答案含糊,结果也一样含糊。

给我看留存样本

如果没有未触碰的样本,就没有干净的证据,只有反复的说服。

给我看邻域

策略是在相邻参数值上都有效,还是只在某个古怪的特定设置上有效?稳健性并不光鲜,但真正的信号往往栖居于此。

给我看成本和运营约束

基于内部人的策略可能涉及公布滞后、流动性问题和集中于小盘股。毛收益往往是容易的部分,净收益才是虚构被审计的地方。

给我看失败的兄弟姐妹

孤零零的一个成功设定,告诉你的比全家福少。如果大量近亲都失败了,幸存者可能只是走运而不是更优秀。

为何我们明确说明 583,000 次试验

人们很容易以为披露庞大的搜索计数会削弱文章。恰恰相反,它告诉读者研究过程没有被修图。

当底层现象复杂且设计空间庞大时,广泛搜索完全可以是正当的。内部人交易信号恰恰就是这类问题。但正当性需要核算。如果探索了 583,000 个组合,那么 583,000 个组合就属于解释框架。

另一种做法人们很熟悉:一张精美的图表出现,文章自信地谈论「这个策略」,搜索过程留在幕后,所报告的显著性假定了一个所选设定从一开始就被钦定的世界。其实不是,它是赢了一场锦标赛。

这并不使策略是假的,而是使未经调整的确定性是假的。

关于谦逊的说明,它比回撤便宜

这里既有统计问题,也有文化问题。量化研究往往奖励揭晓,而非克制。激励是展示最佳结果,附上刚好足以满足法务部门、又不足以惊扰销售团队的警示。

我们更偏爱一个更乏味的标准。如果一个信号经受住了广泛搜索、样本外检验和考虑搜索的调整,它就更有意思而非更无趣。如果没有,研究仍然有用,它绘制出了优势不在何处。

这不是失败,而是对坏想法的库存控制。

具体的下一步很直接:今后每一篇建立在广泛参数搜索之上的内部人信号文章,都在头条回测旁发布试验次数、选择协议,以及至少一个考虑搜索的统计量。悬而未决的问题更难,也更有价值:在高度相关的内部人策略网格中,有效的独立检验数量是多少,这一估计在不同市场状态下有多稳定?

编者注:本文在没有实时网络研究的情况下汇编而成(本次生成中无法使用 Grok)。上文引用的是长期有效的来源;数字性论断取自我们自己截至 2026-05-17 的数据库快照。

Insiders Trades 回测队列

我们对回测数据的分析揭示了 17 个市场买入队列中有定价交易表现的一个令人担忧的趋势。在总计 220,691 笔交易中,90 天平均收益为 -1.70%,胜率为 41.82%。年化 Sharpe 比率明显为负,为 -0.08,表明风险调整后的收益不仅不佳,还凸显了量化研究中多重检验膨胀的可能性。这与全球样本池的更广泛背景一致:227,594 份买入申报得出相同的 90 天平均收益 -1.70% 和聚合 Sharpe -0.08。这些数字凸显了采用严格统计方法以降低量化策略中多重比较相关风险的迫切需要。需要指出的是,这些发现基于相当大的样本量和 90 天的期限。

最后审阅 · 2026-05-18 · 作者 Simon Azoulay · 来源:SEC EDGAR、AMF BDIF 及另外 28 家监管机构。