修正夏普比率是回测的尴尬审计
修正夏普比率旨在解决一个行业已非常擅长忽视的问题。研究人员展示了来自大量测试策略的诱人夏普比率，这些策略通常具有非正态收益分布，而读者却将这些夏普比率视为来自单一清晰假设检验的结果。
Bailey和López de Prado提出了一种同时考虑三个因素的修正方法：
- 观察到的夏普比率，
- 观察次数和收益分布的特性，特别是偏度和峰度，
- 试验次数，或有效独立的策略变体数量。
其结果不仅仅是一个更漂亮的比例。它是一种基于概率的评估，用于判断在承认数据挖掘问题后，观察到的夏普比率是否可能真正高于基准。
DSR 的直观理解
假设您测试了一个策略，并在一个相当长的样本期内获得了 1.0 的夏普比率，且回报表现良好。这可能很有趣。
现在假设您测试了 500 个变体，其中表现最好的一个夏普比率为 1.0。这就没那么有趣了。在足够大的搜索空间中，总会有人看起来很聪明。
DSR 旨在衡量观察到的夏普比率是否超过了从众多幸运抽样中选出的最佳结果所预期的夏普比率。然后，它会根据有限样本效应和非正态性进行调整。结果是对相同业绩记录的更持怀疑态度的解读。
这种怀疑态度通常是健康的。
为什么非正态性很重要
许多事件驱动型策略，包括那些基于内幕交易申报的策略，不会产生整洁的高斯回报流。它们可能是：
- 正偏或负偏的，
- 暴露于集群式回撤，
- 依赖于稀疏事件，
- 对流动性冲击敏感。
一个简单的夏普比率将所有这些压缩为均值和方差。DSR 在显著性调整中明确纳入了偏度和峰度。这很重要，因为回报不稳定的策略在夏普比率方面可能看起来比其真实统计可靠性所保证的要好。
DSR 并非魔法，但更难被意外操纵
没有任何指标可以挽救一个根本上糟糕的研究设计。如果成本被忽略、时间戳错误或信号泄露了未来信息，DSR 也无法挽救这篇论文。但它确实提高了举证责任。它迫使作者承认该策略并非凭空产生。
仅此一点就是进步。
多重测试是大多数业绩页面中隐秘的“反派”
这个短语听起来很专业，但其机制却很普通。如果你尝试足够多的方法，其中一个就会偶然成功。金融研究尤其容易受到影响，因为设计空间巨大，而且激励机制也毫不含糊。
出版物需要一个清晰的故事。基金需要一份引人注目的演示文稿。研究人员希望避免写“我们测试了84种变体，其中大多数都是垃圾”。结果就是一种熟悉的非对称性。成功是显而易见的，失败则被掩盖。
隐藏试验的家族
当我们评估内幕交易策略时，真实的试验次数通常多于正式的模型计数。它包括：
- 替代事件定义,
- 阈值调整,
- 不同的再平衡频率,
- 子周期排除,
- 基准选择,
- 缩尾规则,
- 成本假设,
- 区域子集。
即使是决定报告某张图表而非另一张图表，也是选择过程的一部分。独立试验的有效数量可能难以估计，但假装它只有一个显然是错误的。
为什么p值不足够
传统的显著性检验会有所帮助，但它们通常假设一个预先指定的单一假设。回测很少符合这一假设。当一个策略被发布时，其发布过程可能涉及许多非正式的检查和修订。此时，名义p值低估了真实的错误发现风险。
DSR 就是为这种现实而设计的。虽然不是唯一可用的修正方法，但它是策略评估中最实用的方法之一，因为它使用从业者已经熟悉的语言，即 Sharpe。
典型的滥用模式
这种模式几乎过于完美：
- 从一个广泛的事件域开始。
- 尝试几种筛选器。
- 保留最强的子组。
- 调整持有期。
- 调整成本假设，直到净收益线仍具吸引力。
- 发布最佳夏普比率，就好像它是最初的假设一样。
这不一定是欺诈。通常，这只是在截止日期压力下的普通研究行为。对读者的影响是相同的。
