庞大的内幕交易申报数据集需要参数化。这并非缺点。缺点在于对尝试过的内容选择性记忆。
步骤 1. 在精细网格之前定义经济假设
我们从更高层次的假设开始,例如:
- 高级管理人员集中进行的公开市场购买可能预示着低估,
- 由于多元化和税收动机,卖出可能信息量较少,
- 相对于先前持股而言,较大的交易可能携带更多信息,
- 较短的申报后窗口可能捕捉到更快的信息扩散,
- 微型股可能显示出更强的原始效应,但可实施性较差。
这些都是经济学理念。参数网格是后来的,而不是先前的。
步骤2. 列举完整的模型家族
一旦假设确定,我们系统地生成策略家族。这包括所有以下组合:
- 事件过滤器,
- 角色分类,
- 规模阈值,
- 投资组合构建规则,
- 入场时机,
- 离场时机,
- 再平衡频率,
- 和成本假设。
关键在于可复现性。如果某个规范可以被选择,那么它就应该被纳入计数。
步骤3. 诚实地划分数据
我们至少会分离出:
- 发现样本,
- 验证样本,
- 理想情况下,还有一个最终的保留期或未来期。
对于时间序列和事件驱动数据,这种划分应遵循时间顺序。随机打乱观测值可能会产生整洁的交叉验证指标,但却会导致现实世界中令人失望的结果。
步骤4. 使用预先声明的标准对候选者进行排名
我们在查看排行榜之前选择排名标准。典型的例子有:
- 净夏普比率,
- 阿尔法的t统计量,
- 经回撤调整的收益,
- 经换手率调整的信息比率。
该标准至关重要,因为在看到结果后更改它会引入另一层隐藏的搜索。人们可以像挖掘参数一样有效地挖掘目标函数。
第5步:应用搜索感知推理
在此阶段,最佳候选者尚未成为发现。它只是一个提名。然后,我们使用上述一种或多种方法进行搜索感知评估。
第6步:公布范围,而不仅仅是最佳结果
一篇可信的文章应展示:
- 所选规范在分布中的位置,
- 附近规范的行为是否相似,
- 绩效在不同子期间如何变化,
- 以及扣除成本和延迟后的情况。
如果获胜者是孤立且脆弱的,读者应该清楚地看到这一点。
读者应向任何基于大规模搜索的文章提出的要求
负担不仅在于研究人员。读者、资金分配者和编辑都应该提出更好的问题。
展示分母
如果有人提出一个具有良好样本内夏普比率的策略,请问:这是从多少次试验中选出的?如果答案模糊,那么结果也同样模糊。
展示保留样本
如果没有未经触及的样本,就没有确凿的证据。只有迭代式的说服。
展示其邻近性
该策略是否适用于邻近的参数值,还是仅在一个异常特定的设置下有效?稳健性虽然不那么引人注目,但真正的信号往往存在于此。
展示成本和操作限制
基于内幕信息的策略可能涉及发布滞后、流动性问题以及集中于小型股。总回报通常是容易的部分。净回报才是检验虚构之处。
展示失败的同类策略
一个单独成功的策略所提供的信息,远不如其“家族合影”所提供的信息多。如果数百个近亲策略都失败了,那么幸存者可能是幸运而非卓越。
我们为何明确提及583,000次试验
人们常有一种想法,认为披露巨大的搜索次数会削弱文章的说服力。事实恰恰相反。它告诉读者,研究过程并未经过美化。
当底层现象复杂且设计空间巨大时,广泛的搜索是完全合理的。内幕交易信号正是这类问题。但合理性需要解释。如果探索了583,000种组合,那么这583,000种组合就应该纳入解释框架。
另一种情况则很常见。一张精美的图表出现。文章自信地谈论“该策略”。搜索过程则隐藏在幕后。所报告的显著性假设了一个世界,其中所选的策略从一开始就被注定。事实并非如此。它赢得了一场竞赛。
这并不意味着该策略是错误的。它意味着未经调整的确定性是错误的。
关于谦逊的说明,它比回撤更划算
这里存在文化问题,也存在统计问题。量化研究通常奖励揭示,而非克制。其激励是呈现最佳结果,并附带恰好足以满足法律部门但又不足以扰乱销售团队的警告。
我们更倾向于一个更平淡的标准。如果一个信号在广泛搜索、样本外测试和搜索感知调整后仍然存在,那么它就更有趣,而不是更不有趣。如果它不存在,这项研究仍然有用。它描绘了优势不存在的地方。
那不是失败。那是对坏主意的库存控制。
具体的下一步很简单:对于未来所有基于广泛参数搜索的内幕信号文章,除了标题回测之外,还要公布试验次数、选择协议以及至少一个搜索感知统计数据。开放性问题更难,也更有价值:在一个高度相关的内幕策略网格中,独立测试的有效数量是多少,以及该估计在不同市场机制下的稳定性如何?