Un gran conjunto de datos de declaraciones de iniciados invita a la parametrización. Eso no es un vicio. El vicio es la memoria selectiva sobre lo que se intentó.
Paso 1. Definir las hipótesis económicas antes de la malla fina
Comenzamos con hipótesis de nivel superior, por ejemplo:
- las compras agrupadas en el mercado abierto por parte de altos ejecutivos pueden indicar una infravaloración,
- las ventas pueden ser menos informativas debido a motivos de diversificación y fiscales,
- las operaciones más grandes en relación con las tenencias anteriores pueden contener más información,
- las ventanas post-declaración más cortas pueden capturar una difusión de información más rápida,
- y las microcaps pueden mostrar efectos brutos más fuertes pero una peor implementabilidad.
Estas son ideas económicas. La cuadrícula de parámetros viene después, no antes.
Paso 2. Enumerar la familia completa de modelos
Una vez establecidas las hipótesis, generamos la familia de estrategias de forma sistemática. Esto incluye todas las combinaciones de:
- filtros de eventos,
- clasificaciones de roles,
- umbrales de tamaño,
- reglas de construcción de cartera,
- momento de entrada,
- momento de salida,
- cadencia de reequilibrio,
- y supuestos de costos.
El objetivo es la reproducibilidad. Si una especificación estaba disponible para ser elegida, debe incluirse en el recuento.
Paso 3. Particionar los datos honestamente
Como mínimo, separamos:
- una muestra de descubrimiento,
- una muestra de validación,
- e idealmente un período de retención final o un período futuro.
Para datos de series temporales y basados en eventos, esta partición debe respetar la cronología. La mezcla aleatoria de observaciones puede producir métricas de validación cruzada ordenadas y una decepción desordenada en el mundo real.
Paso 4. Clasificar a los candidatos utilizando criterios preestablecidos
Elegimos los criterios de clasificación antes de mirar la tabla de posiciones. Ejemplos típicos son:
- Sharpe neto,
- estadístico t de alfa,
- rendimiento ajustado por drawdown,
- ratio de información ajustado por rotación.
El criterio importa porque cambiarlo después de ver los resultados crea otra capa de búsqueda oculta. Se puede minar la función objetivo con la misma eficiencia que los parámetros.
Paso 5. Aplicar inferencia consciente de la búsqueda
En esta etapa, el mejor candidato aún no es un hallazgo. Es un nominado. Luego aplicamos una evaluación consciente de la búsqueda, utilizando uno o más de los métodos descritos anteriormente.
Paso 6. Publicar el rango, no solo el campeón
Un artículo creíble muestra:
- dónde se sitúa la especificación elegida en la distribución,
- si las especificaciones cercanas se comportan de manera similar,
- cómo cambia el rendimiento en los subperíodos,
- y qué sucede después de los costos y retrasos.
Si el ganador es aislado y frágil, los lectores deben verlo claramente.
Lo que los lectores deben exigir de cualquier artículo basado en una búsqueda a gran escala
La carga no recae solo en los investigadores. Los lectores, asignadores y editores deben hacer mejores preguntas.
Muéstrame el denominador
Si alguien presenta una estrategia con un atractivo Sharpe dentro de la muestra, pregunte: ¿de cuántas pruebas fue seleccionada? Si la respuesta es vaga, el resultado también lo es.
Muéstrame el conjunto de validación
Si no hay una muestra intacta, no hay evidencia clara. Solo hay persuasión iterativa.
Muéstrame el vecindario
¿Funciona la estrategia con valores de parámetros cercanos, o solo con una configuración extrañamente específica? La robustez no es glamurosa, pero es donde tiende a residir la señal genuina.
Muéstrame los costos y las limitaciones operativas
Las estrategias basadas en información privilegiada pueden implicar retrasos en la publicación, problemas de liquidez y concentración en nombres pequeños. Los rendimientos brutos suelen ser la parte fácil. Los rendimientos netos son donde la ficción se somete a auditoría.
Muéstrame los hermanos fallidos
Una única especificación exitosa dice menos que el retrato familiar. Si cientos de parientes cercanos fallaron, el superviviente puede ser afortunado en lugar de superior.
Por qué somos explícitos sobre 583,000 pruebas
Existe la tentación de pensar que revelar un gran número de búsquedas debilita el artículo. Hace lo contrario. Le dice al lector que el proceso de investigación no ha sido retocado.
Una búsqueda amplia puede ser totalmente legítima cuando el fenómeno subyacente es complejo y el espacio de diseño es grande. Las señales de transacciones de información privilegiada son exactamente ese tipo de problema. Pero la legitimidad requiere contabilidad. Si se exploraron 583,000 combinaciones, entonces 583,000 combinaciones pertenecen al marco interpretativo.
La alternativa es familiar. Aparece un gráfico pulido. El artículo habla con confianza sobre "la estrategia". El proceso de búsqueda permanece entre bastidores. La significancia reportada asume un mundo en el que la especificación elegida fue ordenada desde el principio. No lo fue. Ganó un torneo.
Eso no hace que la estrategia sea falsa. Hace que la certeza no ajustada sea falsa.
Una nota sobre la humildad, que es más barata que los drawdowns
Existe un problema cultural tanto como estadístico. La investigación cuantitativa a menudo recompensa la revelación, no la contención. El incentivo es presentar el mejor resultado con la advertencia justa para satisfacer al departamento legal y no la suficiente para perturbar al equipo de ventas.
Preferimos un estándar más sobrio. Si una señal sobrevive a una búsqueda amplia, a pruebas fuera de la muestra (out-of-sample) y a un ajuste consciente de la búsqueda, es más interesante, no menos. Si no lo hace, la investigación sigue siendo útil. Ha delimitado dónde no está la ventaja.
Eso no es un fracaso. Es un control de inventario para las malas ideas.
El siguiente paso concreto es sencillo: para cada futuro artículo de señal de información privilegiada basado en una búsqueda amplia de parámetros, publicar el recuento de pruebas, el protocolo de selección y al menos una estadística consciente de la búsqueda junto con el backtest principal. La pregunta abierta es la más difícil y la más valiosa: ¿cuál es el número efectivo de pruebas independientes en una cuadrícula de estrategia de información privilegiada altamente correlacionada, y cuán estable es esa estimación en los diferentes regímenes de mercado?
