El ratio de Sharpe desinflado es la auditoría incómoda del backtest
El ratio de Sharpe desinflado fue diseñado para abordar un problema que la industria había llegado a ignorar muy bien. Los investigadores presentaban atractivos ratios de Sharpe de grandes familias de estrategias probadas, a menudo bajo distribuciones de retorno no normales, y los lectores trataban esos ratios de Sharpe como si provinieran de una única prueba de hipótesis limpia.
Bailey y López de Prado propusieron una corrección que tiene en cuenta tres cosas a la vez:
- el ratio de Sharpe observado,
- el número de observaciones y las propiedades de la distribución de los retornos, especialmente la asimetría y la curtosis,
- el número de pruebas, o variantes de estrategia efectivamente independientes, probadas.
El resultado no es solo un ratio más bonito. Es una evaluación basada en la probabilidad de si el Sharpe observado es probable que sea genuinamente superior a un punto de referencia una vez que se reconoce el problema de la minería de datos.
La intuición detrás del DSR
Supongamos que usted prueba una estrategia y obtiene un Sharpe de 1.0 en una muestra larga con retornos bastante bien comportados. Eso podría ser interesante.
Ahora supongamos que usted prueba 500 variantes y la mejor tiene un Sharpe de 1.0. Menos interesante. En una búsqueda lo suficientemente grande, alguien iba a parecer inteligente.
El DSR pregunta si el Sharpe observado excede el Sharpe que uno esperaría de la mejor de muchas selecciones afortunadas. Luego ajusta por efectos de muestra finita y no normalidad. El resultado es una lectura más escéptica del mismo registro de rendimiento.
Ese escepticismo suele ser saludable.
Por qué la no normalidad importa
Muchas estrategias basadas en eventos, incluidas aquellas basadas en presentaciones de información privilegiada, no producen flujos de retorno gaussianos ordenados. Pueden ser:
- asimétricas positiva o negativamente,
- expuestas a reducciones (drawdowns) agrupadas,
- dependientes de eventos escasos,
- sensibles a choques de liquidez.
Un ratio de Sharpe simple comprime todo eso en la media y la varianza. El DSR incorpora explícitamente la asimetría y la curtosis en el ajuste de significancia. Esto importa porque una estrategia con retornos irregulares puede parecer mejor en términos de Sharpe de lo que su verdadera fiabilidad estadística justifica.
El DSR no es magia, pero es más difícil de manipular accidentalmente
Ninguna métrica puede rescatar un diseño de investigación fundamentalmente deficiente. Si se omiten los costos, las marcas de tiempo son incorrectas o la señal filtra información futura, el DSR no salvará el documento. Pero sí aumenta la carga de la prueba. Obliga al autor a admitir que la estrategia no surgió de la nada.
Eso por sí solo es un progreso.
El testeo múltiple es el villano silencioso en la mayoría de las páginas de rendimiento
La frase suena técnica, pero el mecanismo es común. Si se intentan suficientes cosas, una de ellas funcionará por casualidad. La investigación financiera está especialmente expuesta porque el espacio de diseño es enorme y los incentivos no son sutiles.
Una publicación quiere una historia clara. Un fondo quiere una presentación convincente. Un investigador quiere evitar escribir: "probamos 84 variantes y la mayoría eran basura". El resultado es una asimetría familiar. Los éxitos son visibles, los fracasos son abono.
La familia de pruebas ocultas
Cuando evaluamos estrategias de transacciones de iniciados, el número real de pruebas suele ser mayor que el recuento formal de modelos. Incluye:
- definiciones de eventos alternativas,
- ajuste de umbrales,
- diferentes frecuencias de reequilibrio,
- exclusiones de subperíodos,
- elecciones de puntos de referencia (benchmarks),
- reglas de winsorización,
- supuestos de costos,
- subconjuntos regionales.
Incluso la decisión de informar un gráfico y no otro es parte del proceso de selección. El número efectivo de pruebas independientes puede ser difícil de estimar, pero pretender que es uno es claramente incorrecto.
Por qué los valores p no son suficientes
Las pruebas de significación tradicionales pueden ayudar, pero a menudo asumen una única hipótesis preespecificada. Los backtests rara vez merecen esa suposición. Para cuando se publica una estrategia, el camino hacia la publicación puede haber implicado muchas verificaciones y revisiones informales. El valor p nominal subestima entonces el verdadero riesgo de falso descubrimiento.
El DSR fue creado para esta realidad. No es la única corrección disponible, pero es una de las más prácticas para la evaluación de estrategias porque habla el lenguaje que los profesionales ya utilizan, el Sharpe.
El patrón de abuso estándar
El patrón es casi demasiado pulcro:
- Comience con un universo de eventos amplio.
- Pruebe varios filtros.
- Conserve el subgrupo más fuerte.
- Ajuste el período de tenencia.
- Ajuste los supuestos de costos hasta que la línea neta siga siendo atractiva.
- Publique el mejor Sharpe como si fuera la hipótesis original.
Esto no es necesariamente un fraude. A menudo es simplemente un comportamiento de investigación ordinario bajo la presión de los plazos. El efecto en los lectores es el mismo.
