El Impacto de la Inflación por Pruebas Múltiples en la Investigación Cuantitativa

Nota sobre las cifras citadas a continuación. Algunas estadísticas de este artículo provienen de la cohorte del universo V12 (227,594 declaraciones de COMPRA, período hasta 2024). Desde el 2025-01-01, el universo de COMPRA en vivo fuera de muestra (28 mercados) muestra una tasa de éxito del 52.96 por ciento y un rendimiento medio a 90 días del +8.59 por ciento en 20,688 declaraciones. Consulte la metodología para ver las cifras actuales y el bloque STRATEGY_PROOF para la referencia de auditoría congelada.

Una búsqueda exhaustiva por fuerza bruta puede hacer que casi cualquier señal parezca inteligente, hasta el momento en que se enfrenta a la realidad.

Inflación por pruebas múltiples, o cómo convertir el ruido en una carrera

La investigación cuantitativa tiene un truco de magia simple. Pruebe suficientes especificaciones, y una de ellas eventualmente producirá un gráfico adecuado para cartas a inversores y para la auto-felicitación. El truco es viejo, la audiencia todavía cae en él, y la aritmética es implacable.

En este artículo, explicamos cómo manejamos una búsqueda de más de 583,000 combinaciones de parámetros al construir señales de trading de información privilegiada, y qué elegimos reportar en lugar de simplemente mostrar la mejor línea en la página. La versión corta es que una búsqueda de cuadrícula grande no es un pecado. Pretender que no sucedió sí lo es.

El artículo trata sobre el método más que sobre el marketing. No hay un extracto de base de datos en vivo adjunto a este informe, por lo que donde normalmente aparecerían las cifras de rendimiento específicas del artículo, indicamos n/a en lugar de decorar la página con ficción. El problema subyacente no requiere invención. Requiere disciplina.

El problema no es solo el sobreajuste, es el exceso de informes

Una descripción común de este problema es el "sobreajuste". Precisa, pero incompleta. El sobreajuste dice que el modelo elegido se ha adaptado demasiado al ruido histórico. La inflación por pruebas múltiples dice algo un poco más embarazoso: después de suficientes intentos, incluso datos completamente insignificantes producirán ganadores aparentemente significativos.

Si se realiza una prueba con un umbral de significancia del 5 por ciento, un falso positivo es una molestia de 1 en 20. Si se realizan miles de pruebas, los falsos positivos dejan de ser una molestia y se convierten en inventario. El recuento esperado de ganadores afortunados aumenta mecánicamente.

Por qué 583,000 pruebas no es una nota al pie

Supongamos que un investigador busca a través de:

• definiciones de eventos,
• filtros de presentación,
• subconjuntos de roles de iniciados,
• períodos de tenencia,
• pantallas de liquidez,
• cubos de capitalización de mercado,
• reglas de reequilibrio,
• esquemas de ponderación,
• ventanas de exclusión,
• y umbrales de tamaño de transacción.

Ninguna de estas elecciones es absurda. La mayoría son defendibles. Tomadas en conjunto, crean una máquina combinatoria para producir los "mejores" resultados.

La defensa habitual es que muchas combinaciones están correlacionadas, por lo que el número efectivo de pruebas independientes es inferior a 583,000. Cierto. También es irrelevante si se usa como excusa para ignorar el problema. La correlación entre las pruebas reduce la inflación, pero no la elimina. Una búsqueda en un espacio de parámetros altamente estructurado aún crea una probabilidad sustancial de que el resultado mejor clasificado sea un recuerdo estadístico.

La maldición del ganador, edición cuantitativa

La especificación de mejor rendimiento en una búsqueda grande está sesgada al alza por construcción. Ganó el concurso en parte porque capturó la señal, si es que existía alguna, y en parte porque tuvo suerte. Cuanto mayor sea el concurso, mayor será el componente de suerte esperado en el ganador.

Esta es la misma lógica que la maldición del ganador de la teoría de subastas, excepto que el objeto por el que se paga de más es un ratio de Sharpe.

Lo que una búsqueda de 583k le hace a los valores p, los ratios de Sharpe y el sentido común

El efecto estadístico de una búsqueda amplia no se limita a las pruebas de hipótesis clásicas. Contamina casi todos los resúmenes que a los inversores les gusta citar.

Los valores p se convierten en material promocional a menos que se ajusten

El problema del error familiar en los libros de texto es sencillo. Si se prueban muchas hipótesis, la probabilidad de al menos un falso rechazo aumenta. La corrección de Bonferroni es el instrumento contundente: dividir el nivel de significancia por el número de pruebas. Es conservadora, a menudo demasiado conservadora cuando las pruebas son dependientes, pero tiene la virtud de no halagar al investigador.

En la investigación de estrategias, sin embargo, el problema suele ser peor que "muchos valores p". Los investigadores a menudo buscan en cuadrículas de parámetros, clasifican por el rendimiento del backtest y luego informan el valor p de la estrategia seleccionada como si se hubiera especificado de antemano. No fue así. El valor p está, por lo tanto, condicionado a un torneo oculto.

Los ratios de Sharpe no son inmunes

Un ratio de Sharpe in-sample alto descubierto después de una búsqueda exhaustiva no es una prueba en sí mismo. Bailey y López de Prado formalizaron esto en el Ratio de Sharpe Desinflado, que ajusta el Sharpe observado por retornos no normales, la longitud de la muestra y el número de pruebas consideradas. La idea clave es bastante clara incluso sin la fórmula: el umbral para lo "impresionante" aumenta con la amplitud de la búsqueda.

Si una estrategia de 583,000 variantes muestra un Sharpe in-sample brillante, la pregunta relevante no es "¿este Sharpe está por encima de cero?". Es "¿este Sharpe sigue siendo inusual una vez que consideramos el hecho de que fuimos a pescar con equipo industrial?".

La dependencia importa, pero no de la manera en que los optimistas esperan

En una cuadrícula de parámetros, las especificaciones vecinas suelen ser similares. Un período de tenencia de 19 días y un período de tenencia de 20 días no son universos independientes. Esta dependencia reduce el número efectivo de pruebas independientes en relación con el recuento bruto.

Bien. Utilice ese hecho correctamente.

Una mala práctica es ignorar la dependencia y, por lo tanto, no informar ninguna corrección. Una práctica mejor es estimar un número efectivo de pruebas, o utilizar métodos diseñados para búsquedas de modelos correlacionados, como el Reality Check de White o el marco de Superior Predictive Ability de Hansen. Estos métodos preguntan si el mejor modelo es genuinamente superior una vez que se reconoce el proceso de búsqueda.

La consecuencia práctica para los datos de insiders

Los conjuntos de datos de transacciones de insiders son especialmente vulnerables a este problema:

1. Los eventos son escasos. Las señales útiles pueden depender de relativamente pocas observaciones después del filtrado.
2. El comportamiento es heterogéneo. Los CEOs, directores y grandes accionistas no operan por razones idénticas.
3. Las reglas institucionales importan. Los umbrales de divulgación, los períodos de veda y la estructura del mercado varían.
4. El momento es complicado. La fecha de presentación, la fecha de la operación, el tiempo de publicación y la reacción del mercado no se alinean perfectamente.
5. Los costos impactan. Una estrategia puede sobrevivir en rendimientos brutos y morir en la implementación.

Esto crea muchas opciones de modelado plausibles. La plausibilidad no es protección contra la minería de datos. De hecho, es el mecanismo por el cual la minería de datos adquiere un acento respetable.

Lo que informamos en lugar del mejor backtest único

La decisión editorial central es simple: no tratamos el máximo de una búsqueda de 583,000 celdas como el resultado. Tratamos la búsqueda como el resultado.

1. Divulgamos el tamaño y la estructura del espacio de búsqueda

El primer número que informamos es el número de variantes de estrategia evaluadas: 583,000. Ese número debe estar cerca del principio del artículo, no en un apéndice técnico donde puede pasar desapercibido.

También describimos los ejes de variación. Los lectores deben saber si la búsqueda fue amplia porque exploramos hipótesis económicamente distintas, o amplia porque dividimos la misma idea en mil umbrales vecinos. Ambos importan. Esto último a menudo infla más la confianza que la perspicacia.

2. Separamos el análisis exploratorio del confirmatorio

La exploración es donde se generan las ideas. La confirmación es donde se juzgan. Mezclar ambas es como se fabrica la falsa certeza.

En la práctica, eso significa:

• usar un período o subconjunto para el descubrimiento,
• fijar la especificación elegida,
• y evaluarla con datos no utilizados.

Si la estrategia sobrevive solo en la muestra de descubrimiento, el mercado no ha rechazado su brillantez. Los datos sí lo han hecho.

3. Informamos prominentemente el rendimiento fuera de la muestra (OOS)

El mejor resultado dentro de la muestra es a menudo el número menos informativo. El rendimiento fuera de la muestra, especialmente después de que la especificación ha sido fijada, tiene mucho más peso.

Si las métricas fuera de la muestra son débiles, inestables o inexistentes, no es un problema de formato. Es la historia.

4. Utilizamos estadísticas deflactadas o conscientes de la búsqueda

Cuando es relevante, informamos estadísticas que tienen en cuenta las pruebas múltiples, como:

• valores p ajustados,
• controles de tasa de falsos descubrimientos,
• White's Reality Check,
• Hansen's SPA test,
• y el Ratio de Sharpe Deflactado.

No todos los artículos necesitan todas las pruebas. Pero cada artículo construido sobre una búsqueda amplia necesita algún ajuste explícito para la búsqueda.

5. Mostramos rangos de robustez, no solo estimaciones puntuales

Una estrategia que funciona solo en un umbral exacto suele ser una estrategia que no funciona. Preferimos mostrar si el rendimiento es estable en valores de parámetros cercanos.

Una cresta es más creíble que un pico. Un pico es a menudo solo un error con buenos modales.

El conjunto de herramientas para desinflar un barrido de parámetros gigante

No existe una única corrección universal. Diferentes herramientas responden a diferentes preguntas. El enfoque sensato es estratificado.

White, Hansen y la familia de verificaciones de la realidad

Verificación de la realidad de White

La verificación de la realidad de White prueba si el modelo con mejor rendimiento en un conjunto es significativamente mejor que un punto de referencia después de considerar la búsqueda de datos en toda la familia. Utiliza métodos de bootstrap para aproximar la distribución de la estadística de rendimiento máximo bajo la hipótesis nula.

Sus puntos fuertes son la honestidad conceptual y la relevancia directa para la búsqueda de modelos. Sus debilidades son la potencia y la sensibilidad a un gran número de alternativas deficientes. Si se incluye un "zoo" de modelos sin esperanza, la prueba puede volverse conservadora.

Prueba de capacidad predictiva superior de Hansen

La prueba SPA de Hansen fue diseñada para mejorar algunos de esos problemas de potencia. Pondera menos las alternativas muy deficientes y puede proporcionar una evaluación más informativa sobre si algún candidato realmente supera al punto de referencia.

Para un espacio de búsqueda grande y correlacionado, SPA suele ser más práctico que pretender que Bonferroni ha resuelto su vida.

Por qué estas pruebas se adaptan a la investigación de estrategias

Estos métodos son útiles porque se alinean con el flujo de trabajo real. Normalmente no nos importa si un coeficiente preespecificado difiere de cero de forma aislada. Nos importa si la mejor estrategia encontrada después de una búsqueda amplia es mejor que el punto de referencia de una manera que sobreviva al proceso de búsqueda.

Esa es una pregunta diferente, y merece una prueba diferente.

Ratio de Sharpe Desinflado

La idea

El Ratio de Sharpe Desinflado, asociado con Bailey y López de Prado, ajusta el ratio de Sharpe observado por:

• la no normalidad de los retornos,
• los efectos de la muestra finita,
• y las pruebas múltiples.

Convierte "este Sharpe se ve bien" en "este Sharpe sigue siendo inusual dada la cantidad de oportunidades que nos dimos para encontrar algo bueno".

Por qué nos gusta

Habla el lenguaje que realmente usan los investigadores de estrategias. Los ratios de Sharpe son familiares, defectuosos y aún inevitables. Desinflarlos es más útil que venerarlos.

Lo que no hace

No rescata un proceso débil. Si su búsqueda filtró información, ignoró los costos o revisó repetidamente el punto de referencia después de ver los resultados, ningún ratio elegante lo salvará. Las estadísticas pueden penalizar la suerte. No pueden revertir la deshonestidad.

Controles de la tasa de falsos descubrimientos

En algunos contextos, especialmente al examinar muchas hipótesis relacionadas, controlar la tasa de falsos descubrimientos puede ser más apropiado que controlar la probabilidad de cualquier falso positivo a toda costa.

Procedimientos como Benjamini-Hochberg son menos conservadores que los controles de error familiar y pueden ser sensatos cuando el objetivo es identificar un conjunto manejable de candidatos para una validación posterior, en lugar de hacer una única afirmación definitiva.

Para la publicación, sin embargo, se debe tener cuidado. El control de la FDR es útil para la clasificación. No es una licencia para presentar una lista corta de supervivientes como hechos probados.

Número efectivo de pruebas

Debido a que las combinaciones de parámetros están correlacionadas, el recuento bruto de 583,000 exagera el número de oportunidades independientes para la suerte. Estimar el número efectivo de pruebas puede, por lo tanto, afinar el ajuste.

Existen varias formas de hacerlo, a menudo basadas en la estructura de correlación de las estadísticas de prueba o los rendimientos entre las variantes del modelo. El resultado no es un número mágico entregado desde una montaña. Es una estimación, y debe informarse como tal.

El principio editorial es sencillo: si reduce el número de pruebas debido a la dependencia, muestre la lógica. "Confíe en nosotros, es menor" no es un método.

Cómo se ve esto en la práctica para la investigación de transacciones de iniciados

Un gran conjunto de datos de declaraciones de iniciados invita a la parametrización. Eso no es un vicio. El vicio es la memoria selectiva sobre lo que se intentó.

Paso 1. Definir las hipótesis económicas antes de la malla fina

Comenzamos con hipótesis de nivel superior, por ejemplo:

• las compras agrupadas en el mercado abierto por parte de altos ejecutivos pueden indicar una infravaloración,
• las ventas pueden ser menos informativas debido a motivos de diversificación y fiscales,
• las operaciones más grandes en relación con las tenencias anteriores pueden contener más información,
• las ventanas post-declaración más cortas pueden capturar una difusión de información más rápida,
• y las microcaps pueden mostrar efectos brutos más fuertes pero una peor implementabilidad.

Estas son ideas económicas. La cuadrícula de parámetros viene después, no antes.

Paso 2. Enumerar la familia completa de modelos

Una vez establecidas las hipótesis, generamos la familia de estrategias de forma sistemática. Esto incluye todas las combinaciones de:

• filtros de eventos,
• clasificaciones de roles,
• umbrales de tamaño,
• reglas de construcción de cartera,
• momento de entrada,
• momento de salida,
• cadencia de reequilibrio,
• y supuestos de costos.

El objetivo es la reproducibilidad. Si una especificación estaba disponible para ser elegida, debe incluirse en el recuento.

Paso 3. Particionar los datos honestamente

Como mínimo, separamos:

• una muestra de descubrimiento,
• una muestra de validación,
• e idealmente un período de retención final o un período futuro.

Para datos de series temporales y basados en eventos, esta partición debe respetar la cronología. La mezcla aleatoria de observaciones puede producir métricas de validación cruzada ordenadas y una decepción desordenada en el mundo real.

Paso 4. Clasificar a los candidatos utilizando criterios preestablecidos

Elegimos los criterios de clasificación antes de mirar la tabla de posiciones. Ejemplos típicos son:

• Sharpe neto,
• estadístico t de alfa,
• rendimiento ajustado por drawdown,
• ratio de información ajustado por rotación.

El criterio importa porque cambiarlo después de ver los resultados crea otra capa de búsqueda oculta. Se puede minar la función objetivo con la misma eficiencia que los parámetros.

Paso 5. Aplicar inferencia consciente de la búsqueda

En esta etapa, el mejor candidato aún no es un hallazgo. Es un nominado. Luego aplicamos una evaluación consciente de la búsqueda, utilizando uno o más de los métodos descritos anteriormente.

Paso 6. Publicar el rango, no solo el campeón

Un artículo creíble muestra:

• dónde se sitúa la especificación elegida en la distribución,
• si las especificaciones cercanas se comportan de manera similar,
• cómo cambia el rendimiento en los subperíodos,
• y qué sucede después de los costos y retrasos.

Si el ganador es aislado y frágil, los lectores deben verlo claramente.

Lo que los lectores deben exigir de cualquier artículo basado en una búsqueda a gran escala

La carga no recae solo en los investigadores. Los lectores, asignadores y editores deben hacer mejores preguntas.

Muéstrame el denominador

Si alguien presenta una estrategia con un atractivo Sharpe dentro de la muestra, pregunte: ¿de cuántas pruebas fue seleccionada? Si la respuesta es vaga, el resultado también lo es.

Muéstrame el conjunto de validación

Si no hay una muestra intacta, no hay evidencia clara. Solo hay persuasión iterativa.

Muéstrame el vecindario

¿Funciona la estrategia con valores de parámetros cercanos, o solo con una configuración extrañamente específica? La robustez no es glamurosa, pero es donde tiende a residir la señal genuina.

Muéstrame los costos y las limitaciones operativas

Las estrategias basadas en información privilegiada pueden implicar retrasos en la publicación, problemas de liquidez y concentración en nombres pequeños. Los rendimientos brutos suelen ser la parte fácil. Los rendimientos netos son donde la ficción se somete a auditoría.

Muéstrame los hermanos fallidos

Una única especificación exitosa dice menos que el retrato familiar. Si cientos de parientes cercanos fallaron, el superviviente puede ser afortunado en lugar de superior.

Por qué somos explícitos sobre 583,000 pruebas

Existe la tentación de pensar que revelar un gran número de búsquedas debilita el artículo. Hace lo contrario. Le dice al lector que el proceso de investigación no ha sido retocado.

Una búsqueda amplia puede ser totalmente legítima cuando el fenómeno subyacente es complejo y el espacio de diseño es grande. Las señales de transacciones de información privilegiada son exactamente ese tipo de problema. Pero la legitimidad requiere contabilidad. Si se exploraron 583,000 combinaciones, entonces 583,000 combinaciones pertenecen al marco interpretativo.

La alternativa es familiar. Aparece un gráfico pulido. El artículo habla con confianza sobre "la estrategia". El proceso de búsqueda permanece entre bastidores. La significancia reportada asume un mundo en el que la especificación elegida fue ordenada desde el principio. No lo fue. Ganó un torneo.

Eso no hace que la estrategia sea falsa. Hace que la certeza no ajustada sea falsa.

Una nota sobre la humildad, que es más barata que los drawdowns

Existe un problema cultural tanto como estadístico. La investigación cuantitativa a menudo recompensa la revelación, no la contención. El incentivo es presentar el mejor resultado con la advertencia justa para satisfacer al departamento legal y no la suficiente para perturbar al equipo de ventas.

Preferimos un estándar más sobrio. Si una señal sobrevive a una búsqueda amplia, a pruebas fuera de la muestra (out-of-sample) y a un ajuste consciente de la búsqueda, es más interesante, no menos. Si no lo hace, la investigación sigue siendo útil. Ha delimitado dónde no está la ventaja.

Eso no es un fracaso. Es un control de inventario para las malas ideas.

El siguiente paso concreto es sencillo: para cada futuro artículo de señal de información privilegiada basado en una búsqueda amplia de parámetros, publicar el recuento de pruebas, el protocolo de selección y al menos una estadística consciente de la búsqueda junto con el backtest principal. La pregunta abierta es la más difícil y la más valiosa: ¿cuál es el número efectivo de pruebas independientes en una cuadrícula de estrategia de información privilegiada altamente correlacionada, y cuán estable es esa estimación en los diferentes regímenes de mercado?

Nota editorial: este artículo se elaboró sin investigación web en vivo (Grok no disponible en esta pasada de generación). Las fuentes perennes se citan arriba; las afirmaciones numéricas se extraen de nuestra propia instantánea de base de datos a fecha de 2026-05-17.

Cohorte de backtest Insiders Trades

Nuestro análisis de los datos del backtest revela una tendencia preocupante en el rendimiento de las operaciones valoradas dentro de la cohorte BUY en 17 mercados. Con un total de 220,691 operaciones, el rendimiento medio a 90 días se sitúa en -1.70%, acompañado de una tasa de éxito del 41.82%. El ratio de Sharpe anualizado es notablemente negativo, en -0.08, lo que indica que los rendimientos ajustados al riesgo no solo son deficientes, sino que también resaltan el potencial de inflación por pruebas múltiples en la investigación cuantitativa. Esto se alinea con el contexto más amplio del universo global, donde 227,594 declaraciones de compra (BUY filings) arrojan un rendimiento medio idéntico a 90 días de -1.70% y un Sharpe agregado de -0.08. Estas cifras subrayan la necesidad crítica de metodologías estadísticas rigurosas para mitigar los riesgos asociados con las comparaciones múltiples en las estrategias cuantitativas. Es esencial señalar que estos hallazgos se basan en un tamaño de muestra sustancial durante un horizonte de 90 días.

Última revisión · 2026-05-18 · Por Simon Azoulay · Fuentes, SEC EDGAR, AMF BDIF y otros 28 reguladores.