Comment nous dégonflons l’inflation par tests multiples
Il n’existe pas de bouton magique « anti-overfitting ». Il existe un ensemble de garde-fous imparfaits, mais nettement préférables à l’enthousiasme non corrigé.
Ajuster les seuils, sans prétendre que Bonferroni suffit à tout
La correction de Bonferroni est la massue réglementaire du statisticien. Simple, robuste, parfois trop sévère. Si les tests étaient indépendants, elle donnerait un plafond clair au risque de faux positifs. Dans un grid-search corrélé, elle reste un repère, pas une vérité révélée.
Nous l’utilisons comme borne haute de prudence, pas comme unique juge. Une stratégie qui ne survit même pas à une correction grossière a déjà répondu à une question importante, et pas en sa faveur.
Contrôler le False Discovery Rate
Le contrôle du False Discovery Rate, notamment via Benjamini-Hochberg, est souvent plus adapté quand on explore beaucoup d’hypothèses et qu’on accepte qu’une fraction limitée des découvertes puisse être fausse. C’est plus réaliste que de viser un monde sans aucune erreur, objectif noble mais peu compatible avec la recherche empirique.
Dans un article de marchés, cela change la narration. On ne dit plus « voici la meilleure stratégie ». On dit « voici l’ensemble des signaux qui survivent à un niveau de découverte fausse toléré ». C’est moins héroïque. C’est aussi plus proche de la vie réelle.
Utiliser des tests de réalité économique, pas seulement statistique
Une stratégie peut survivre à plusieurs corrections et rester douteuse. Pourquoi ? Parce qu’un résultat statistiquement défendable peut être économiquement absurde.
Nous appliquons donc des filtres de plausibilité. Le signal a-t-il un mécanisme compréhensible ? Dépend-il d’un segment illiquide impossible à exécuter proprement ? Disparaît-il dès qu’on applique des coûts modestes ? Repose-t-il sur quelques épisodes extrêmes concentrés dans une seule sous-période ?
Le marché est plein d’anomalies. Il est aussi plein d’anomalies qui ont oublié de survivre au spread.
Évaluer la Probability of Backtest Overfitting
La littérature récente en finance empirique a au moins rendu un service précieux, elle a donné un nom plus propre au vieux problème. Probability of Backtest Overfitting, ou PBO. L’idée, popularisée notamment par Bailey, Borwein, López de Prado et Zhu, consiste à mesurer à quel point la sélection ex post d’une stratégie a des chances de mal généraliser hors échantillon.
La logique est utile parce qu’elle s’attaque au cœur du sujet. Pas seulement la significativité d’un essai, mais la probabilité que le processus de sélection lui-même ait sur-ajusté le bruit.
Regarder la stabilité locale plutôt que le pic absolu
Une stratégie crédible ressemble rarement à une aiguille. Elle ressemble davantage à un plateau, ou au moins à une colline large. Si une petite variation de paramètre détruit toute la performance, le signal est probablement plus fragile que son tableau récapitulatif ne le laisse croire.
Nous rapportons donc la topologie locale des résultats. Combien de variantes voisines restent positives ? Combien conservent un Sharpe du même ordre de grandeur ? Combien survivent après neutralisation, coûts et contraintes simples ?
Le meilleur point est intéressant. Son voisinage l’est davantage.
