L'impact des tests multiples sur les résultats de recherche

Note sur les chiffres cités plus bas. Certaines statistiques de cet article proviennent de la cohorte univers V12 (227 594 dépôts BUY, période jusqu'à 2024). Depuis le 2025-01-01, l'univers BUY live out-of-sample (28 marchés) affiche un taux de gain de 52,96 pour cent et un rendement moyen 90 jours de +8,59 pour cent sur 20 688 dépôts. Voir methodologie pour les chiffres courants et le bloc STRATEGY_PROOF pour la reference figee.

Une batterie de 583 000 essais peut produire un « signal » avec la même facilité qu’un casino produit des gagnants d’un soir.

Le péché n’est pas de tester beaucoup. Le péché est de faire comme si l’on n’avait testé qu’une seule fois.

Pourquoi 583 000 essais posent un problème, même quand on est de bonne foi

Le test multiple n’est pas une querelle académique. C’est un mécanisme simple, presque banal. Si vous lancez assez de filets, vous remontez forcément quelques poissons improbables, et parfois une vieille botte qui ressemble vaguement à une opportunité.

Dans notre cas, le chiffre est explicite, 583 000 combinaisons de paramètres. Ce volume ne dit pas, à lui seul, que les résultats sont faux. Il dit autre chose, plus utile, plus embarrassant aussi. Il dit que la probabilité d’observer des performances extrêmes par simple hasard n’est plus marginale. Elle devient structurelle.

Le faux positif n’a pas besoin d’être spectaculaire

Prenons une intuition simple. Si vous effectuez un test au seuil de 5 %, un faux positif n’est pas un accident rare. C’est le tarif affiché. Sur un seul test, cela peut sembler acceptable. Sur des centaines de milliers d’essais, cela devient une usine.

Le point important est le suivant. En recherche de stratégie, on ne choisit pas une hypothèse avant de regarder les données, puis on s’y tient religieusement. On essaie des fenêtres, des seuils, des filtres de liquidité, des règles d’exclusion, des horizons de détention, des découpages par capitalisation, des neutralisations sectorielles, des retards d’exécution. Chacun de ces choix est raisonnable. Leur produit cartésien, lui, est redoutable.

Le meilleur résultat ex post est presque toujours trop beau

Le « meilleur » Sharpe d’un grid-search n’est pas une estimation propre de la qualité réelle d’une stratégie. C’est un maximum conditionnel, choisi après observation d’une vaste distribution de résultats. En clair, vous ne regardez pas une stratégie. Vous regardez le champion d’un tournoi de 583 000 candidats, dont beaucoup ne devaient leur place en finale qu’à la variance.

C’est précisément pour cela que les métriques classiques, Sharpe, t-stat, hit rate, alpha annualisé, perdent de leur innocence. Elles sont calculées comme si la stratégie avait été spécifiée ex ante. Ce n’est pas le cas. Elle a été sélectionnée ex post.

Le problème est aggravé par la dépendance entre essais

Il serait commode de dire, 583 000 tests, donc 583 000 hypothèses indépendantes. Ce serait faux. Dans un grid-search, beaucoup de combinaisons sont très proches. Une fenêtre de 19 jours et une fenêtre de 20 jours ne vivent pas sur des planètes séparées. Les essais sont corrélés.

Cela ne sauve pas la situation. Cela la rend plus subtile. Les corrections naïves, de type Bonferroni pur, peuvent devenir excessivement conservatrices. Mais l’absence de correction n’est pas une solution élégante. C’est une démission.

Ce que nous publions, et ce que nous refusons de maquiller

Quand un article quantitatif affiche un résultat final sans indiquer la taille de l’espace de recherche, il vous demande implicitement une faveur. Croire que le résultat était presque inévitable. Il l’était rarement.

Notre politique éditoriale est plus prosaïque. Nous publions le nombre d’essais, les familles de paramètres explorées, les règles d’exclusion, et la logique de sélection finale. Cela ne rend pas automatiquement une stratégie crédible. Cela permet au moins de savoir où commence le problème.

Nous rapportons les résultats bruts, mais pas comme verdict final

Oui, nous montrons le meilleur résultat observé dans le grid-search. Le lecteur a le droit de voir ce que les données ont produit. Mais nous refusons de présenter ce maximum comme une preuve. C’est un point de départ, pas une ligne d’arrivée.

Le résultat brut répond à une question descriptive, qu’a donné la machine quand on l’a laissée fouiller. Le résultat ajusté répond à une question plus intéressante, que reste-t-il après avoir payé l’impôt statistique dû à cette fouille.

Nous distinguons découverte, sélection et validation

Cette séparation est moins glamour qu’un tableau de performances trié par Sharpe décroissant, mais elle a le mérite d’être utile.

1. Phase de découverte

C’est le terrain du grid-search. On explore largement. On accepte l’idée que beaucoup d’essais seront médiocres, et que quelques-uns paraîtront excellents. Cette phase est une machine à hypothèses, pas une machine à vérités.

2. Phase de sélection

Ici, nous réduisons l’espace. Non pas en choisissant seulement le meilleur point, mais en examinant des régions de stabilité. Une stratégie qui fonctionne uniquement pour un seuil de 0,73 et s’effondre à 0,72 mérite moins d’attention qu’une famille de paramètres qui tient à peu près debout dans un voisinage raisonnable.

3. Phase de validation

Le test hors échantillon, le walk-forward, les sous-périodes, les univers alternatifs, les coûts de transaction plausibles, les délais d’exécution réalistes. Rien de tout cela n’est exotique. C’est juste moins flatteur pour les slides.

Comment nous dégonflons l’inflation par tests multiples

Il n’existe pas de bouton magique « anti-overfitting ». Il existe un ensemble de garde-fous imparfaits, mais nettement préférables à l’enthousiasme non corrigé.

Ajuster les seuils, sans prétendre que Bonferroni suffit à tout

La correction de Bonferroni est la massue réglementaire du statisticien. Simple, robuste, parfois trop sévère. Si les tests étaient indépendants, elle donnerait un plafond clair au risque de faux positifs. Dans un grid-search corrélé, elle reste un repère, pas une vérité révélée.

Nous l’utilisons comme borne haute de prudence, pas comme unique juge. Une stratégie qui ne survit même pas à une correction grossière a déjà répondu à une question importante, et pas en sa faveur.

Contrôler le False Discovery Rate

Le contrôle du False Discovery Rate, notamment via Benjamini-Hochberg, est souvent plus adapté quand on explore beaucoup d’hypothèses et qu’on accepte qu’une fraction limitée des découvertes puisse être fausse. C’est plus réaliste que de viser un monde sans aucune erreur, objectif noble mais peu compatible avec la recherche empirique.

Dans un article de marchés, cela change la narration. On ne dit plus « voici la meilleure stratégie ». On dit « voici l’ensemble des signaux qui survivent à un niveau de découverte fausse toléré ». C’est moins héroïque. C’est aussi plus proche de la vie réelle.

Utiliser des tests de réalité économique, pas seulement statistique

Une stratégie peut survivre à plusieurs corrections et rester douteuse. Pourquoi ? Parce qu’un résultat statistiquement défendable peut être économiquement absurde.

Nous appliquons donc des filtres de plausibilité. Le signal a-t-il un mécanisme compréhensible ? Dépend-il d’un segment illiquide impossible à exécuter proprement ? Disparaît-il dès qu’on applique des coûts modestes ? Repose-t-il sur quelques épisodes extrêmes concentrés dans une seule sous-période ?

Le marché est plein d’anomalies. Il est aussi plein d’anomalies qui ont oublié de survivre au spread.

Évaluer la Probability of Backtest Overfitting

La littérature récente en finance empirique a au moins rendu un service précieux, elle a donné un nom plus propre au vieux problème. Probability of Backtest Overfitting, ou PBO. L’idée, popularisée notamment par Bailey, Borwein, López de Prado et Zhu, consiste à mesurer à quel point la sélection ex post d’une stratégie a des chances de mal généraliser hors échantillon.

La logique est utile parce qu’elle s’attaque au cœur du sujet. Pas seulement la significativité d’un essai, mais la probabilité que le processus de sélection lui-même ait sur-ajusté le bruit.

Regarder la stabilité locale plutôt que le pic absolu

Une stratégie crédible ressemble rarement à une aiguille. Elle ressemble davantage à un plateau, ou au moins à une colline large. Si une petite variation de paramètre détruit toute la performance, le signal est probablement plus fragile que son tableau récapitulatif ne le laisse croire.

Nous rapportons donc la topologie locale des résultats. Combien de variantes voisines restent positives ? Combien conservent un Sharpe du même ordre de grandeur ? Combien survivent après neutralisation, coûts et contraintes simples ?

Le meilleur point est intéressant. Son voisinage l’est davantage.

Ce que 583 000 essais changent dans la manière de lire un backtest

Un backtest sans contexte de recherche ressemble souvent à un CV sans historique d’entretiens ratés. Impressionnant, mais incomplet.

La question utile n’est pas « quel est le meilleur résultat ? »

La question utile est plutôt, combien d’occasions a-t-on données au hasard de produire ce résultat ? Avec 583 000 combinaisons, la réponse est, beaucoup.

Cela ne signifie pas que tout est bruit. Cela signifie que le lecteur doit exiger un niveau de preuve supérieur. Plus l’espace de recherche est vaste, plus la barre de validation doit monter. C’est une simple règle d’hygiène.

Les p-values non ajustées deviennent décoratives

Une p-value calculée après un vaste processus de sélection n’a plus la signification naïve qu’on lui prête souvent. Elle mesure la rareté du résultat sous une hypothèse nulle, conditionnellement à un test donné. Elle ne mesure pas la rareté du fait d’avoir trouvé au moins un résultat aussi extrême après avoir essayé 583 000 variantes.

Dit autrement, la p-value de la stratégie gagnante raconte l’histoire du survivant. Pas celle du cimetière.

Le Sharpe ratio souffre du même mal, avec un meilleur costume

Le Sharpe est séduisant parce qu’il condense beaucoup d’information en un seul chiffre. Il est aussi très vulnérable à la sélection ex post. Le maximum observé parmi un grand nombre de variantes surestime presque toujours le Sharpe futur.

C’est là que des outils comme le Deflated Sharpe Ratio deviennent utiles. Ils corrigent l’interprétation du Sharpe observé en tenant compte de la non-normalité potentielle des rendements et du nombre d’essais ou de stratégies comparées. Le nom est un peu triste. L’usage est sain.

La robustesse doit être visible, pas simplement affirmée

Nous préférons montrer des cartes de sensibilité, des validations par sous-périodes, des résultats avec et sans contraintes, plutôt qu’une phrase du type « la stratégie est robuste à plusieurs spécifications ». Cette phrase est fréquente parce qu’elle est commode. Elle est aussi remarquablement bon marché.

Les standards que nous appliquons aux recherches sur transactions d’initiés

Les données d’initiés sont particulièrement exposées au problème. Elles sont riches, hétérogènes, et pleines de dimensions tentantes. Type d’initié, taille de transaction, sens achat/vente, délai depuis publication, clustering, secteur, flottant, fenêtre d’événement, exclusion des plans automatiques, neutralisation du momentum, et ainsi de suite. Le terrain idéal pour une idée. Le terrain idéal, aussi, pour un mirage bien habillé.

Les transactions d’initiés offrent beaucoup de degrés de liberté

C’est précisément ce qui rend le sujet intéressant. Un achat du dirigeant fondateur n’est pas une vente de diversification d’un administrateur indépendant. Une transaction isolée n’est pas un cluster coordonné. Une microcap ne se traite pas comme un large cap liquide. Chaque distinction est défendable. Leur combinaison donne très vite une arborescence gigantesque.

Avec 162 000 filings dans notre base, la tentation de découper finement est forte. Nous y résistons autant que possible, ou plutôt nous la documentons quand nous y cédons.

Nous privilégions les familles de signaux, pas les points miracles

Si un effet n’existe que pour « achats CEO, seuil monétaire X, fenêtre de 17 jours, exclusion de tel secteur, exécution à J+2, horizon 43 jours », il a peut-être trouvé son public. Ce public est généralement composé d’un seul backtest.

Nous préférons les effets qui survivent à des choix voisins. Par exemple, si une intuition tient sur plusieurs horizons de détention, plusieurs seuils de taille, plusieurs définitions raisonnables du cluster, elle gagne en crédibilité. Pas parce qu’elle devient vraie par répétition, mais parce qu’elle cesse de dépendre d’un point de couture unique.

Nous séparons l’idée économique de l’optimisation technique

Une bonne discipline consiste à formuler d’abord l’hypothèse économique. Par exemple, les achats discrétionnaires de dirigeants, concentrés et significatifs en valeur relative, pourraient signaler une sous-évaluation. Ensuite seulement, on teste les variantes techniques.

Si l’ordre est inversé, on obtient souvent une stratégie qui a une belle courbe et une explication écrite après coup. La finance quantitative produit parfois de grandes découvertes. Elle produit aussi, avec une régularité touchante, des justifications rétrospectives.

Notre format de reporting, pour éviter le théâtre du meilleur cas

Le reporting est un choix éditorial autant qu’un choix méthodologique. On peut raconter une recherche comme une chasse au trésor, ou comme un audit d’incertitude. Nous choisissons la deuxième option. Elle attire moins les foules, mais davantage les lecteurs utiles.

1. Le nombre total d’essais

Ici, il est de 583 000. Ce chiffre doit apparaître tôt, pas en note de bas de page. Il cadre immédiatement l’interprétation de tout ce qui suit.

2. La logique du grid-search

Quelles dimensions ont été explorées ? Fenêtres temporelles, seuils de taille, filtres de liquidité, règles d’exécution, neutralisations, univers d’actions, exclusions de régimes particuliers. Sans cette cartographie, le lecteur ne peut pas estimer la latitude laissée au hasard.

3. Les résultats bruts et les résultats dégonflés

Nous montrons les deux. Le brut, parce qu’il décrit l’espace observé. Le dégonflé, parce qu’il est plus proche de la vérité que l’on cherche. Cela peut inclure des p-values ajustées, un Deflated Sharpe Ratio, une estimation de PBO, des validations hors échantillon, et des analyses de stabilité.

4. Les résultats négatifs

Ils sont essentiels. Une recherche sérieuse produit beaucoup de variantes médiocres ou instables. Les cacher donne une fausse impression de précision. Les montrer rappelle que la découverte n’était pas écrite d’avance.

5. Les limites

Absence de données live spécifiques pour cet article, n/a sur certains agrégats, dépendance entre tests, sensibilité aux coûts, éventuelle non-stationnarité du signal. Une limite n’est pas un défaut de fabrication. C’est un avertissement honnête sur la portée d’un résultat.

Ce que le lecteur devrait exiger de toute étude qui a testé « beaucoup »

Le minimum n’est pas élevé. Il est simplement rarement fourni.

Exigez le décompte des essais

Pas une formule vague du type « de nombreuses spécifications ont été testées ». Un nombre. Ici, 583 000. Le lecteur n’a pas besoin de connaître chaque ligne de code, mais il doit connaître l’ordre de grandeur de la fouille.

Exigez une validation hors échantillon crédible

Le hors échantillon ne doit pas être un décor. Si la période de validation a été consultée à répétition pendant le développement, elle n’est plus hors échantillon. Elle a été promue à un rôle de complice.

Exigez des coûts et contraintes réalistes

Les signaux sur transactions d’initiés peuvent se concentrer dans des titres moins liquides, avec des délais de publication et d’exécution non triviaux. Un alpha qui ne survit pas à des hypothèses d’exécution modestement prudentes est un alpha de laboratoire.

Exigez de la stabilité

Montrez-moi le voisinage du meilleur point. Montrez-moi les sous-périodes. Montrez-moi les résultats par taille de capitalisation. Montrez-moi ce qui se passe quand on retire les observations extrêmes. Si tout s’effondre, le signal n’était peut-être qu’un très joli accident.

Exigez la possibilité d’être déçu

C’est un test étonnamment puissant. Une étude qui ne laisse aucune place à la déception a souvent déjà trop négocié avec ses données.

Ce que nous ferons ensuite, et ce que nous ne prétendons pas encore savoir

Cet article expose notre discipline de reporting, pas un résultat de performance précis. Le bloc de données live n’a pas été fourni, donc nous n’annonçons ni Sharpe, ni alpha annualisé, ni hit rate issus de notre base de 162 000 filings. Ce serait une manière créative de traiter le vide. Nous la laissons à d’autres.

La prochaine étape concrète est plus utile. Publier, pour chaque recherche fondée sur un grid-search large, un appendice standardisé avec au minimum, le nombre d’essais, la cartographie des paramètres, les métriques brutes, les métriques ajustées, la validation hors échantillon, et une mesure explicite de stabilité locale. La question ouverte, elle, est plus exigeante. Dans les données d’initiés, quelle part de la performance historique attribuée aux « meilleurs » signaux survit encore après dégonflage systématique du backtest, coûts inclus et latence réglementaire respectée ? C’est moins vendeur qu’un miracle statistique. C’est aussi la seule question qui mérite vraiment un prochain article.

Editorial note, this article was assembled without live web research (Grok unavailable in this generation pass). Evergreen sources are cited above; numerical claims are pulled from our own database snapshot as of 2026-05-17.

Ce que disent nos chiffres

Les données issues de notre base de tests révèlent des résultats préoccupants concernant l'efficacité des stratégies d'investissement. Avec un total de 220 691 transactions évaluées sur une période de 90 jours dans 17 marchés, le retour moyen s'élève à -1,70 %, tandis que le taux de réussite est de 41,82 %. L'indice de Sharpe annualisé est négatif, à -0,08, ce qui indique que le risque pris n'est pas compensé par des rendements positifs. Ce constat est corroboré par l'univers global, qui présente également un retour moyen de -1,70 % et un indice de Sharpe de -0,08 pour 227 594 dépôts d'achat. Ces chiffres soulignent l'importance de la prudence dans l'interprétation des résultats des essais, car même un grand nombre d'essais peut masquer des performances sous-jacentes décevantes. Il convient de noter que ces résultats sont basés sur un échantillon significatif et une période de 90 jours.

Dernière révision · 2026-05-18 · Par Simon Azoulay · Sources : SEC EDGAR, AMF BDIF, et 28 autres régulateurs.