À qui s’adresse cette page — À quiconque compare stratégies, paramètres ou features sur le même historique et souhaite comprendre quelle part de la performance sélectionnée peut relever de l’ajustement au bruit plutôt que de la capacité de généralisation.
Le surapprentissage se produit lorsqu’une spécification apprend des particularités de l’échantillon qui ne se répètent pas en dehors de celui-ci. Dans le trading, il peut naître de la complexité du modèle, mais aussi d’un processus apparemment simple : essayer de nombreuses règles, marchés, périodes ou métriques et ne publier que la meilleure combinaison.
Le data snooping est l’emploi répété des mêmes données pour sélectionner une stratégie ou une conclusion. Il est étroitement lié au surapprentissage, sans en être un synonyme parfait : le premier décrit le processus de recherche et de sélection ; le second, la faible généralisation de la spécification obtenue. Même une règle à paramètre unique peut être surajustée si elle gagne parmi des milliers d’essais non déclarés.
D’où vient-il ?
| Source d’ajustement | Exemple | Information à enregistrer |
|---|---|---|
| Paramètres | nombreux lookbacks, seuils ou stops | grille complète et critère de sélection |
| Règles | filtres ajoutés après des pertes visibles | séquence des modifications |
| Univers | marchés ou titres choisis parce qu’ils ont fonctionné | univers initial et exclusions |
| Période | date de début déplacée jusqu’à améliorer la courbe | toutes les fenêtres examinées |
| Métriques | le Sharpe est montré parce que le drawdown est défavorable | métriques prévues avant le test |
| Données et chaîne | fournisseur, nettoyage ou exécution choisis ex post | versions et variantes du simulateur |
| Récit | l’explication économique naît après le résultat | hypothèse initiale et chronologie de sa justification |
Le risque ne dépend pas seulement du rapport entre nombre de paramètres et nombre de lignes. Il dépend de la liberté effective du processus de recherche : combien de décisions pouvaient changer après chaque résultat et quelle dépendance relie les observations. Le nombre brut de trades ne mesure donc pas à lui seul la quantité d’information indépendante qui soutient le modèle.
Symptômes, et non diagnostics automatiques
Un pic très étroit dans la surface des paramètres, des règles difficiles à justifier, un rendement concentré dans quelques opérations et un fort écart entre développement et test sont des signes de fragilité. Aucun n’est une preuve isolée. Un edge réel peut être localisé ; un régime futur peut changer ; un OOS court peut être bruité. Inversement, une surface régulière peut provenir de biais communs à toutes les variantes.
La simplicité est utile comme contrainte, pas comme certificat. « Peu de règles » n’annule pas la sélection ex post, tandis qu’une technique complexe peut généraliser si le protocole, la régularisation et la validation sont adaptés.
Tests multiples et gagnant apparent
Parmi de nombreuses stratégies sans avantage réel, certaines peuvent présenter des résultats exceptionnels par hasard. Évaluer la gagnante comme hypothèse unique sous-estime la sélection. Le Reality Check de White compare le modèle retenu à un benchmark en tenant compte de la recherche. La Probability of Backtest Overfitting (PBO) mesure la probabilité que la meilleure en échantillon passe sous la médiane OOS des alternatives, pas la probabilité de perdre de l’argent. Le Deflated Sharpe Ratio traite sélection et non-normalité, avec la longueur de l’échantillon et les essais indépendants, distincts du compte brut.
Ces outils possèdent des hypothèses et ne transforment pas une recherche rétrospective en preuve causale. Pour être informatifs, ils exigent au minimum un inventaire crédible des solutions explorées.
Protocole de limitation
- Formuler l’hypothèse avant les résultats. Déclarer mécanisme économique, univers, variables, benchmark, métrique principale et critère d’arrêt.
- Tenir un registre des essais. Inclure configurations négatives, graines, périodes, actifs, filtres, transformations et métriques consultées.
- Séparer sélection et évaluation. Employer training et validation pour les choix ; conserver un test temporel final non consulté.
- Respecter la structure des données. Traiter dépendance, labels chevauchants et information point-in-time avec un découpage adapté.
- Limiter la liberté justifiable. Régulariser, réduire features et paramètres ou employer des hiérarchies motivées, sans chercher de « nombre magique ».
- Corriger l’inférence. Tenir compte des tests multiples, de la non-normalité, de l’autocorrélation et de l’incertitude des métriques.
- Soumettre la spécification à des perturbations. Faire varier des hypothèses plausibles sur paramètres, échantillon, coûts et exécution sans ne retenir ex post que les stress réussis.
- Conserver une décision lisible. Expliquer pourquoi la stratégie est écartée, étudiée davantage ou candidate à un forward test.
Exemple illustratif
Exemple explicitement illustratif — Un chercheur essaie toutes les combinaisons de dix lookbacks, cinq seuils et quatre univers : 10 × 5 × 4 = 200 configurations, avant coûts, périodes et filtres ultérieurs. Ce ne sont pas nécessairement 200 essais indépendants : beaucoup partagent données et règles. La configuration au Sharpe historique le plus élevé ne peut être évaluée comme une hypothèse unique formulée à l’avance. Le protocole conserve tous les essais, sélectionne pendant la validation, applique une mesure cohérente avec la comparaison multiple et ne consulte le test final qu’une fois. Les nombres décrivent le mécanisme de sélection, pas un seuil d’acceptation.
Si le test final sert à modifier le lookback ou l’univers, le segment n’est plus intact pour la nouvelle version. L’échec ne démontre pas nécessairement que l’idée est sans valeur ; il indique que la spécification évaluée n’a pas fourni la preuve prévue par le protocole.
Robustesse et OOS ne sont pas des preuves définitives
Tests de stress, plateaux de paramètres, sous-périodes et walk-forward aident à décrire sensibilité et stabilité. Ils ne prouvent pas à eux seuls que l’edge est réel : ils peuvent partager le même look-ahead, le même univers contaminé ou la même erreur d’exécution. Même le test OOS devient une partie du développement lorsqu’il est consulté plusieurs fois.
Le contrôle le plus solide est donc procédural autant que statistique : rendre tous les choix visibles, empêcher l’information future d’entrer dans le modèle et préserver une distinction réelle entre exploration et évaluation.
Limites
- Aucun indice unique ne mesure toutes les formes de surapprentissage.
- Les corrections des comparaisons multiples dépendent de l’ensemble des essais et de leur dépendance, souvent seulement partiellement observables.
- Un bon OOS peut relever du hasard ; un OOS faible peut refléter la variance ou un changement de régime.
- De nouvelles données temporelles réduisent la réutilisation du passé, sans éliminer les problèmes de données, de coûts, de causalité ou de gouvernance.
- La réplication indépendante reste distincte de la simple réexécution du même backtest.
Références
Sources vérifiées le 8 septembre 2026 ; passages consultés indiqués ci-dessous.
- Halbert White, A Reality Check for Data Snooping, Econometrica, 2000 — résumé de l’éditeur: réemploi des données et comparaison au benchmark.
- Ryan Sullivan, Allan Timmermann & Halbert White, Data-Snooping, Technical Trading Rule Performance, and the Bootstrap, The Journal of Finance — 1999, résumé : Reality Check sur l’univers de règles techniques examiné.
- David H. Bailey et al., The Probability of Backtest Overfitting — copie de l’auteur, février 2015, §2, définition 2.2.
- Campbell R. Harvey, Yan Liu & Heqing Zhu, …and the Cross-Section of Expected Returns, The Review of Financial Studies — résumé de l’éditeur: 2016, résumé de l’éditeur : comparaisons multiples dans la recherche sur les rendements.
- David H. Bailey & Marcos López de Prado, The Deflated Sharpe Ratio — copie de l’auteur, 2014, section DSR et annexe 3.