À qui s’adresse cette page — À quiconque a obtenu un résultat historique favorable et souhaite savoir dans quelle mesure il dépend d’une combinaison précise de données, paramètres, coûts, période et exécution.
La robustesse décrit dans quelle mesure les conclusions sur une stratégie restent cohérentes lorsque varient, dans des intervalles plausibles, les hypothèses qui ne devraient pas déterminer à elles seules sa valeur. C’est une propriété graduelle et conditionnelle : une stratégie peut être robuste aux paramètres mais fragile aux coûts, ou stable sur plusieurs périodes tout en dépendant d’un seul fournisseur de données.
La robustesse ne signifie pas l’immunité au changement et ne garantit pas un edge futur ; elle est aussi un exercice de falsification. Une batterie de tests peut partager le même look-ahead, le même biais de survie ou la même erreur d’exécution. Son objectif est de rendre visibles les dépendances du résultat et de rechercher les points de rupture, pas d’attribuer automatiquement un label de validité.
Robustesse, sensibilité et validation
| Concept | Question | Ce qu’il ne démontre pas |
|---|---|---|
| Analyse de sensibilité | Comment la sortie varie-t-elle avec une entrée ? | que les scénarios retenus soient complets |
| Test de stress | Où le système rompt-il dans des conditions sévères mais cohérentes ? | la probabilité du scénario |
| Robustesse | La conclusion résiste-t-elle à un ensemble motivé de variations ? | performance future ou causalité |
| Hors échantillon | La spécification généralise-t-elle sur des données non employées pour la choisir ? | immunité aux changements de régime et biais communs |
| Réplication | Une analyse indépendante obtient-elle une preuve compatible ? | identité des résultats dans tous les échantillons |
Un plateau de paramètres peut être préférable à un pic isolé, car il montre une sensibilité locale moindre, mais ce n’est pas une preuve. Le plateau peut être produit par des données contaminées ou une famille de variantes presque identiques. La logique économique et l’exactitude de la simulation restent des prérequis.
Dimensions à mettre à l’épreuve
Données. Comparer, lorsque c’est possible, sources, règles de nettoyage, horodatages, opérations sur titres, univers point-in-time et traitement des données manquantes. Changer de fournisseur peut révéler une dépendance à des conventions non documentées.
Spécification. Faire varier paramètres et transformations dans des régions motivées par le processus étudié. La largeur ne devrait pas être le même pourcentage fixe pour toute variable : un jour, un tick et un décile n’ont pas le même sens.
Échantillon. Examiner sous-périodes, marchés et conditions sans choisir ex post les seules segmentations favorables. Retirer une période influente peut montrer la concentration, mais réduit aussi l’échantillon et accroît l’incertitude.
Exécution. Modifier délai du signal, benchmark d’exécution, spread, slippage, impact, participation au volume, exécutions partielles et coût d’opportunité selon des scénarios plausibles pour l’instrument et la taille. Toujours doubler les commissions n’est ni un critère universel ni une mesure de la liquidité.
Construction du portefeuille. Vérifier levier, plafonds, rééquilibrage, concentration, prêt de titres, financement, rendement de la trésorerie et interaction entre positions. L’edge du signal doit être distingué de celui que produit le dimensionnement.
Sélection statistique. Enregistrer toutes les variantes et tenir compte des tests multiples. Essayer des centaines de stress et ne montrer que ceux qui réussissent constitue une nouvelle forme de data snooping.
Protocole d’une batterie de robustesse
- Déclarer la conclusion à stresser. Par exemple : signe de l’expectancy nette, avantage sur le benchmark ou tolérabilité du drawdown.
- Énumérer les hypothèses matérielles. Données, horloge des événements, features, paramètres, univers, dimensionnement, coûts, liquidité et métriques.
- Relier chaque test à un risque. Justifier intervalle et direction du stress par une propriété du marché ou une incertitude de mesure.
- Geler critères et sorties. Établir à l’avance les métriques observées et la qualification des résultats favorables, ambigus ou incompatibles.
- Exécuter tests isolés et conjoints. Les perturbations isolées facilitent le diagnostic ; des combinaisons cohérentes montrent interactions et ruptures.
- Enregistrer toute la batterie. Conserver configurations, résultats négatifs, graines et modifications. Chaque essai compte dans la sélection.
- Séparer robustesse et test final. Les stress employés pour choisir la spécification relèvent du développement ; l’OOS final reste non consulté.
- Traduire le résultat en limites. Documenter les conditions de non-fiabilité, les contrôles réels et les causes de suspension.
Représenter les résultats
Une table ou une carte de sensibilité devrait montrer toutes les régions examinées, pas seulement le meilleur paramètre. Outre la moyenne, il faut dispersion, drawdown, turnover, exposition, coûts et concentration par événement. Il est utile de distinguer :
- la stabilité du signe, lorsque la conclusion qualitative reste identique ;
- la stabilité de l’ordre, lorsque le modèle conserve son avantage sur le benchmark ou les solutions concurrentes ;
- la stabilité économique, lorsque la marge reste substantielle après coûts et contraintes ;
- la stabilité opérationnelle, lorsque exécutions, données et contrôles peuvent être reproduits dans le processus réel.
Tous les nombres n’ont pas à rester inchangés. Une stratégie peut être robuste tout en montrant la dégradation attendue dans des scénarios plus coûteux ; il importe que la conclusion et les limites soient compréhensibles et ne dépendent pas d’une hypothèse cachée unique.
Exemple illustratif
Exemple explicitement illustratif — Un signal de breakout est évalué avec plusieurs délais exécutables, des sources de données comparables, des fenêtres de lookback adjacentes et des modèles de coûts liés au spread et à la participation au volume. La rentabilité disparaît lorsque l’exécution est déplacée vers le premier événement réellement négociable : ce résultat identifie un problème de causalité, pas une simple « absence de robustesse ». Dans un autre scénario, le résultat reste positif mais très incertain : « non concluant » peut être la bonne qualification, et non « validé ».
Les valeurs de stress doivent découler du marché et de l’incertitude du modèle ; aucun écart en pourcentage, multiplicateur de coût ou seuil de profit factor ne convient à toutes les stratégies.
Monte Carlo et perturbations du parcours
Bootstrap, réordonnancement et simulations de Monte Carlo peuvent décrire la variation d’une métrique sous un modèle précis de dépendance et de distribution. Réordonner les trades indépendamment élimine par construction une partie de la séquence temporelle ; utiliser des blocs fait de leur longueur une hypothèse. Ces techniques ne créent pas d’événements jamais observés et ne corrigent automatiquement ni fuite, ni univers contaminé, ni impact sous-estimé, ni sélection entre de nombreuses stratégies.
Limites
- La batterie est nécessairement incomplète face aux futurs états du monde.
- Des stress choisis après le résultat peuvent devenir de l’optimisation.
- Stabilité historique et significativité statistique sont deux questions distinctes.
- Les scénarios extrêmes ne possèdent pas automatiquement une probabilité interprétable.
- La robustesse soutient la gestion du risque de modèle ; elle ne remplace ni validation indépendante, ni contrôles opérationnels, ni suivi ultérieur.
Références
- Robert D. Arnott, Campbell R. Harvey et Harry Markowitz, A Backtesting Protocol in the Era of Machine Learning — protocole, sélection et stress des conclusions financières.
- Halbert White, A Reality Check for Data Snooping, Econometrica, 2000 — comparaison au benchmark après recherche sur plusieurs modèles.
- David H. Bailey et al., The Probability of Backtest Overfitting — fragilité de la configuration sélectionnée et évaluation hors échantillon.
- André F. Perold, The Implementation Shortfall: Paper Versus Reality, 1988 — distance entre portefeuille théorique et résultat réalisable par l’exécution.
- Board of Governors of the Federal Reserve System, SR 26-2 — Revised Guidance on Model Risk Management, 2026 — gouvernance, validation, limites et suivi du risque de modèle dans le périmètre de supervision concerné.