À qui s’adresse cette page — À quiconque interprète taux de réussite, expectancy, profit factor ou ratio de Sharpe et doit comprendre quelle quantité d’information soutient réellement l’estimation, au-delà du simple décompte des opérations.
La taille d’échantillon est le nombre d’observations employées pour estimer une grandeur. Dans le trading, elle ne coïncide toutefois pas nécessairement avec le nombre de trades. Des opérations simultanées sur le même facteur, des signaux chevauchants, des rendements autocorrélés ou plusieurs positions issues du même événement peuvent contenir une information très répétitive.
La bonne question n’est pas « combien de trades faut-il ? », mais : avec quelle précision cette métrique peut-elle être estimée, sous quelles dépendances et pour quelle décision ? Aucun seuil universel ne stabilise les métriques. Le nombre nécessaire varie avec la dispersion et l’asymétrie des payoffs, la fréquence des pertes extrêmes, l’autocorrélation, l’horizon, l’hétérogénéité des régimes, le nombre de stratégies essayées et l’incertitude acceptable.
Observation, trade et unité informationnelle
| Décompte | Ce qu’il mesure | Pourquoi il peut tromper |
|---|---|---|
| Trades | ouvertures et clôtures du registre opérationnel | plusieurs trades peuvent partager signal, période ou risque |
| Barres | intervalles de prix du jeu de données | autocorrélation possible ou chevauchement des labels |
| Jours de rendement | observations de la série du portefeuille | les positions de plusieurs jours induisent dépendance et lissage |
| Événements | annonces, rééquilibrages ou occasions distinctes | des événements du même régime peuvent ne pas être indépendants |
| Stratégies essayées | solutions entrées dans la sélection | probabilité accrue de choisir un gagnant fortuit |
L’unité doit être cohérente avec la métrique. Le taux de réussite concerne les
résultats par trade ; le Sharpe se calcule normalement sur des rendements
périodiques ; le drawdown dépend de tout le parcours. Transformer chaque
métrique en règle fondée sur le même N efface ces différences.
Dépendance et échantillon effectif
Sous des hypothèses indépendantes et identiquement distribuées, l’erreur
standard de la moyenne décroît comme 1/√N. Cette relation est une référence
théorique, pas un laissez-passer. Avec dépendance sérielle, la variance de la
moyenne inclut aussi les autocovariances. Une représentation diagnostique,
valable sous certaines conditions de stationnarité et de troncature, est :
N_eff ≈ N / (1 + 2 × Σ ρ_k)où ρ_k désigne l’autocorrélation aux retards considérés. Ce n’est pas une
formule universelle permettant de « corriger » tout backtest : elle montre
pourquoi N brut et information effective peuvent diverger. Dépendance
négative, queues épaisses, régimes et statistiques non linéaires exigent
d’autres traitements.
Pour estimer l’incertitude, on peut employer des erreurs standard compatibles avec la dépendance, un bootstrap par blocs ou des simulations construites sur le processus étudié. Méthode et longueur des blocs doivent être justifiées. Rééchantillonner les trades comme s’ils étaient indépendants ne répare pas automatiquement la structure temporelle.
La précision dépend de la métrique
Pour un taux de réussite idéalisé comme proportion binomiale, l’incertitude dépend également de la probabilité estimée. Les trades réels peuvent toutefois être dépendants, et le taux de réussite ignore la taille des gains et des pertes. Expectancy et profit factor sont sensibles aux queues ; quelques payoffs exceptionnels peuvent les dominer. La perte maximale et le drawdown observés sont des extrêmes de l’échantillon, pas des limites garanties pour le futur.
Le ratio de Sharpe exige une prudence particulière : fréquence, autocorrélation, asymétrie et kurtosis influencent annualisation et inférence. La longueur nécessaire pour soutenir qu’un Sharpe dépasse un benchmark dépend du Sharpe de référence, du niveau de confiance, de la distribution et de la dépendance. Un nombre fixe d’opérations ne répond pas à cette question.
Régimes, couverture et représentativité
Un long échantillon peut être peu représentatif s’il ne contient qu’une microstructure ou un régime ; un échantillon court peut être pertinent mais très imprécis. La couverture doit être décrite par période, actif, volatilité, liquidité, direction de l’exposition et conditions de marché, sans multiplier les sous-groupes jusqu’à obtenir un résultat favorable.
La segmentation réduit à son tour le nombre d’observations par cellule. Les résultats par régime devraient donc inclure des intervalles d’incertitude et le nombre de segmentations consultées. Sélectionner ex post le seul régime où la stratégie paraît efficace est incorrect.
Protocole d’évaluation de l’adéquation
- Définir la décision. Établir quelle grandeur doit être estimée et avec quelle précision utile, plutôt que chercher un minimum abstrait.
- Choisir l’unité. Déclarer trade, rendement périodique, événement ou autre observation cohérente avec la métrique.
- Cartographier les dépendances. Contrôler chevauchement des positions, autocorrélation, clusters d’actifs et facteurs communs.
- Examiner la distribution. Présenter dispersion, asymétrie, queues, concentration des profits et sensibilité aux valeurs extrêmes.
- Mesurer l’incertitude. Employer intervalles ou distributions d’échantillonnage avec une méthode compatible avec les données.
- Tenir compte de la sélection. Enregistrer toutes les stratégies, fenêtres et métriques essayées ; un grand échantillon n’annule pas le snooping.
- Vérifier la couverture. Énumérer les périodes et conditions absentes autant que celles qui sont présentes.
- Mettre à jour sans déplacer les règles. Définir à l’avance cadence et critère de révision ; si les règles changent, une nouvelle version commence et le périmètre de preuve change.
Exemple illustratif
Exemple explicitement illustratif — Un portefeuille enregistre 240 trades, mais de nombreuses positions sont ouvertes le même jour sur des titres exposés au même facteur. Le nombre 240 ne décrit pas 240 essais indépendants. L’analyse emploie les rendements quotidiens du portefeuille, examine autocorrélation et clusters temporels, présente des intervalles compatibles avec cette dépendance et montre combien le résultat dépend de quelques jours extrêmes. Aucun nombre de l’exemple n’est un seuil recommandé.
Même un vaste échantillon ne peut soutenir qu’une conclusion limitée : par exemple, que la métrique moyenne historique est estimée avec une certaine incertitude dans le périmètre observé. Il ne certifie ni stabilité structurelle ni performance future.
Limites
- La taille effective est souvent estimée, et non directement observée.
- Davantage de données historiques peuvent inclure des processus désormais modifiés.
- Des intervalles étroits ne corrigent ni look-ahead, ni biais de survie, ni erreurs dans les coûts et exécutions.
- Un critère d’arrêt choisi après observation des résultats modifie l’inférence.
- « Attendre d’autres trades » ne remplace pas une suspension immédiate lorsque des erreurs logiques, opérationnelles ou de contrôle du risque apparaissent.
Références
- Andrew W. Lo, The Statistics of Sharpe Ratios, Financial Analysts Journal, 2002 — autocorrélation, distribution et inférence du ratio de Sharpe.
- David H. Bailey et Marcos López de Prado, The Sharpe Ratio Efficient Frontier, Journal of Risk, 2012 — longueur de l’historique, confiance et caractéristiques distributives.
- Campbell R. Harvey, Yan Liu et Heqing Zhu, …and the Cross-Section of Expected Returns, The Review of Financial Studies, 2016 — nombre d’essais et seuils de preuve dans la sélection financière.
- Francis X. Diebold et Roberto S. Mariano, Comparing Predictive Accuracy, Journal of Business & Economic Statistics, 1995 — comparaison d’erreurs de prévision possédant une structure temporelle.
- Leonard J. Tashman, Out-of-sample tests of forecasting accuracy: an analysis and review, 2000 — multiples échantillons de test, rolling origin et représentativité temporelle.