À qui s’adresse cette page — À quiconque doit interpréter le rapport d’une stratégie sans s’en remettre à un chiffre unique et souhaite comparer les résultats à l’aide d’unités, de coûts et de risques cohérents.
Les métriques de backtest résument différents aspects d’une simulation : rendement, variabilité, perte en queue de distribution, parcours, qualité des trades, mise en œuvre et incertitude. Un benchmark définit le terme de comparaison. Aucune métrique prise isolément n’établit qu’une stratégie possède un edge ou qu’elle convient à un investisseur.
Le contrat précède le chiffre : série de rendements, fréquence, devise, capital, effet de levier, traitement de la trésorerie, réinvestissement, coûts, données manquantes, période et benchmark. Modifier une seule de ces conventions peut changer le résultat sans changer aucun trade.
Les familles de mesures
| Famille | Exemples | Question | Limite |
|---|---|---|---|
| Rendement | rendement cumulé, CAGR, rendement moyen, rendement excédentaire | de combien le capital a-t-il augmenté selon la convention déclarée ? | ne décrit ni le parcours ni le risque |
| Variabilité | volatilité, écart à la baisse | dans quelle mesure les rendements fluctuent-ils ? | pénalise ou ignore certains mouvements selon la définition |
| Ajustement au risque | Sharpe, Sortino, ratio d’information | quel rendement est associé à la mesure de risque retenue ? | sensible à la dépendance, à la distribution et au benchmark |
| Parcours | drawdown maximal, durée, temps de récupération, Calmar | quelle perte entre un sommet et un creux apparaît dans l’échantillon ? | un seul parcours n’identifie pas la distribution future |
| Queue de distribution | quantiles, Expected Shortfall, pire période | que se passe-t-il dans les observations ou scénarios les plus défavorables ? | la rareté des événements et le risque de modèle rendent l’estimation incertaine |
| Par trade | espérance, profit factor, taux de réussite, ratio gain/perte | comment les résultats se répartissent-ils par trade défini ? | chevauchement des trades et définition de l’unité |
| Mise en œuvre | turnover, spread, slippage, impact, capacité | quelle part de la performance brute peut effectivement être captée ? | les coûts dépendent de la taille et de l’état du marché |
| Incertitude | erreur standard, intervalles, bootstrap, résultats par fold | dans quelle mesure l’estimation est-elle précise et stable ? | dépend des hypothèses de la méthode |
Une métrique peut avoir plusieurs définitions. Le « rendement annuel » peut désigner une moyenne arithmétique annualisée ou un taux composé ; le ratio de Sortino peut utiliser des objectifs et des dénominateurs différents ; le profit factor dépend de la manière dont les trades, les coûts et les positions sont agrégés. La formule et la convention doivent être visibles.
Sharpe : formule et annualisation
Pour les rendements excédentaires xₜ = rₜ − rᶠₜ, une estimation
simple sur échantillon est :
Sharpe = moyenne(xₜ) / écart_type(xₜ)La fréquence de la série fait partie de la mesure. Multiplier un ratio de Sharpe journalier par la racine carrée du nombre de périodes n’est exact que sous des conditions restrictives concernant la dépendance et l’échelle temporelle. Lo montre qu’en présence d’autocorrélation, de rendements lissés ou de positions qui se chevauchent, la conversion naïve peut induire une erreur substantielle.
Il faut déclarer le taux sans risque ou le taux seuil, sa source, sa devise, la convention de décompte des jours et le traitement des jours non négociés. Un ratio de Sharpe brut n’est pas comparable à un ratio net ; un ratio calculé sans levier n’est pas équivalent à celui d’un profil d’exposition différent.
Drawdown et métriques par trade
Le drawdown maximal est la plus forte baisse depuis un sommet antérieur de la courbe de capital au sein de l’échantillon. Il dépend du parcours ainsi que des dates de début et de fin. Deux stratégies présentant la même distribution marginale peuvent connaître des drawdowns différents en raison de l’ordre des rendements. La durée et le temps de récupération apportent une information que l’amplitude seule ne montre pas.
Le taux de réussite, le gain moyen, l’espérance et le profit factor décrivent les trades selon une segmentation choisie. Si une position est construite ou réduite au moyen de plusieurs ordres, le nombre de « trades » varie avec la règle de regroupement. De nombreux trades exposés au même choc ne constituent pas des observations indépendantes. Présenter un profit factor supérieur à un seuil comme preuve autonome d’un edge revient à ignorer l’échantillon, la dépendance, la sélection et les queues de distribution.
Quatre types de benchmarks
| Benchmark | Comparaison | Réserve |
|---|---|---|
| Trésorerie / taux sans risque | rémunère le capital qui n’est pas exposé au risque | devise, durée et taux doivent être cohérents |
| Indice ou portefeuille de marché | représente une possibilité d’investissement ou un mandat | le rendement du prix et le rendement total ne sont pas équivalents |
| Baseline de stratégie | mesure la valeur incrémentale par rapport à une règle simple | doit employer les mêmes données, coûts, univers et levier |
| Benchmark d’exécution | compare le prix obtenu au prix d’arrivée, au VWAP ou à une autre référence | évalue l’exécution, et non l’alpha du signal |
Le benchmark doit correspondre à la question et être choisi de préférence avant l’obtention du résultat. Une stratégie neutre au marché ne s’explique pas correctement au moyen du seul indice long-only ; une stratégie de timing peut être comparée à la fois à la trésorerie et à une exposition passive, tout en présentant également son bêta et le capital employé. Pour comparer des indices et des portefeuilles, il faut aligner les dividendes, les rééquilibrages, la devise et les coûts.
Les Principles for Financial Benchmarks de l’IOSCO portent sur les benchmarks financiers et leur gouvernance. Ils aident à comprendre l’intégrité, la méthodologie et les conflits, mais ne transforment pas chaque baseline interne en benchmark réglementé.
Résultats bruts, résultats nets et capacité
Un rapport utile construit un rapprochement vérifiable :
résultat brut − commissions − spread − slippage − impact − emprunt/financement/roll = résultat net simuléCes postes ne sont pas des constantes universelles. L’impact et la probabilité d’exécution dépendent de la quantité, de l’urgence, du lieu d’exécution, de la profondeur et du régime. Présenter plusieurs tailles ainsi que des hypothèses justifiées permet de distinguer le rendement théorique de la capacité économiquement accessible.
Le turnover dépourvu d’unité est ambigu. Le rapport doit indiquer s’il repose sur les achats, les ventes, la moitié de la somme des valeurs absolues, les pondérations ou le notionnel, et sur quel intervalle. La même exigence s’applique à l’utilisation de la marge, aux expositions brute et nette ainsi qu’au capital inactif.
Sélection et incertitude
Le ratio de Sharpe du meilleur résultat parmi de nombreux essais suit une distribution différente de celui d’une stratégie spécifiée à l’avance. Dans le cadre de son modèle, le Deflated Sharpe Ratio tient compte de la non-normalité et de la sélection parmi les essais. Le Reality Check et d’autres méthodes traitent les comparaisons multiples. Ces outils nécessitent un registre crédible des candidats et ne corrigent ni les fuites de données ni les erreurs d’exécution.
Les intervalles et les procédures de bootstrap doivent respecter la dépendance. Le nombre de lignes ou de trades n’est pas automatiquement égal au nombre d’observations indépendantes. Outre une estimation ponctuelle, il est utile de présenter les résultats par période, instrument, régime et fold, ainsi que leur sensibilité aux coûts et aux spécifications.
Exemple illustratif
Deux rapports annoncent un ratio de Sharpe de 1,2. Le premier emploie des rendements journaliers nets, un taux cohérent avec la devise et une correction de l’autocorrélation ; le second utilise un P&L mensuel brut et lissé, annualisé selon une convention non déclarée. Les deux chiffres ne sont pas comparables.
Une fiche correcte indique la formule, la série, la fréquence, l’échantillon, les coûts, le benchmark, l’exposition et l’incertitude. La valeur 1,2 est purement illustrative et ne constitue pas un seuil de qualité.
Fiche minimale reproductible
- Période, univers point-in-time, fuseau horaire et fréquence.
- Définition des rendements, devise, capital, levier et réinvestissement.
- Résultats bruts, rapprochement des coûts et résultats nets.
- Benchmark et baselines retenus, dividendes et coûts compris.
- Mesures de rendement, de variabilité, de drawdown ou de queue, par trade et de mise en œuvre.
- Turnover, capacité et concentration des profits.
- Dépendance, nombre d’essais et méthode d’évaluation de l’incertitude.
- Résultats par segment et versions du code et des données.
L’objectif n’est pas d’accumuler les indicateurs. Il consiste à empêcher qu’un chiffre élégant masque la convention qui l’a produit.
Références
- William F. Sharpe, The Sharpe Ratio — définition, interprétation et relations de la mesure.
- Andrew W. Lo, The Statistics of Sharpe Ratios — distribution et limites de l’annualisation en présence de dépendance.
- David H. Bailey et Marcos López de Prado, The Deflated Sharpe Ratio — ajustement du biais de sélection et des rendements non normaux dans le cadre du modèle proposé.
- International Organization of Securities Commissions, Principles for Financial Benchmarks — principes de gouvernance, de qualité et de méthodologie applicables aux benchmarks dans leur périmètre.
- Joseph Simonian, CFA Institute Research Foundation, Investment Model Validation: A Guide for Practitioners — utilisation conjointe de la performance, des benchmarks, des tests de résistance et de l’incertitude dans la validation.