Für wen dieser Artikel gedacht ist — Für alle, die einen Strategiebericht interpretieren müssen, ohne sich auf eine einzelne Zahl zu verlassen, und Ergebnisse mit konsistenten Einheiten, Kosten und Risiken vergleichen wollen.
Backtest-Metriken fassen unterschiedliche Seiten einer Simulation zusammen: Rendite, Schwankung, Verlustrisiko, Pfad, Tradequalität, Umsetzung und Unsicherheit. Ein Benchmark legt den Vergleichsmaßstab fest. Keine einzelne Kennzahl beweist einen Edge oder die Eignung für einen Anleger.
Vor der Zahl steht der Vertrag: Renditeserie, Frequenz, Währung, Kapital, Hebel, Cash-Behandlung, Reinvestition, Kosten, fehlende Daten, Zeitraum und Benchmark. Schon eine geänderte Konvention kann das Ergebnis verändern, ohne einen Trade anzutasten.
Familien von Messgrößen
| Familie | Beispiele | Frage | Grenze |
|---|---|---|---|
| Rendite | kumuliert, CAGR, Mittelwert, Excess Return | Wie wuchs das Kapital nach der Konvention? | beschreibt weder Pfad noch Risiko |
| Variabilität | Volatilität, Downside Deviation | Wie stark schwanken Renditen? | Behandlung günstiger und ungünstiger Bewegungen hängt von Definition ab |
| Risikoadjustiert | Sharpe, Sortino, Information Ratio | Welche Rendite steht zur gewählten Risikomessung? | sensitiv für Abhängigkeit, Verteilung und Benchmark |
| Pfad | Max Drawdown, Dauer, Recovery Time, Calmar | Welcher Verlust vom Hoch tritt im Sample auf? | ein Pfad identifiziert keine Zukunftsverteilung |
| Verteilungsschwanz | Quantile, Expected Shortfall, schlechteste Periode | Was geschieht in schlechten Beobachtungen oder Szenarien? | wenige Ereignisse und Modellrisiko |
| Trade-basiert | Expectancy, Profit Factor, Win Rate, Payoff Ratio | Wie verteilen sich Ergebnisse je definiertem Trade? | überlappende Trades und Einheitendefinition |
| Umsetzung | Turnover, Spread, Slippage, Impact, Kapazität | Wie viel Bruttoergebnis ist erreichbar? | Kosten hängen von Größe und Marktzustand ab |
| Unsicherheit | Standardfehler, Intervalle, Bootstrap, Fold-Ergebnisse | Wie präzise und stabil ist die Schätzung? | hängt von Methodenannahmen ab |
Eine Kennzahl kann mehrere Definitionen haben. „Jahresrendite“ kann arithmetisch annualisiert oder zusammengesetzt sein; Sortino kann verschiedene Ziele und Nenner verwenden; Profit Factor hängt von Tradeaggregation, Kosten und Positionen ab. Formel und Konvention müssen sichtbar sein.
Sharpe: Formel und Annualisierung
Für Überschussrenditen xₜ = rₜ − rᶠₜ lautet eine einfache Stichprobenschätzung:
Sharpe = Mittelwert(xₜ) / Standardabweichung(xₜ)Die Serienfrequenz ist Teil der Messung. Ein täglicher Sharpe lässt sich nur unter restriktiven Bedingungen zu Abhängigkeit und Zeitskala mit der Quadratwurzel der Periodenzahl multiplizieren. Lo zeigt, wie Autokorrelation, geglättete Renditen oder überlappende Positionen die naive Umrechnung erheblich verzerren können.
Risikofreier Satz oder Hurdle, Quelle, Währung, Tageskonvention und Behandlung nicht gehandelter Tage gehören in den Bericht. Ein Brutto-Sharpe ist nicht mit einem Netto-Sharpe vergleichbar; verschiedene Hebel- und Exposureprofile sind nicht gleichwertig.
Drawdown und Trade-Kennzahlen
Der maximale Drawdown ist im Sample der größte Rückgang von einem früheren Kurvenhoch. Er hängt von Pfad sowie Anfang und Ende des Zeitraums ab. Zwei Strategien mit derselben Randverteilung können wegen der Reihenfolge verschiedene Drawdowns haben. Dauer und Erholungszeit ergänzen Informationen, die die Tiefe allein nicht zeigt.
Win Rate, durchschnittlicher Payoff, Expectancy und Profit Factor beschreiben Trades nach einer gewählten Segmentierung. Wird eine Position über mehrere Orders skaliert, ändert die Gruppierungsregel die Tradezahl. Viele Trades auf denselben Schock sind keine unabhängigen Beobachtungen. Eine fixe Profit-Factor-Schwelle als alleiniger Edge-Beweis ignoriert Stichprobe, Abhängigkeit, Auswahl und Verteilungsschwanz.
Vier Arten von Benchmarks
| Benchmark | Vergleich | Vorbehalt |
|---|---|---|
| Cash / risikofrei | Vergütung nicht riskierten Kapitals | Währung, Laufzeit und Satz müssen passen |
| Marktindex oder -portfolio | investierbare Gelegenheit oder Mandat | Price Return und Total Return sind nicht gleich |
| Strategie-Baseline | inkrementeller Wert gegenüber einfacher Regel | gleiche Daten, Kosten, Universum und Hebel verwenden |
| Ausführungsbenchmark | Fill gegenüber Arrival Price, VWAP oder Referenz | beurteilt Ausführung, nicht Signal-Alpha |
Der Benchmark folgt der Frage und sollte möglichst vor dem Ergebnis gewählt werden. Eine marktneutrale Strategie wird nicht allein durch einen Long-only-Index erklärt; eine Timing-Strategie kann gegen Cash und passive Exposition verglichen werden, ergänzt um Beta und gebundenes Kapital. Bei Indizes und Portfolios sind Dividenden, Rebalancing, Währung und Kosten auszurichten.
Die IOSCO Principles for Financial Benchmarks betreffen finanzielle Benchmarks und ihre Governance. Sie erläutern Integrität, Methodik und Konflikte, machen aber nicht jede interne Baseline zu einem regulierten Benchmark.
Brutto, netto und Kapazität
Ein nützlicher Bericht baut eine abstimmbare Brücke:
Bruttoergebnis − Provisionen − Spread − Slippage − Impact − Borrow/Funding/Roll = simuliertes NettoergebnisDiese Posten sind nicht universell konstant. Impact und Fillwahrscheinlichkeit hängen von Menge, Dringlichkeit, Handelsplatz, Tiefe und Regime ab. Mehrere Größenstufen und begründete Annahmen trennen theoretische Rendite von wirtschaftlich erreichbarer Kapazität.
Turnover ohne Einheit ist mehrdeutig. Offenliegen muss, ob Käufe, Verkäufe, die Hälfte der absoluten Summe, Gewicht oder Nominalwert verwendet werden und für welches Intervall. Dasselbe gilt für Marginnutzung, Brutto-/Nettoexposure und ungenutztes Kapital.
Selektion und Unsicherheit
Der Sharpe des besten unter vielen Versuchen hat eine andere Verteilung als der einer vorab spezifizierten Strategie. Der Deflated Sharpe Ratio berücksichtigt in seinem Modell Nichtnormalität und Auswahl; Reality Check und verwandte Methoden multiple Vergleiche. Sie brauchen ein glaubwürdiges Kandidatenregister und korrigieren weder Leakage noch Ausführungsfehler.
Intervalle und Bootstrap müssen Abhängigkeit respektieren. Zeilen- oder Tradezahl ist nicht automatisch die Zahl unabhängiger Beobachtungen. Neben der Punktschätzung sind Ergebnisse je Periode, Instrument, Regime und Fold sowie Sensitivität gegenüber Kosten und Spezifikation sinnvoll.
Illustratives Beispiel — Zwei Berichte nennen Sharpe 1,2. Der erste verwendet tägliche Nettorenditen, einen währungskonsistenten Satz und eine Autokorrelationskorrektur; der zweite geglätteten monatlichen Brutto-P&L mit unbekannter Annualisierung. Die Zahlen sind nicht vergleichbar. Ein korrekter Steckbrief nennt Formel, Serie, Frequenz, Sample, Kosten, Benchmark, Exposure und Unsicherheit. 1,2 ist keine Qualitätsschwelle.
Minimaler reproduzierbarer Steckbrief
- Zeitraum, Point-in-time-Universum, Zeitzone und Frequenz.
- Renditedefinition, Währung, Kapital, Hebel und Reinvestition.
- Bruttoresultate, Kostenbrücke und Nettoresultate.
- Benchmarks und Baselines einschließlich Dividenden und Kosten.
- Rendite, Variabilität, Drawdown/Schwanz, Trades und Umsetzung.
- Turnover, Kapazität und Gewinnkonzentration.
- Abhängigkeit, Versuchszahl und Unsicherheitsmethode.
- Segmentergebnisse sowie Code- und Datenversionen.
Ziel ist nicht, möglichst viele Indikatoren anzuhäufen, sondern zu verhindern, dass eine elegante Zahl ihre Entstehungskonvention verbirgt.
Zur Reproduzierbarkeit gehört auch die Abstimmung der Zahlen. Der periodische P&L muss zur Veränderung von Cash und Positionen passen; Brutto und Netto müssen sich über die ausgewiesenen Kosten überleiten lassen; die Benchmarkreihe muss dieselben handelbaren Tage, Währungen und Kapitalflüsse verwenden. Abweichungen werden nicht als Rundungsrauschen verborgen, sondern mit Quelle, Größenordnung und Behandlung dokumentiert.
Kennzahlen sollen außerdem zur Entscheidung passen. Für eine Strategie mit seltenen großen Verlusten sind Mittelwert und Sharpe allein unzureichend; bei hohem Turnover sind Ausführung und Kapazität materiell; bei einem Mandat mit Verbindlichkeiten kann ein allgemeiner Marktindex die falsche Vergleichsfrage stellen. Eine kleine, begründete Kennzahlengruppe ist informativer als ein Dashboard ohne Entscheidungskontext.
Quellen
- William F. Sharpe, The Sharpe Ratio — Definition, Interpretation und Beziehungen der Kennzahl.
- Andrew W. Lo, The Statistics of Sharpe Ratios — Verteilung und Annualisierungsgrenzen bei Abhängigkeit.
- David H. Bailey und Marcos López de Prado, The Deflated Sharpe Ratio — Anpassung für Selection Bias und nicht normale Renditen im vorgeschlagenen Modell.
- International Organization of Securities Commissions, Principles for Financial Benchmarks — Governance-, Qualitäts- und Methodikprinzipien im jeweiligen Benchmarkbereich.
- Joseph Simonian, CFA Institute Research Foundation, Investment Model Validation: A Guide for Practitioners — gemeinsamer Einsatz von Performance, Benchmarks, Stress und Unsicherheit in der Validierung.