Für wen dieser Artikel gedacht ist — Für alle, die Trefferquote, Expectancy, Profit Factor oder Sharpe Ratio interpretieren und über die bloße Zahl der Trades hinaus verstehen müssen, wie viel Information eine Schätzung wirklich trägt.
Die Stichprobengröße ist die Zahl der Beobachtungen, mit denen eine Größe geschätzt wird. Im Trading entspricht sie nicht zwingend der Tradezahl. Gleichzeitige Positionen auf demselben Faktor, überlappende Signale, autokorrelierte Renditen oder viele Trades aus einem Ereignis können stark wiederholte Information enthalten.
Die nützliche Frage lautet nicht „Wie viele Trades braucht man?“, sondern: Mit welcher Präzision lässt sich diese Kennzahl unter welchen Abhängigkeiten und für welche Entscheidung schätzen? Es gibt keine universelle Schwelle für stabile Kennzahlen. Benötigte Datenmenge verändert sich mit Streuung und Asymmetrie der Payoffs, Häufigkeit extremer Verluste, Autokorrelation, Horizont, Regimevielfalt, Zahl der getesteten Strategien und akzeptabler Unsicherheit.
Beobachtung, Trade und Informationseinheit
| Zählung | Was sie misst | Warum sie täuschen kann |
|---|---|---|
| Trades | Eröffnungen und Schließungen im Handelsprotokoll | Mehrere Trades können Signal, Zeitraum oder Risiko teilen |
| Bars | Preisintervalle des Datensatzes | Bars können autokorreliert sein oder Labels überlappen |
| Renditetage | Beobachtungen der Portfolioreihe | Mehrtagespositionen erzeugen Abhängigkeit und Glättung |
| Ereignisse | Meldungen, Rebalancings oder getrennte Gelegenheiten | Ereignisse desselben Regimes können abhängig sein |
| Getestete Strategien | Alternativen im Auswahlprozess | Erhöhen die Chance eines zufälligen Gewinners |
Die Einheit muss zur Kennzahl passen. Die Trefferquote bezieht sich auf Tradeausgänge; Sharpe wird üblicherweise aus periodischen Renditen berechnet; Drawdown hängt vom gesamten Pfad ab. Alle Kennzahlen mit demselben N zu beurteilen verwischt diese Unterschiede.
Abhängigkeit und effektive Stichprobe
Unter unabhängigen, identisch verteilten Beobachtungen sinkt der Standardfehler des Mittelwerts proportional zu 1/√N. Das ist eine theoretische Referenz, kein automatischer Freibrief. Bei serieller Abhängigkeit enthält die Varianz des Mittelwerts auch Autokovarianzen. Eine diagnostische Darstellung unter bestimmten Stationaritäts- und Trunkierungsannahmen lautet:
N_eff ≈ N / (1 + 2 × Σ ρ_k)ρ_k ist die Autokorrelation bei den berücksichtigten Verzögerungen. Die Formel ist keine universelle Korrektur jedes Backtests. Sie veranschaulicht nur, warum rohes N und effektive Information auseinanderfallen. Negative Abhängigkeit, schwere Verteilungsschwänze, Regime und nichtlineare Statistiken benötigen andere Verfahren.
Unsicherheit kann mit abhängigkeitstauglichen Standardfehlern, Block-Bootstrap oder zum untersuchten Prozess passenden Simulationen geschätzt werden. Methode und Blocklänge müssen begründet werden. Trades als unabhängig zu resampeln repariert die Zeitstruktur nicht.
Präzision hängt von der Kennzahl ab
Bei einer idealisierten binomialen Trefferquote hängt die Unsicherheit auch von der geschätzten Wahrscheinlichkeit ab. Reale Trades können abhängig sein, und die Trefferquote ignoriert Gewinn- und Verlusthöhe. Expectancy und Profit Factor sind schwanzempfindlich; wenige extreme Payoffs können sie dominieren. Der größte beobachtete Verlust und Drawdown sind Stichprobenextreme, keine garantierten Zukunftsgrenzen.
Beim Sharpe Ratio beeinflussen Frequenz, Autokorrelation, Schiefe und Kurtosis Annualisierung und Inferenz. Die für einen Vergleich mit einem Benchmark notwendige Historienlänge hängt vom Referenz-Sharpe, Konfidenzniveau, der Verteilung und Abhängigkeit ab. Eine feste Tradezahl beantwortet diese Frage nicht.
Regime, Abdeckung und Repräsentativität
Eine lange Stichprobe kann unrepräsentativ sein, wenn sie nur eine Marktstruktur oder ein Regime enthält; eine kurze kann relevant, aber sehr unpräzise sein. Die Abdeckung ist nach Zeit, Asset, Volatilität, Liquidität, Expositionsrichtung und Marktbedingungen zu beschreiben, ohne Untergruppen so lange zu vervielfachen, bis ein günstiges Ergebnis erscheint.
Segmentierung verkleinert ihrerseits jede Zelle. Regimeergebnisse brauchen daher Unsicherheitsintervalle und die Zahl betrachteter Segmentierungen. Nur das ex post erfolgreiche Regime zu zeigen ist unzulässig.
Protokoll zur Beurteilung der Angemessenheit
- Entscheidung definieren. Zu schätzende Größe und nützliche Präzision festlegen, statt abstraktes Mindest-
Nzu suchen. - Einheit wählen. Trade, periodische Rendite, Ereignis oder andere zur Kennzahl passende Beobachtung nennen.
- Abhängigkeiten kartieren. Positionsüberlappung, Autokorrelation, Assetcluster und gemeinsame Faktoren prüfen.
- Verteilung untersuchen. Streuung, Schiefe, Schwänze, Gewinnkonzentration und Outlier-Sensitivität berichten.
- Unsicherheit messen. Intervalle oder Stichprobenverteilungen mit datenstrukturgerechter Methode verwenden.
- Selektion berücksichtigen. Alle getesteten Strategien, Fenster und Kennzahlen registrieren; ein großes
Nbeseitigt Data Snooping nicht. - Abdeckung prüfen. Fehlende ebenso wie vorhandene Perioden und Bedingungen auflisten.
- Ohne Regelverschiebung aktualisieren. Review-Rhythmus vorab festlegen; Regeländerungen beginnen eine neue Modellversion und Evidenzbasis.
Illustratives Beispiel — Ein Portfolio registriert 240 Trades, doch viele Positionen werden am selben Tag in Titeln desselben Faktors eröffnet. Die Zahl beschreibt keine 240 unabhängigen Versuche. Die Analyse verwendet tägliche Portfoliorenditen, untersucht Autokorrelation und Zeitcluster, berichtet dazu passende Intervalle und zeigt die Abhängigkeit von wenigen Extremtagen. Keine Zahl des Beispiels ist eine empfohlene Schwelle.
Auch eine große Stichprobe stützt oft nur eine begrenzte Aussage, etwa eine historische Durchschnittsschätzung mit bestimmter Unsicherheit im beobachteten Perimeter. Sie zertifiziert weder strukturelle Stabilität noch künftige Leistung.
Grenzen
- Die effektive Stichprobengröße wird meist geschätzt und nicht direkt beobachtet.
- Mehr historische Daten können einen inzwischen veränderten Prozess enthalten.
- Enge Intervalle korrigieren weder Look-ahead und Survivorship Bias noch Kosten- und Fillfehler.
- Ein erst nach Sichtung der Ergebnisse gewähltes Stoppkriterium verändert die Inferenz.
- „Auf weitere Trades warten“ ersetzt bei logischen, operativen oder Risikokontrollfehlern keine sofortige Aussetzung.
Quellen
- Andrew W. Lo, The Statistics of Sharpe Ratios, Financial Analysts Journal, 2002 — Autokorrelation, Verteilung und Inferenz des Sharpe Ratio.
- David H. Bailey und Marcos López de Prado, The Sharpe Ratio Efficient Frontier, Journal of Risk, 2012 — Track-Record-Länge, Konfidenz und Verteilungseigenschaften.
- Campbell R. Harvey, Yan Liu und Heqing Zhu, …and the Cross-Section of Expected Returns, The Review of Financial Studies, 2016 — Versuchszahl und Evidenzschwellen bei finanzieller Selektion.
- Francis X. Diebold und Roberto S. Mariano, Comparing Predictive Accuracy, Journal of Business & Economic Statistics, 1995 — Vergleich zeitlich strukturierter Prognosefehler.
- Leonard J. Tashman, Out-of-sample tests of forecasting accuracy: an analysis and review, 2000 — mehrere Teststichproben, Rolling Origin und zeitliche Repräsentativität.