Für wen dieser Artikel gedacht ist — Für alle, die Strategien, Parameter oder Features auf derselben Historie vergleichen und abschätzen wollen, welcher Anteil der ausgewählten Leistung Anpassung an Rauschen statt echte Generalisierungsfähigkeit sein könnte.
Overfitting liegt vor, wenn eine Spezifikation Besonderheiten der Stichprobe lernt, die außerhalb davon nicht wiederkehren. Im Trading kann es durch Modellkomplexität entstehen, aber ebenso durch einen scheinbar einfachen Prozess: viele Regeln, Märkte, Zeiträume oder Kennzahlen ausprobieren und nur die beste Kombination veröffentlichen.
Data Snooping bezeichnet die wiederholte Nutzung derselben Daten zur Auswahl einer Strategie oder Schlussfolgerung. Es ist eng mit Overfitting verbunden, aber kein vollkommenes Synonym: Ersteres beschreibt Forschung und Auswahl, Letzteres die schlechte Generalisierung der resultierenden Spezifikation. Selbst eine Ein-Parameter-Regel kann überangepasst sein, wenn sie unter Tausenden nicht offengelegten Versuchen gewann.
Wo Overfitting entsteht
| Anpassungsquelle | Beispiel | Zu protokollierende Information |
|---|---|---|
| Parameter | viele Lookbacks, Schwellen oder Stops | vollständiges Raster und Auswahlregel |
| Regeln | nach sichtbaren Verlusten ergänzte Filter | Reihenfolge der Änderungen |
| Universum | Märkte oder Titel wegen guter Historie ausgewählt | anfängliches Universum und Ausschlüsse |
| Zeitraum | Startdatum verschoben, bis die Kurve besser aussieht | alle betrachteten Fenster |
| Kennzahlen | Sharpe gezeigt, weil Drawdown ungünstig ist | vorab festgelegte Kennzahlen |
| Daten und Pipeline | Anbieter, Bereinigung oder Fill ex post gewählt | Versionen und Simulatorvarianten |
| Narrativ | ökonomische Erklärung erst nach dem Ergebnis | ursprüngliche Hypothese und zeitliche Begründung |
Das Risiko hängt nicht nur vom Verhältnis zwischen Parameterzahl und Datenzeilen ab. Entscheidend ist die effektive Freiheit des Forschungsprozesses: Wie viele Entscheidungen durften sich nach jedem Ergebnis ändern und wie abhängig sind die Beobachtungen? Die rohe Tradezahl misst daher nicht allein die unabhängige Information hinter dem Modell.
Symptome, keine automatischen Diagnosen
Ein schmaler Gipfel in der Parameterfläche, schwer begründbare Regeln, auf wenige Trades konzentrierte Rendite und ein großer Unterschied zwischen Entwicklung und Test sind Warnzeichen. Keines beweist isoliert Overfitting. Ein echter Edge kann lokal sein; das Regime kann wechseln; ein kurzes OOS kann rauschen. Umgekehrt kann eine glatte Fläche auf einem gemeinsamen Bias aller Varianten beruhen.
Einfachheit ist ein nützlicher Zwang, aber kein Zertifikat. Wenige Regeln beseitigen ex-post-Selektion nicht. Ein komplexes Verfahren kann generalisieren, wenn Protokoll, Regularisierung und Validierung angemessen sind.
Multiple Tests und der scheinbare Gewinner
Werden viele Strategien ohne echten Vorteil gemessen, zeigen einige allein durch Zufall außergewöhnliche Werte. Ein p-Wert oder Sharpe, der die ausgewählte Strategie wie die einzige vorab formulierte Hypothese behandelt, unterschätzt dieses Problem. Methoden von White, Hansen und Romano-Wolf adressieren multiple Modellvergleiche; die Probability of Backtest Overfitting untersucht, wie oft der In-Sample-Gewinner außerhalb der Stichprobe an Rang verliert; der Deflated Sharpe Ratio berücksichtigt Auswahl und nicht gaußsche Renditen.
Diese Werkzeuge haben Voraussetzungen und verwandeln rückblickende Forschung nicht in einen kausalen Beweis. Sie benötigen wenigstens ein glaubwürdiges Inventar der durchsuchten Alternativen.
Protokoll zur Begrenzung
- Hypothese vor den Ergebnissen formulieren. Mechanismus, Universum, Variablen, Benchmark, Hauptkennzahl und Stoppkriterium festlegen.
- Versuchregister führen. Gescheiterte Konfigurationen, Seeds, Perioden, Assets, Filter, Transformationen und betrachtete Kennzahlen einschließen.
- Auswahl und Bewertung trennen. Training und Validierung für Entscheidungen nutzen; einen unbetrachteten zeitlichen Endtest erhalten.
- Datenstruktur respektieren. Abhängigkeit, überlappende Labels und Point-in-time-Information mit problemgerechten Splits behandeln.
- Begründbare Freiheit begrenzen. Features und Parameter regularisieren oder reduzieren, ohne nach einer magischen Zahl zu suchen.
- Inferenz korrigieren. Multiple Tests, Nichtnormalität, Autokorrelation und Kennzahlenunsicherheit berücksichtigen.
- Spezifikation stören. Plausible Annahmen zu Parametern, Stichprobe, Kosten und Ausführung variieren, ohne nur bestandene Stresstests auszuwählen.
- Entscheidung nachvollziehbar halten. Begründen, warum die Strategie verworfen, weiter untersucht oder für einen Forward-Test vorgesehen wird.
Illustratives Beispiel — Ein Forscher prüft zehn Lookbacks, fünf Schwellen und vier Universen: Das sind bereits 200 Konfigurationen, bevor Kosten, Perioden und spätere Filter zählen. Die Variante mit dem höchsten historischen Sharpe darf nicht wie eine einzige vorab formulierte Hypothese bewertet werden. Das Protokoll bewahrt alle Versuche, wählt in der Validierung, nutzt eine zum Mehrfachvergleich passende Messung und öffnet den Endtest einmal. Die Zahlen erklären Selektion und sind keine Annahmeschwelle.
Wird der Endtest zur Änderung von Lookback oder Universum genutzt, ist der Abschnitt für die neue Version nicht mehr rein. Ein Fehlschlag beweist nicht zwingend, dass die Idee wertlos ist; er zeigt, dass die geprüfte Spezifikation die im Protokoll erwartete Evidenz nicht erbracht hat.
Robustheit und OOS sind keine endgültigen Beweise
Stresstests, Parameterplateaus, Teilperioden und Walk-forward beschreiben Sensitivität und Stabilität. Alle können jedoch denselben Look-ahead, dasselbe verunreinigte Universum oder denselben Ausführungsfehler teilen. Auch ein OOS wird Entwicklungsinformation, wenn es wiederholt konsultiert wird.
Die stärkste Kontrolle ist deshalb prozedural und statistisch: alle Entscheidungen sichtbar machen, Zukunftsinformation ausschließen und Exploration wirklich von Bewertung trennen.
Grenzen
- Keine einzelne Kennzahl misst jede Form von Overfitting.
- Korrekturen für multiple Vergleiche hängen von Zahl und Abhängigkeit der oft nur teilweise bekannten Versuche ab.
- Ein gutes OOS kann Glück, ein schwaches OOS Varianz oder Regimewechsel sein.
- Neue zeitliche Daten vermindern die Wiederverwendung der Vergangenheit, lösen aber keine Daten-, Kosten-, Kausalitäts- oder Governancefehler.
- Unabhängige Replikation ist etwas anderes als die erneute Ausführung desselben Backtests.
Quellen
- Halbert White, A Reality Check for Data Snooping, Econometrica, 2000 — Bewertung des besten Modells nach einer Suche über viele Alternativen.
- Ryan Sullivan, Allan Timmermann und Halbert White, Data-Snooping, Technical Trading Rule Performance, and the Bootstrap, The Journal of Finance, 1999 — direkte Anwendung auf technische Handelsregeln.
- David H. Bailey et al., The Probability of Backtest Overfitting — In-Sample-Auswahl und Rangverlust außerhalb der Stichprobe.
- Campbell R. Harvey, Yan Liu und Heqing Zhu, …and the Cross-Section of Expected Returns, The Review of Financial Studies, 2016 — multiple Tests in der Forschung zu erwarteten Renditen.
- David H. Bailey und Marcos López de Prado, The Deflated Sharpe Ratio — Anpassung des Sharpe an Selection Bias und Nichtnormalität.