Für wen dieser Artikel gedacht ist — Für alle, die Strategien, Parameter oder Features auf derselben Historie vergleichen und abschätzen wollen, welcher Anteil der ausgewählten Leistung Anpassung an Rauschen statt echte Generalisierungsfähigkeit sein könnte.
Overfitting liegt vor, wenn eine Spezifikation Besonderheiten der Stichprobe lernt, die außerhalb davon nicht wiederkehren. Im Trading kann es durch Modellkomplexität entstehen, aber ebenso durch einen scheinbar einfachen Prozess: viele Regeln, Märkte, Zeiträume oder Kennzahlen ausprobieren und nur die beste Kombination veröffentlichen.
Data Snooping bezeichnet die wiederholte Nutzung derselben Daten zur Auswahl einer Strategie oder Schlussfolgerung. Es ist eng mit Overfitting verbunden, aber kein vollkommenes Synonym: Ersteres beschreibt Forschung und Auswahl, Letzteres die schlechte Generalisierung der resultierenden Spezifikation. Selbst eine Ein-Parameter-Regel kann überangepasst sein, wenn sie unter Tausenden nicht offengelegten Versuchen gewann.
Wo Overfitting entsteht
| Anpassungsquelle | Beispiel | Zu protokollierende Information |
|---|---|---|
| Parameter | viele Lookbacks, Schwellen oder Stops | vollständiges Raster und Auswahlregel |
| Regeln | nach sichtbaren Verlusten ergänzte Filter | Reihenfolge der Änderungen |
| Universum | Märkte oder Titel wegen guter Historie ausgewählt | anfängliches Universum und Ausschlüsse |
| Zeitraum | Startdatum verschoben, bis die Kurve besser aussieht | alle betrachteten Fenster |
| Kennzahlen | Sharpe gezeigt, weil Drawdown ungünstig ist | vorab festgelegte Kennzahlen |
| Daten und Pipeline | Anbieter, Bereinigung oder Fill ex post gewählt | Versionen und Simulatorvarianten |
| Narrativ | ökonomische Erklärung erst nach dem Ergebnis | ursprüngliche Hypothese und zeitliche Begründung |
Das Risiko hängt nicht nur vom Verhältnis zwischen Parameterzahl und Datenzeilen ab. Entscheidend ist die effektive Freiheit des Forschungsprozesses: Wie viele Entscheidungen durften sich nach jedem Ergebnis ändern und wie abhängig sind die Beobachtungen? Die rohe Tradezahl misst daher nicht allein die unabhängige Information hinter dem Modell.
Symptome, keine automatischen Diagnosen
Ein schmaler Gipfel in der Parameterfläche, schwer begründbare Regeln, auf wenige Trades konzentrierte Rendite und ein großer Unterschied zwischen Entwicklung und Test sind Warnzeichen. Keines beweist isoliert Overfitting. Ein echter Edge kann lokal sein; das Regime kann wechseln; ein kurzes OOS kann rauschen. Umgekehrt kann eine glatte Fläche auf einem gemeinsamen Bias aller Varianten beruhen.
Einfachheit ist ein nützlicher Zwang, aber kein Zertifikat. Wenige Regeln beseitigen ex-post-Selektion nicht. Ein komplexes Verfahren kann generalisieren, wenn Protokoll, Regularisierung und Validierung angemessen sind.
Multiple Tests und der scheinbare Gewinner
Unter vielen Strategien ohne echten Vorteil können einige zufällig außergewöhnliche Ergebnisse zeigen. Den Gewinner als einzige Hypothese zu bewerten unterschätzt die Selektion. Whites Reality Check vergleicht das ausgewählte Modell mit einem Benchmark unter Berücksichtigung der Suche. Die Probability of Backtest Overfitting (PBO) ist die Wahrscheinlichkeit, dass der In-Sample-Gewinner unter dem OOS-Median der Alternativen liegt, keine Verlustwahrscheinlichkeit. Die Deflated Sharpe Ratio berücksichtigt Selektion, Nichtnormalität, Stichprobenlänge und unabhängige Versuche statt bloßer Versuchszahl.
Diese Werkzeuge haben Voraussetzungen und verwandeln rückblickende Forschung nicht in einen kausalen Beweis. Sie benötigen wenigstens ein glaubwürdiges Inventar der durchsuchten Alternativen.
Protokoll zur Begrenzung
- Hypothese vor den Ergebnissen formulieren. Mechanismus, Universum, Variablen, Benchmark, Hauptkennzahl und Stoppkriterium festlegen.
- Versuchregister führen. Gescheiterte Konfigurationen, Seeds, Perioden, Assets, Filter, Transformationen und betrachtete Kennzahlen einschließen.
- Auswahl und Bewertung trennen. Training und Validierung für Entscheidungen nutzen; einen unbetrachteten zeitlichen Endtest erhalten.
- Datenstruktur respektieren. Abhängigkeit, überlappende Labels und Point-in-time-Information mit problemgerechten Splits behandeln.
- Begründbare Freiheit begrenzen. Features und Parameter regularisieren oder reduzieren, ohne nach einer magischen Zahl zu suchen.
- Inferenz korrigieren. Multiple Tests, Nichtnormalität, Autokorrelation und Kennzahlenunsicherheit berücksichtigen.
- Spezifikation stören. Plausible Annahmen zu Parametern, Stichprobe, Kosten und Ausführung variieren, ohne nur bestandene Stresstests auszuwählen.
- Entscheidung nachvollziehbar halten. Begründen, warum die Strategie verworfen, weiter untersucht oder für einen Forward-Test vorgesehen wird.
Illustratives Beispiel — Ein Forscher prüft alle Kombinationen aus zehn Lookbacks, fünf Schwellen und vier Universen: 10 × 5 × 4 = 200 Konfigurationen, vor Kosten, Perioden und späteren Filtern. Das sind nicht notwendig 200 unabhängige Versuche: Viele teilen Daten und Regeln. Die Variante mit dem höchsten historischen Sharpe darf nicht wie eine einzige vorab formulierte Hypothese bewertet werden. Das Protokoll bewahrt alle Versuche, wählt in der Validierung, nutzt eine zum Mehrfachvergleich passende Messung und öffnet den Endtest einmal. Die Zahlen erklären Selektion und sind keine Annahmeschwelle.
Wird der Endtest zur Änderung von Lookback oder Universum genutzt, ist der Abschnitt für die neue Version nicht mehr rein. Ein Fehlschlag beweist nicht zwingend, dass die Idee wertlos ist; er zeigt, dass die geprüfte Spezifikation die im Protokoll erwartete Evidenz nicht erbracht hat.
Robustheit und OOS sind keine endgültigen Beweise
Stresstests, Parameterplateaus, Teilperioden und Walk-forward beschreiben Sensitivität und Stabilität. Alle können jedoch denselben Look-ahead, dasselbe verunreinigte Universum oder denselben Ausführungsfehler teilen. Auch ein OOS wird Entwicklungsinformation, wenn es wiederholt konsultiert wird.
Die stärkste Kontrolle ist deshalb prozedural und statistisch: alle Entscheidungen sichtbar machen, Zukunftsinformation ausschließen und Exploration wirklich von Bewertung trennen.
Grenzen
- Keine einzelne Kennzahl misst jede Form von Overfitting.
- Korrekturen für multiple Vergleiche hängen von Zahl und Abhängigkeit der oft nur teilweise bekannten Versuche ab.
- Ein gutes OOS kann Glück, ein schwaches OOS Varianz oder Regimewechsel sein.
- Neue zeitliche Daten vermindern die Wiederverwendung der Vergangenheit, lösen aber keine Daten-, Kosten-, Kausalitäts- oder Governancefehler.
- Unabhängige Replikation ist etwas anderes als die erneute Ausführung desselben Backtests.
Quellen
Quellen geprüft am 8. September 2026; die eingesehenen Stellen sind unten angegeben.
- Halbert White, A Reality Check for Data Snooping, Econometrica, 2000 — Verlagsabstract: Datenwiederverwendung und Benchmarkvergleich.
- Ryan Sullivan, Allan Timmermann & Halbert White, Data-Snooping, Technical Trading Rule Performance, and the Bootstrap, The Journal of Finance — 1999, Abstract: Reality Check für das untersuchte Universum technischer Regeln.
- David H. Bailey et al., The Probability of Backtest Overfitting — Autorenfassung, Februar 2015, §2, Definition 2.2.
- Campbell R. Harvey, Yan Liu & Heqing Zhu, …and the Cross-Section of Expected Returns, The Review of Financial Studies — Verlagsabstract: 2016, Verlagsabstract: multiple Vergleiche in der Renditeforschung.
- David H. Bailey & Marcos López de Prado, The Deflated Sharpe Ratio — Autorenfassung, 2014, DSR-Abschnitt und Anhang 3.