Für wen dieser Artikel gedacht ist — Für alle, die viele Strategien, Märkte, Features oder Parameter vergleichen und Gefahr laufen, einem zufällig entstandenen Gewinner Können zuzuschreiben.
Data Snooping liegt vor, wenn dieselben Daten wiederholt zum Erkunden, Auswählen und Bewerten von Regeln dienen, die abschließende Inferenz den Suchprozess jedoch ignoriert. Das Problem multipler Tests ist die statistische Folge: Mit der Zahl geprüfter Hypothesen steigt die Wahrscheinlichkeit, dass mindestens eine zufällig überzeugend aussieht.
Bewusste Manipulation ist dafür nicht nötig. Zehn Fenster, fünf Filter, mehrere Universen, Kostenannahmen und Startdaten bilden eine ganze Kandidatenfamilie. Nur die Kombination mit dem höchsten Sharpe zu veröffentlichen behandelt sie fälschlich wie eine vor Sichtung der Daten gewählte Hypothese. Die ausgewiesene Unsicherheit ist zu klein.
Overfitting und Data Snooping sind nicht identisch
| Problem | Zentrale Einheit | Beispiel |
|---|---|---|
| Modell-Overfitting | eine zu stark an die Stichprobe angepasste Konfiguration | viele Regeln erfassen lokales Rauschen |
| Data Snooping | wiederholte Forschung auf denselben Daten | Markt, Fenster und Kennzahl werden ex post gewählt |
| Multiple Tests | Familie verglichener Hypothesen | mindestens ein Ergebnis überschreitet zufällig die Schwelle |
| Publication Bias | Ergebnisse, die sichtbar werden | vor allem Erfolge werden veröffentlicht |
| Freiheitsgrade des Forschers | flexible analytische Entscheidungen | Ausschlüsse, Transformationen oder Benchmark ändern sich nach dem Ergebnis |
Ein einfaches Modell kann durch Data Snooping ausgewählt werden; ein komplexes kann schon in einem einzelnen Schätzpfad overfitten. Häufig verstärken sich beide Probleme.
Warum die Zahl der Versuche zählt
Als rein didaktisches Beispiel habe jeder Test unter der Nullhypothese die Wahrscheinlichkeit α, eine Schwelle zu überschreiten, und die Tests seien unabhängig. Dann beträgt die Wahrscheinlichkeit, dass mindestens einer von m Tests die Schwelle übersteigt:
1 − (1 − α)ᵐIn realer Forschung sind Kandidaten oft korreliert; die Formel beschreibt den Fall daher nicht exakt. Sie zeigt jedoch, warum der Gewinner nicht als Einzeltest bewertet werden darf. Korrelation macht Selektion nicht irrelevant, sondern verändert die Verteilung des Maximums und die geeignete Methode.
Zu den Versuchen gehören auch informelle Entscheidungen: einen Chart betrachten und das Startdatum ändern, einen Markt entfernen, ein Feature transformieren oder die Kennzahl nach dem Ergebnis wählen. Ohne Protokoll lässt sich ihre Zahl später nicht zuverlässig rekonstruieren.
Experimentregister
Ein nützliches Register bewahrt für jeden Versuch:
- Kennung und Zeitstempel;
- Hypothese und Begründung;
- Version von Code, Daten und Konfiguration;
- Universum, Zeitraum, Benchmark und Kosten;
- Features, Parameter und Einschränkungen;
- vorab bestimmte Kennzahlen;
- vollständiges Ergebnis, auch wenn negativ;
- Entscheidung und Begründung;
- Beziehung zu früheren Versuchen.
Das Register beseitigt Data Snooping nicht. Es macht den Suchraum messbar und verhindert, dass Fehlschläge verschwinden. Müssen sehr ähnliche Varianten für eine Methode gruppiert werden, ist die Gruppierungsregel vorab offenzulegen.
Statistische Werkzeuge: Frage und Grenze
| Werkzeug | Behandelte Frage | Beweist nicht |
|---|---|---|
| White Reality Check | Übertrifft der beste vieler Kandidaten einen Benchmark unter Berücksichtigung der Suche? | Stabilität oder Investierbarkeit |
| Hansen SPA | Gibt es in bestimmten Kontexten mit höherer Teststärke überlegene Prognosefähigkeit? | Leakage-Freiheit oder realistische Kosten |
| FWER-/Stepwise-Korrekturen | Wie wird die Wahrscheinlichkeit mindestens eines Fehlalarms kontrolliert? | wirtschaftliche Gleichartigkeit der Kandidaten |
| False Discovery Rate | Welcher erwartete Anteil falscher Entdeckungen wird in einer Familie toleriert? | Kausalität des Mechanismus |
| Deflated Sharpe Ratio | Bleibt der Sharpe unter Auswahl und Nichtnormalität außergewöhnlich? | echten Track Record oder Zukunftsgarantie |
| Probability of Backtest Overfitting | Wie oft kann der In-Sample-Gewinner im gewählten Design OOS schlechter ranken? | Datenrichtigkeit oder universelle Schätzung |
Jedes Werkzeug hat Voraussetzungen. Eine Formel auf eine unvollständige Versuchsliste anzuwenden erzeugt scheinbare Präzision statt ehrlicher Inferenz.
Ein OOS kann verbraucht werden
Der erste Test eines Segments kann außerhalb der Entwicklung liegen. Führt sein Ergebnis zu einer Strategieänderung und einem erneuten Lauf auf demselben Segment, ist der Zeitraum Teil der Auswahl. Eine nachträgliche Umbenennung in „Validierung“ löscht diese Geschichte nicht; es braucht neue Information für die nächste Bewertung.
Auch öffentliche Ergebnisse übertragen Information. Wird eine Strategie gewählt, weil viele Veröffentlichungen sie auf derselben Historie erfolgreich zeigten, ist ein neuer Backtest auf diesem Zeitraum weniger unabhängig. Die Forschung bleibt nützlich, doch die Stärke der Bestätigung ist begrenzt.
Illustratives Beispiel
Ein Forscher testet 200 Signalvarianten, wählt den höchsten Sharpe und berichtet Intervall sowie p-Wert, als sei dies die einzige Variante gewesen. Exploration ist nicht der Fehler: Sie kann Ideen erzeugen. Der Fehler besteht darin, die Inferenz eines vorab spezifizierten Tests auf einen ausgewählten Gewinner anzuwenden.
Ein transparenter Prozess registriert alle 200 Varianten, trennt Exploration und Bestätigung, vergleicht eine Baseline, verwendet eine zur Testfamilie passende Methode und bewahrt ungenutzte Daten oder eine prospektive Bewertung. Die Zahl ist illustrativ; wesentlich sind Abhängigkeit und Design.
Protokoll zur Risikominderung
- Hypothese, primäre Kennzahlen, Benchmark und Entscheidungskriterium vorab festlegen.
- Jeden Versuch und jede datengetriebene Änderung aufbewahren.
- Exploration, Auswahl und Bestätigung organisatorisch trennen.
- Einfache Baselines für den inkrementellen Wert verwenden.
- Wenn angemessen, die Inferenz für die Vergleichsfamilie korrigieren.
- Sensitivität prüfen, ohne nur bestandene Stresstests auszuwählen.
- Die Kandidatenverteilung statt nur des Maximums zeigen.
- Schlussfolgerungen auf Stichprobe, Annahmen und tatsächliche Nutzung begrenzen.
Einfachheit und Parameterplateaus sind diagnostische Hinweise, aber kein Beweis gegen Snooping. Eine ganze Region kann stabil aussehen, weil alle Parameter denselben Datenfehler ausnutzen.
Quellen
- Halbert White, A Reality Check for Data Snooping — Test des besten Modells nach datengestützter Spezifikationssuche.
- Ryan Sullivan, Allan Timmermann und Halbert White, Data-Snooping, Technical Trading Rule Performance, and the Bootstrap — Anwendung auf ein breites Universum technischer Handelsregeln.
- Campbell R. Harvey, Yan Liu und Heqing Zhu, …and the Cross-Section of Expected Returns — Folgen multipler Tests in der Forschung zu erwarteten Renditen.
- Joseph P. Romano und Michael Wolf, Stepwise Multiple Testing as Formalized Data Snooping — Stepwise-Verfahren für abhängige multiple Inferenz.
- David H. Bailey und Marcos López de Prado, The Deflated Sharpe Ratio — Anpassung des Sharpe an Selektion und nicht normale Renditeeigenschaften.