Für wen dieser Artikel gedacht ist — Für alle, die eine Strategie in zeitlich korrekter Reihenfolge bewerten wollen, ohne Zukunft in Entwicklungsinformation zu verwandeln und ohne sich auf einen einzigen willkürlichen Split zu verlassen.
Die Zeitreihenvalidierung bewertet eine Prozedur mit Beobachtungen, die später liegen als jene, mit denen sie geschätzt oder ausgewählt wurde. Die Walk-forward-Analyse wiederholt dieses Prinzip an aufeinanderfolgenden Ursprüngen: Jeder Schritt nutzt nur die laut Protokoll erlaubte Vergangenheit, erzeugt eine Entscheidung für das nächste Segment und rückt dann vor.
Das bildet ein im Betrieb neu kalibriertes Verfahren besser ab, ist aber kein endgültiger Beweis. Das Ergebnis hängt von Fensterlänge und -typ, Refit-Frequenz, Labelhorizont, Auswahlregeln, Kosten und Zahl der geprüften Konfigurationen ab. Beeinflussen Fold-Ergebnisse die Auswahl, gehören sie zur Entwicklung; ihre Verkettung erzeugt nicht automatisch einen unverunreinigten finalen Test.
Zentrale Designs
| Design | Nutzung der Vergangenheit | Wann informativ | Charakteristische Grenze |
|---|---|---|---|
| Chronologischer Holdout | Entwicklung zuerst, finaler Test danach | einfache Endentscheidung mit geschütztem Test | ein einzelner Zeitraum kann unrepräsentativ sein |
| Rolling Origin | Prognoseursprung wandert; Training kann wachsen | mehrere aufeinanderfolgende Entscheidungen bewerten | abhängige Ergebnisse und mögliche iterative Anpassung |
| Expanding Window | Training behält die gesamte verfügbare Geschichte | kumulativ lernender Prozess | weit zurückliegende Daten passen eventuell nicht zum aktuellen Regime |
| Rolling Window | Training behält eine feste Länge | Prozess soll entfernte Vergangenheit vergessen | Fensterwahl und geringere Datenmenge |
| Blocked Cross-Validation | Zeitblöcke bewahren lokale Struktur | Vergleiche in einem begründeten Design | Grenzen und Abhängigkeit zwischen Blöcken prüfen |
| Prospektiver Endtest | eingefrorene Version auf künftigen Ereignissen | wirklich vorwärts gerichtete Prozesskontrolle | Zeit, Kosten und anfangs kleine Stichprobe |
Einen universell richtigen 70/30-Split gibt es nicht. Ein Intraday-System mit überlappenden Labels, eine Monatsstrategie und ein Makromodell mit wenigen Rezessionen enthalten trotz gleicher Zeilenzahl sehr unterschiedliche Informationsmengen und Abhängigkeiten.
Rolling oder expanding
Bei Ursprung t nutzt ein Expanding-Design alle bis t erlaubten Beobachtungen; ein Rolling-Design nur die letzten w. Das erste maximiert die Geschichte, das zweite lässt entfernte Daten vergessen. Diese Wahl ist eine Hypothese über Stabilität, keine bloße technische Einstellung.
Jede Konfiguration muss angeben:
- Beginn und Ende von Training, Validierung und Test in jedem Fold;
- Rolling- oder Expanding-Fenster samt Begründung;
- Abstand der Ursprünge und Länge des Bewertungshorizonts;
- Frequenz von Refit, Rekalibrierung und erneuter Parameterauswahl;
- Umgang mit Warm-up, fehlenden Daten sowie neuen und eingestellten Instrumenten;
- Aggregation der Ergebnisse und Abhängigkeit zwischen Folds;
- Zeitpunkt, an dem eine auf Folds gestützte Entscheidung gefällt wird.
Wird in jedem Schritt der beste Parameter mit dem folgenden Segment gewählt, ist dieses Segment Validierung und nicht Test. Eine ehrliche Schätzung reproduziert die interne Auswahl nur mit der an diesem Ursprung verfügbaren Information.
Überlappende Labels, Gap, Purging und Embargo
Eine finanzielle Beobachtung kann Informationen über ein Intervall statt nur einen Zeitpunkt verwenden. Misst ein Label die Rendite der nächsten fünf Tage, teilen benachbarte Labels Tage. Eine formal vor dem Test liegende Zeile kann daher Ergebnisse aus seinem Informationsintervall enthalten.
Purging entfernt Trainingsbeobachtungen, deren Informationsintervalle den Test schneiden. Gap oder Embargo lassen eine begründete zeitliche Trennung, um Verunreinigung durch Überlappung oder Abhängigkeit zu verringern. In der Finanzliteratur werden diese Werkzeuge besonders mit López de Prados Darstellung verbunden; sie sind kein Allheilmittel. Ihre Breite folgt Horizont, Featureaufbau, Labels und Betriebsprozess, nicht einem fixen Prozentsatz.
Gelöschte Zeilen korrigieren weder auf dem Gesamtdatensatz geschätztes Preprocessing noch ein Universum aus Überlebenden oder spätere Datenrevisionen. Die Prüfung muss die gesamte Pipeline umfassen.
Der Fall zufälliger k-fold-Aufteilung
Die Aussage, zufälliges k-fold sei für Zeitreihen immer ungültig, wäre zu stark. Bergmeir, Hyndman und Koo zeigen Bedingungen, unter denen Standard-Cross-Validation bei rein autoregressiven Modellen gültig sein kann, insbesondere bei unkorrelierten Fehlern. Die Lehre lautet nicht, dass Mischen allgemein sicher ist, sondern dass Gültigkeit von der Problemstruktur abhängt.
Im Trading sprechen kausale Reihenfolge, geschätzte Transformationen, wechselnde Universen, überlappende Labels und Kosten meist für ein chronologisches Design, das den geplanten Einsatz reproduziert. Wer ein nicht chronologisches Design wählt, muss seine Voraussetzungen nachweisen und Residuen prüfen.
Illustratives Beispiel
Eine Prozedur wird zu Monatsbeginn neu kalibriert. Ein Expanding-Fold nutzt alle Daten bis zum Ende des Vormonats, wählt eine Konfiguration in einer ebenfalls zeitlichen internen Validierung und erzeugt Positionen für den Folgemonat. Zwölf Monate liefern zwölf Bewertungssegmente.
Sieht der Analyst die zwölf Ergebnisse und verändert anschließend Features, hat die gesamte Folge die Entwicklung informiert. Der Versuch kann dokumentiert und in einem neuen Zeitraum wiederholt werden, doch die alten Monate sind kein nie gesehener Endtest mehr. Ein Monat ist nur Bestandteil des Beispiels und nicht die universell richtige Schrittweite.
Aggregieren, ohne Unsicherheit zu verlieren
Die Verkettung der Renditen zu einer Walk-forward-Kurve zeigt den simulierten Prozess, macht die Folds aber nicht unabhängig. Berichtet werden sollten:
- Ergebnisse je Fold und aggregiert statt nur der Mittelwert;
- Daten, Regime, Instrumente und Exposures, auf die sich P&L konzentriert;
- Brutto- und Nettokennzahlen mit demselben Benchmark;
- Fehlerverteilung und Stabilität der Auswahl;
- Turnover, Kapazität und Rekalibrierungsfrequenz;
- sämtliche im Prozess betrachteten Konfigurationen.
Auch bei positivem Mittelwert ist die Streuung zwischen Folds informativ. Dominiert ein einziger Ursprung oder eine Krise das Ergebnis, muss die Schlussfolgerung enger gefasst werden.
Checkliste
- Vor Kennzahlen das vollständige Zeitdiagramm rekonstruieren.
- Fenster und Schritt auf reale Nutzung und Informationshorizont abstimmen.
- Preprocessing, Featureauswahl und Tuning innerhalb jedes Trainings ausführen.
- Gap oder Purging nur aus der Intervallstruktur begründen.
- Jede Wiederverwendung der Folds als Entwicklungsinformation zählen.
- Wenn möglich einen separaten finalen oder prospektiven Test erhalten.
- Abhängigkeit, Streuung und Ergebniskonzentration berichten.
Quellen
- Leonard J. Tashman, Out-of-sample tests of forecasting accuracy: an analysis and review — Taxonomie und Begründung von Rolling-Origin-Bewertungen außerhalb der Stichprobe.
- Christoph Bergmeir, Rob J. Hyndman und Bonsoo Koo, A note on the validity of cross-validation for evaluating autoregressive time series prediction — genaue Bedingungen, unter denen k-fold für autoregressive Modelle gültig sein kann.
- Jeffrey S. Racine, Consistent cross-validatory model-selection for dependent data: hv-block cross-validation — Blocktrennung für abhängige Daten unter ausdrücklichen Annahmen.
- Marcos López de Prado, Advances in Financial Machine Learning — offizielles Wiley-Inhaltsverzeichnis — Autorenreferenz zu Purging und Embargo; nicht als universeller Konsens oder ursprünglicher peer-reviewter Artikel dargestellt.