Für wen dieser Artikel gedacht ist — Für alle, die ein günstiges historisches Ergebnis erhalten haben und wissen wollen, wie stark es von einer bestimmten Kombination aus Daten, Parametern, Kosten, Zeitraum und Ausführung abhängt.
Robustheit beschreibt, wie weit die Schlussfolgerungen über eine Strategie erhalten bleiben, wenn plausible Annahmen verändert werden, die ihren gesamten Wert nicht allein bestimmen sollten. Sie ist graduell und bedingt: Eine Strategie kann gegenüber Parametern robust, gegenüber Kosten aber fragil sein oder in mehreren Perioden stabil, jedoch von einem einzigen Datenanbieter abhängen.
Robustheit bedeutet keine Unempfindlichkeit gegen Wandel, garantiert keinen künftigen Edge und ist zugleich ein Versuch der Falsifikation. Eine ganze Testbatterie kann denselben Look-ahead, Survivorship Bias oder Fillfehler teilen. Ihr Zweck ist, Abhängigkeiten und Bruchstellen sichtbar zu machen, nicht ein automatisches Gütesiegel zu vergeben.
Robustheit, Sensitivität und Validierung
| Begriff | Frage | Beweist nicht |
|---|---|---|
| Sensitivitätsanalyse | Wie verändert sich der Output mit einem Input? | Vollständigkeit der Szenarien |
| Stresstest | Wo bricht das System unter schweren, aber konsistenten Bedingungen? | Wahrscheinlichkeit des Szenarios |
| Robustheit | Überlebt die Schlussfolgerung eine begründete Menge von Variationen? | künftige Leistung oder Kausalität |
| Out-of-Sample | Generalisiert die Spezifikation auf ungenutzte Daten? | Schutz vor Regimewechsel und gemeinsamen Bias |
| Replikation | Findet eine unabhängige Analyse kompatible Evidenz? | identische Resultate in jeder Stichprobe |
Ein Parameterplateau kann gegenüber einer isolierten Spitze vorzuziehen sein, weil es geringere lokale Sensitivität zeigt. Es ist dennoch kein Beweis: Auch verunreinigte Daten oder fast identische Varianten können ein Plateau erzeugen. Ökonomische Logik und korrekte Simulation bleiben Voraussetzungen.
Zu prüfende Dimensionen
Daten. Wenn möglich Anbieter, Bereinigungsregeln, Zeitstempel, Corporate Actions, Point-in-time-Universum und fehlende Werte vergleichen. Ein Anbieterwechsel kann versteckte Konventionen offenlegen.
Spezifikation. Parameter und Transformationen innerhalb zum Prozess passender Regionen variieren. Eine feste prozentuale Bandbreite ist ungeeignet: Ein Tag, Tick und Dezil haben unterschiedliche Bedeutung.
Stichprobe. Teilperioden, Märkte und Bedingungen untersuchen, ohne nur günstige Segmentierungen zu wählen. Das Entfernen einer einflussreichen Periode zeigt Konzentration, verkleinert aber auch die Stichprobe.
Ausführung. Signalverzögerung, Fill-Benchmark, Spread, Slippage, Impact, Volumenteilnahme, Teilfills und Opportunity Cost in für Instrument und Größe plausiblen Szenarien verändern. Bloß verdoppelte Provisionen decken Liquiditätsrisiken nicht ab.
Portfoliokonstruktion. Hebel, Caps, Rebalancing, Konzentration, Borrow, Funding, Cashrendite und Positionsinteraktionen prüfen. Signal-Edge und Sizing-Effekt trennen.
Statistische Auswahl. Alle Varianten registrieren und multiple Tests berücksichtigen. Hunderte Stresstests auszuführen und nur die bestandenen zu zeigen ist eine neue Form von Data Snooping.
Protokoll einer Robustheitsbatterie
- Zu stressende Schlussfolgerung nennen. Etwa Vorzeichen der Netto-Expectancy, Vorteil gegenüber Benchmark oder tolerierbarer Drawdown.
- Materielle Annahmen auflisten. Daten, Ereignisuhr, Features, Parameter, Universum, Sizing, Kosten, Liquidität und Kennzahlen.
- Jeden Test einem Risiko zuordnen. Bereich und Richtung aus Markteigenschaften oder Messunsicherheit begründen.
- Kriterien und Outputs einfrieren. Vorab festlegen, welche Kennzahlen zählen und wie günstige, mehrdeutige oder unvereinbare Ergebnisse klassifiziert werden.
- Einzelne und gemeinsame Tests ausführen. Isolierte Störungen helfen bei der Diagnose; konsistente Kombinationen zeigen Interaktionen und Klippen.
- Gesamte Batterie registrieren. Konfigurationen, negative Resultate, Seeds und Änderungen erhalten; jeder Versuch zählt zur Selektion.
- Robustheit und Endtest trennen. Zur Spezifikationswahl genutzte Stresstests gehören zur Entwicklung; der finale OOS bleibt ungesehen.
- Ergebnis in Grenzen übersetzen. Unzuverlässige Bedingungen, Live-Kontrollen und Aussetzungsgründe dokumentieren.
Ergebnisse darstellen
Eine Sensitivitätstabelle oder -karte zeigt alle untersuchten Regionen, nicht nur den besten Parameter. Neben dem Mittelwert gehören Streuung, Drawdown, Turnover, Exposure, Kosten und Ereigniskonzentration dazu. Zu unterscheiden sind:
- Vorzeichenstabilität: die qualitative Schlussfolgerung bleibt gleich;
- Rangstabilität: das Modell behält den Vorteil gegenüber Benchmark oder Alternativen;
- wirtschaftliche Stabilität: der Spielraum bleibt nach Kosten und Einschränkungen bedeutsam;
- operative Stabilität: Fills, Daten und Kontrollen lassen sich real reproduzieren.
Nicht jeder Wert muss unverändert bleiben. Eine Strategie kann robust sein und sich bei höheren Kosten erwartbar verschlechtern, solange Schlussfolgerung und Grenzen verständlich sind und nicht an einer versteckten Einzelannahme hängen.
Illustratives Beispiel — Ein Breakout-Signal wird mit mehreren ausführbaren Verzögerungen, vergleichbaren Datenquellen, benachbarten Lookbacks und an Spread sowie Volumenteilnahme gebundenen Kostenmodellen geprüft. Verschwindet die Rentabilität beim ersten tatsächlich handelbaren Fill, ist das ein Kausalitätsproblem, nicht bloß geringe Robustheit. Bleibt das Ergebnis positiv, aber stark unsicher, kann „nicht schlüssig“ die korrekte Klassifikation sein. Es gibt keine universelle Stressbandbreite.
Monte Carlo und Pfadstörungen
Bootstrap, Neuanordnung und Monte-Carlo-Simulation können zeigen, wie sich eine Kennzahl unter einem bestimmten Abhängigkeits- und Verteilungsmodell verändert. Werden Trades unabhängig gemischt, verschwindet ein Teil der Zeitstruktur; bei Blöcken wird die Blocklänge zur Annahme. Die Verfahren erzeugen keine nie beobachteten Ereignisse und korrigieren weder Leakage noch verunreinigtes Universum, unterschätzten Impact oder Strategieselektion.
Grenzen
- Die Batterie bleibt gegenüber künftigen Weltzuständen unvollständig.
- Erst nach dem Ergebnis gewählte Stresstests können zu Optimierung werden.
- Historische Stabilität und statistische Signifikanz sind verschiedene Fragen.
- Extreme Szenarien besitzen nicht automatisch eine interpretierbare Wahrscheinlichkeit.
- Robustheit unterstützt Modellrisikomanagement, ersetzt aber keine unabhängige Validierung, operativen Kontrollen und spätere Überwachung.
Quellen
- Robert D. Arnott, Campbell R. Harvey und Harry Markowitz, A Backtesting Protocol in the Era of Machine Learning — Protokoll, Selektion und Stress finanzieller Schlussfolgerungen.
- Halbert White, A Reality Check for Data Snooping, Econometrica, 2000 — Benchmarkvergleich nach Suche über mehrere Modelle.
- David H. Bailey et al., The Probability of Backtest Overfitting — Fragilität ausgewählter Konfigurationen und Bewertung außerhalb der Stichprobe.
- André F. Perold, The Implementation Shortfall: Paper Versus Reality, 1988 — Abstand zwischen theoretischem Portfolio und durch Ausführung erreichbarem Ergebnis.
- Board of Governors of the Federal Reserve System, SR 26-2 — Revised Guidance on Model Risk Management, 2026 — Governance, Validierung, Grenzen und Überwachung von Modellrisiken im jeweiligen Aufsichtsbereich.