Für wen dieser Artikel gedacht ist — Für alle, die eine Handelsidee in eine kontrollierbare Simulation überführen und das damals Wiss- und Handelbare von nur rückblickend Sichtbarem trennen möchten.
Ein Backtest wendet eine vollständige Spezifikation von Signalen, Portfolio, Orders, Kosten und Restriktionen auf historische Daten an. Er erzeugt ein kontrafaktisches Ergebnis: was nach diesem Modell geschehen wäre, wenn die Regeln im beobachteten Zeitraum ausgeführt worden wären. Er ist kein realer Track Record, beweist keine Kausalität und garantiert keine Ähnlichkeit zwischen zukünftiger und vergangener Verteilung.
Jede Aussage bleibt bedingt durch Stichprobe, Spezifikation, Daten und operative Annahmen. Strategie und Simulator sind zu trennen: Die Strategie bestimmt, wann Risiko übernommen wird; der Simulator übersetzt die Entscheidung in Positionen und Renditen. Ein plausibles Signal kann durch Timestamp-Fehler, nicht handelbare Preise oder ausgelassene Kosten hervorragend aussehen.
Was ein Backtest spezifizieren muss
| Ebene | Prüfbare Frage | Verhinderter Fehler |
|---|---|---|
| Daten | Welcher Wert war zu diesem Zeitpunkt verfügbar? | Look-ahead, Revisionen, Survivorship Bias |
| Signal | Mit welchen Variablen, Verzögerungen und Parametern wird entschieden? | nach dem Ergebnis rekonstruierte Regeln |
| Portfolio | Wie werden Signale zu Gewichten, Größe und Limits? | impliziter Hebel oder Konzentration |
| Ausführung | Wann und zu welchem Preis kann die Order gefüllt werden? | unmöglicher Fill in derselben Kerze |
| Ökonomik | Welche Kosten, Funding-, Borrow- und Kapitalmaßnahmen gelten? | Bruttoergebnis als realisierbare Performance |
| Beurteilung | Welche Metriken, Benchmarks und Tests wurden vorher gewählt? | nachträgliche Auswahl der günstigsten Lesart |
Daten müssen point-in-time sein, wenn ihre Geschichte veränderlich ist. Dazu gehören Indexzusammensetzung, delistete Titel, Fundamental- und Makrodaten mit Veröffentlichungszeitpunkten sowie Unternehmensklassifikationen. Ticker aufgelöster Unternehmen einzubeziehen genügt nicht, wenn Delisting-Renditen, historische Mitgliedschaften oder Kapitalmaßnahmen fehlen.
Kausalität: wissen, entscheiden, ausführen
Jedes Ereignis besitzt mindestens einen Verfügbarkeits- und einen Handlungszeitpunkt. Fließt der Schluss einer Kerze in das Signal ein, verlangt ein Fill zu demselben Schluss eine glaubhafte Auktions-, Berechnungs- und Übermittlungsmechanik. Andernfalls gehört der erste nutzbare Preis zu einem späteren Ereignis. Für Meldungen, Konjunktur- und Fundamentaldaten ist das Veröffentlichungsdatum maßgeblich, nicht nur die Wirtschaftsperiode.
Futures, Optionen, Bonds sowie Short- oder Hebelinstrumente benötigen außerdem konsistente Regeln für Fälligkeit, Roll, Multiplikator, Margin, Ausübung, Zuteilung, Borrow, Collateral und Cash-Rendite. Ein einziges Fill-Modell passt nicht zu allen Anlageklassen.
Reproduzierbares Mindestprotokoll
- Hypothese, Universum, Frequenz, Zeitraum, Benchmark und Entscheidungskriterium festlegen.
- Signale, Parameter, Sizing, Restriktionen, Daten und Kalender versionieren; alle Versuche registrieren.
- Verfügbarkeit, Entscheidung, Übermittlung, Stornierung und Fill zeitlich ordnen.
- Kapital-, Hebel-, Liquiditäts-, Turnover- und Konzentrationslimits kausal anwenden.
- Spread, Gebühren, Slippage, Impact, Partial Fills, Funding und Opportunitätskosten modellieren.
- Nettoertrag, Risiko, Drawdown, Turnover, Exposure, Kapazität und Unsicherheit ohne nachträgliche Auswahl berichten.
- Zeitlich ungenutzte Daten reservieren und Abhängigkeit, überlappende Labels, Refit und finalen Test definieren.
- Code, Konfiguration, Abhängigkeiten, Seeds, Daten-Snapshot oder Hash und Outputs archivieren.
Kosten und Referenzpreise
Gebühren und Spread sind nur ein Teil. Je nach Perimeter gehören Market Impact, verfügbare Menge, Verzögerung, Non-fill, Funding, Wertpapierleihe, Währungsumrechnung und relevante Steuern dazu. Implementation Shortfall vergleicht Ausführung und Absicht zum Entscheidungszeitpunkt und kann auch den nicht ausgeführten Teil umfassen; er ist keine pauschale Gebühr am Ende.
Soweit Daten es erlauben, hängt das Kostenmodell von Seite, Größe, Liquidität, Volatilität, Handelsplatz und Ordertyp ab. Ein strengeres Kostenszenario ist informativ, repariert aber weder kontaminierte Daten noch unmögliche Fills.
Veranschaulichendes Beispiel
Eine Tagesregel berechnet das Signal nach dem Schluss. Das Protokoll verwendet historische Indexmitglieder, sendet die Order erst in der nächsten Sitzung, begrenzt die Volumenbeteiligung und berechnet Spread, Gebühren und mit der Größe steigenden Impact. Nettometriken werden mit einem Total-Return-Benchmark in derselben Währung verglichen. Werden zwölf Lookback-Varianten getestet, gehören alle zwölf in das Versuchsregister; die Gewinnerin darf nicht als ursprüngliche Einzelhypothese erscheinen.
Das Beispiel legt keine für jeden Markt richtigen Verzögerungen oder Kosten fest. Es zeigt, welche Annahmen anfechtbar und neu berechenbar sein müssen.
Ergebnis lesen und Grenzen erkennen
Ein belastbarer Bericht trennt außerdem Fehler des Signals von Fehlern der Simulation. Verschwindet das Ergebnis durch den ersten ausführbaren Preis, weist das auf Timing oder Fillmodell; verschwindet es nach Rekonstruktion des historischen Universums, lag die Schwäche in der Datenauswahl. Diese Diagnose ist informativer als eine bloße Einteilung in profitabel oder unprofitabel und bestimmt, welcher Teil der Pipeline neu geprüft werden muss.
Eine steigende Kurve ist keine Validierung. Zu prüfen sind Konzentration auf wenige Ereignisse, Reaktion auf plausible Perturbationen, Überleben nach Kosten, ex ante gewählter Benchmark und Präzision unter der tatsächlichen Abhängigkeit der Beobachtungen. Die Zahl der Trades ist nicht automatisch die Zahl unabhängiger Informationen.
Ein Backtest ist als Falsifikations- und Diagnosewerkzeug nützlicher denn als punktgenaue Prognosemaschine. Ein positives Ergebnis führt zu Robustheits-, Out-of-sample- und Forward-Prüfungen, nicht zu Gewissheit. Grenzen bleiben neue Regime und Mikrostrukturen, unbekannter Slippage bei größerer Size, Modellselektion und die Tatsache, dass Reproduzierbarkeit keine unabhängige Replikation ist. Monte Carlo oder Stress beseitigen weder Leakage noch Survivorship Bias oder Data Snooping.
Quellen
- Halbert White, A Reality Check for Data Snooping, Econometrica (2000) — Inferenz, wenn das beste Modell aus vielen Spezifikationen ausgewählt wurde.
- Robert D. Arnott, Campbell R. Harvey und Harry Markowitz, A Backtesting Protocol in the Era of Machine Learning — Forschungsprotokoll, Selektion und Knappheit finanzieller Daten.
- Marcos López de Prado, What to Look for in a Backtest — Zahl der Versuche, Testlänge und offenzulegende Eigenschaften.
- André F. Perold, The Implementation Shortfall: Paper Versus Reality, The Journal of Portfolio Management (1988) — Unterschied zwischen theoretischem Portfolio und Ausführung.
- Europäische Kommission, Delegierte Verordnung (EU) 2017/589, RTS 6 — Methodik, Dokumentation und Testumfelder algorithmischer Systeme im jeweiligen regulatorischen Anwendungsbereich.