Für wen dieser Artikel gedacht ist — Für alle, die eine Handelsidee in eine kontrollierbare Simulation überführen und das damals Wiss- und Handelbare von nur rückblickend Sichtbarem trennen möchten.
Ein Backtest wendet eine vollständige Spezifikation von Signalen, Portfolio, Orders, Kosten und Restriktionen auf historische Daten an. Er erzeugt ein kontrafaktisches Ergebnis: was nach diesem Modell geschehen wäre, wenn die Regeln im beobachteten Zeitraum ausgeführt worden wären. Er ist kein realer Track Record, beweist keine Kausalität und garantiert keine Ähnlichkeit zwischen zukünftiger und vergangener Verteilung.
Jede Aussage bleibt bedingt durch Stichprobe, Spezifikation, Daten und operative Annahmen. Strategie und Simulator sind zu trennen: Die Strategie bestimmt, wann Risiko übernommen wird; der Simulator übersetzt die Entscheidung in Positionen und Renditen. Ein plausibles Signal kann durch Timestamp-Fehler, nicht handelbare Preise oder ausgelassene Kosten hervorragend aussehen.
Was ein Backtest spezifizieren muss
| Ebene | Prüfbare Frage | Verhinderter Fehler |
|---|---|---|
| Daten | Welcher Wert war zu diesem Zeitpunkt verfügbar? | Look-ahead, Revisionen, Survivorship Bias |
| Signal | Mit welchen Variablen, Verzögerungen und Parametern wird entschieden? | nach dem Ergebnis rekonstruierte Regeln |
| Portfolio | Wie werden Signale zu Gewichten, Größe und Limits? | impliziter Hebel oder Konzentration |
| Ausführung | Wann und zu welchem Preis kann die Order gefüllt werden? | unmöglicher Fill in derselben Kerze |
| Ökonomik | Welche Kosten, Funding-, Borrow- und Kapitalmaßnahmen gelten? | Bruttoergebnis als realisierbare Performance |
| Beurteilung | Welche Metriken, Benchmarks und Tests wurden vorher gewählt? | nachträgliche Auswahl der günstigsten Lesart |
Daten müssen point-in-time sein, wenn ihre Geschichte veränderlich ist. Dazu gehören Indexzusammensetzung, delistete Titel, Fundamental- und Makrodaten mit Veröffentlichungszeitpunkten sowie Unternehmensklassifikationen. Ticker aufgelöster Unternehmen einzubeziehen genügt nicht, wenn Delisting-Renditen, historische Mitgliedschaften oder Kapitalmaßnahmen fehlen.
Kausalität: wissen, entscheiden, ausführen
Datenverfügbarkeit, Signalabschluss, Orderversand und -annahme sowie einen möglichen späteren Fill getrennt erfassen. Ein Signal, das den endgültigen Schlusskurs benötigt, kann keine Order für die Auktion bestimmen, die diesen Kurs gerade erzeugt hat. Auktionsteilnahme erfordert eine zulässige Order auf Basis bereits verfügbarer Informationen; ein indikativer Preis ist nicht der Endpreis. Ein späterer Fill kann zahlenmäßig dem Schlusskurs entsprechen, bleibt aber ein späteres Ereignis und ist nicht garantiert.
Die Bezugsperiode eines Wirtschaftswerts ist nicht sein Veröffentlichungsdatum. Die damals verfügbare Datenversion sowie Uhrzeit und Feedverzögerung sind zu prüfen: Ein tägliches Revisionsdatum belegt keine Intraday-Verfügbarkeit.
Futures, Optionen, Bonds sowie Short- oder Hebelinstrumente benötigen außerdem konsistente Regeln für Fälligkeit, Roll, Multiplikator, Margin, Ausübung, Zuteilung, Borrow, Collateral und Cash-Rendite. Ein einziges Fill-Modell passt nicht zu allen Anlageklassen.
Reproduzierbares Mindestprotokoll
Diese Checkliste ist ein redaktioneller Arbeitsleitfaden, kein universelles Protokoll und keine regulatorische Zertifizierung.
- Hypothese, Universum, Frequenz, Zeitraum, Benchmark und Entscheidungskriterium festlegen.
- Signale, Parameter, Sizing, Restriktionen, Daten und Kalender versionieren; alle Versuche registrieren.
- Verfügbarkeit, Entscheidung, Übermittlung, Annahme, Stornierung und Fill zeitlich ordnen; Zeitzone und Zeitstempelauflösung angeben.
- Kapital-, Hebel-, Liquiditäts-, Turnover- und Konzentrationslimits kausal anwenden.
- Spread, Gebühren, Slippage, Impact, Partial Fills, Funding und Opportunitätskosten modellieren.
- Nettoertrag, Risiko, Drawdown, Turnover, Exposure, Kapazität und Unsicherheit ohne nachträgliche Auswahl berichten.
- Zeitlich ungenutzte Daten reservieren und Abhängigkeit, überlappende Labels, Refit und finalen Test definieren.
- Code, Konfiguration, Abhängigkeiten, Seeds, abrufbare Daten-Snapshots, deren Hashes und Outputs archivieren. Ein Hash identifiziert eine Datei, kann sie allein aber nicht wiederherstellen.
Kosten und Referenzpreise
Gebühren und Spread sind nur ein Teil. Je nach Perimeter gehören Market Impact, verfügbare Menge, Verzögerung, Non-fill, Funding, Wertpapierleihe, Währungsumrechnung und relevante Steuern dazu. Implementation Shortfall vergleicht Ausführung und Absicht zum Entscheidungszeitpunkt und kann auch den nicht ausgeführten Teil umfassen; er ist keine pauschale Gebühr am Ende.
Soweit Daten es erlauben, hängt das Kostenmodell von Seite, Größe, Liquidität, Volatilität, Handelsplatz und Ordertyp ab. Ein strengeres Kostenszenario ist informativ, repariert aber weder kontaminierte Daten noch unmögliche Fills.
Sind Spread oder Slippage bereits in simulierten Fillpreisen enthalten, dürfen sie nicht nochmals als getrennte Kosten abgezogen werden. Preisbestandteile und zusätzlich berechnete Kosten sind offenzulegen.
Veranschaulichendes Beispiel
Eine Tagesregel berechnet das Signal nach dem Schluss. Das Protokoll verwendet historische Indexmitglieder, sendet die Order erst in der nächsten Sitzung, simuliert Fills nur mit ereignisweise beobachtbarer Liquidität, berücksichtigt Spread und Impact in den Preisen und berechnet Gebühren separat. Nettometriken werden mit einem Total-Return-Benchmark in derselben Währung verglichen. Werden zwölf Lookback-Varianten getestet, gehören alle zwölf in das Versuchsregister; die Gewinnerin darf nicht als ursprüngliche Einzelhypothese erscheinen.
Das Beispiel legt keine für jeden Markt richtigen Verzögerungen oder Kosten fest. Es zeigt, welche Annahmen anfechtbar und neu berechenbar sein müssen.
Ergebnis lesen und Grenzen erkennen
Ein belastbarer Bericht trennt außerdem Fehler des Signals von Fehlern der Simulation. Verschwindet das Ergebnis durch den ersten ausführbaren Preis, weist das auf Timing oder Fillmodell; verschwindet es nach Rekonstruktion des historischen Universums, lag die Schwäche in der Datenauswahl. Diese Diagnose ist informativer als eine bloße Einteilung in profitabel oder unprofitabel und bestimmt, welcher Teil der Pipeline neu geprüft werden muss.
Eine steigende Kurve ist keine Validierung. Zu prüfen sind Konzentration auf wenige Ereignisse, Reaktion auf plausible Perturbationen, Überleben nach Kosten, ex ante gewählter Benchmark und Präzision unter der tatsächlichen Abhängigkeit der Beobachtungen. Die Zahl der Trades ist nicht automatisch die Zahl unabhängiger Informationen.
Ein Backtest ist als Falsifikations- und Diagnosewerkzeug nützlicher denn als punktgenaue Prognosemaschine. Ein positives Ergebnis führt zu Robustheits-, Out-of-sample- und Forward-Prüfungen, nicht zu Gewissheit. Grenzen bleiben neue Regime und Mikrostrukturen, unbekannter Slippage bei größerer Size, Modellselektion und die Tatsache, dass Reproduzierbarkeit keine unabhängige Replikation ist. Monte Carlo oder Stress beseitigen weder Leakage noch Survivorship Bias oder Data Snooping.
Quellen
Quellen geprüft am 8. September 2026; die eingesehenen Stellen sind unten angegeben.
- Halbert White, A Reality Check for Data Snooping, Econometrica, 2000 — Verlagsabstract: Datenwiederverwendung und Benchmarkvergleich.
- Robert D. Arnott, Campbell R. Harvey & Harry Markowitz, A Backtesting Protocol in the Era of Machine Learning — Autorenfassung, Duke, Fassung vom 29. Oktober 2018, S. 8–10: Motivation, Versuche, Korrelationen und Stichprobenwahl.
- Marcos López de Prado, What to Look for in a Backtest — 2013, Abstract: Versuchszahl und Testlänge; keine vollständige Prüfung der Folien.
- André F. Perold, The Implementation Shortfall: Paper Versus Reality — 1988, Originalreferenz; Definition im Summary abgeglichen mit CFA Institute, Trade Strategy and Execution.
- European Commission, Regulation (EU) 2017/589, RTS 6 — Artikel 5–7: Methodik, Änderungen und Testumgebungen im einschlägigen regulatorischen Geltungsbereich.
- Federal Reserve Bank of St. Louis, ALFRED Help — Abschnitte Release Dates: historische Versionen und Verfügbarkeitsdaten.
- NYSE, Opening and Closing Auctions — S. 2: Orderzulassung und Schlussauktion.