Survivorship-Bias-Backtesting und wie man seine Auswirkungen mindert

Ein praktisches Prüfungs-Framework

Ein einfacher Prüfprozess kann helfen zu erkennen, ob Survivorship-Bias wahrscheinlich materiell ist.

1. Das Risiko erkennen

Beginnen Sie mit grundlegenden Prüfungen:

• Vergleichen Sie die Symbolliste des Startdatums mit einem historischen Snapshot für dieses Datum.
• Fragen Sie den Datenanbieter, ob der Feed delistete Symbole ausschließt.
• Bestätigen Sie, ob der Feed survivorship-freie Historien bereitstellt.
• Prüfen Sie, ob die Indexmitgliedschaft historisch rekonstruiert wird oder auf aktuellen Constituents basiert.
• Führen Sie das Modell über verschiedene Zeitabschnitte aus und suchen Sie nach unerklärlichen Leistungsverschiebungen.

Ist das Universum nur aktiv-basierend, ist der Backtest mit Vorsicht zu behandeln, bis der Unterschied gemessen ist.

2. Den Unterschied quantifizieren

Der klarste Test ist ein Side-by-Side-Vergleich:

• Führen Sie die Strategie auf dem üblichen Datensatz aus.
• Führen Sie dieselbe Strategie auf einem survivorship-freien Universum aus.
• Halten Sie Kosten-, Ausführungsannahmen und Signale unverändert.
• Vergleichen Sie kumulierte Rendite, maximalen Drawdown, annualisierte Volatilität, Turnover und realisierte Kosten.

Zwei einfache Vergleichsmaße sind:

• Prozentuale Änderung der kumulierten Rendite = (R_full − R_active) / |R_active| × 100
• Absolute Änderung des maximalen Drawdowns = DD_full − DD_active

Die Interpretation sollte sich nicht nur auf Durchschnittsrenditen konzentrieren, sondern auch auf Tail-Verluste, erzwungene Ausstiege und Kostenänderungen. Eine kleine Renditeverschiebung kann bedeutend sein, wenn Drawdown oder realisierte Kosten stark variieren.

3. Entscheiden, wie mit dem ursprünglichen Ergebnis umgegangen wird

Zeigt der survivorship-freie Lauf deutlich schlechtere Drawdowns oder große Änderungen bei realisierten Kosten, ist der ursprüngliche Test wahrscheinlich optimistisch. In diesem Fall ist es sinnvoll, das Problem zu dokumentieren und das aktiv-only Ergebnis als weniger verlässliche historische Schätzung zu behandeln.

Der nächste Forschungsschritt besteht üblicherweise darin, die historische Mitgliedschaft zu rekonstruieren, Delisting-Erträge zu modellieren und den Test erneut auszuführen, bevor man sich auf die historische Glaubwürdigkeit der Strategie verlässt.

Beispiel: Mit vs. ohne survivorship-freie Daten

Betrachten Sie eine hypothetische Aktienstrategie, die monatlich rebalanciert und eine nach Rangfolge sortierte Aktienliste nutzt. Der Forscher führt sie zunächst mit einem Datensatz aktiver Symbole aus. Die Ergebnisse zeigen starke kumulierte Rendite, moderaten Drawdown und handhabbaren Turnover.

Um zu prüfen, ob diese Ergebnisse vom Survivorship-Bias abhängen, kann der Forscher einen „mit vs. ohne“-Vergleich durchführen:

1. Führen Sie den Baseline-Backtest mit dem üblichen Datensatz und den Einstellungen aus.
2. Sichern Sie die Ergebnisse, die Trades-Liste und die Symbolhistorie.
3. Beschaffen Sie survivorship-freie historische Constituents oder rohe Symbolhistorien für denselben Zeitraum.
4. Führen Sie exakt dieselben Strategieregeln gegen das vollständige historische Universum erneut aus.
5. Belassen Sie Transaktionskosten, Slippage, Positionsgrößen und Ausführungsannahmen unverändert.
6. Vergleichen Sie kumulierte Rendite, maximalen Drawdown, Turnover, realisierte Kosten und Änderungen im Handelsverhalten.
7. Dokumentieren Sie Datensatzversionen, Anbieterantworten und genutzten Filtercode.

Wenn der zweite Test niedrigere Renditen und tiefere Drawdowns liefert, hilft die Differenz zu quantifizieren, wie viel der ursprünglichen Performance vom aktiv-only Datensatz abhängt. Sind die Ergebnisse ähnlich, beweist das nicht, dass die Strategie realistisch ist, mindert aber die Sorge bezüglich dieses speziellen Bias.

Checkliste zur Verringerung des Survivorship-Bias

Verwenden Sie diese Checkliste bei der Überprüfung eines Backtests:

• Beschaffen Sie survivorship-freie historische Constituents oder rohe Symbolhistorien.
• Schließen Sie delistete Symbole in das Universum ein.
• Modellieren Sie Delisting-Ergebnisse wie Insolvenz, Übernahme oder Aussetzung.
• Rekonstruieren Sie historische Filter an jedem Testdatum nur mit zeitgenössischen Daten.
• Wenden Sie Corporate Actions mit den für den relevanten Zeitraum verfügbaren Aufzeichnungen an.
• Berücksichtigen Sie Erlöse beim Delisting, wo anwendbar.
• Vergleichen Sie aktiv-only und survivorship-freie Ergebnisse nebeneinander.
• Führen Sie Sensitivitätsanalysen über Datensätze und Zeiträume durch.
• Versionieren Sie Datensätze, Abfragen und Code, damit die Arbeit auditierbar ist.

Maßnahme	Warum es hilft	Wie umzusetzen
Verwenden Sie survivorship-freie Datensätze	Stellt sicher, dass delistete Verlierer in der Historie erscheinen	Fordern Sie historische Constituents-Snapshots oder die rohe Symbolhistorie beim Anbieter an
Delisting-Ereignisse einbeziehen	Erfasst erzwungene Ausstiege und reale Ergebnisse	Fügen Sie Regeln für die Handhabung des letzten Trades hinzu und modellieren Sie Erlöse beim Delisting
Historische Filter rekonstruieren	Verhindert Selection Bias mit Kenntnis der Zukunft	Führen Sie Screenings jeweils am historischen Datum nur mit den damals verfügbaren Daten aus
Daten dokumentieren und versionieren	Ermöglicht Audit und Replikation	Speichern Sie Datensatz-Snapshots, Filtercode und Abfrageparameter

Es gibt Trade-offs. Die Rekonstruktion historischer Universen und das Modellieren von Delistings kann Datenkosten, Speicheranforderungen und Entwicklungsaufwand erhöhen. Selbst mit survivorship-freien Daten beruht ein Backtest weiterhin auf Annahmen zu Ausführung, Markteinfluss, Timing von Corporate Actions und Transaktionskosten.

Survivorship-Bias ist außerdem nur eines von mehreren möglichen Problemen. Look-ahead-Bias, Selektionsbias und Data-Snooping können eine Simulation weiterhin unrealistisch machen, wenn sie nicht separat adressiert werden.

FAQ

Was ist Survivorship-Bias?

Survivorship-Bias ist ein Stichprobenfehler, der auftritt, wenn die Analyse nur Entitäten einschließt, die bis zum Ende überlebt haben, und diejenigen ausschließt, die dies nicht taten. Im Backtesting kann das Auslassen delisteter Wertpapiere die Performance besser erscheinen lassen, als sie in einem vollständigeren historischen Universum gewesen wäre, wie im QuantConnect Research Guide beschrieben.

Wie beeinflusst Survivorship-Bias das Backtesting?

Er neigt dazu, Renditen aufzublähen und Drawdowns zu unterschätzen, weil im Datensatz einige Unternehmen fehlen, die gescheitert, entfernt oder delistet wurden. Die klarste Prüfung ist der Vergleich eines aktiv-only Datensatzes mit einem survivorship-freien historischen Universum.

Woran erkenne ich, ob mein Backtest betroffen ist?

Vergleichen Sie Ihre Startdatum-Symbolliste mit einem historischen Snapshot für dieses Datum. Fehlen damals existierende Ticker, die später delistet wurden, ist der Test wahrscheinlich verzerrt. Es hilft auch, beim Datenanbieter zu bestätigen, ob der Feed delistete Symbole ausschließt.

Welche unmittelbaren Schritte verbessern die Genauigkeit?

Verwenden Sie, wo verfügbar, survivorship-freie historische Daten, rekonstruieren Sie historische Filter und Mitgliedschaften, modellieren Sie Delisting-Ereignisse und Corporate Actions und führen Sie die gleichen Regeln Seite an Seite erneut aus. Das Versionieren von Datensätzen und das Aufbewahren des Filtercodes erleichtern ebenfalls die Überprüfung der Ergebnisse.

Fazit

Survivorship-Bias ist eine häufige Ursache für übermäßigen Optimismus in Backtests. Er tritt auf, wenn das historische Universum Wertpapiere ausschließt, die bis zum Ende des Testzeitraums nicht überlebt haben, was Renditen aufblähen und das Risiko geringer erscheinen lassen kann.

Eine praktische Reaktion besteht darin, den Originaltest mit einem survivorship-freien Lauf zu vergleichen und dann Änderungen in kumulierter Rendite, maximalem Drawdown, Turnover und realisierten Kosten zu prüfen. Führt der korrigierte Lauf zu wesentlichen Änderungen, sollte der ursprüngliche Backtest als optimistisch betrachtet werden.

Für weiterführende finanzielle Bildungsressourcen besuchen Sie Finelo.