Robustheitstests für Handelsstrategien: die wichtigsten Arten im Überblick

Du hast eine Strategie gebaut, die im Backtest gut aussah, und jetzt starrst du auf eine Liste mit Namen wie Monte Carlo, System Parameter Permutations, Walk-Forward Matrix und „Retest on additional markets“. Welche davon brauchst du, und in welcher Reihenfolge? Am Ende dieses Textes weißt du, wofür diese Prüfungen einzeln stehen und wie sie in einem dokumentierten Beispiel aufeinander aufbauen.

Warum die Liste der Cross-Checks am Anfang abschreckt

Die meisten Trader stoßen zum ersten Mal auf Robustheitstests, wenn eine Strategie bereits gute Zahlen im Backtest zeigt und die Software anbietet, sie zusätzlich zu prüfen. Dann taucht eine ganze Reihe von Bezeichnungen auf, ohne dass sofort klar wird, was jede einzelne davon eigentlich tut. Das ist kein Zufall: Diese Prüfungen sind kein einzelner Schritt, sondern ein Werkzeugkasten mit unterschiedlichen Werkzeugen für unterschiedliche Fragen.

Was Robustheitstests prüfen und wogegen sie helfen sollen

Robustheitstests, auch Cross-Checks genannt, sind als fester Bestandteil von StrategyQuant beschrieben. Ihr Zweck: automatisch prüfen, wie sich eine Strategie unter Druck verhält, etwa wenn einzelne Trades übersprungen werden oder Parameterwerte leicht verändert werden. Die Idee dahinter ist einfach: Eine Strategie, deren Ergebnis schon bei kleinen Veränderungen zusammenbricht, war womöglich zu genau auf die vorhandenen Daten zugeschnitten.

Wichtig dabei: Ein Bestehen dieser Tests beweist nicht, dass eine Strategie nicht überangepasst ist, und ein robustes Ergebnis unter diesen simulierten Bedingungen ist keine Garantie für künftige Gewinne. Die Tests zeigen ein Verhalten unter bestimmten Störungen, mehr nicht.

Die vier eingebauten Prüfungen im Überblick

Die Herstellerdokumentation beschreibt die eingebauten Robustheitstests als eine Gruppe aus vier Prüfungen: Monte-Carlo-Simulationen, System Parameter Permutations, eine Prüfung des Optimization Profile und eine Walk-Forward Matrix. Diese vier lassen sich laut Dokumentation gemeinsam als Gruppe ein- oder ausschalten, um Überanpassung entgegenzuwirken. Die genaue Bezeichnung und Anordnung in deiner Version kann von diesem Überblick leicht abweichen, das Prinzip einer gebündelten Gruppe bleibt aber dasselbe.

Das Zusammenschalten dieser vier Prüfungen ersetzt nicht die eigene Durchsicht der Ergebnisse. Die Gruppe hilft dabei, offensichtlich fragile Strategien früh auszusortieren, sie nimmt dir aber nicht ab, die überlebenden Kandidaten selbst anzuschauen.

Wie das Robustness Tests Tool mit Monte Carlo arbeitet

Hinter der Monte-Carlo-Prüfung steckt ein einfacher Mechanismus: Das Robustness Tests Tool wiederholt den Test einer Strategie mit zufällig veränderten Eingabeparametern und zufällig veränderten Daten. Aus diesen vielen Wiederholungen entsteht eine Monte-Carlo-Simulation, deren Ergebnis zusammen mit Konfidenzniveaus ausgewiesen wird.

Ein Konfidenzniveau ist dabei kein Versprechen. Es sagt etwas über die Streuung der simulierten Läufe aus, nicht über das, was live tatsächlich passiert. Und ein einzelner Monte-Carlo-Lauf reicht als Beleg für Robustheit ohnehin nicht aus, dafür ist die Idee der Wiederholung ja gerade gedacht.

Ältere Dokumentation, die für Versionen bis 3.6.1 galt, beschrieb dasselbe Grundprinzip mit einer festen, vom Nutzer eingestellten Anzahl an Testläufen: Die Strategie wurde daraufhin geprüft, wie sie auf kleine Änderungen bei Eingaben, historischen Daten oder anderen Bestandteilen reagiert. Das Grundprinzip, kleine Veränderungen einzubauen und die Reaktion zu beobachten, ist also nicht neu, auch wenn aktuelle Versionen es anders benennen oder anders aufbauen können.

Ein einfaches Beispiel: Retest auf zusätzlichen Märkten

Eine der anschaulicheren Prüfungen ist der Retest auf zusätzlichen Märkten. Dabei wird dieselbe Strategie auf anderen Märkten erneut getestet, also auf anderen Symbolen und oder anderen Zeitrahmen als denen, auf denen sie ursprünglich gebaut und getestet wurde.

Das ist ein guter Einstieg, weil sich das Prinzip leicht nachvollziehen lässt: Eine Strategie, deren Logik nur auf den exakten Kursverlauf eines einzigen Symbols zugeschnitten ist, wird auf einem anderen Symbol oft schlechter abschneiden. Ein Bestehen dieser Prüfung ist aber kein Beleg dafür, dass die Strategie auf jedem beliebigen Markt oder Zeitrahmen funktioniert. Es zeigt nur, wie sie sich auf den konkret getesteten zusätzlichen Märkten verhalten hat.

Ein Beispiel-Trichter: wie Cross-Checks aufeinander aufbauen

Die Liste an Prüfungen wirkt lang, wenn man sie als Ganzes betrachtet. In der Dokumentation findet sich ein Beispiel dafür, wie einzelne Cross-Checks in einer Reihenfolge aufeinander aufbauen können, sodass nicht jede Strategie jede Prüfung in voller Tiefe durchläuft.

In diesem Beispiel wird eine neu generierte Strategie zunächst mit der schnellsten verfügbaren Präzision getestet. Fällt sie dabei durch die globalen Filter, wird sie automatisch verworfen, ohne dass weitere, aufwendigere Prüfungen überhaupt laufen. Erst die Strategien, die diesen ersten Schritt überstehen, werden weitergereicht an genauere Prüfungen, etwa einen Retest mit höherer Präzision und eine Monte-Carlo-Prüfung, die einzelne Trades manipuliert.

Wichtig ist der Rahmen dieses Beispiels: Es ist eine mögliche Konfiguration, kein vorgeschriebener Ablauf, den jedes Projekt exakt so durchlaufen muss. Und auch wer diesen ganzen Trichter übersteht, hat damit noch nicht gezeigt, dass die Strategie live genauso funktionieren wird.

Der ältere Fünf-Schritte-Weg als Hintergrund

Ältere Dokumentation, ebenfalls für Versionen bis 3.6.1, beschrieb einen fünfstufigen Weg, die Robustheit einer Strategie zu prüfen: erst die Out-of-Sample-Periode durchsehen, dann auf zusätzlichen Symbolen und Zeitrahmen testen, anschließend Monte-Carlo-basierte Robustheitstests laufen lassen und zum Schluss die entstandenen Equity-Kurven und eine Konfidenzniveau-Tabelle in einer eigenen Ansicht zur Robustheitsanalyse durchsehen.

Dieser Ablauf ist als Hintergrund nützlich, weil er zeigt, dass die Grundidee, mehrere unabhängige Prüfungen nacheinander anzuwenden, schon länger Teil des Werkzeugs ist. Als exakte Anleitung für eine aktuelle Version taugt er nicht: Die Bezeichnungen der Tabs und die einzelnen Schritte können in neueren Versionen anders aussehen.

Was diese Tests zeigen können, und was nicht

Jede der hier beschriebenen Prüfungen beruht auf demselben Grundgedanken: eine Strategie unter simulierten Veränderungen vergangener Parameter, vergangener Trades oder vergangener Daten laufen zu lassen und zu beobachten, was passiert. Das ist ein nützlicher Filter, um Strategien zu erkennen, deren gutes Backtest-Ergebnis nur an sehr spezifische Bedingungen geknüpft war.

Was diese Tests nicht liefern, ist ein Beweis für die Zukunft. Ein bestandener Retest auf zusätzlichen Märkten, ein gutes Konfidenzniveau aus einer Monte-Carlo-Simulation oder das Überleben eines ganzen Prüf-Trichters sagt etwas über das Verhalten unter diesen konkreten, vergangenen Bedingungen aus. Es sagt nichts darüber, wie sich dieselbe Strategie unter zukünftigen, noch nicht beobachteten Marktbedingungen verhalten wird.

Dieser Beitrag dient der Bildung und ist keine Anlageberatung. Vergangene Ergebnisse, auch aus Backtests, sind keine Garantie für zukünftige Ergebnisse. Der Handel mit Finanzinstrumenten ist mit Risiken verbunden, du kannst Geld verlieren.