In-Sample und Out-of-Sample im Trading: Die Trennung, die schützt

Du optimierst eine Strategie in StrategyQuant X, der Backtest läuft grün, die Kennzahlen sehen ordentlich aus. Und trotzdem bleibt eine Frage offen: hat die Strategie eine Regel gefunden, die auch außerhalb dieser einen Kurve etwas bedeutet, oder hat sie sich nur eng an die Vergangenheit angeschmiegt? Genau für diese Frage gibt es die Trennung zwischen In-Sample- und Out-of-Sample-Daten.

In diesem Artikel siehst du, was In-Sample- und Out-of-Sample-Daten in StrategyQuant X konkret bedeuten, wie die OOS/IS-Ratio in der Databank zu lesen ist und wo die Grenzen dieser Methode liegen.

Warum ein Teil der Daten unberührt bleiben muss

Eine Strategie entsteht, indem Regeln und Parameter an historischen Kursdaten geprüft und angepasst werden. Wenn du dabei die gesamte verfügbare Historie benutzt, prüfst du am Ende an genau den Daten, an die sich die Strategie schon angepasst hat. Das Ergebnis sieht dann fast immer gut aus, es sagt aber wenig darüber, ob die Strategie ein echtes Muster gefunden hat oder nur die Zufallsschwankungen dieser einen Kurve nachgezeichnet hat.

Deshalb wird die Historie in zwei Teile geteilt: einen Teil zum Bauen und einen Teil zum Prüfen, der beim Bauen außen vor bleibt.

In-Sample-Daten: die Werkbank für deine Strategie

Die In-Sample-Daten, kurz IS, sind der Teil der historischen Kursdaten, mit dem du eine Strategie entwickelst und optimierst. Parameter, Regeln und Indikatoren werden auf diesen Daten so eingestellt, dass sich das beste beobachtete Ergebnis zeigt.

Das ist der normale Ablauf beim Bauen einer Strategie in StrategyQuant X, und er ist auch nötig: ohne Daten zum Testen der Ideen ließe sich gar nichts einstellen. Wichtig ist nur, was diese Zahl nicht bedeutet. Ein starkes Ergebnis auf den In-Sample-Daten sagt nichts darüber, wie sich die Strategie später im Live-Handel verhält. Es zeigt lediglich, wie gut sich die Regeln an genau diesen Ausschnitt der Vergangenheit angepasst haben.

Out-of-Sample-Daten: der unberührte Prüfstein

Die Out-of-Sample-Daten, kurz OOS, sind ein getrennter Teil der Historie, den die Strategie während der Entwicklung nie zu sehen bekommt. Er wird ausschließlich zum Testen und Validieren aufgehoben und fließt nicht in die Optimierung ein. Das hält die Prüfung unabhängig von dem, was beim Bauen passiert ist.

Damit diese Trennung etwas wert ist, muss eine Bedingung wirklich eingehalten werden: die Out-of-Sample-Daten dürfen während der Optimierung tatsächlich unberührt bleiben. Sobald sie in irgendeiner Form in den Entwicklungsprozess zurückfließen, ist die Trennung nur noch auf dem Papier vorhanden.

Der IS/OOS-Split als Grundcheck gegen Selbstbetrug

Die Aufteilung in In-Sample und Out-of-Sample gilt als einer der grundlegenden Robustheitschecks: eine Strategie, die nur an Daten gebaut wurde, an denen sie auch gemessen wird, gibt kein ehrliches Bild. Wird sie zusätzlich an Daten gemessen, die sie nie gesehen hat, entsteht ein Bild, das der Realität näherkommt, als wenn du sie nur an den Daten beurteilst, an die sie angepasst wurde.

Auch hier gilt die gleiche Bedingung wie bei der Definition selbst: der Check funktioniert nur, wenn der Out-of-Sample-Teil während der Suche nach guten Parametern wirklich außen vor bleibt. Und selbst wenn das gelingt, ist ein bestandener Out-of-Sample-Test ein Hinweis, kein Beweis dafür, dass die Strategie im Live-Handel funktioniert.

Die OOS/IS-Ratio in der Databank

In der Databank von StrategyQuant X findest du die OOS/IS-Ratio. Diese Kennzahl vergleicht die Performance-Werte einer Strategie in der Out-of-Sample-Periode mit denen in der In-Sample-Periode und drückt aus, wie stark sich die Ergebnisse außerhalb der Daten verschlechtert haben, auf denen die Strategie gebaut wurde.

Die Kennzahl wird im Databank-Modul berechnet, nachdem ein Optimierungs- oder Walk-Forward-Lauf sowohl In-Sample- als auch Out-of-Sample-Ergebnisse geliefert hat. Sie ist also kein Wert, den du einfach abliest, sondern ein Ergebnis, das erst nach einem vollständigen Lauf mit beiden Datenteilen entsteht.

Was eine schlechte Ratio verrät, und was eine gute nicht beweist

Fällt die Performance von In-Sample zu Out-of-Sample deutlich ab, zeigt sich das in einer schwachen OOS/IS-Ratio. Das deutet in der Regel auf eine von zwei Ursachen hin: die Strategie wurde an die In-Sample-Daten überangepasst, also zu eng auf Details dieser einen Kurve zurechtgeschnitten, oder die Marktbedingungen haben sich zwischen den beiden Perioden verschoben. Gute Ergebnisse in beiden Perioden werden dagegen als Hinweis in Richtung Robustheit gelesen.

Dabei bleibt eine Einschränkung wichtig: diese Lesart gilt für genau das Instrument, den Zeitrahmen und die Periodeneinteilung, die für diesen einen Test verwendet wurden. Eine gute Ratio beweist nicht, dass die Strategie frei von Überanpassung ist, und sie trennt auch nicht mit Sicherheit, ob eine schwache Ratio an der Strategie oder am Marktumfeld liegt. Sie ist ein Indiz, das du zusammen mit anderen Prüfungen liest, kein Urteil für sich allein.

Sichtbar im Results-Tab: IS und OOS als farbige Bänder

Nach einem Walk-Forward-Lauf werden die einzelnen Trades im Results-Tab anhand der Walk-Forward-Einstellungen als In-Sample oder Out-of-Sample gekennzeichnet. Die Equity-Kurve zeigt die beiden Perioden zusätzlich als unterschiedlich eingefärbte Hintergrundbänder, sodass die Trennung auf einen Blick sichtbar wird.

Diese Einfärbung ist eine Orientierungshilfe, kein Qualitätsurteil. Sie zeigt dir, wo im zeitlichen Verlauf welche Phase liegt, sie sagt aber für sich genommen nichts darüber aus, ob die Strategie in der Out-of-Sample-Phase tatsächlich gut abgeschnitten hat. Dafür schaust du weiterhin auf die Kennzahlen selbst, etwa die OOS/IS-Ratio.

Was diese Trennung dir nicht sagt

Ein sauberer Out-of-Sample-Test auf einer historischen Datenreihe bleibt ein Test auf vergangenen Daten. Er sagt dir, wie sich eine Strategie in genau diesem Ausschnitt der Vergangenheit verhalten hätte, wenn die Parameter schon vorher feststanden. Er sagt dir nicht, wie sich dieselbe Strategie auf Marktdaten verhält, die es noch gar nicht gibt.

Außerdem funktioniert die ganze Trennung nur so lange, wie der Out-of-Sample-Teil wirklich unberührt bleibt. Wenn du während der Entwicklung immer wieder auf dasselbe Out-of-Sample-Fenster schaust und die Strategie danach änderst, fließt dieses Wissen Schritt für Schritt doch in die Entwicklung ein, auch ohne dass du die Zahlen direkt in die Optimierung einträgst. Die Out-of-Sample-Daten sind dann nicht mehr wirklich unbekannt, und die Prüfung verliert genau den Wert, für den sie gedacht war.

Das macht den IS/OOS-Split nicht nutzlos. Er bleibt ein sinnvoller Grundcheck gegen die offensichtlichste Form der Selbsttäuschung, an den eigenen Daten vorbeizuoptimieren. Er ersetzt aber keine weiteren Prüfungen, und er verwandelt ein gutes historisches Ergebnis nicht in ein Versprechen für die Zukunft.

Dieser Beitrag dient der Bildung und ist keine Anlageberatung. Vergangene Ergebnisse, auch aus Backtests, sind keine Garantie für zukünftige Ergebnisse. Der Handel mit Finanzinstrumenten ist mit Risiken verbunden, du kannst Geld verlieren.