In-Sample a Out-of-Sample v tradingu

Optimalizuješ strategii v StrategyQuant X, backtest běží zeleně, metriky vypadají slušně. A přesto zůstává otevřená otázka: našla strategie pravidlo, které má nějaký význam i mimo tuto jednu křivku, nebo se jen těsně přimkla k minulosti? Přesně pro tuto otázku existuje oddělení dat in-sample a out-of-sample.

V tomto článku uvidíš, co konkrétně znamenají data in-sample a out-of-sample v StrategyQuant X, jak číst poměr OOS/IS v databance a kde jsou hranice této metody.

Proč musí část dat zůstat nedotčená

Strategie vzniká tak, že se pravidla a parametry testují a upravují na historických kurzových datech. Když při tom použiješ celou dostupnou historii, testuješ nakonec přesně na datech, kterým se strategie už přizpůsobila. Výsledek pak vypadá téměř vždy dobře, ale říká málo o tom, jestli strategie našla skutečný vzorec, nebo jen obkreslila náhodné výkyvy této jedné křivky.

Proto se historie dělí na dvě části: jedna část na stavění a jedna část na ověřování, která při stavění zůstává stranou.

Data in-sample: pracovní stůl pro tvou strategii

Data in-sample, zkráceně IS, jsou část historických kurzových dat, se kterou strategii vyvíjíš a optimalizuješ. Parametry, pravidla a indikátory se na těchto datech nastavují tak, aby se ukázal nejlepší pozorovaný výsledek.

To je normální postup při stavění strategie v StrategyQuant X a je také nutný: bez dat na testování nápadů by se nedalo vůbec nic nastavit. Důležité je jen to, co toto číslo neznamená. Silný výsledek na datech in-sample neříká nic o tom, jak se strategie později zachová v živém obchodování. Ukazuje pouze to, jak dobře se pravidla přizpůsobila přesně tomuto výseku minulosti.

Data out-of-sample: nedotčený zkušební kámen

Data out-of-sample, zkráceně OOS, jsou oddělená část historie, kterou strategie během vývoje nikdy nevidí. Schovává se výhradně na testování a validaci a nevstupuje do optimalizace. To udržuje ověření nezávislé na tom, co se stalo při stavění.

Aby toto oddělení něco znamenalo, musí být skutečně dodržena jedna podmínka: data out-of-sample musí během optimalizace opravdu zůstat nedotčená. Jakmile se v jakékoli formě vrátí do vývojového procesu, oddělení existuje už jen na papíře.

Rozdělení IS/OOS jako základní kontrola proti sebeklamu

Rozdělení na in-sample a out-of-sample se považuje za jednu ze základních kontrol robustnosti: strategie, která byla postavena jen na datech, na kterých se také měří, nedává poctivý obrázek. Pokud se navíc měří na datech, která nikdy neviděla, vznikne obrázek, který se blíží realitě víc, než kdybys ji posuzoval jen podle dat, na která byla přizpůsobena.

I tady platí stejná podmínka jako u samotné definice: kontrola funguje jen tehdy, když out-of-sample část zůstane při hledání dobrých parametrů skutečně stranou. A i když se to podaří, zvládnutý out-of-sample test je náznak, ne důkaz toho, že strategie funguje v live obchodování.

Poměr OOS/IS v databance

V databance StrategyQuant X najdeš poměr OOS/IS. Tento ukazatel srovnává výkonnostní hodnoty strategie v out-of-sample období s hodnotami v in-sample období a vyjadřuje, jak výrazně se výsledky zhoršily mimo data, na kterých byla strategie postavena.

Ukazatel se počítá v modulu Databank poté, co optimalizační nebo walk-forward běh poskytl jak in-sample, tak out-of-sample výsledky. Není to tedy hodnota, kterou jen tak odečteš, ale výsledek, který vznikne až po úplném běhu s oběma částmi dat.

Co prozradí špatný poměr a co dobrý neprokazuje

Když výkonnost z in-sample na out-of-sample výrazně klesne, projeví se to slabým poměrem OOS/IS. To obvykle ukazuje na jednu ze dvou příčin: strategie byla přeoptimalizovaná na in-sample data, tedy příliš těsně přizpůsobená detailům tohoto jediného průběhu, nebo se mezi oběma obdobími posunuly tržní podmínky. Dobré výsledky v obou obdobích se naopak čtou jako náznak směrem k robustnosti.

Přitom zůstává důležité jedno omezení: toto čtení platí pro přesně ten nástroj, to časové rozpětí a to rozdělení období, které byly použity pro tento jeden test. Dobrý poměr neprokazuje, že strategie je bez přeoptimalizování, a také spolehlivě nerozliší, jestli slabý poměr způsobila strategie, nebo tržní prostředí. Je to indicie, kterou čteš spolu s dalšími kontrolami, ne samostatný rozsudek.

Viditelné v záložce Results: IS a OOS jako barevná pásma

Po proběhnutí walk-forward se jednotlivé obchody v záložce Results označí podle nastavení walk-forward jako In-Sample nebo Out-of-Sample. Equity křivka navíc obě období zobrazuje jako různě obarvená pásma na pozadí, takže je oddělení vidět na první pohled.

Toto obarvení je orientační pomůcka, ne hodnocení kvality. Ukazuje ti, která fáze leží kde v časovém průběhu, samo o sobě ale neříká, jestli si strategie v Out-of-Sample fázi skutečně vedla dobře. Kvůli tomu se dál díváš na samotné metriky, třeba na poměr OOS/IS.

Co ti toto oddělení neříká

Čistý out-of-sample test na historické datové řadě zůstává testem na minulých datech. Řekne ti, jak by se strategie chovala v přesně tomto výřezu minulosti, kdyby parametry byly stanoveny už předtím. Neříká ti, jak se stejná strategie bude chovat na tržních datech, která ještě neexistují.

Navíc celé to oddělení funguje jen tak dlouho, dokud out-of-sample část zůstává skutečně nedotčená. Když se během vývoje opakovaně díváš na stejné out-of-sample okno a podle toho strategii měníš, toto poznání postupně přece jen vstupuje do vývoje, i když čísla přímo do optimalizace nezadáváš. Out-of-sample data pak už nejsou skutečně neznámá a test ztrácí přesně tu hodnotu, pro kterou byl zamýšlen.

To nedělá z IS/OOS rozdělení něco zbytečného. Zůstává smysluplnou základní kontrolou proti té nejzjevnější formě sebeklamu, totiž optimalizaci mimo vlastní data. nenahrazuje ale další testy a dobrý historický výsledek nemění v příslib do budoucnosti.

Tento článek slouží ke vzdělávání a není investičním poradenstvím. Minulé výsledky, včetně výsledků backtestů, nezaručují budoucí výsledky. Obchodování s finančními instrumenty je spojeno s riziky a můžeš přijít o peníze.