Testy robustnosti obchodních strategií: přehled typů

Postavil jsi strategii, která v backtestu vypadala dobře, a teď zíráš na seznam názvů jako Monte Carlo, System Parameter Permutations, matice walk-forward a „Retest on additional markets“. Které z nich potřebuješ a v jakém pořadí? Na konci tohoto textu budeš vědět, co jednotlivé kontroly znamenají a jak na sebe navazují v doloženém příkladu.

Proč seznam křížových kontrol na začátku odrazuje

Většina traderů se s testy robustnosti poprvé setká ve chvíli, kdy strategie už v backtestu vykazuje dobrá čísla a software nabízí, že ji navíc prověří. Pak se objeví celá řada označení, aniž by bylo hned jasné, co každé jedno z nich vlastně dělá. Není to náhoda: tyto kontroly nejsou jediný krok, ale sada nástrojů s různými nástroji pro různé otázky.

Co testy robustnosti prověřují a proti čemu mají pomáhat

Testy robustnosti, nazývané také křížové kontroly, jsou popsány jako pevná součást StrategyQuant. Jejich účel: automaticky prověřit, jak se strategie chová pod tlakem, například když se některé obchody vynechají nebo se hodnoty parametrů mírně změní. Myšlenka za tím je jednoduchá: strategie, jejíž výsledek se zhroutí už při malých změnách, byla možná příliš přesně přizpůsobená dostupným datům.

Důležité přitom je: absolvování těchto testů nedokazuje, že strategie není přeoptimalizovaná, a robustní výsledek za těchto simulovaných podmínek není zárukou budoucích zisků. Testy ukazují chování za určitých poruch, nic víc.

Čtyři vestavěné kontroly v přehledu

Dokumentace výrobce popisuje vestavěné testy robustnosti jako skupinu čtyř kontrol: Monte Carlo simulace, System Parameter Permutations, kontrolu Optimization Profile a matici walk-forward. Tyto čtyři lze podle dokumentace zapnout nebo vypnout společně jako skupinu, aby se zabránilo přeoptimalizování. Přesné označení a uspořádání ve tvé verzi se může od tohoto přehledu mírně lišit, princip sdružené skupiny ale zůstává stejný.

Propojení těchto čtyř kontrol nenahrazuje vlastní prohlédnutí výsledků. Skupina pomáhá včas vyřadit zjevně křehké strategie, ale nezbavuje tě toho, abys sám prošel přeživší kandidáty.

Jak nástroj Robustness Tests pracuje s Monte Carlem

Za kontrolou Monte Carlo stojí jednoduchý mechanismus: nástroj Robustness Tests opakuje test strategie s náhodně pozměněnými vstupními parametry a náhodně pozměněnými daty. Z těchto mnoha opakování vzniká simulace Monte Carlo, jejíž výsledek se uvádí spolu s konfidenčními úrovněmi.

Konfidenční úroveň přitom není žádný slib. Říká něco o rozptylu simulovaných běhů, ne o tom, co se skutečně děje v live provozu. A jeden jediný běh Monte Carlo jako úroveň důkazu robustnosti stejně nestačí, právě k tomu je ostatně určena myšlenka opakování.

Starší dokumentace, která platila pro verze do 3.6.1, popisovala stejný základní princip s pevným počtem testovacích běhů, který si nastavil uživatel: strategie se prověřovala, jak reaguje na malé změny ve vstupech, historických datech nebo dalších částech. Základní princip, tedy vkládat malé změny a sledovat reakci, tedy není nový, i když ho aktuální verze mohou nazývat jinak nebo jinak sestavovat.

Jednoduchý příklad: retest na dalších trzích

Jedna z názornějších kontrol je retest na dalších trzích. Při něm se stejná strategie znovu testuje na jiných trzích, tedy na jiných symbolech nebo jiných časových rámcích, než na kterých byla původně postavena a testována.

To je dobrý začátek, protože princip se dá snadno pochopit: strategie, jejíž logika je ušitá přesně na konkrétní průběh cen jediného symbolu, si na jiném symbolu často povede hůř. Projít touto zkouškou ale není důkaz, že strategie funguje na libovolném trhu nebo časovém rámci. Ukazuje jen, jak se chovala na konkrétně testovaných dalších trzích.

Příklad trychtýře: jak na sebe cross-checky navazují

Seznam zkoušek vypadá dlouze, když se na něj díváš jako na celek. V dokumentaci je příklad toho, jak na sebe jednotlivé cross-checky mohou v určitém pořadí navazovat, takže ne každá strategie projde každou zkoušku do plné hloubky.

V tomto příkladu se nově vygenerovaná strategie nejdřív testuje s nejrychlejší dostupnou přesností. Když neprojde globálními filtry, automaticky se zahodí, aniž by vůbec proběhly další, náročnější zkoušky. Teprve strategie, které projdou tímto prvním krokem, se posílají dál k přesnějším zkouškám, třeba k retestu s vyšší přesností a k Monte-Carlo zkoušce, která manipuluje s jednotlivými obchody.

Důležitý je rámec tohoto příkladu: je to jedna možná konfigurace, ne předepsaný postup, kterým musí každý projekt projít přesně takhle. A i kdo projde celým tímhle trychtýřem, tím ještě neukázal, že strategie bude naživo fungovat stejně.

Starší cesta o pěti krocích jako pozadí

Starší dokumentace, také pro verze do 3.6.1, popisovala pětikrokovou cestu, jak ověřit robustnost strategie: nejdřív projít out-of-sample období, pak testovat na dalších symbolech a časových rámcích, potom spustit robustnostní testy založené na Monte Carlu a nakonec v samostatném zobrazení pro analýzu robustnosti projít vzniklé equity křivky a tabulku hladin spolehlivosti.

Tenhle postup je užitečný jako pozadí, protože ukazuje, že základní myšlenka použít několik nezávislých ověření jedno po druhém je součástí nástroje už delší dobu. Jako přesný návod pro aktuální verzi ale neposlouží: názvy záložek a jednotlivé kroky mohou v novějších verzích vypadat jinak.

Co tyhle testy mohou ukázat a co ne

Každé z ověření popsaných tady stojí na stejné základní myšlence: nechat strategii běžet pod simulovanými změnami minulých parametrů, minulých obchodů nebo minulých dat a sledovat, co se stane. To je užitečný filtr pro odhalení strategií, jejichž dobrý výsledek v backtestu byl vázaný jen na velmi specifické podmínky.

Co tyhle testy nedávají, je důkaz do budoucnosti. Úspěšný retest na dalších trzích, dobrá hladina spolehlivosti z Monte Carlo simulace nebo přežití celého ověřovacího trychtýře vypovídá něco o chování za těchto konkrétních, minulých podmínek. Nevypovídá nic o tom, jak se stejná strategie bude chovat za budoucích, dosud nepozorovaných tržních podmínek.

Tento článek slouží ke vzdělávání a není investičním poradenstvím. Minulé výsledky, včetně výsledků backtestů, nezaručují budoucí výsledky. Obchodování s finančními instrumenty je spojeno s riziky a můžeš přijít o peníze.