Přeučení obchodní strategie: když backtest vypadá až moc dobře

Máš před sebou backtest, který vypadá, jako by nikdy nepoznal ztrátu. Křivka roste téměř bez přerušení, ukazatele jsou silné, a přesto zůstává otázka: našla tahle strategie skutečnou výhodu, nebo byla jen tak dlouho otáčena, až se přizpůsobila minulosti? Přesně tahle otázka stojí za pojmem overfitting. Na konci tohoto článku budeš vědět, co znamenají overfitting a curve fitting, proč počet optimalizovaných parametrů mění riziko, a jaké nástroje proti tomu StrategyQuant X nabízí: cross checks, multimarketovou analýzu, Monte-Carlo simulaci, volitelný plugin Overfit Risk Score a analýzu po optimalizaci. Na konci je také otevřeně řečeno, co ti tyhle kontroly mohou ukázat a co ne.

Co znamenají overfitting a curve fitting

Overfitting označuje přizpůsobení strategie přesně těm historickým datům, na kterých byla postavena. Dokumentace StrategyQuant to popisuje jako největší nebezpečí u strategií, které se staví pomocí generovacích metod ve stylu strojového učení. To neznamená, že strategie stavěné ručně by byly automaticky bezpečné, k tomu zdroj nic neříká, varování se výslovně vztahuje na tento způsob stavby.

Curve fitting je úzce příbuzný a popisuje, že se strategie tak dlouho přizpůsobuje minulosti, až v backtestu vypadá dobře, aniž by za tím musela stát skutečná výhoda. V komunitě slyšíš oba pojmy často v jedné větě. Popisují dvě strany téhož problému: přizpůsobení tomu, co bylo, místo tomu, co se vrací.

Proč víc optimalizovaných parametrů zvyšuje riziko

Každý parametr, který v optimalizačním běhu uvolníš, dává algoritmu další možnost přizpůsobit se zvláštnostem přesně těchto cenových dat. Čím víc jich je zároveň otevřených, tím snáz optimalizace najde kombinaci, která náhodou sedí na minulost, aniž by za ní stála nosná logika. Dokumentace proto uvádí: menší počet optimalizovatelných parametrů dělá strategii zpravidla robustnější. To neznamená, že strategie s málo parametry je automaticky prostá overfittingu, na to chybí důkaz. Méně šroubů, kterými se dá točit, snižuje příležitost pro overfitting, nevylučuje ho.

Co se ukáže při pohledu na out-of-sample data

Výrazný pokles výkonu se často ukáže teprve tehdy, když strategie narazí na nová, neviděná data, tedy v out-of-sample testu. Dokumentace popisuje tento pokles výkonu jako deterioraci strategie a uvádí dvě možné příčiny: overfitting na in-sample data nebo změněné tržní podmínky, kterým se strategie nedokáže přizpůsobit. Horší výsledek v out-of-sample testu je náznak, ne důkaz. Nemůžeš z něj automaticky vyvodit, že příčinou byl overfitting, trh se mezitím mohl také jednoduše změnit. Pro tebe jako tradera to znamená: zklamáním výsledek v out-of-sample testu je podnět podívat se blíž, ne automatický rozsudek. A i strategie, která tímto srovnáním projde, byla tím ověřena jen na minulých datech. Žádná z těchto zkoušek ti předem neřekne, jak se strategie zachová za skutečných, budoucích tržních podmínek.

StrategyQuant X na to nabízí několik nástrojů. Nejlépe je pochopíš jako různé úhly pohledu na stejnou otázku, ne jako jediný nástroj, který ti dá konečný rozsudek.

Cross Checks: vestavěná kontrola robustnosti

Cross Checks jsou v dokumentaci popsané jako pevná součást StrategyQuant X. Testy robustnosti a ochrana proti overfittingu mají pomoct zajistit, že strategie má skutečnou výhodu a nevypadá jen dobře. To je popis výrobce k účelu nástroje, ne nezávislé měření na konkrétní strategii. Nástroj ti něco ukáže, neřeší tu otázku za tebe.

Několik trhů jako dodatečná zkouška

Další kontrola z dokumentace spočívá v tom, podívat se, jestli vygenerovaná strategie funguje i na několika trzích, ne jen na tom, pro který byla postavena. To je jedna z popsaných cest, jak vyloučit overfitting při analýze strategie v StrategyQuant X. Nastavíš k tomu další trhy a postupuješ podle popsaného multimarketového workflow s mediánovými snippety v databance. I tady platí: úspěšně prošlý multimarketový check nedokazuje, že strategie je bez overfittingu. Je to dodatečná zkouška za jiných podmínek, nic víc.

Monte Carlo simulace: mnoho běhů, jeden pohled na rozptyl

Analýza Monte Carlo v StrategyQuant stojí na tom, že se stejná simulace mnohokrát zopakuje s malými náhodnými změnami. Dokumentace uvádí: čím víc opakování necháš proběhnout, tím spolehlivější bude statistické rozdělení, které z toho vznikne. Důležité při tom je: tahle metoda pracuje s minulými, simulovanými obchodními daty. Není to předpověď budoucích výsledků strategie, je to obraz toho, jak silně minulý výsledek závisí na malých náhodách.

Overfit Risk Score pro filtry

Popsaný plugin umí při každém použití filtrů spočítat Overfit Risk Score, se stupni nízká, střední a vysoká. Základem je počet aktivních filtrů, podíl odfiltrovaných obchodů a to, jestli se používají takzvané hindsight filtry, tedy filtry upravené zpětně na už známé výsledky. Tenhle nástroj pochází od autora z týmu StrategyQuant, který píše pod firemní adresou, a platí tedy za oficiální příspěvek, ne za dokumentovaný základní rys softwaru. Ani nízké skóre nedokazuje, že strategie neobsahuje overfitting, hodnotí jen logiku filtrů, kterou jsi právě použil.

Způsob stavby: Random Generation, data mining a klasická metoda

Dokumentace popisuje Random Generation jako režim stavby, který má být méně náchylný k overfittingu, protože se strategie po postavení dál neoptimalizuje ani nezušlechťuje. Tak to stojí v části o výhodách tohoto režimu. Neznamená to, že Random Generation overfitting vylučuje, jen to, že chybí jeden konkrétní krok, ve kterém by jinak vzniknout mohl.

Vedle toho dokumentace rozlišuje klasický, ručně postavený přístup bez data miningu, jako při stavbě strategie v AlgoWizardu, a data mining, při kterém se testuje velké množství pravidel, aby se našla strategie s nejvyšším pozorovaným historickým výkonem. Tohle rozlišení je myšlené jako rámec, ne jako návod krok za krokem. Zdroj neříká, že data mining automaticky nese vyšší riziko overfittingu než klasický způsob stavby, chybí pro to důkaz.

Analýza po optimalizaci: Optimization Profile a Parameter Permutation

Optimization Profile i System Parameter Permutation předpokládají, že nejdřív proběhl optimalizační běh. Metody pak vyhodnocují výsledky všech běhů této optimalizace. Nahrazují out-of-sample test, přidávají se po něm a ukazují ti, jak citlivě výsledek reaguje na malé změny parametrů.

Co tyhle zkoušky ukazují a co ne

Cross Checks, multimarketová analýza a Monte Carlo simulace dohromady dávají výrazně úplnější obraz než jeden samotný backtest. Přesto zůstává hranice, kterou žádná z těchto zkoušek neodstraní: každá z nich pracuje s minulými nebo simulovanými daty. Žádná z nich ti předem nepotvrdí, jak se strategie zachová za skutečných, budoucích tržních podmínek. Čistý backtest, prošlý Cross Check nebo stabilní rozdělení Monte Carlo jsou známky, které mohou podpořit tvůj odhad. Důkaz budoucích výsledků to není ani jedno.

Když budeš příště sedět před bezchybnou křivkou, vyplatí se otázka, kolik parametrů bylo optimalizováno, jestli strategie funguje na několika trzích a co rozdělení Monte Carlo říká o rozptylu. Jedna odpověď většinou nestačí, několik úhlů pohledu dohromady už spíš.

Tento článek slouží ke vzdělávání a není investičním poradenstvím. Minulé výsledky, včetně výsledků backtestů, nezaručují budoucí výsledky. Obchodování s finančními instrumenty je spojeno s riziky a můžeš přijít o peníze.