Testy odporności strategii handlowych: rodzaje

Zbudowałeś strategię, która dobrze wyglądała w backteście, i teraz wpatrujesz się w listę nazw takich jak Monte Carlo, System Parameter Permutations, Walk-Forward Matrix i „Retest on additional markets”. Które z nich są potrzebne i w jakiej kolejności? Po przeczytaniu tego tekstu będziesz wiedzieć, co oznacza każde z tych sprawdzeń i jak łączą się ze sobą w udokumentowanym przykładzie.

Czemu lista cross-checków na starcie odstrasza

Większość traderów pierwszy raz styka się z testami odporności, gdy strategia już pokazuje dobre liczby w backteście, a program proponuje dodatkowe sprawdzenie. Wtedy pojawia się cała seria nazw, bez jasności, co każda z nich właściwie robi. To nie przypadek: te sprawdzenia nie są jednym krokiem, lecz skrzynką z narzędziami, z których każde odpowiada na inne pytanie.

Co sprawdzają testy odporności i przed czym mają chronić

Testy odporności, zwane też cross-checkami, są opisane jako stały element StrategyQuant. Ich cel: automatyczne sprawdzenie, jak strategia zachowuje się pod presją, na przykład gdy pomija się pojedyncze transakcje albo lekko zmienia wartości parametrów. Pomysł jest prosty: strategia, której wynik rozpada się przy małych zmianach, mogła być zbyt dokładnie dopasowana do dostępnych danych.

Ważna uwaga: przejście tych testów nie dowodzi, że strategia nie jest przeuczona, a dobry wynik w tych symulowanych warunkach nie jest gwarancją przyszłych zysków. Testy pokazują zachowanie pod konkretnymi zakłóceniami, nic więcej.

Cztery wbudowane sprawdzenia w skrócie

Dokumentacja producenta opisuje wbudowane testy odporności jako grupę czterech sprawdzeń: symulacje Monte Carlo, System Parameter Permutations, test Optimization Profile oraz Walk-Forward Matrix. Według dokumentacji te cztery można włączać i wyłączać wspólnie, jako grupę, by przeciwdziałać przeuczeniu. Dokładna nazwa i ułożenie w twojej wersji mogą się nieco różnić od tego opisu, ale sama idea połączonej grupy pozostaje taka sama.

Włączenie tych czterech sprawdzeń razem nie zastępuje własnego przeglądu wyników. Grupa pomaga wcześnie odsiać wyraźnie niestabilne strategie, ale nie zwalnia cię z obowiązku samodzielnego przyjrzenia się tym, które przetrwały.

Jak Robustness Tests Tool działa z Monte Carlo

Za testem Monte Carlo stoi prosty mechanizm: Robustness Tests Tool powtarza test strategii z losowo zmienionymi parametrami wejściowymi i losowo zmienionymi danymi. Z wielu takich powtórzeń powstaje symulacja Monte Carlo, której wynik podawany jest razem z poziomami ufności.

Poziom ufności nie jest obietnicą. Mówi coś o rozrzucie symulowanych przebiegów, nie o tym, co faktycznie wydarzy się na żywo. A sam jeden przebieg Monte Carlo i tak nie wystarczy jako dowód odporności, bo właśnie do tego służy pomysł wielokrotnego powtarzania.

Starsza dokumentacja, obowiązująca do wersji 3.6.1, opisywała tę samą ideę przy ustalonej, ustawianej przez użytkownika liczbie przebiegów testowych: sprawdzano, jak strategia reaguje na małe zmiany danych wejściowych, danych historycznych albo innych elementów. Sama idea wprowadzania drobnych zmian i obserwowania reakcji nie jest więc nowa, nawet jeśli aktualne wersje nazywają ją inaczej albo budują inaczej.

Proste przykład: retest na dodatkowych rynkach

Jednym z bardziej przystępnych sprawdzeń jest retest na dodatkowych rynkach. Ta sama strategia jest testowana ponownie na innych rynkach, czyli na innych symbolach lub innych ramach czasowych niż te, na których ją zbudowano i pierwotnie testowano.

To dobry punkt wyjścia, bo zasadę łatwo zrozumieć: strategia, której logika jest dopasowana tylko do dokładnego przebiegu kursu jednego symbolu, często wypada słabiej na innym symbolu. Przejście tego sprawdzenia nie jest jednak dowodem, że strategia działa na każdym możliwym rynku czy ramie czasowej. Pokazuje tylko, jak zachowała się na tych konkretnych, dodatkowo testowanych rynkach.

Przykładowy lejek: jak cross-checki łączą się w ciąg

Lista sprawdzeń wygląda długo, gdy patrzy się na nią jako na całość. W dokumentacji znajduje się przykład, jak poszczególne cross-checki mogą ułożyć się w kolejność, dzięki czemu nie każda strategia przechodzi przez każde sprawdzenie w pełnej głębi.

W tym przykładzie nowo wygenerowana strategia najpierw jest testowana z najszybszą dostępną precyzją. Jeśli nie przejdzie globalnych filtrów, zostaje automatycznie odrzucona, zanim jakiekolwiek bardziej kosztowne sprawdzenia w ogóle się uruchomią. Tylko strategie, które przetrwają ten pierwszy krok, przechodzą dalej, do dokładniejszych sprawdzeń, na przykład retestu z wyższą precyzją i testu Monte Carlo, który modyfikuje pojedyncze transakcje.

Ważny jest kontekst tego przykładu: to jedna z możliwych konfiguracji, nie przepisany schemat, który każdy projekt musi przejść dokładnie w ten sposób. A przejście przez cały ten lejek wciąż nie dowodzi, że strategia będzie działać na żywo tak samo.

Starsza, pięcioetapowa ścieżka jako tło

Starsza dokumentacja, również obowiązująca do wersji 3.6.1, opisywała pięcioetapową ścieżkę sprawdzania odporności strategii: najpierw przegląd okresu out-of-sample, potem test na dodatkowych symbolach i ramach czasowych, następnie testy odporności oparte na Monte Carlo, a na końcu przegląd powstałych krzywych equity i tabeli poziomów ufności w osobnym widoku analizy odporności.

Ten schemat jest przydatny jako tło, bo pokazuje, że podstawowy pomysł, czyli zastosowanie kilku niezależnych sprawdzeń po sobie, jest częścią tego narzędzia już od dawna. Jako dokładna instrukcja dla aktualnej wersji się nie nadaje: nazwy zakładek i poszczególne kroki w nowszych wersjach mogą wyglądać inaczej.

Co te testy mogą pokazać, a czego nie

Każde z opisanych tu sprawdzeń opiera się na tej samej idei: puszczenie strategii pod symulowanymi zmianami wcześniejszych parametrów, wcześniejszych transakcji albo wcześniejszych danych i obserwacja, co się dzieje. To przydatny filtr, który pomaga wychwycić strategie, których dobry wynik backtestu zależał tylko od bardzo konkretnych warunków.

Czego te testy nie dają, to dowodu na przyszłość. Zaliczony retest na dodatkowych rynkach, dobry poziom ufności z symulacji Monte Carlo albo przetrwanie całego lejka sprawdzeń mówi coś o zachowaniu w tych konkretnych, minionych warunkach. Nie mówi nic o tym, jak ta sama strategia zachowa się w przyszłych, jeszcze nieobserwowanych warunkach rynkowych.

Ten artykuł ma charakter edukacyjny i nie stanowi porady inwestycyjnej. Wyniki historyczne, także z backtestów, nie gwarantują przyszłych wyników. Handel instrumentami finansowymi wiąże się z ryzykiem i możesz stracić pieniądze.