Overfitting nelle strategie di trading: backtest troppo belli

Hai davanti un backtest che sembra non aver mai conosciuto una perdita. La curva sale quasi senza interruzioni, gli indicatori sono forti, eppure resta una domanda: questa strategia ha trovato un vantaggio reale, o è stata semplicemente girata e rigirata finché non si è adattata al passato? Proprio questa domanda sta dietro al termine overfitting. Alla fine di questo articolo saprai cosa significano overfitting e curve fitting, perché il numero di parametri ottimizzati cambia il rischio, e quali strumenti offre StrategyQuant X contro questo fenomeno: cross check, analisi multimercato, simulazione Monte Carlo, un plugin opzionale Overfit Risk Score e l'analisi dopo l'ottimizzazione. Alla fine resta anche detto apertamente cosa queste verifiche possono mostrarti e cosa no.

Cosa significano overfitting e curve fitting

L'overfitting indica l'adattamento di una strategia esattamente ai dati storici sui quali è stata costruita. La documentazione di StrategyQuant lo descrive come il pericolo maggiore per le strategie costruite con metodi di generazione in stile machine learning. Questo non significa che le strategie costruite a mano siano automaticamente sicure, su questo la fonte non si esprime, l'avvertimento si riferisce esplicitamente a quel modo di costruire.

Il curve fitting è strettamente imparentato e descrive il fatto che una strategia viene tagliata su misura sul passato finché non appare buona nel backtest, senza che debba esserci dietro un vantaggio reale. Nella community senti spesso entrambi i termini nello stesso respiro. Descrivono due lati dello stesso problema: l'adattamento a ciò che è stato, invece che a ciò che ritorna.

Perché più parametri ottimizzati aumentano il rischio

Ogni parametro che liberi nel processo di ottimizzazione dà all'algoritmo un'ulteriore possibilità di adattarsi alle particolarità di questi esatti dati di prezzo. Quanti più sono aperti contemporaneamente, tanto più facilmente l'ottimizzazione trova una combinazione che per caso si adatta al passato, senza che ci sia dietro una logica sostenibile. La documentazione rileva perciò: un numero minore di parametri ottimizzabili rende una strategia tendenzialmente robusta. Questo non significa che una strategia con pochi parametri sia automaticamente libera da overfitting, su questo manca la prova. Meno viti da girare riducono l'occasione per l'overfitting, non la escludono.

Cosa emerge guardando i dati out-of-sample

Un calo evidente della performance spesso si mostra solo quando una strategia incontra dati nuovi e mai visti, cioè nel test out-of-sample. La documentazione descrive questo calo di performance come deterioramento della strategia e indica due possibili cause: overfitting sui dati in-sample oppure condizioni di mercato cambiate, a cui la strategia non riesce ad adattarsi. Un risultato peggiore nel test out-of-sample è un indizio, non una prova. Da questo non puoi concludere automaticamente che la causa sia stata l'overfitting, nel frattempo il mercato può anche essersi semplicemente modificato. Per te come trader questo significa: un risultato out-of-sample deludente è un motivo per guardare più da vicino, non un giudizio automatico. E anche una strategia che supera questo confronto è stata comunque verificata solo su dati passati. Nessuna di queste verifiche ti dice in anticipo come si comporterà la strategia in condizioni di mercato reali e future.

StrategyQuant X offre diversi strumenti per questo. È meglio intenderli come punti di vista diversi sulla stessa domanda, non come un singolo strumento che ti dà un giudizio definitivo.

Cross Checks: il controllo integrato sulla robustezza

I Cross Checks sono descritti nella documentazione come parte fissa di StrategyQuant X. I test di robustezza e la protezione dall'overfitting servono a dare una mano ad assicurarsi che una strategia abbia un vantaggio reale e non appaia soltanto buona. Questa è la descrizione del produttore sullo scopo dello strumento, non una misurazione indipendente su una strategia concreta. Lo strumento ti mostra qualcosa, non decide la questione per te.

Più mercati come prova aggiuntiva

Un'altra verifica dalla documentazione consiste nel guardare se una strategia generata funziona anche su più mercati, non solo su quello per cui è stata costruita. È una delle strade descritte per escludere l'overfitting nell'analisi delle strategie in StrategyQuant X. Per farlo imposti mercati aggiuntivi e segui il flusso di lavoro multimarket descritto con snippet mediani nella databank. Vale anche qui: un controllo multimarket superato non dimostra che la strategia sia priva di overfitting. È una prova aggiuntiva in altre condizioni, niente di più.

Simulazione Monte Carlo: molte esecuzioni, uno sguardo alla dispersione

L'analisi Monte Carlo in StrategyQuant si basa sul ripetere la stessa simulazione molte volte con piccole variazioni casuali. La documentazione riporta: più ripetizioni esegui, più affidabile diventa la distribuzione statistica che ne deriva. Importante: questo metodo lavora con dati di trading passati e simulati. Non è una previsione dei risultati futuri della strategia, ma un'immagine di quanto il risultato passato dipenda da piccoli casi casuali.

L'Overfit Risk Score per i filtri

Un plugin descritto può calcolare un Overfit Risk Score a ogni applicazione di filtri, con i livelli basso, medio e alto. Alla base ci sono il numero dei filtri attivi, la quota di trade filtrati via e se vengono usati cosiddetti filtri hindsight, cioè filtri ritagliati a posteriori su risultati già noti. Questo strumento viene da un autore del team di StrategyQuant, che scrive sotto un indirizzo aziendale, e vale quindi come contributo ufficiale, non come caratteristica centrale documentata del software. Anche un punteggio basso non dimostra che una strategia non contenga overfitting, valuta solo la logica dei filtri che hai appena applicato.

Modo di costruzione: Random Generation, Data Mining e il metodo classico

La documentazione descrive Random Generation come una modalità di costruzione meno soggetta all'overfitting, perché la strategia dopo la costruzione non viene ulteriormente ottimizzata o rifinita. Questo è quanto sta nella sezione sui vantaggi di questa modalità. Non significa che Random Generation escluda l'overfitting, ma solo che manca un determinato passo nel quale altrimenti può nascere.

Accanto a questo la documentazione distingue tra un approccio classico, costruito a mano senza Data Mining, come nella costruzione di una strategia nell'AlgoWizard, e il Data Mining, in cui viene testato un gran numero di regole per trovare la strategia con la più alta performance storica osservata. Questa distinzione è pensata come inquadramento, non come istruzione passo per passo. La fonte non dice che il Data Mining comporti automaticamente più rischio di overfitting rispetto al modo di costruzione classico, manca la prova.

Analisi dopo l'ottimizzazione: Optimization Profile e Parameter Permutation

Optimization Profile e System Parameter Permutation presuppongono entrambi che prima sia stata eseguita un'ottimizzazione. I metodi valutano poi i risultati di tutte le esecuzioni di questa ottimizzazione. Non sostituiscono il test out-of-sample, si aggiungono dopo e ti mostrano quanto il risultato reagisca con sensibilità a piccole modifiche dei parametri.

Cosa mostrano queste verifiche e cosa non mostrano

Cross Check, analisi multimarket e simulazione Monte Carlo insieme danno un quadro decisamente più completo di un singolo backtest da solo. Resta comunque un limite che nessuna di queste verifiche può eliminare: ognuna di esse lavora con dati passati o simulati. Nessuna di esse può confermarti in anticipo come si comporterà una strategia in condizioni di mercato reali e future. Un backtest pulito, un Cross Check superato o una distribuzione Monte Carlo stabile sono indizi che possono sostenere la tua valutazione. Una prova per i risultati futuri non lo è nessuno di questi.

La prossima volta che ti trovi davanti a una curva impeccabile, vale la pena chiedersi quanti parametri sono stati ottimizzati, se la strategia funziona su più mercati e cosa dice la distribuzione Monte Carlo sulla dispersione. Una sola risposta basta raramente, più punti di vista insieme già di più.

Questo articolo ha scopo formativo e non è una consulenza sugli investimenti. I risultati passati, compresi quelli dei backtest, non garantiscono risultati futuri. Fare trading su strumenti finanziari comporta rischi e puoi perdere denaro.