In-sample e out-of-sample nel trading

Ottimizzi una strategia in StrategyQuant X, il backtest gira verde, le metriche hanno un aspetto decente. E comunque resta aperta una domanda: la strategia ha trovato una regola che significa qualcosa anche al di fuori di questa singola curva, oppure si è solo adattata strettamente al passato? Proprio per questa domanda esiste la separazione tra dati in-sample e out-of-sample.

In questo articolo vedi cosa significano concretamente i dati in-sample e out-of-sample in StrategyQuant X, come leggere l'OOS/IS-Ratio nella databank e dove stanno i limiti di questo metodo.

Perché una parte dei dati deve restare intatta

Una strategia nasce quando regole e parametri vengono verificati e adattati su dati storici dei prezzi. Se per farlo usi l'intera cronologia disponibile, alla fine verifichi esattamente sui dati ai quali la strategia si è già adattata. Il risultato allora sembra quasi sempre buono, ma dice poco sul fatto che la strategia abbia trovato un pattern reale o abbia solo ricalcato le oscillazioni casuali di questa singola curva.

Per questo la cronologia viene divisa in due parti: una parte per costruire e una parte per verificare, che durante la costruzione resta fuori.

Dati in-sample: il banco di lavoro per la tua strategia

I dati in-sample, in breve IS, sono la parte dei dati storici dei prezzi con cui sviluppi e ottimizzi una strategia. Parametri, regole e indicatori vengono impostati su questi dati in modo che emerga il miglior risultato osservato.

Questo è il normale svolgimento quando si costruisce una strategia in StrategyQuant X, ed è anche necessario: senza dati per testare le idee non si potrebbe impostare nulla. L'importante è solo cosa non significa questo numero. Un risultato forte sui dati in-sample dice poco su come si comporterà la strategia più tardi nel live trading. Mostra soltanto quanto bene le regole si siano adattate proprio a questo estratto del passato.

Dati out-of-sample: la pietra di paragone intatta

I dati out-of-sample, in breve OOS, sono una parte separata della cronologia che la strategia non vede mai durante lo sviluppo. Viene conservata esclusivamente per testare e validare e non entra nell'ottimizzazione. Questo mantiene la verifica indipendente da ciò che è successo durante la costruzione.

Perché questa separazione valga qualcosa, una condizione deve essere rispettata davvero: i dati out-of-sample devono restare effettivamente intatti durante l'ottimizzazione. Non appena rientrano in qualsiasi forma nel processo di sviluppo, la separazione esiste solo sulla carta.

La suddivisione IS/OOS come controllo di base contro l'autoinganno

La divisione in in-sample e out-of-sample è considerata uno dei controlli di robustezza fondamentali: una strategia costruita solo sui dati sui quali viene anche misurata non offre un quadro onesto. Se viene misurata anche su dati che non ha mai visto, nasce un quadro che si avvicina di più alla realtà rispetto a quando la giudichi solo sui dati ai quali è stata adattata.

Anche qui vale la stessa condizione della definizione stessa: il controllo funziona solo se la parte out-of-sample resta davvero esclusa durante la ricerca dei parametri migliori. E anche se ci riesci, un test out-of-sample superato è un indizio, non una prova che la strategia funzioni nel trading live.

L'OOS/IS-Ratio nella Databank

Nella Databank di StrategyQuant X trovi l'OOS/IS-Ratio. Questa metrica confronta i valori di performance di una strategia nel periodo out-of-sample con quelli del periodo in-sample ed esprime quanto i risultati sono peggiorati al di fuori dei dati sui quali la strategia è stata costruita.

La metrica viene calcolata nel modulo Databank dopo che un'esecuzione di ottimizzazione o walk-forward ha prodotto sia risultati in-sample sia risultati out-of-sample. Non è quindi un valore che leggi semplicemente, ma un risultato che nasce solo dopo un'esecuzione completa con entrambe le parti di dati.

Cosa rivela una ratio scarsa, e cosa non dimostra una buona

Se la performance cala nettamente dall'in-sample all'out-of-sample, questo si vede in un OOS/IS-Ratio debole. Di norma indica una di due cause: la strategia è stata sovraadattata ai dati in-sample, quindi ritagliata troppo strettamente sui dettagli di quella singola curva, oppure le condizioni di mercato sono cambiate tra i due periodi. Risultati buoni in entrambi i periodi vengono invece letti come indizio in direzione della robustezza.

Resta importante una limitazione: questa lettura vale per esattamente lo strumento, il timeframe e la suddivisione in periodi usati per questo singolo test. Una buona ratio non dimostra che la strategia è priva di sovraadattamento, e non distingue con certezza nemmeno se una ratio debole dipenda dalla strategia o dal contesto di mercato. È un indizio che leggi insieme ad altre verifiche, non un giudizio a sé stante.

Visibile nel Results-Tab: IS e OOS come bande colorate

Dopo un'esecuzione walk-forward, i singoli trade nel Results-Tab vengono contrassegnati come in-sample o out-of-sample in base alle impostazioni walk-forward. La curva dell'equity mostra inoltre i due periodi come bande di sfondo colorate in modo diverso, così la separazione è visibile a colpo d'occhio.

Questa colorazione è un aiuto all'orientamento, non un giudizio di qualità. Ti mostra dove si trova quale fase nel corso del tempo, ma di per sé non dice nulla sul fatto che la strategia nella fase out-of-sample sia andata effettivamente bene. Per quello continui a guardare le metriche stesse, ad esempio l'OOS/IS-Ratio.

Cosa non ti dice questa separazione

Un test out-of-sample pulito su una serie di dati storici resta un test su dati passati. Ti dice come si sarebbe comportata una strategia in questo preciso estratto del passato, se i parametri fossero già stati fissati prima. Non ti dice come si comporta la stessa strategia su dati di mercato che non esistono ancora.

Inoltre, l'intera separazione funziona solo finché la parte out-of-sample resta davvero intoccata. Se durante lo sviluppo guardi ripetutamente la stessa finestra out-of-sample e poi modifichi la strategia di conseguenza, questa conoscenza confluisce passo dopo passo nello sviluppo. A quel punto i dati out-of-sample non sono più davvero sconosciuti, e la verifica perde esattamente il valore per cui era pensata.

Questo non rende inutile lo split IS/OOS. Resta un controllo di base sensato contro la forma più evidente di autoinganno, cioè ottimizzare aggirando i propri dati. Ma non sostituisce altre verifiche, e non trasforma un buon risultato storico in una promessa per il futuro.

Questo articolo ha scopo formativo e non è una consulenza sugli investimenti. I risultati passati, compresi quelli dei backtest, non garantiscono risultati futuri. Fare trading su strumenti finanziari comporta rischi e puoi perdere denaro.