In-Sample e Out-of-Sample no trading

Você otimiza uma estratégia no StrategyQuant X, o backtest fica verde, os indicadores parecem decentes. E mesmo assim fica uma pergunta em aberto: a estratégia encontrou uma regra que significa algo também fora dessa única curva, ou apenas se ajustou estreitamente ao passado? É exatamente para essa pergunta que existe a separação entre dados in-sample e out-of-sample.

Neste artigo você vê o que os dados in-sample e out-of-sample significam concretamente no StrategyQuant X, como ler a OOS/IS-Ratio na Databank e onde estão os limites desse método.

Por que uma parte dos dados precisa ficar intocada

Uma estratégia surge quando regras e parâmetros são testados e ajustados em dados históricos de preços. Se você usa toda a história disponível, no fim você testa exatamente nos dados aos quais a estratégia já se ajustou. O resultado então quase sempre parece bom, mas diz pouco sobre se a estratégia encontrou um padrão real ou apenas reproduziu as oscilações aleatórias dessa única curva.

Por isso a história é dividida em duas partes: uma parte para construir e uma parte para testar, que fica de fora durante a construção.

Dados in-sample: a bancada para a sua estratégia

Os dados in-sample, IS para abreviar, são a parte dos dados históricos de preços com a qual você desenvolve e otimiza uma estratégia. Parâmetros, regras e indicadores são ajustados nesses dados de modo que apareça o melhor resultado observado.

Esse é o fluxo normal ao construir uma estratégia no StrategyQuant X, e ele também é necessário: sem dados para testar as ideias, não daria para ajustar nada. O importante é só o que esse número não significa. Um resultado forte nos dados in-sample não diz nada sobre como a estratégia se comporta depois no live trading. Ele mostra apenas o quão bem as regras se ajustaram exatamente a esse recorte do passado.

Dados out-of-sample: a pedra de toque intocada

Os dados out-of-sample, OOS para abreviar, são uma parte separada da história que a estratégia nunca vê durante o desenvolvimento. Ela é guardada exclusivamente para testar e validar e não entra na otimização. Isso mantém a verificação independente do que aconteceu durante a construção.

Para que essa separação tenha valor, uma condição precisa ser realmente cumprida: os dados out-of-sample precisam permanecer de fato intocados durante a otimização. Assim que eles retornam de alguma forma para o processo de desenvolvimento, a separação existe apenas no papel.

A divisão IS/OOS como verificação básica contra a autoenganação

A divisão entre in-sample e out-of-sample é considerada uma das verificações de robustez fundamentais: uma estratégia que foi construída apenas com os dados nos quais também é medida não dá uma imagem honesta. Se ela também for medida com dados que nunca viu, surge uma imagem que chega mais perto da realidade do que se você a avaliasse apenas com os dados aos quais ela foi ajustada.

Aqui também vale a mesma condição da própria definição: a verificação só funciona se a parte out-of-sample realmente ficar de fora durante a busca por bons parâmetros. E mesmo que isso dê certo, um teste out-of-sample aprovado é um indício, não uma prova de que a estratégia funciona no trading ao vivo.

A OOS/IS-Ratio na Databank

Na Databank do StrategyQuant X você encontra a OOS/IS-Ratio. Essa métrica compara os valores de performance de uma estratégia no período out-of-sample com os do período in-sample e expressa o quanto os resultados pioraram fora dos dados nos quais a estratégia foi construída.

A métrica é calculada no módulo Databank depois que uma rodada de otimização ou walk-forward forneceu resultados tanto in-sample quanto out-of-sample. Ela não é, portanto, um valor que você simplesmente lê, mas um resultado que só surge depois de uma rodada completa com as duas partes de dados.

O que uma ratio ruim revela, e o que uma boa não prova

Se a performance cai bastante de in-sample para out-of-sample, isso aparece em uma OOS/IS-Ratio fraca. Isso costuma indicar uma de duas causas: a estratégia foi sobreajustada aos dados in-sample, ou seja, recortada de forma estreita demais para os detalhes dessa única curva, ou as condições de mercado mudaram entre os dois períodos. Bons resultados nos dois períodos, por outro lado, são lidos como um indício na direção da robustez.

Uma limitação continua importante: essa leitura vale para exatamente o instrumento, o timeframe e a divisão de períodos usados nesse único teste. Uma ratio boa não prova que a estratégia está livre de sobreajuste, e também não separa com certeza se uma ratio fraca vem da estratégia ou do ambiente de mercado. Ela é um indício que você lê junto com outras verificações, não um veredito por si só.

Visível na aba Results: IS e OOS como faixas coloridas

Depois de uma execução walk-forward, os trades individuais na aba Results são marcados como In-Sample ou Out-of-Sample com base nas configurações walk-forward. A curva de equity mostra os dois períodos também como faixas de fundo com cores diferentes, de modo que a separação fica visível de imediato.

Essa coloração é uma ajuda de orientação, não um julgamento de qualidade. Ela mostra onde, ao longo do tempo, está cada fase, mas por si só não diz nada sobre se a estratégia de fato teve um bom desempenho na fase Out-of-Sample. Para isso, você continua olhando para as próprias métricas, como a OOS/IS-Ratio.

O que essa separação não te diz

Um teste out-of-sample limpo em uma série histórica de dados continua sendo um teste sobre dados passados. Ele te diz como uma estratégia teria se comportado exatamente nesse trecho do passado, se os parâmetros já estivessem definidos antes. Ele não te diz como a mesma estratégia se comporta em dados de mercado que ainda nem existem.

Além disso, toda a separação só funciona enquanto a parte out-of-sample realmente permanece intocada. Se durante o desenvolvimento você olha repetidamente para a mesma janela out-of-sample e muda a estratégia por causa disso, esse conhecimento acaba entrando passo a passo no desenvolvimento, mesmo sem você inserir os números diretamente na otimização. Os dados out-of-sample então já não são realmente desconhecidos, e a verificação perde exatamente o valor para o qual foi pensada.

Isso não torna o split IS/OOS inútil. Ele continua sendo uma checagem básica útil contra a forma mais óbvia de autoengano, que é otimizar demais em cima dos próprios dados e passar longe deles. Mas ele não substitui outras verificações, e não transforma um bom resultado histórico em uma promessa para o futuro.

Este artigo tem fins educativos e não é aconselhamento de investimento. Resultados passados, incluindo os de backtests, não garantem resultados futuros. Negociar instrumentos financeiros envolve riscos e você pode perder dinheiro.