Overfitting em estratégias de trading: quando o backtest parece bom demais

Você tem diante de si um backtest que parece nunca ter conhecido um prejuízo. A curva sobe quase sem interrupção, as métricas são fortes, e mesmo assim fica uma pergunta: essa estratégia encontrou uma vantagem real, ou foi simplesmente girada até se encaixar no passado? É exatamente essa pergunta que está por trás do termo overfitting. No fim deste artigo, você vai saber o que significam overfitting e curve fitting, por que o número de parâmetros otimizados muda o risco, e quais ferramentas o StrategyQuant X oferece contra isso: cross checks, análise multimercado, simulação de Monte Carlo, um plugin opcional de Overfit Risk Score e a análise após a otimização. No fim, também fica dito abertamente o que essas verificações podem lhe mostrar e o que não podem.

O que significam overfitting e curve fitting

Overfitting designa a adaptação de uma estratégia exatamente aos dados históricos sobre os quais ela foi construída. A documentação do StrategyQuant descreve isso como o maior perigo em estratégias construídas com métodos de geração no estilo de aprendizado de máquina. Isso não significa que estratégias construídas à mão seriam automaticamente seguras, a fonte não faz essa afirmação, o alerta se refere explicitamente a esse modo de construção.

Curve fitting é estreitamente relacionado e descreve que uma estratégia é ajustada ao passado por tanto tempo até parecer boa no backtest, sem que precise haver uma vantagem real por trás. Na comunidade, você ouve os dois termos muitas vezes na mesma frase. Eles descrevem dois lados do mesmo problema: adaptação ao que foi, em vez do que se repete.

Por que mais parâmetros otimizados aumentam o risco

Cada parâmetro que você libera na rodada de otimização dá ao algoritmo mais uma possibilidade de se adaptar às particularidades exatamente desses dados de cotação. Quanto mais deles estiverem abertos ao mesmo tempo, mais facilmente a otimização encontra uma combinação que por acaso se encaixa no passado, sem que haja uma lógica sustentável por trás. A documentação registra por isso: um número menor de parâmetros otimizáveis tende a tornar uma estratégia robusta. Isso não significa que uma estratégia com poucos parâmetros esteja automaticamente livre de overfitting, falta a prova para isso. Menos pontos de ajuste reduzem a oportunidade de overfitting, não o excluem.

O que aparece quando se olha para dados out-of-sample

Uma queda clara no desempenho costuma aparecer só quando uma estratégia encontra dados novos, nunca vistos, ou seja, no teste out-of-sample. A documentação descreve essa queda de desempenho como deterioração da estratégia e cita duas causas possíveis: overfitting aos dados in-sample ou condições de mercado alteradas, às quais a estratégia não consegue se adaptar. Um resultado pior no teste out-of-sample é um indício, não uma prova. Você não pode concluir automaticamente que a causa foi overfitting, o mercado também pode simplesmente ter mudado nesse meio tempo. Para você como trader isso significa: um resultado out-of-sample decepcionante é um motivo para olhar com mais atenção, não um veredito automático. E mesmo uma estratégia que passa nessa comparação foi, com isso, testada apenas em dados passados. Nenhuma dessas verificações diz de antemão como a estratégia se comporta sob condições de mercado reais e futuras.

O StrategyQuant X oferece várias ferramentas para isso. O melhor é entendê-las como diferentes ângulos sobre a mesma pergunta, não como uma única ferramenta que te dá um veredito definitivo.

Cross Checks: a verificação integrada de robustez

Os Cross Checks são descritos na documentação como parte fixa do StrategyQuant X. Os testes de robustez e a proteção contra overfitting devem ajudar você a identificar se uma estratégia tem uma vantagem real e não apenas pareça boa. Essa é a descrição do fabricante sobre a finalidade da ferramenta, não uma medição independente em uma estratégia concreta. A ferramenta mostra algo a você, ela não decide a questão por você.

Vários mercados como prova adicional

Outra verificação da documentação consiste em observar se uma estratégia gerada funciona também em vários mercados, não apenas naquele para o qual foi construída. Esse é um dos caminhos descritos para excluir overfitting na análise de estratégias no StrategyQuant X. Para isso, você configura mercados adicionais e segue o fluxo multimercado descrito com median snippets no databank. Aqui também vale: um teste multimercado aprovado não comprova que a estratégia esteja livre de overfitting. É uma prova adicional sob outras condições, nada mais.

Simulação de Monte Carlo: muitas execuções, um olhar sobre a dispersão

A análise de Monte Carlo no StrategyQuant baseia-se em repetir a mesma simulação muitas vezes com pequenas alterações aleatórias. A documentação registra: quanto mais repetições você rodar, mais confiável se torna a distribuição estatística que resulta disso. Importante nisso: esse método trabalha com dados de negociação passados e simulados. Não é uma previsão de resultados futuros da estratégia, mas um retrato de quanto o resultado passado depende de pequenos acasos.

O Overfit Risk Score para filtros

Um plugin descrito pode calcular um Overfit Risk Score a cada aplicação de filtros, com os níveis baixo, médio e alto. A base são o número de filtros ativos, a proporção de trades filtrados e se são usados os chamados hindsight filters, ou seja, filtros que foram ajustados a posteriori sobre resultados já conhecidos. Essa ferramenta vem de um autor da equipe do StrategyQuant, que escreve sob um endereço corporativo, e por isso é considerada uma contribuição oficial, não uma característica central documentada do software. Um score baixo também não prova que uma estratégia não contém overfitting, ele apenas avalia a lógica de filtros que você acabou de aplicar.

Forma de construção: Random Generation, Data Mining e o método clássico

A documentação descreve Random Generation como um modo de construção que deve ser menos suscetível a overfitting, porque a estratégia não é mais otimizada ou refinada depois de construída. É o que está escrito na seção sobre as vantagens desse modo. Isso não significa que Random Generation exclui o overfitting, mas apenas que falta um determinado passo no qual ele poderia surgir de outra forma.

Além disso, a documentação distingue entre uma abordagem clássica, construída à mão, sem Data Mining, como na construção de uma estratégia no AlgoWizard, e o Data Mining, no qual um grande número de regras é testado para encontrar a estratégia com o maior desempenho histórico observado. Essa distinção é pensada como um quadro geral, não como um guia passo a passo. A fonte não diz que o Data Mining carrega automaticamente mais risco de overfitting do que a forma de construção clássica, falta a evidência para isso.

Análise após a otimização: Optimization Profile e Parameter Permutation

Optimization Profile e System Parameter Permutation pressupõem ambos que primeiro foi realizado um ciclo de otimização. Os métodos avaliam em seguida os resultados de todas as execuções dessa otimização. Eles não substituem o teste out-of-sample, vêm depois dele e mostram a você quão sensível o resultado reage a pequenas mudanças nos parâmetros.

O que essas verificações mostram, e o que elas não mostram

Cross Checks, análise multimercado e simulação de Monte Carlo juntos dão um quadro bem mais completo do que um único backtest sozinho. Ainda assim resta um limite que nenhuma dessas verificações pode eliminar: cada uma delas trabalha com dados passados ou simulados. Nenhuma delas pode confirmar antecipadamente como uma estratégia vai se comportar sob condições reais e futuras de mercado. Um backtest limpo, um Cross Check aprovado ou uma distribuição de Monte Carlo estável são sinais que podem apoiar sua avaliação. Uma prova de resultados futuros não é nenhum deles.

Quando você estiver diante de uma curva impecável da próxima vez, vale a pergunta de quantos parâmetros foram otimizados, se a estratégia funciona em vários mercados, e o que a distribuição de Monte Carlo diz sobre a dispersão. Uma única resposta raramente basta, vários ângulos em conjunto já ajudam mais.

Este artigo tem fins educativos e não é aconselhamento de investimento. Resultados passados, incluindo os de backtests, não garantem resultados futuros. Negociar instrumentos financeiros envolve riscos e você pode perder dinheiro.