Sobreajuste en estrategias de trading: cuando el backtest parece perfecto

Tienes frente a ti un backtest que parece no haber conocido nunca una pérdida. La curva sube casi sin interrupción, las métricas son fuertes y, aun así, queda una pregunta: ¿esta estrategia encontró una ventaja real, o simplemente se giró y giró hasta que encajó con el pasado? Esa pregunta es la que está detrás del término overfitting. Al final de este artículo sabrás qué significan overfitting y curve fitting, por qué la cantidad de parámetros optimizados cambia el riesgo, y qué herramientas ofrece StrategyQuant X para eso: cross checks, análisis multimercado, simulación de Monte Carlo, un plugin opcional de Overfit Risk Score y el análisis posterior a la optimización. Al final también queda abierto qué pueden mostrarte estas pruebas y qué no.

Qué significan overfitting y curve fitting

Overfitting designa el ajuste de una estrategia a exactamente los datos históricos sobre los que se construyó. La documentación de StrategyQuant lo describe como el mayor peligro en estrategias que se construyen con métodos de generación al estilo de aprendizaje automático. Eso no significa que las estrategias construidas a mano sean automáticamente seguras, sobre eso la fuente no hace ninguna afirmación, la advertencia se refiere expresamente a esa forma de construcción.

Curve fitting está muy relacionado y describe que una estrategia se recorta sobre el pasado hasta que se ve bien en el backtest, sin que tenga que haber una ventaja real detrás. En la comunidad escuchas ambos términos a menudo en la misma frase. Describen dos caras del mismo problema: adaptación a lo que fue, en lugar de a lo que vuelve a repetirse.

Por qué más parámetros optimizados aumentan el riesgo

Cada parámetro que liberas en la corrida de optimización le da al algoritmo otra posibilidad de adaptarse a las particularidades de exactamente estos datos de precios. Cuantos más de ellos estén abiertos al mismo tiempo, más fácil encuentra la optimización una combinación que encaja por casualidad con el pasado, sin que haya una lógica sostenible detrás. Por eso la documentación señala: una cantidad menor de parámetros optimizables tiende a hacer que una estrategia sea robusta. Eso no significa que una estrategia con pocos parámetros esté automáticamente libre de overfitting, para eso falta la evidencia. Menos ajustes reducen la oportunidad de overfitting, no lo descartan.

Qué se ve al mirar los datos out-of-sample

Una caída clara del rendimiento suele aparecer solo cuando una estrategia se enfrenta a datos nuevos que no ha visto, es decir, en la prueba out-of-sample. La documentación describe esta caída del rendimiento como deterioro de la estrategia y menciona dos posibles causas: overfitting a los datos in-sample o condiciones de mercado cambiadas a las que la estrategia no se puede adaptar. Un resultado peor en la prueba out-of-sample es un indicio, no una prueba. No puedes concluir automáticamente que el overfitting fue la causa, el mercado también puede haberse modificado mientras tanto. Para ti como trader eso significa: un resultado out-of-sample decepcionante es un motivo para mirar con más detalle, no un veredicto automático. Y aun una estrategia que pasa esta comparación solo fue revisada con datos pasados. Ninguna de estas revisiones te dice de antemano cómo se comporta la estrategia bajo condiciones de mercado reales y futuras.

StrategyQuant X ofrece varias herramientas para eso. Lo mejor es que las entiendas como distintos puntos de vista sobre la misma pregunta, no como una sola herramienta que te da un veredicto definitivo.

Cross Checks: la comprobación de robustez incorporada

Los Cross Checks se describen en la documentación como una parte fija de StrategyQuant X. Las pruebas de robustez y la protección contra el overfitting deben ayudar a asegurar que una estrategia tiene una ventaja real y no solo se ve bien. Esa es la descripción del fabricante sobre el propósito de la herramienta, no una medición independiente sobre una estrategia concreta. La herramienta te muestra algo, no decide la cuestión por ti.

Varios mercados como prueba adicional

Otra revisión de la documentación consiste en mirar si una estrategia generada también funciona en varios mercados, no solo en aquel para el que fue construida. Esa es una de las vías descritas para descartar el overfitting en el análisis de estrategias en StrategyQuant X. Para eso configuras mercados adicionales y sigues el flujo de trabajo multimercado descrito con Median-Snippets en la Databank. Aquí también vale lo mismo: un chequeo multimercado superado no demuestra que la estrategia esté libre de overfitting. Es una prueba adicional bajo otras condiciones, nada más.

Simulación de Monte Carlo: muchas corridas, una mirada a la dispersión

El análisis de Monte Carlo en StrategyQuant se basa en repetir la misma simulación muchas veces con pequeños cambios aleatorios. La documentación señala: cuantas más repeticiones dejes correr, más confiable se vuelve la distribución estadística que resulta de ellas. Importante aquí: este método trabaja con datos de trading pasados y simulados. No es una predicción de resultados futuros de la estrategia, sino una imagen de cuánto depende el resultado pasado de pequeños accidentes.

El Overfit Risk Score para filtros

Un plugin descrito puede calcular un Overfit Risk Score en cada aplicación de filtros, con los niveles bajo, medio y alto. La base son el número de filtros activos, la proporción de trades filtrados y si se usan los llamados filtros hindsight, es decir, filtros que se ajustaron a posteriori sobre resultados ya conocidos. Esta herramienta viene de un autor del equipo de StrategyQuant que escribe bajo una dirección de empresa, y por eso se considera una contribución oficial, no una característica central documentada del software. Tampoco un score bajo demuestra que una estrategia no contenga overfitting, solo evalúa la lógica de filtros que acabas de aplicar.

Forma de construcción: Random Generation, Data Mining y el método clásico

La documentación describe Random Generation como un modo de construcción que debería ser menos propenso al overfitting, porque la estrategia no se sigue optimizando ni refinando después de construirla. Así está en la sección sobre las ventajas de este modo. No significa que Random Generation excluya el overfitting, sino solo que falta un paso determinado en el que de otro modo podría surgir.

Además, la documentación distingue entre un enfoque clásico, construido a mano, sin Data Mining, como al construir una estrategia en el AlgoWizard, y el Data Mining, en el que se prueba una gran cantidad de reglas para encontrar la estrategia con el mayor rendimiento histórico observado. Esta distinción está pensada como marco, no como instrucción paso a paso. La fuente no dice que el Data Mining conlleve automáticamente más riesgo de overfitting que la forma de construcción clásica, para eso falta la evidencia.

Análisis después de la optimización: Optimization Profile y Parameter Permutation

Optimization Profile y System Parameter Permutation suponen ambos que primero se realizó una corrida de optimización. Los métodos evalúan después los resultados de todas las corridas de esa optimización. No reemplazan el test out-of-sample, se suman después y te muestran qué tan sensible es el resultado a pequeños cambios en los parámetros.

Qué muestran estas revisiones y qué no muestran

Cross Checks, análisis multimercado y simulación de Monte Carlo juntos dan una imagen bastante más completa que un solo backtest por sí solo. Aun así queda un límite que ninguna de estas revisiones puede eliminar: cada una de ellas trabaja con datos pasados o simulados. Ninguna de ellas puede confirmarte de antemano cómo se comportará una estrategia bajo condiciones de mercado reales y futuras. Un backtest limpio, un Cross Check superado o una distribución de Monte Carlo estable son indicios que pueden apoyar tu evaluación. Ninguno de ellos es una prueba de resultados futuros.

La próxima vez que estés frente a una curva impecable, vale la pena preguntarte cuántos parámetros se optimizaron, si la estrategia funciona en varios mercados y qué dice la distribución de Monte Carlo sobre la dispersión. Una sola respuesta rara vez alcanza, varios puntos de vista juntos ya más bien sí.

Este artículo tiene fines educativos y no es asesoramiento de inversión. Los resultados pasados, incluidos los de backtests, no garantizan resultados futuros. Operar con instrumentos financieros conlleva riesgos y puedes perder dinero.