In-Sample et Out-of-Sample : la séparation protectrice

Tu optimises une stratégie dans StrategyQuant X, le backtest tourne au vert, les indicateurs ont l'air corrects. Et pourtant une question reste ouverte : la stratégie a-t-elle trouvé une règle qui compte aussi en dehors de cette unique courbe, ou s'est-elle seulement collée étroitement au passé ? C'est précisément pour cette question qu'existe la séparation entre données in-sample et out-of-sample.

Dans cet article, tu vois ce que les données in-sample et out-of-sample signifient concrètement dans StrategyQuant X, comment lire le ratio OOS/IS dans la databank et où se situent les limites de cette méthode.

Pourquoi une partie des données doit rester intacte

Une stratégie naît en testant et en ajustant des règles et des paramètres sur des données de cours historiques. Si tu utilises toute l'historique disponible, tu finis par tester sur exactement les données auxquelles la stratégie s'est déjà adaptée. Le résultat a alors presque toujours l'air bon, mais il dit peu de choses sur la question de savoir si la stratégie a trouvé un vrai motif ou si elle n'a fait que recopier les fluctuations aléatoires de cette unique courbe.

C'est pourquoi l'historique est divisé en deux parties : une partie pour construire et une partie pour vérifier, qui reste écartée lors de la construction.

Données in-sample : l'établi pour ta stratégie

Les données in-sample, IS en abrégé, sont la partie des données de cours historiques avec laquelle tu développes et optimises une stratégie. Les paramètres, les règles et les indicateurs sont réglés sur ces données de manière à faire apparaître le meilleur résultat observé.

C'est le déroulement normal lors de la construction d'une stratégie dans StrategyQuant X, et il est aussi nécessaire : sans données pour tester les idées, rien ne pourrait être réglé. Ce qui est important, c'est seulement ce que ce chiffre ne signifie pas. Un résultat fort sur les données in-sample ne dit rien sur la manière dont la stratégie se comportera plus tard en live. Il montre uniquement à quel point les règles se sont adaptées à ce fragment précis du passé.

Données out-of-sample : la pierre de touche intacte

Les données out-of-sample, OOS en abrégé, sont une partie séparée de l'historique que la stratégie ne voit jamais pendant le développement. Elles sont réservées exclusivement au test et à la validation et n'entrent pas dans l'optimisation. Cela garde la vérification indépendante de ce qui s'est passé lors de la construction.

Pour que cette séparation ait de la valeur, une condition doit vraiment être respectée : les données out-of-sample doivent réellement rester intactes pendant l'optimisation. Dès qu'elles reviennent d'une manière ou d'une autre dans le processus de développement, la séparation n'existe plus que sur le papier.

Le split IS/OOS comme contrôle de base contre l'auto-illusion

La répartition en in-sample et out-of-sample est considérée comme l'un des contrôles de robustesse fondamentaux : une stratégie qui n'a été construite que sur les données sur lesquelles elle est aussi mesurée ne donne pas une image honnête. Si elle est en plus mesurée sur des données qu'elle n'a jamais vues, cela donne une image plus proche de la réalité que si tu la juges uniquement sur les données auxquelles elle a été ajustée.

Ici aussi, la même condition que pour la définition elle-même s'applique : le contrôle ne fonctionne que si la partie out-of-sample reste réellement exclue pendant la recherche de bons paramètres. Et même si cela réussit, un test out-of-sample réussi est un indice, pas une preuve que la stratégie fonctionne en trading live.

Le ratio OOS/IS dans la Databank

Dans la Databank de StrategyQuant X, tu trouves le ratio OOS/IS. Cet indicateur compare les valeurs de performance d'une stratégie sur la période out-of-sample avec celles de la période in-sample et exprime à quel point les résultats se sont dégradés en dehors des données sur lesquelles la stratégie a été construite.

L'indicateur est calculé dans le module Databank après qu'un run d'optimisation ou walk-forward a fourni des résultats à la fois in-sample et out-of-sample. Ce n'est donc pas une valeur que tu lis simplement, mais un résultat qui n'apparaît qu'après un run complet avec les deux parties de données.

Ce qu'un mauvais ratio révèle, et ce qu'un bon ne prouve pas

Si la performance chute nettement de l'in-sample à l'out-of-sample, cela se voit dans un ratio OOS/IS faible. Cela indique en général l'une de deux causes : la stratégie a été surajustée aux données in-sample, donc taillée trop étroitement sur les détails de cette seule courbe, ou les conditions de marché ont changé entre les deux périodes. De bons résultats dans les deux périodes sont en revanche lus comme un indice allant dans le sens de la robustesse.

Une limite reste importante ici : cette lecture vaut pour exactement l'instrument, l'unité de temps et le découpage de périodes utilisés pour ce seul test. Un bon ratio ne prouve pas que la stratégie est exempte de surajustement, et il ne permet pas non plus de trancher avec certitude si un ratio faible tient à la stratégie ou à l'environnement de marché. C'est un indice que tu lis avec d'autres vérifications, pas un jugement en soi.

Visible dans l'onglet Results : IS et OOS sous forme de bandes colorées

Après un passage en walk-forward, les différents trades sont marqués dans l'onglet Results comme In-Sample ou Out-of-Sample sur la base des réglages du walk-forward. La courbe d'equity affiche en plus les deux périodes sous forme de bandes de fond de couleurs différentes, ce qui rend la séparation visible d'un coup d'œil.

Cette coloration est une aide au repérage, pas un jugement de qualité. Elle te montre où se situe quelle phase dans le déroulé temporel, mais elle ne dit rien en soi sur le fait que la stratégie s'est réellement bien comportée pendant la phase Out-of-Sample. Pour cela, tu continues de regarder les métriques elles-mêmes, par exemple le ratio OOS/IS.

Ce que cette séparation ne te dit pas

Un test out-of-sample propre sur une série de données historiques reste un test sur des données passées. Il te dit comment une stratégie se serait comportée dans exactement cet extrait du passé, si les paramètres avaient déjà été fixés avant. Il ne te dit pas comment la même stratégie se comporte sur des données de marché qui n'existent pas encore.

De plus, toute la séparation ne fonctionne que tant que la partie out-of-sample reste vraiment intacte. Si, pendant le développement, tu regardes sans cesse la même fenêtre out-of-sample et que tu modifies la stratégie en conséquence, ce savoir finit par entrer dans le développement étape par étape, même sans que tu saisisses directement les chiffres dans l'optimisation. Les données out-of-sample ne sont alors plus vraiment inconnues, et la vérification perd exactement la valeur pour laquelle elle était prévue.

Cela ne rend pas le split IS/OOS inutile. Il reste un contrôle de base sensé contre la forme la plus évidente de l'auto-illusion, celle qui consiste à optimiser à côté de ses propres données. Mais il ne remplace pas d'autres vérifications, et il ne transforme pas un bon résultat historique en une promesse pour l'avenir.

Cet article a une visée éducative et ne constitue pas un conseil en investissement. Les résultats passés, y compris ceux des backtests, ne garantissent pas les résultats futurs. Négocier des instruments financiers comporte des risques et tu peux perdre de l'argent.