Backtesting et Forward Test: L'importance de la corrélation

Les traders désireux d'essayer une idée de trading sur un marché réel commettent souvent l'erreur de se fier entièrement aux résultats des tests d'arrière-plan pour déterminer si le système sera rentable. Les backtests peuvent fournir aux traders des informations précieuses, mais ils sont souvent trompeurs et ne représentent qu’une partie du processus d’évaluation.

Les tests hors échantillon et les tests de performance prévisionnels fournissent une confirmation supplémentaire de l'efficacité d'un système et peuvent indiquer les vraies couleurs d'un système avant que de l'argent ne soit réellement disponible. Une bonne corrélation entre les tests de performance en arrière-test, hors échantillon et en aval est essentielle pour déterminer la viabilité d'un système de trading. (Nous proposons quelques astuces sur ce processus qui peuvent vous aider à affiner vos stratégies de trading actuelles. Pour en savoir plus, lisez: Backtesting: Interpreting the Past .)

Notions de base sur le backtesting

Le backtesting consiste à appliquer un système de trading aux données historiques pour vérifier le fonctionnement d'un système au cours de la période spécifiée. De nombreuses plateformes de trading actuelles prennent en charge le backtesting. Les traders peuvent tester leurs idées en quelques frappes et avoir un aperçu de l'efficacité d'une idée sans risquer de perdre des fonds sur un compte de trading. Le backtesting peut évaluer des idées simples, telles que la manière dont un crossover à moyenne mobile se comporterait avec des données historiques, ou des systèmes plus complexes comportant une variété d'entrées et de déclencheurs.

Tant qu'une idée peut être quantifiée, elle peut être testée en arrière. Certains commerçants et investisseurs peuvent faire appel à l'expertise d'un programmeur qualifié pour développer l'idée sous une forme testable. En règle générale, cela implique un programmeur codant l'idée dans le langage propriétaire hébergé par la plateforme de trading. Le programmeur peut incorporer des variables d’entrée définies par l’utilisateur qui permettent au professionnel de «modifier» le système. Un exemple de ceci serait dans le système de croisement à moyenne mobile simple mentionné ci-dessus: le commerçant pourrait entrer (ou changer) les longueurs des deux moyennes mobiles utilisées dans le système. Le commerçant pourrait effectuer un backtest pour déterminer quelles longueurs de moyennes mobiles auraient donné les meilleurs résultats pour les données historiques.

Etudes d'optimisation

De nombreuses plateformes de trading permettent également des études d'optimisation. Cela implique de saisir une plage pour l'entrée spécifiée et de laisser l'ordinateur "faire le calcul" pour déterminer quelle entrée aurait donné les meilleurs résultats. Une optimisation multi-variable peut faire le calcul pour deux variables ou plus afin de déterminer quelles combinaisons auraient permis d'obtenir le meilleur résultat. Par exemple, les commerçants peuvent indiquer au programme quels intrants ils souhaitent ajouter à leur stratégie. ceux-ci seraient alors optimisés à leur poids idéal compte tenu des données historiques testées.

Le backtesting peut être excitant dans la mesure où un système non rentable peut souvent être transformé par magie en une machine rentable avec quelques optimisations. Malheureusement, le fait d’améliorer un système pour atteindre le niveau de rentabilité le plus élevé du passé donne souvent lieu à un système peu performant dans les échanges réels. Cette suroptimisation crée des systèmes qui ne valent que sur le papier.

L'ajustement de courbe consiste à utiliser des analyses d'optimisation pour créer le plus grand nombre de transactions gagnantes au meilleur profit des données historiques utilisées pendant la période de test. Bien que les résultats des tests d'arrière-plan semblent impressionnants, l'ajustement des courbes conduit à des systèmes peu fiables, car les résultats sont essentiellement conçus sur mesure pour ces données et cette période.

Le backtesting et l'optimisation offrent de nombreux avantages à un trader, mais ce n'est qu'une partie du processus lors de l'évaluation d'un système commercial potentiel. L'étape suivante du commerçant consiste à appliquer le système à des données historiques qui n'ont pas été utilisées lors de la phase de backtesting initiale.

Données intra-échantillon ou hors échantillon

Lors du test d'une idée sur des données historiques, il est utile de réserver une période de données historiques à des fins de test. Les données historiques initiales sur lesquelles l'idée est testée et optimisée sont appelées données dans l'échantillon. L'ensemble de données qui a été réservé est appelé données hors échantillon. Cette configuration est un élément important du processus d’évaluation car elle permet de tester l’idée sur des données qui n’ont pas fait partie du modèle d’optimisation. En conséquence, les données hors échantillon n’auront aucunement influencé l’idée, et les traders seront en mesure de déterminer la performance du système en ce qui concerne les nouvelles données, c’est-à-dire les transactions réelles.

Avant de commencer tout test en arrière ou d'optimisation, les traders peuvent réserver un pourcentage des données historiques à réserver aux tests hors échantillon. Une méthode consiste à diviser les données historiques en tiers et à en séparer un tiers pour les tests hors échantillon. Seules les données dans l'échantillon doivent être utilisées pour le test initial et toute optimisation. La figure 1 montre une ligne temporelle dans laquelle un tiers des données historiques est réservé aux tests hors échantillon, les deux tiers étant utilisés pour les tests intra-échantillon. Bien que la figure 1 illustre les données hors échantillon au début du test, les procédures classiques indiquent que la partie hors échantillon précède immédiatement la performance prévisionnelle.

Figure 1: Ligne de temps représentant la longueur relative des données intra-échantillon et hors échantillon utilisées dans le processus de backtesting.

La corrélation fait référence aux similitudes entre les performances et les tendances globales des deux ensembles de données. Les métriques de corrélation peuvent être utilisées pour évaluer les rapports de performance de stratégie créés au cours de la période de test (fonctionnalité fournie par la plupart des plateformes de trading). Plus la corrélation entre les deux est forte, meilleure est la probabilité qu’un système fonctionne correctement pour les tests de performance prévisionnels et le trading en direct.

La figure 2 illustre deux systèmes différents qui ont été testés et optimisés sur des données intra-échantillon, puis appliqués à des données hors échantillon. Le graphique de gauche montre un système clairement ajusté à la courbe pour bien fonctionner avec les données de l'échantillon et complètement défaillant pour les données de l'échantillon. Le graphique de droite montre un système qui a bien fonctionné, que ce soit pour les données intra ou non échantillonnées. Une fois qu'un système de trading a été développé en utilisant des données intra-échantillon, il est prêt à être appliqué aux données extra-échantillonnées. Les traders peuvent évaluer et comparer les résultats de performance entre les données intra-échantillon et extra-échantillon.

Figure 2: Deux courbes d’équité. Les données commerciales avant chaque flèche jaune représentent les tests intra-échantillon. Les transactions générées entre les flèches jaune et rouge indiquent des tests hors échantillon. Les transactions après les flèches rouges proviennent des phases de test de performance à terme.

S'il y a peu de corrélation entre les tests intra-échantillon et hors échantillon, comme dans le graphique de gauche de la figure 2, il est probable que le système a été suroptimisé et ne fonctionnera pas bien dans le trading en direct. S'il existe une forte corrélation dans les performances, comme indiqué dans le graphique de droite de la figure 2, la phase suivante de l'évaluation implique un type supplémentaire de tests hors échantillon, appelés tests de performances directs. (Pour en savoir plus sur les prévisions, voir: Prévisions financières: la méthode bayésienne .)

Principes de base des tests de performance

Les tests de performance prévisionnels, également appelés transactions sur papier, fournissent aux traders un autre ensemble de données hors échantillon sur lesquelles évaluer un système. Les tests de performance prévisionnels sont une simulation du trading réel et impliquent de suivre la logique du système sur un marché réel. Cela s'appelle également le commerce de papier puisque toutes les transactions sont exécutées sur papier seulement; c'est-à-dire que les entrées et les sorties de transaction sont documentées avec tout bénéfice ou perte pour le système, mais aucune transaction réelle n'est exécutée.

Un aspect important des tests de performance futurs consiste à suivre exactement la logique du système. sinon, il devient difficile, voire impossible, d’évaluer avec précision cette étape du processus. Les traders doivent être honnêtes à propos des entrées et des sorties de commerce et éviter des comportements tels que la cueillette des métiers ou ne pas inclure de transaction sur papier en précisant que "je n'aurais jamais accepté cette transaction". Si l'opération avait eu lieu selon la logique du système, elle devrait être documentée et évaluée.

De nombreux courtiers proposent un compte de trading simulé sur lequel les transactions peuvent être effectuées et les profits et pertes correspondants calculés. L'utilisation d'un compte de trading simulé peut créer une atmosphère semi-réaliste sur laquelle pratiquer le trading et mieux évaluer le système.

La figure 2 illustre également les résultats des tests de performance avancés sur deux systèmes. Encore une fois, le système représenté dans le graphique de gauche ne parvient pas à aller bien au-delà des tests initiaux sur les données de l'échantillon. Cependant, le système présenté dans le tableau de droite continue de bien fonctionner pendant toutes les phases, y compris les tests de performance prévisionnels. Un système qui affiche des résultats positifs et une bonne corrélation entre les tests de performance intra-échantillon, hors échantillon et à terme est prêt à être mis en œuvre sur un marché en direct. (Voir aussi: Avantages et inconvénients du négoce de papier .)

Le résultat final

Le backtesting est un outil précieux disponible dans la plupart des plateformes de trading. La division des données historiques en plusieurs ensembles pour permettre des tests intra-échantillon et hors échantillon peut fournir aux traders un moyen pratique et efficace d'évaluer une idée et un système de trading. Comme la plupart des traders utilisent des techniques d'optimisation dans le backtesting, il est important d'évaluer ensuite le système sur des données épurées pour déterminer sa viabilité.

Poursuivre les tests hors échantillon avec des tests de performance prévisionnels offre un autre niveau de sécurité avant de mettre un système sur le marché, risquant de véritables liquidités. Des résultats positifs et une bonne corrélation entre les tests d'arrière-test et les tests de performance anticipés intra-échantillon et hors échantillon augmentent la probabilité qu'un système fonctionne correctement dans les transactions réelles. (Pour un aperçu complet de l'analyse technique, voir: Principes de base de l'analyse technique .)