Apprendre la machine dans le Forex Trading: Pourquoi de nombreux universitaires font tout le mal Construire des stratégies d'apprentissage machine qui peuvent obtenir des résultats décents dans les conditions du marché en direct a toujours été un défi important dans le commerce algorithmique. Malgré le grand intérêt et les incroyables récompenses potentielles, il n'existe toujours pas de publications universitaires capables de montrer de bons modèles d'apprentissage machine capables d'aborder avec succès le problème commercial sur le marché réel (au mieux de ma connaissance, poster un commentaire si Vous en avez un et je serai plus qu'heureux de le lire). Bien que de nombreux articles publiés semblent montrer des résultats prometteurs, il arrive souvent que ces documents se retrouvent dans une variété de différents problèmes de biais statistique qui rendent le réel succès commercial de leurs stratégies d'apprentissage machine hautement improbable. Sur today8217s poste je vais parler des problèmes que je vois dans la recherche universitaire liée à l'apprentissage des machines dans le Forex et comment je crois que cette recherche pourrait être améliorée pour fournir des informations beaucoup plus utiles pour les communautés académiques et commerciales. La plupart des écueils dans la conception de la stratégie d'apprentissage machine en faisant le commerce Forex sont inévitablement hérités du monde des problèmes d'apprentissage déterministes. Lors de la construction d'un algorithme d'apprentissage automatique pour quelque chose comme la reconnaissance de visage ou la reconnaissance de lettres, il ya un problème bien défini qui ne change pas, qui est généralement abordé en construisant un modèle d'apprentissage machine sur un sous-ensemble des données (un ensemble d'apprentissage) Le modèle a pu résoudre correctement le problème en utilisant le rappel des données (un ensemble de tests). C'est pourquoi vous avez des ensembles de données célèbres et bien établis qui peuvent être utilisés pour établir la qualité des techniques nouvellement développées d'apprentissage automatique. Le point essentiel ici, cependant, est que les problèmes initialement abordés par l'apprentissage machine étaient principalement déterministes et indépendant du temps. En entrant dans le commerce, l'application de cette même philosophie aboutit à de nombreux problèmes liés à la fois au caractère partiellement non déterministe du marché et à sa dépendance temporelle. Le simple fait de tenter de sélectionner des ensembles d'entraînement et de test introduit un biais significatif (un biais de sélection de données) qui crée un problème. Si la sélection est répétée pour améliorer les résultats dans le jeu de tests 8211 que vous devez supposer se produit dans au moins certains cas 8211 alors le problème ajoute également une grande quantité de biais de data mining. Toute la question de faire un exercice de validation de formation unique génère également un problème concernant la façon dont cet algorithme doit être appliqué lors de la négociation en direct. Par définition, la négociation en direct sera différente puisque la sélection des ensembles d'essais de formation doit être réappliquée à des données différentes (étant donné que l'ensemble de tests est vraiment des données inconnues). Le biais inhérent à la sélection initiale dans l'échantillon hors période d'échantillonnage et l'absence de règles testées pour le commerce sous des données inconnues rend ces techniques à échouer généralement dans le commerce en direct. Si un algorithme est formé avec des données 2000-2012 et a été validé avec les données 2012-2015, il n'y a aucune raison de croire que le même succès se produira si formé en 2003-2015 données et puis vivre échangés de 2015 à 2017, les ensembles de données Sont de nature très différente. Le succès de l'algorithme de mesure est également un problème très pertinent ici. Inévitablement, les algorithmes d'apprentissage des machines utilisés pour le commerce devraient être mesurés au mérite par leur capacité à générer des rendements positifs, mais une certaine littérature mesure le mérite de nouvelles techniques algorithmiques en essayant de comparer leur capacité à obtenir des prédictions correctes. Les prédictions correctes ne correspondent pas nécessairement à la négociation rentable, comme vous pouvez facilement le constater lors de la construction de classificateurs binaires. Si vous essayez de prédire la prochaine direction de candle8217s vous pouvez toujours faire une perte si vous êtes surtout droit sur de petites bougies et mal sur les grandes bougies. En fait la plupart de ce type de classificateurs 8211 la plupart de ceux qui don8217t travail 8211 finissent par prédire la directionnalité avec une précision au-dessus de 50, mais pas au-dessus du niveau nécessaire pour surpasser les commissions qui permettraient de négociation d'options binaires rentables. Pour construire des stratégies qui sont principalement débarrassé des problèmes ci-dessus, j'ai toujours préconisé une méthodologie dans laquelle l'algorithme d'apprentissage machine est recyclé avant la prise de toute décision de formation. En utilisant une fenêtre mobile pour la formation et ne jamais prendre plus d'une décision sans recyclage de l'ensemble de l'algorithme, nous pouvons nous débarrasser du biais de sélection qui est inhérent dans le choix d'un seul dans l'échantillon hors de l'échantillon de jeu. De cette façon, l'ensemble du test est une série d'exercices de validation d'entraînement qui finissent par s'assurer que l'algorithme d'apprentissage de la machine fonctionne même sous des ensembles de données de formation extrêmement différents. Je préconise également la mesure de la performance réelle de backtesting pour mesurer un mérite de l'algorithme d'apprentissage de la machine et en outre j'irais même jusqu'à dire qu'aucun algorithme ne peut valoir son sel sans être prouvé dans des conditions réelles hors de l'échantillon. Développer des algorithmes de cette manière est beaucoup plus difficile et je n'ai pas trouvé un seul document académique qui suit ce type d'approche (si je l'ai manqué, n'hésitez pas à poster un lien afin que je puisse inclure un commentaire). Cela ne signifie pas pour autant que cette méthodologie est totalement exempte de problèmes mais elle est toujours soumise aux problèmes classiques pertinents à tous les exercices de construction de stratégie, y compris le biais de mise en forme de la courbe et le biais d'exploitation des données. C'est pourquoi il est également important d'utiliser une grande quantité de données (j'utilise 25 ans pour tester des systèmes, toujours recyclage après chaque machine d'apprentissage décision dérivée) et d'effectuer des tests d'évaluation de biais de data mining appropriée pour déterminer la confiance avec laquelle nous pouvons Dire que les résultats ne proviennent pas du hasard. Mon ami AlgoTraderJo 8211 qui se trouve également être un membre de ma communauté de commerce 8211 est actuellement en train de développer un fil à ForexFactory suite à ce même type de philosophie pour le développement d'apprentissage machine, que nous travaillons sur de nouveaux algorithmes d'apprentissage machine pour ma communauté commerciale. Vous pouvez vous référer à son fil ou à des posts passés sur mon blog pour plusieurs exemples d'algorithmes d'apprentissage de machine développés de cette manière. Si vous souhaitez en savoir plus sur nos développements en apprentissage machine et comment vous aussi pouvez également développer vos propres stratégies d'apprentissage machine en utilisant le cadre F4 s'il vous plaît envisager de rejoindre Asirikuy. Un site Web rempli de vidéos éducatives, des systèmes de négociation, le développement et une approche saine, honnête et transparente vers le commerce automatisé. Je ne suis pas très sûr, si cette question s'inscrit ici. J'ai récemment commencé à lire et à apprendre sur l'apprentissage automatique. Quelqu'un peut-il jeter un peu de lumière sur la façon de s'y prendre, ou plutôt quelqu'un peut partager leur expérience et quelques conseils de base sur la façon de s'y prendre ou atleast commencer à l'appliquer pour voir quelques résultats des ensembles de données Comment ambitieux fait ce son Aussi, Algorithmes standard qui doivent être essayés ou regardés tout en faisant cela. Il semble y avoir une erreur de base que quelqu'un peut venir et apprendre quelques algorithmes d'apprentissage automatique ou d'IA, les configurer comme une boîte noire, aller go, et de s'asseoir pendant qu'ils se retirent. Mon conseil: Apprenez les statistiques et l'apprentissage automatique d'abord, puis vous inquiétez de la façon de les appliquer à un problème donné. Il n'y a pas de déjeuner gratuit ici. L'analyse des données est un travail difficile. Lisez Les éléments de l'apprentissage statistique (le pdf est disponible gratuitement sur le site Web), et ne commencez pas à essayer de construire un modèle jusqu'à ce que vous compreniez au moins les 8 premiers chapitres. Une fois que vous comprenez les statistiques et l'apprentissage automatique, alors vous devez apprendre à backtest et de construire un modèle commercial, la comptabilité des coûts de transaction, etc, qui est un tout autre domaine. Après avoir une poignée à la fois sur l'analyse et les finances, alors il sera un peu évident comment l'appliquer. Le point entier de ces algorithmes tente de trouver un moyen d'adapter un modèle à des données et de produire un faible biais et une variance dans la prédiction (c'est-à-dire que l'erreur de prédiction d'entraînement et de test sera faible et similaire). Voici un exemple d'un système commercial utilisant une machine vecteur de soutien dans R. mais il suffit de garder à l'esprit que vous serez faire vous-même un énorme service si vous ne passez pas le temps de comprendre les bases avant d'essayer d'appliquer quelque chose d'ésotérique. Juste pour ajouter une mise à jour divertissante: J'ai récemment rencontré cette thèse de maîtrise: Un nouveau cadre de négociation algorithmique appliquant l'évolution et l'apprentissage de la machine pour l'optimisation de portefeuille (2012). Il s'agit d'un examen approfondi des différentes approches d'apprentissage des machines par rapport à l'achat et la détention. Après presque 200 pages, ils arrivent à la conclusion de base: aucun système commercial n'a pu surperformer le benchmark lors de l'utilisation des coûts de transaction. Inutile de dire que cela ne signifie pas qu'il ne peut pas être fait (je n'ai pas passé tout le temps à revoir leurs méthodes pour voir la validité de l'approche), mais il fournit certainement plus de preuves en faveur du théorème pas de repas libre. Répondre fév 1 11 at 18:48 Jase Comme l'un des auteurs de la thèse de maître mentionné, je peux citer mon propre travail et dire: si quelqu'un réalise réellement des résultats rentables, il n'y a pas d'incitation à les partager, car cela annulerait leur avantage. Bien que nos résultats puissent soutenir l'hypothèse du marché, cela n'empêche pas l'existence de systèmes qui fonctionnent. Il pourrait être comme la théorie des probabilités: il est spéculé que les percées dans le domaine de la théorie des probabilités est arrivé plusieurs fois, mais jamais partagé. Cela pourrait être dû à son application pratique dans le jeu. Alors, encore une fois, c'est peut-être tout l'alchimie moderne. Ndash Andr233 Christoffer Andersen 30 avril à 10:01 Mon conseil à vous: Il existe plusieurs branches de l'Intelligence Artificielle d'IA (ML AI): www-formal. stanford. edu jmc whatisai node2.html J'ai seulement essayé la programmation génétique et Certains réseaux de neurones, et je pense personnellement que la branche d'apprentissage de l'expérience semble avoir le plus de potentiel. GP GA et les réseaux neuronaux semblent être les méthodologies les plus couramment explorées dans le but des prévisions du marché boursier, mais si vous faites de l'exploration de données sur Predict Wall Street. Vous pourriez être en mesure de faire une analyse sentiment aussi. Passez un peu de temps à apprendre sur les différentes techniques ML IA, trouver des données sur le marché et essayer de mettre en œuvre certains de ces algorithmes. Chacun aura ses forces et ses faiblesses, mais vous pourrez peut-être combiner les prédictions de chaque algorithme dans une prédiction composite (similaire à ce que les gagnants du Prix NetFlix ont fait). Certaines ressources: Voici quelques ressources que vous pourriez vouloir examiner: Le Chatter: Le consensus général parmi les commerçants est que l'Intelligence Artificielle est une science vaudou, vous ne pouvez pas faire un ordinateur prédire les cours des actions et vous êtes sûr de perdre votre argent si vous essayez je le fais. Néanmoins, les mêmes personnes vous diront que la seule façon de faire de l'argent sur le marché boursier est de construire et d'améliorer votre propre stratégie de trading et de le suivre de près (ce qui n'est pas une mauvaise idée). L'idée des algorithmes AI n'est pas de construire la puce et de lui laisser le commerce pour vous, mais d'automatiser le processus de création de stratégies. Son un processus très fastidieux et en aucun cas c'est facile :). Minimiser les suralimentations: Comme nous l'avons déjà mentionné, un problème fondamental avec les algorithmes de l'AI est la surenchymie (aka le biais de datamining): étant donné un ensemble de données, votre algorithme AI peut trouver un modèle qui est particulièrement pertinent pour l'ensemble de formation. Mais il peut ne pas être pertinent dans l'ensemble des tests. Il existe plusieurs façons de minimiser la suralimentation: Utilisez un jeu de validation. Il ne donne pas de rétroaction à l'algorithme, mais il vous permet de détecter quand votre algorithme est potentiellement commencer à overfit (c'est-à-dire que vous pouvez arrêter la formation si vous êtes overfitting trop). Utiliser l'apprentissage en ligne des machines. Il élimine en grande partie la nécessité de back-testing et il est très applicable pour les algorithmes qui tentent de faire des prévisions du marché. Ensemble d'apprentissage. Vous fournit un moyen de prendre plusieurs algorithmes d'apprentissage machine et de combiner leurs prédictions. L'hypothèse est que divers algorithmes peuvent avoir surchargé les données dans une certaine zone, mais la combinaison correcte de leurs prédictions auront une meilleure puissance prédictive. Deux aspects de l'apprentissage statistique sont utiles pour la négociation 1. Premièrement, ceux mentionnés précédemment: certaines méthodes statistiques axées sur le travail sur des ensembles de données en direct. Cela signifie que vous savez que vous observez seulement un échantillon de données et que vous souhaitez extrapoler. Vous avez donc à traiter dans l'échantillon et hors des questions de l'échantillon, overfitting et ainsi de suite. De ce point de vue, l'exploration de données est plus axée sur les données mortes (c'est-à-dire que vous pouvez voir presque toutes les données, vous avez un problème dans l'échantillon seulement) que l'apprentissage statistique. Parce que l'apprentissage statistique consiste à travailler sur un ensemble de données en direct, les mathématiques appliquées qui traitent avec eux ont dû se concentrer sur un problème à deux échelles: gauche X ampamp Ftheta (Xn, xi) ampamp L (pi (Xn), n) fin à droite. Où X est l'espace d'état (multidimensionnel) à étudier (vous avez en lui vos variables explicatives et celles à prédire), F contient la dynamique de X qui a besoin de certains paramètres theta. Le hasard de X vient de l'innovation xi, qui est i. i.d. L'objectif de l'apprentissage statistique est de construire une méthodologie L ith comme entrées une observation partielle pi de X et ajuster progressivement une estimation hattheta de theta, de sorte que nous saurons tout ce qui est nécessaire sur X. Si vous pensez à utiliser l'apprentissage statistique pour trouver Les paramètres d'une régression linéaire. Nous pouvons modéliser l'espace d'état comme ceci: underbrace yx end right) gauche begin a amp b amp 1 1 amp 0 amp 0 end right cdot underbrace x 1 epsilon fin right) ce qui permet d'observer (y, x) n à tout n Ici theta (a, b). Ensuite, vous devez trouver un moyen de construire progressivement un estimateur de thêta en utilisant nos observations. Pourquoi pas une descente en gradient sur la distance L2 entre y et la régression: C (chapeau a, chapeau b) n somme (yk - (chapeau a, xk chapeau b)) 2 Ici gamma est un schéma de pondération. Habituellement, une bonne façon de construire un estimateur est d'écrire correctement les critères pour minimiser et mettre en œuvre une descente gradient qui produira le schéma d'apprentissage L. Retourner à notre problème générique d'origine. Nous avons besoin de quelques mathématiques appliquées pour savoir quand les systèmes dynamiques couple dans (X, hattheta) convergent, et nous avons besoin de savoir comment construire des schémas d'estimation L qui convergent vers le theta d'origine. Pour vous donner des indications sur de tels résultats mathématiques: Maintenant, nous pouvons revenir au deuxième aspect de l'apprentissage statistique qui est très intéressant pour les stratèges commerçants quantiques: 2. Les résultats utilisés pour prouver l'efficacité des méthodes d'apprentissage statistique peut être utilisé pour prouver l'efficacité Des algorithmes de trading. Pour voir qu'il suffit de lire à nouveau le système dynamique couplé qui permet d'écrire l'apprentissage statistique: gauche M ampamp Frho (Mn, xi) ampamp L (pi (Mn), n) fin à droite. Maintenant M sont des variables du marché, rho est sous-jacent PnL, L est une stratégie de négociation. Il suffit de remplacer la minimisation d'un critère en maximisant le PnL. Voir par exemple la répartition optimale des commandes entre les pools de liquidité: une approche algorithmique stochastique par: Gilles Pags, Sophie Laruelle, Charles-Albert Lehalle. Dans cet article, les auteurs montrent qui utiliser cette approche pour diviser de façon optimale un ordre à travers différents pools sombres simultanément en apprenant la capacité des pools à fournir des liquidités et à utiliser les résultats pour le commerce. Les outils d'apprentissage statistique peuvent être utilisés pour élaborer des stratégies commerciales itératives (la plupart sont itératives) et prouver leur efficacité. La réponse brève et brutale est: vous n'avez pas. Tout d'abord, parce que le ML et les statistiques ne sont pas quelque chose que vous pouvez commander bien dans un ou deux ans. Mon horizon de temps recommandé pour apprendre quelque chose de non trivial est de 10 ans. ML pas une recette pour faire de l'argent, mais juste un autre moyen d'observer la réalité. Deuxièmement, parce que tout bon statisticien sait que la compréhension des données et le domaine du problème est 80 du travail. C'est pour cette raison que vous avez des statisticiens qui se concentrent sur l'analyse des données de physique, sur la génomique, sur le sabermetrics etc. Pour mémoire, Jérôme Friedman, co-auteur d'ESL cité ci-dessus, est physicien et occupe encore une position de courtoisie chez SLAC. Ainsi, l'étude des statistiques et des finances pour quelques années. Sois patient. Suis ton propre chemin. Le kilométrage peut varier. Je suis entièrement d'accord. Tout simplement parce que vous connaissez l'apprentissage automatique et les statistiques, cela ne signifie pas que vous savez comment l'appliquer au financement. Ndash Dr. Mike Aug 10 11 at 20:25 Aussi une chose importante à retenir est que won39t être le commerce contre les gens, vous allez négocier contre d'autres algorithmes d'intelligence artificielle qui regardent vos métiers pile, et sont furieusement calculer les chances que le Collectif yous serait effrayé par un déclin fabriqué et en prenant cette perte mineure en créant un tremplin de pic et de tromper tous ces AI39s en s'arrêtant, puis en roulant la trempette de nouveau dans lui et monter la vague, gagner vos pertes. Le marché boursier est un jeu de somme nulle, le traiter comme entrer dans un match de boxe pro, si vous aren39t un vétéran de 20 ans, you39re va perdre ndash Eric Leschinski Feb 13 at 1:56 Une application de base est de prédire la détresse financière. Obtenez un tas de données avec certaines entreprises qui ont manqué à leurs obligations, et d'autres qui n'ont pas, avec une variété d'informations financières et des ratios. Utilisez une méthode d'apprentissage machine telle que SVM pour voir si vous pouvez prédire quelles entreprises seront par défaut et qui ne sera pas. Utilisez cette SVM à court terme pour les sociétés à probabilité élevée à probabilité élevée et les sociétés à défaut à faible probabilité, avec le produit des ventes à découvert. Il ya un dicton quotPicking pennies en place devant des rouleaux de vapeur. Vous faites l'équivalent de la vente d'un hors-de-l'argent. Dans ce cas, vous obtiendrez de minuscules bénéfices pendant des années, puis vous serez totalement nettoyés lorsque le marché se fondra tous les 10 ans environ. Il ya aussi une stratégie équivalente qui achète des puts hors de l'argent: ils perdent de l'argent pendant des années, puis font un meurtre quand le marché se fond. Voir Talab39s Le cygne noir. Ndash Contango Jun 5 11 at 22:20 N'oubliez pas que les sociétés internationales ont dépensé des centaines de milliards de dollars et heures-homme sur les esprits de l'intelligence artificielle les meilleurs et les plus brillants au cours des 40 dernières années. J'ai parlé à quelques-unes des tours d'esprit responsables des alphas sur Citadel et Goldman Sachs, et l'hubris des novices à penser qu'ils peuvent mettre en place un algorithme qui va aller à l'orteil avec eux, et de gagner, est presque aussi stupide que Un enfant vous disant qu'il va sauter à la lune. Bonne chance, et attention aux martiens de l'espace. Pour ne pas dire de nouveaux champions ne peut pas être faite, mais les chances sont contre vous. Ndash Eric Leschinski Feb 13 at 2:00 Une possibilité mérite d'être explorée est d'utiliser l'outil d'apprentissage de la machine vectorielle de support sur la plate-forme Metatrader 5. Tout d'abord, si vous n'êtes pas familier avec lui, Metatrader 5 est une plate-forme développée pour les utilisateurs de mettre en œuvre la négociation algorithmique sur les marchés Forex et CFD (Im pas sûr si la plate-forme peut être étendue aux stocks et autres marchés). Il est généralement utilisé pour les stratégies d'analyse technique fondée (c'est-à-dire en utilisant des indicateurs basés sur des données historiques) et est utilisé par les gens qui cherchent à automatiser leur négociation. Le Support Vector Machine Learning Tool a été développé par l'une des communautés d'utilisateurs afin de permettre l'application de machines vectorielles de soutien aux indicateurs techniques et de conseil sur les métiers. Une version de démonstration gratuite de l'outil peut être téléchargée ici si vous souhaitez en savoir davantage. Si je comprends bien, l'outil utilise des données historiques sur les prix pour déterminer si les opérations hypothétiques dans le passé auraient été couronnées de succès. Il prend ensuite ces données avec les valeurs historiques à partir d'un certain nombre d'indicateurs personnalisables (MACD, oscillateurs etc), et l'utilise pour former une machine de vecteur de soutien. Ensuite, il utilise la machine de vecteur support formé pour signaler les métiers de vente d'achat futur. Une meilleure description peut être trouvée sur le lien. J'ai joué avec un peu avec des résultats très intéressants, mais comme avec toutes les stratégies de négociation algorithmique, je recommande solid back avant les tests avant de le prendre sur le marché en direct. Répondre Dec 10 12 at 11:59 Désolé, mais en dépit d'être utilisé comme un exemple populaire dans l'apprentissage automatique, personne n'a jamais atteint une prédiction du marché boursier. Il ne fonctionne pas pour plusieurs raisons (vérifier la marche aléatoire par Fama et un bon nombre d'autres, la décision rationnelle d'erreur, fausses hypothèses.), Mais le plus convaincant est que si cela marchait, quelqu'un serait capable de devenir insensé En quelques mois, essentiellement propriétaire de tout le monde. Comme cela ne se produit pas (et vous pouvez être sûr que tous les banques ont essayé), nous avons de bonnes preuves, cela ne fonctionne tout simplement pas. En outre: Comment pensez-vous que vous atteindrez ce que des dizaines de milliers de professionnels ont échoué, en utilisant les mêmes méthodes qu'ils ont, ainsi que des ressources limitées et seulement des versions de base de leurs méthodes ont répondu Quotmost compellingquot raison: les stratégies ont des limites de capacité, c'est-à-dire des niveaux au-delà de laquelle votre impact sur le marché dépasserait l'alpha disponible, même en supposant que vous aviez un capital illimité. Je ne suis pas sûr de ce que vous entendez par une prédiction de marché quotstock (indice futures ETF39s), mais il ya certainement beaucoup de gens à faire des prévisions à court terme, et en bénéficiant, tous les jours sur les marchés. Ndash afekz Nov 23 15 at 13:19 J'ai écho beaucoup de ce que Shane a écrit. En plus de lire l'ESL, je suggérerais une étude encore plus fondamentale des statistiques d'abord. Au-delà de cela, les problèmes que j'ai décrits dans une autre question sur cet échange sont très pertinents. En particulier, le problème du biais de datamining est un obstacle sérieux à toute stratégie basée sur l'apprentissage par machine.
No comments:
Post a Comment