HMM vs RNN pour la reconnaissance vocale

Comparaison des modèles de Markov cachés (HMM) et des réseaux neuronaux récurrents (RNN) pour la reconnaissance vocale

• La reconnaissance vocale a connu des progrès significatifs ces dernières années.
• Les HMM et les RNN sont deux approches populaires pour la reconnaissance vocale.
• Les HMM sont un modèle probabiliste, tandis que les RNN sont un type de réseau neuronal qui apprend des données séquentielles.
• Les HMM supposent que le signal de parole est une séquence d'états avec une distribution de probabilité pour chaque état.
• Les RNN ont une boucle de rétroaction, ce qui leur permet de conserver l'information sur les entrées précédentes.
• Les HMM sont plus faciles à entraîner et nécessitent moins de données.
• Néanmoins, les RNN peuvent apprendre des relations plus complexes dans les données et potentiellement surpasser les HMM en termes de performance.

Introduction à la reconnaissance vocale

• Les premiers systèmes de reconnaissance vocale sont apparus au début des années 1950 (Bell Labs), capables de reconnaître les chiffres de zéro à neuf.
• Dans les années 1960, des applications commerciales ont émergé, comme le système IBM Shoebox reconnaissant 16 mots.
• Les HMM sont devenus populaires dans les années 1970.
• Les RNN ont commencé à être utilisés dans les années 1980.
• L'apprentissage profond a récemment permis des améliorations notables grâce aux réseaux neuronaux avec plusieurs couches.

Modèles de Markov cachés (HMM)

• Un HMM est un modèle statistique qui modélise un système comme un processus de Markov avec des états cachés.
• Les HMM modélisent les propriétés statistiques du signal de parole en utilisant des états, des probabilités de transition et des probabilités d'émission.
• Chaque état correspond à un phonème ou une partie d'un phonème.
• La matrice de probabilité de transition spécifie la probabilité de passage d'un état à un autre.
• La matrice de probabilité d'émission indique la probabilité d'observer une caractéristique particulière étant donné un état.
• L'algorithme de Viterbi est utilisé pour déterminer la séquence d'états la plus probable en fonction d'une séquence d'observations.
• L'algorithme de Viterbi recherche récursivement le chemin le plus probable à travers le modèle.

Réseaux neuronaux récurrents (RNN)

• Les RNN sont capables d'apprendre des données séquentielles grâce à une boucle de rétroaction qui conserve l'information sur les entrées précédentes.
• Les RNN modélisent les dépendances temporelles dans le signal de la parole.
• Un RNN pour la reconnaissance vocale comprend typiquement une couche d'entrée, une ou plusieurs couches récurrentes et une couche de sortie.
• Les couches LSTM et GRU sont des types de couches récurrentes capables d'apprendre des dépendances à long terme en contrôlant le flux d'informations via une "porte".
• L'algorithme de rétropropagation à travers le temps (BPTT) est utilisé pour entraîner les RNN, en déroulant le réseau dans le temps et en calculant le gradient de la fonction de perte.

Comparaison des HMM et des RNN (forces et faiblesses)

• HMM : approche probabiliste.
• RNN : approche discriminative.
• HMM : capacité limitée à modéliser les dépendances à long terme.
• RNN : forte capacité à modéliser les dépendances à long terme.
• HMM : quantité de données nécessaires faible.
• RNN : quantité de données nécessaires élevée.
• HMM : faible coût de calcul.
• RNN : coût de calcul élevé.
• HMM : forte immunité au bruit.
• RNN : immunité au bruit limitée.

Conclusion

• Les HMM sont utiles lorsque la quantité de données disponible est limitée.
• Les RNN sont plus appropriés lorsque la performance est critique et qu'une grande quantité de données est accessible.

Algorithmic Trading et Événements du Carnet d'Ordres

Données Haute Fréquence

• La plupart des classes d'actifs ont des données tick-by-tick facilement disponibles.
• Les données TAQ (Trades and Quotes) fournissent des données tick-by-tick pour les actions américaines.
• Les données LOB (Limit Order Book) fournissent une séquence d'événements qui modifient l'état du carnet d'ordres.

Exemple: Intel (INTC) sur Nasdaq

• Exemple de données d'événements LOB (Carnet d'Ordres Limités).
• Les colonnes incluent le timestamp, le type d'événement (Add, Trade), le côté (Bid, Ask), la taille, et le prix.

Carnet d'Ordres Limités (Limit Order Book)

• Un carnet d'ordres limités est une liste électronique d'ordres d'achat et de vente.
• Les ordres sont organisés par niveau de prix, avec les meilleurs prix en haut.
• Les participants au marché peuvent consulter le carnet d'ordres et soumettre des ordres.

Ordre Limité

• L'ordre d'achat est une enchère (bid) et l'ordre de vente est une demande (ask).
• Un ordre à cours limité permet d'acheter (bid) ou vendre (ask) une quantité spécifique d'un actif à un prix spécifique ou mieux.
• Garanti le prix, mais pas l'exécution.
• Si aucune contrepartie n'existe, l'ordre reste dans le carnet.

Ordre au Marché

• Un ordre au marché permet d'acheter (bid) ou de vendre (ask) une quantité spécifique d'un actif immédiatement au meilleur prix disponible.
• Garanti l'exécution, mais pas le prix.
• Un ordre au marché "prend de la liquidité".

Exemple de Carnet d'Ordres

• Dans un carnet d'ordres simplifié, les ordres sont regroupés par prix.

• Dans cet exemple, la meilleure offre est de $120.00 avec une taille de 100 actions, et la meilleure demande est de $120.10 avec une taille de 100 actions.
• La fourchette acheteur-vendeur (bid-ask spread) est de $0.10.

Événements du carnet d'ordres

• Les événements du carnet d'ordres sont des modifications du carnet d'ordres limité.
• Chaque événement représente une action entreprise par un participant au marché.

Événements Communs

• Add (Ajout) : Un nouvel ordre à limite est placé dans le carnet d'ordres.
• Cancel (Annulation) : Un ordre à limite existant est annulé.
• Trade (Transaction) : Un ordre au marché est exécuté contre un ordre à limite.
• Modify (Modification) : La taille d'un ordre à limite existant est modifiée.

Types de Message

1. Messages d'AJOUT : arrivée d'un nouvel ordre à limite
2. Messages de MODIFICATION : modification d'un ordre à limite existant
3. Messages de SUPPRESSION : annulation d'un ordre à limite existant
4. Messages d'EXÉCUTION : exécution d'un ordre à limite
5. Messages d'EXÉCUTION CACHÉE : exécution d'un ordre caché

Statistiques du Carnet d'Ordres

• Les statistiques du carnet d'ordres peuvent être utilisées pour caractériser l'état du carnet d'ordres.
• Ces statistiques peuvent être utilisées pour prédire les mouvements futurs des prix.

Statistiques Communes

• Meilleurs prix acheteur et vendeur (Best bid and ask prices) : Le prix acheteur le plus élevé et le prix vendeur le plus bas.
• Écart acheteur-vendeur (Bid-ask spread) : La différence entre les meilleurs prix acheteur et vendeur.
• $\qquad Spread = Ask_{best} - Bid_{best}$
• Profondeur (Depth) : La quantité d'actions disponibles à chaque niveau de prix.
• $\qquad Depth = \sum_{i=1}^{L} Size_{i}$, où L est le nombre de niveaux
• Prix médian (Mid-price) : La moyenne des meilleurs prix acheteur et vendeur.
• $\qquad MidPrice = (Ask_{best} + Bid_{best})/2$
• Déséquilibre (Imbalance) : Ratio de la pression d'achat et de vente dans le carnet d'ordres.
• $\qquad Imbalance = \frac{BidDepth - AskDepth}{BidDepth + AskDepth}$
• Volatilité (Volatility) : Mesure le degré de variation d'une série de prix de négociation au fil du temps.

Stratégies de Trading Algorithmique

• Les stratégies de trading algorithmique utilisent les données du carnet d'ordres pour prendre des décisions de trading.
• Ces stratégies peuvent être utilisées pour :
• Fournir des liquidités : Passer des ordres à cours limité pour gagner l'écart.
• Prendre des liquidités : Exécuter des ordres au marché pour capturer des profits à court terme.
• Prédire les mouvements de prix : Utiliser les données du carnet d'ordres pour prévoir les mouvements futurs des prix.

Exemple de Stratégie : Tenue de Marché (Market Making)

• Passer des ordres à cours limité des deux côtés du carnet d'ordres.
• Capturer l'écart acheteur-vendeur comme profit.
• Gérer le risque d'inventaire en ajustant la taille des ordres.

Exemple de Stratégie : Arbitrage Statistique

• Identifier les écarts de prix entre des actifs apparentés.
• Exécuter des transactions pour profiter des écarts.
• Utiliser les données du carnet d'ordres pour améliorer la précision de la stratégie d'arbitrage.

Exemple de Stratégie : Suivi de Tendance

• Identifier et suivre les tendances dans les données du carnet d'ordres.
• Utiliser les données du carnet d'ordres pour confirmer les tendances et déterminer les entrées/sorties.
• Exemple : Acheter lorsqu'il y a une série d'ordres agressifs au marché du côté vendeur.

Reconstruction du Carnet d'Ordres à partir des Données Historiques

Introduction

• La reconstruction du carnet d'ordres à partir des données historiques peut fournir des informations précieuses sur la dynamique du marché.
• Elle permet de tester des stratégies de trading et d'analyser la micro structure du marché.

Défis

• Les besoins en stockage et en traitement des données peuvent être importants.
• Il est essentiel de garantir l'intégrité et l'exactitude des données.
• Complexité dans la correspondance et le séquençage correct des événements.

Méthodes

1. Reconstruction Axée sur les Événements : Traiter chaque événement historique séquentiellement pour mettre à jour l'état du carnet d'ordres.
2. Reconstruction Instantanée : Reconstruire les états du carnet d'ordres à des intervalles de temps spécifiques ou en fonction de certains événements.

Applications des Carnets d'Ordres Reconstruits

1. Stratégies de Trading de Backtesting: Simuler des stratégies de trading sur des données historiques du carnet d'ordres pour évaluer les performances
2. Analyse de la Micro structure du Marché: Étudier la dynamique du carnet d'ordres, la liquidité et la formation des prix.
3. Conformité Réglementaire: Reconstruire les états du carnet d'ordres pour les rapports et l'analyse réglementaires.

Chapitre 2. Espaces vectoriels

2.1. Introduction

• Le concept de vecteur est étendu au-delà de $\mathbb{R}^2$ et $\mathbb{R}^3$.
• Les espaces vectoriels sont explorés, en commençant par leur définition et en examinant leurs propriétés.

2.2. Définition d'un espace vectoriel

• Définition 2.2.1. Un espace vectoriel est un ensemble non vide $V$ d'objets, appelés vecteurs, dans lesquels deux opérations sont définies : l'addition des vecteurs et la multiplication scalaire (avec des scalaires étant des nombres réels). Les deux opérations doivent satisfaire les axiomes suivants :

1. Si $\mathbf{u}$ et $\mathbf{v}$ sont dans $V$, alors $\mathbf{u} + \mathbf{v}$ est dans $V$ (fermeture par addition).
2. Si $k$ est un scalaire et $\mathbf{u}$ est dans $V$, alors $k\mathbf{u}$ est dans $V$ (fermeture par multiplication scalaire).
3. $\mathbf{u} + \mathbf{v} = \mathbf{v} + \mathbf{u}$ (commutativité de l'addition).
4. $\mathbf{u} + (\mathbf{v} + \mathbf{w}) = (\mathbf{u} + \mathbf{v}) + \mathbf{w}$ (associativité de l'addition).
5. Il existe un vecteur nul $\mathbf{0}$ dans $V$ tel que $\mathbf{u} + \mathbf{0} = \mathbf{u}$ pour tout $\mathbf{u}$ dans $V$ (existence de l'élément neutre).
6. Pour chaque $\mathbf{u}$ dans $V$, il existe un vecteur inverse $-\mathbf{u}$ dans $V$ tel que $\mathbf{u} + (-\mathbf{u}) = \mathbf{0}$ (existence de l'inverse additif).
7. $k(\mathbf{u} + \mathbf{v}) = k\mathbf{u} + k\mathbf{v}$ (distributivité de la multiplication scalaire par rapport à l'addition vectorielle).
8. $(k + l)\mathbf{u} = k\mathbf{u} + l\mathbf{u}$ (distributivité de la multiplication scalaire par rapport à l'addition scalaire).
9. $k(l\mathbf{u}) = (kl)\mathbf{u}$ (associativité de la multiplication scalaire).
10. $1\mathbf{u} = \mathbf{u}$ (identité multiplicative).

2.3. Exemples d'espaces vectoriels

• Les ensembles $\mathbb{R}^n$, $M_{mn}(\mathbb{R})$, et $P_n$ sont des espaces vectoriels sous leurs opérations standard.
• L'ensemble de toutes les fonctions à valeurs réelles définies sur un ensemble non vide $X$ est un espace vectoriel.
• Un ensemble $V$, avec des opérations d'addition et de multiplication définies de manière spécifique, peut ne pas être un espace vectoriel si l'un des axiomes n'est pas satisfait.
  • Exemple: $V = {(x, y) \mid x, y \in \mathbb{R}}$, avec $(x_1, y_1) + (x_2, y_2) = (x_1 + x_2, y_1 + y_2)$ et $k(x, y) = (kx, y)$. Ici, $V$ n'est pas un espace vectoriel car l'axiome $10$ n'est pas satisfait.

2.4. Sous-espaces

• Définition 2.4.1. Un sous-espace $W$ d'un espace vectoriel $V$ est un sous-ensemble de $V$ qui est lui-même un espace vectoriel sous les opérations de somme et de produit définies dans $V$.

• Théorème 2.4.2. Un sous-ensemble non vide $W$ d'un espace vectoriel $V$ est un sous-espace de $V$ si et seulement si les conditions suivantes sont remplies:

  1. Si $\mathbf{u}$ et $\mathbf{v}$ appartiennent à $W$, alors $\mathbf{u} + \mathbf{v}$ appartient à $W$.
  2. Si $k$ est un scalaire et $\mathbf{u}$ appartient à $W$, alors $k\mathbf{u}$ appartient à $W$.

• Exemples:

  • L'ensemble de toutes les matrices diagonales $n \times n$ est un sous-espace de l'espace vectoriel $M_{nn}(\mathbb{R})$.
  • L'ensemble de toutes les matrices symétriques $n \times n$ est un sous-espace de l'espace vectoriel $M_{nn}(\mathbb{R})$.
  • Cependant, l'ensemble de toutes les matrices inversibles $n \times n$ n'est pas un sous-espace de l'espace vectoriel $M_{nn}(\mathbb{R})$.
  • $W = {(x, y, z) \mid x - 3y + 4z = 0}$ est un sous-espace de $\mathbb{R}^3$.
  • $W = {(x, y, z) \mid x - 3y + 4z = 1}$ n'est pas un sous-espace de $\mathbb{R}^3$.

2.5. Espace nul d'une matrice

• Définition 2.5.1. L'espace nul d'une matrice $A$ de dimensions $m \times n$ est l'ensemble de tous les vecteurs $\mathbf{x}$ dans $\mathbb{R}^n$ tels que $A\mathbf{x} = \mathbf{0}$. Il est noté $\text{Nul}(A)$.

• Théorème 2.5.2. Si $A$ est une matrice de dimensions $m \times n$, alors $\text{Nul}(A)$ est un sous-espace de $\mathbb{R}^n$.

• Exemple: Déterminer l'espace nul de la matrice $$ A = \begin{bmatrix} 1 & 2 & 3 \ 2 & 4 & 6 \end{bmatrix}. $$ L'espace nul de $A$ est l'ensemble de tous les vecteurs de la forme $$ x_2\begin{bmatrix} -2 \ 1 \ 0 \end{bmatrix}

  • x_3\begin{bmatrix} -3 \ 0 \ 1 \end{bmatrix}. $$

2.6. Espace de colonnes d'une matrice

• Définition 2.6.1. L'espace de colonnes d'une matrice $A$ de dimensions $m \times n$ est l'ensemble de toutes les combinaisons linéaires des colonnes de $A$. L'espace de colonnes de $A$ est noté $\text{Col}(A)$.

• Théorème 2.6.2. Si $A$ est une matrice de dimensions $m \times n$, alors $\text{Col}(A)$ est un sous-espace de $\mathbb{R}^m$.

• Exemple: Déterminer l'espace de colonnes de la matrice $$ A = \begin{bmatrix} 1 & 2 \ 2 & 4 \ 3 & 6 \end{bmatrix}. $$ L'espace de colonnes de $A$ est l'ensemble de tous les vecteurs de la forme $$ c\begin{bmatrix} 1 \ 2 \ 3 \end{bmatrix}, $$ où $c$ est un scalaire.

Preuve de l'inégalité de Cauchy-Schwarz

• Théorème :

$\qquad$Pour u, v $\in$ V, où V est un espace de produit intérieur :

$\qquad$$|\langle u, v\rangle| \leq|u||v|$

• Preuve :

$\qquad$Si v = 0, alors $\langle u, v\rangle = \langle u, 0\rangle = 0$, et $|v| = 0$, donc l'inégalité devient $0 \leq 0$, ce qui est vrai.

$\qquad$Maintenant, supposez que $v \neq 0$.

$\qquad$Soit t $\in \mathbb{R}$. Considérez $|u - tv|^2 \geq 0$.

$\qquad$$|u - tv|^2 = \langle u - tv, u - tv\rangle = \langle u, u\rangle - t\langle u, v\rangle - t\langle tv, u\rangle + t^2\langle v, v\rangle = |u|^2 - 2t\langle u, v\rangle + t^2|v|^2$

$\qquad$Soit $f(t) = |u|^2 - 2t\langle u, v\rangle + t^2|v|^2 \geq 0$.

$\qquad$C'est une équation quadratique en t, et puisque $f(t) \geq 0$, cela signifie que la quadratique a au plus une racine réelle.

$\qquad$Par conséquent, le discriminant doit être $\leq 0$.

$\qquad$$D = b^2 - 4ac = (-2\langle u, v\rangle)^2 - 4|v|^2|u|^2 \leq 0$

$\qquad$$4\langle u, v\rangle^2 - 4|v|^2|u|^2 \leq 0$

$\qquad$$\langle u, v\rangle^2 \leq |u|^2|v|^2$

$\qquad$$|\langle u, v\rangle| \leq |u||v|$

$\qquad$$\therefore$ L'inégalité de Cauchy-Schwarz est valable.

Angle entre deux vecteurs

• Définition :

$\qquad$Soit u, v $\in$ V, où V est un espace de produit intérieur. L'angle $\theta$ entre u et v est défini comme :

$\qquad$$\cos(\theta) = \frac{\langle u, v\rangle}{|u||v|}$

• Par l'inégalité de Cauchy-Schwarz :

$\qquad$$-1 \leq \frac{\langle u, v\rangle}{|u||v|} \leq 1$

$\qquad$$\therefore \theta$ est un nombre réel.

• Exemple :

$\qquad$$u = (1, 1, 0)$, $v = (1, 2, -1)$

$\qquad$$|u| = \sqrt{2}$, $|v| = \sqrt{6}$

$\qquad$$\langle u, v\rangle = 1 + 2 + 0 = 3$

$\qquad$$\cos(\theta) = \frac{3}{\sqrt{2}\sqrt{6}} = \frac{3}{\sqrt{12}} = \frac{3}{2\sqrt{3}} = \frac{\sqrt{3}}{2}$

$\qquad$$\theta = \cos^{-1}(\frac{\sqrt{3}}{2}) = \frac{\pi}{6}$