Chaînes de Markov à temps discret

Un processus stochastique où l'évolution future dépend uniquement de l'état actuel et non de l'historique passé.

L'ensemble des valeurs possibles que peut prendre une chaîne de Markov à un instant donné.

La probabilité de transition d'un état i à un état j au prochain pas de temps.

La probabilité de se trouver dans un état donné au temps t.

Une chaîne de Markov dont l'espace d'état est fini.

Une chaîne de Markov dont l'espace d'état est dénombrable (fini ou infini).

Une chaîne de Markov où le temps est une variable discrète (par exemple, des instants discrets).

Une chaîne de Markov où le temps est une variable continue.

Un état est récurrent si et seulement si, étant donné que le système se trouve dans cet état à un moment donné, il est certain qu'il reviendra à cet état à un moment donné dans le futur.

Si un état est transitoire, il n'est pas garanti que le système reviendra à cet état à un moment donné dans le futur.

Un état est récurrent positif si l'espérance du temps de premier retour à cet état est finie.

Un état est récurrent nul si l'espérance du temps de premier retour à cet état est infinie.

Une chaîne de Markov est irréductible si chaque état est accessible depuis tout autre état.

Une classe d'états est absorbante si tous les états de la classe sont récurrents positifs, et il est impossible de quitter la classe une fois qu'on y entre.

Une chaîne de Markov est ergodique si elle est irréductible, apériodique et si tous ses états sont récurrents positifs.

L'espérance du temps de premier retour à un état est la moyenne du nombre de pas nécessaires pour revenir à cet état après l'avoir quitté.

La probabilité qu'une population s'éteigne est de 1 si et seulement si le nombre moyen de descendants par individu est inférieur ou égal à 1.

La fonction génératrice des probabilités (F.G.P) d'une variable aléatoire est définie comme la somme des probabilités de chaque valeur de la variable, pondérées par les puissances correspondantes d'un paramètre.

La fonction génératrice des probabilités (F.G.P) d'une variable aléatoire est définie comme la somme des probabilités de chaque valeur de la variable, pondérées par les puissances correspondantes d'un paramètre.

Dans une chaîne de Markov, l'état stationnaire est un état où la probabilité de se trouver dans cet état reste constante au fil du temps.

Une chaîne de Markov est dite réversible si les transitions dans le temps inversé respectent les mêmes probabilités que les transitions dans le temps direct.

La moyenne des variables aléatoires indépendantes et identiquement distribuées (v.a.i.i.d) est définie comme la somme de toutes les v.a.i.i.d divisée par le nombre total de v.a.i.i.d.

La probabilité de retourner à l'état initial (0) pour la première fois après un nombre quelconque de pas, en commençant à l'état initial.

La probabilité d'être absorbé dans l'état 0 en commençant à l'état 1, en considérant le processus de ruine du joueur.

Un état est transitoire si, partant de cet état, il existe une chance non nulle de ne jamais y revenir. Un état est récurrent si, partant de cet état, on est certain de revenir à cet état à un certain moment dans le futur.

La distribution stationnaire est la distribution des probabilités d'état à long terme, qui ne change pas au fil du temps. Elle existe si la chaîne de Markov est ergodique (irréductible, apériodique et récurrente positive).

Si deux états communiquent et si le deuxième état communique avec un troisième état, alors le premier état communique également avec le troisième.

Une matrice où tous les éléments sont non négatifs et où la somme des éléments de chaque ligne et de chaque colonne vaut 1.

La distribution de probabilité qui reste inchangée après une étape de la marche aléatoire.

Une chaîne de Markov ayant un nombre fini d'états.

Un état appelé transient si la probabilité de revenir à cet état à partir de lui-même est inférieure à 1.

Une collection d'états liés entre eux par des transitions dans n'importe quelle direction.

La probabilité qu'un événement se produise à long terme, lorsque le système a atteint un état d'équilibre.

Une chaîne de Markov est un processus où l'avenir dépend uniquement de l'état actuel et non de l'histoire passée. Elle est décrite par un diagramme des transitions entre états et des probabilités de passage d'un état à l'autre.

La probabilité que le Belge soit trempé dépend de la probabilité de pluie et de son nombre de parapluies. Trouver la valeur de la probabilité de pluie qui rend cette probabilité maximale permet de comprendre l'influence du climat sur son état.

Une marche aléatoire à deux barrières réfléchissantes est un modèle où un point se déplace sur une ligne avec des probabilités spécifiques de se déplacer vers la gauche ou la droite, et des barrières à chaque extrémité qui le renvoient vers le centre.

La probabilité que le modèle d'une chaîne de Markov atteigne un état particulier après une période infinie de temps.

Le problème de la ruine du joueur modélise la situation de deux joueurs qui parient à chaque tour, avec une probabilité de gagner ou de perdre, jusqu'à ce que l'un d'eux soit ruiné.