Cha√ģnes de Markov

ÔĽŅ
Cha√ģnes de Markov

Cha√ģne de Markov

Selon les auteurs, une cha√ģne de Markov est de mani√®re g√©n√©rale un processus de Markov √† temps discret ou un processus de Markov √† temps discret et √† espace d'√©tats discret. En math√©matiques, un processus de Markov est un processus stochastique poss√©dant la propri√©t√© de Markov : de mani√®re simplifi√©e, la pr√©diction du futur, sachant le pr√©sent, n'est pas rendue plus pr√©cise par des √©l√©ments d'information suppl√©mentaires concernant le pass√©. Les processus de Markov portent le nom de leur d√©couvreur, Andrei Markov.

Un processus de Markov √† temps discret est une s√©quence \scriptstyle\ X_0, \scriptstyle\ X_1, \scriptstyle\ X_2, \scriptstyle\ X_3,\ \dots de variables al√©atoires √† valeurs dans l‚Äôespace des √©tats, qu'on notera \scriptstyle\ E\ dans la suite. La valeur \scriptstyle\ X_n\ est l'√©tat du processus √† l'instant \scriptstyle\ n. Les applications o√Ļ l'espace d'√©tats \scriptstyle\ E\ est fini ou d√©nombrable sont innombrables : on parle alors de cha√ģne de Markov ou de cha√ģnes de Markov √† espace d'√©tats discret. Les propri√©t√©s essentielles des processus de Markov g√©n√©raux, par exemple les propri√©t√©s de r√©currence et d'ergodicit√©, s'√©noncent ou se d√©montrent plus simplement dans le cas des cha√ģnes de Markov √† espace d'√©tats discret. Cet article concerne pr√©cis√©ment les cha√ģnes de Markov √† espace d'√©tats discret.

Andrei Markov a publi√© les premiers r√©sultats sur les cha√ģnes de Markov √† espace d'√©tats fini en 1906. Une g√©n√©ralisation √† un espace d'√©tats infini d√©nombrable a √©t√© publi√©e par Kolmogorov en 1936. Les processus de Markov sont li√©s au mouvement brownien et √† l'hypoth√®se ergodique, deux sujets de physique statistique qui ont √©t√© tr√®s importants au d√©but du XXe si√®cle.

Sommaire

Propriété de Markov faible

Article d√©taill√© : Propri√©t√© de Markov.

Définitions

C'est la propri√©t√© caract√©ristique d'une cha√ģne de Markov : en gros, la pr√©diction du futur √† partir du pr√©sent n'est pas rendue plus pr√©cise par des √©l√©ments d'information suppl√©mentaires concernant le pass√©, car toute l'information utile pour la pr√©diction du futur est contenue dans l'√©tat pr√©sent du processus. La propri√©t√© de Markov faible poss√®de plusieurs formes √©quivalentes qui reviennent toutes √† constater que la loi conditionnelle de \scriptstyle\ X_{n+1}\ sachant le pass√©, i.e. sachant \scriptstyle\ \left(X_k\right)_{0\le k\le n},\ est une fonction de \scriptstyle\ X_n\ seul :

\begin{align}\forall n\ge 0, \forall (i_0,\ldots,i_{n-1},i,j)&\in E^{n+2},
\\
\mathbb{P}\Big(X_{n+1}=j&\mid\, X_0=i_0, X_1=i_1,\ldots, X_{n-1}=i_{n-1},X_n=i\Big) = \mathbb{P}\left(X_{n+1}=j\mid X_n=i\right).
\end{align}

On suppose le plus souvent les cha√ģnes de Markov homog√®nes, i.e. on suppose que le m√©canisme de transition ne change pas au cours du temps. La propri√©t√© de Markov faible prend alors la forme suivante :

\begin{align}\forall n\ge 0, \forall (i_0,\ldots,i_{n-1},i,j)&\in E^{n+2},
\\
\mathbb{P}\Big(X_{n+1}=j&\mid\, X_0=i_0, X_1=i_1,\ldots, X_{n-1}=i_{n-1},X_n=i\Big) = \mathbb{P}\left(X_{1}=j\mid X_0=i\right).
\end{align}

Cette forme de la propri√©t√© de Markov faible est plus forte que la forme pr√©c√©dente, et entra√ģne en particulier que

\forall n\ge 0, \forall (i,j)\in E^{2},\qquad\mathbb{P}\left(X_{n+1}=j\mid X_n=i\right) = \mathbb{P}\left(X_{1}=j\mid X_0=i\right).

Dans la suite de l'article on ne consid√®rera que des cha√ģnes de Markov homog√®nes. Pour une application int√©ressante des cha√ģnes de Markov non homog√®nes √† l'optimisation combinatoire, voir l'article Recuit simul√©. Il existe une propri√©t√© de Markov forte, li√©e √† la notion de temps d'arr√™t : cette propri√©t√© de Markov forte est cruciale pour la d√©monstration de r√©sultats importants (divers crit√®res de r√©currence, loi forte des grands nombres pour les cha√ģnes de Markov). Elle est √©nonc√©e dans l'article "Propri√©t√© de Markov".

Critère

Crit√®re fondamental ‚ÄĒ Soit une suite \scriptstyle\ Y=(Y_{n})_{n\ge 0}\ de variables al√©atoires ind√©pendantes et de m√™me loi, √† valeurs dans un espace \scriptstyle\ F\ , et soit \scriptstyle\ f\ une application mesurable de \scriptstyle\ E\times F\ dans \scriptstyle\ E.\ Supposons que la suite \scriptstyle\ X=(X_{n})_{n\ge 0}\ est d√©finie par la relation de r√©currence :

\forall n\ge 0,\qquad X_{n+1}=f\left(X_n,Y_{n}\right),

et supposons que la suite \scriptstyle\ Y\ est ind√©pendante de \scriptstyle\ X_0.\ Alors \scriptstyle\ X\ est une cha√ģne de Markov homog√®ne.

Collectionneur de vignettes (coupon collector)  :

Petit Pierre fait la collection des portraits des onze joueurs de l'√©quipe nationale de football, qu'il trouve sur des vignettes √† l'int√©rieur de l'emballage des tablettes de chocolat C√©moi ; chaque fois qu'il ach√®te une tablette il a une chance sur 11 de tomber sur le portrait du joueur n¬į\scriptstyle\ k\ (pour tout \scriptstyle\ k\ ). On note \scriptstyle\ X_{n}\in\mathcal{P}([\![ 1,11]\!])\ l'√©tat de la collection de Petit Pierre, apr√®s avoir ouvert l'emballage de sa \scriptstyle\ n\ -√®me tablette de chocolat. \scriptstyle\ X=(X_{n})_{n\ge 0}\ est une cha√ģne de Markov partant de \scriptstyle\ X_{0}=\emptyset\ , car elle rentre dans le cadre pr√©c√©dent pour le choix \scriptstyle\ F=[\![1,11]\!],\ E=\mathcal{P}(F),\ f(x,y)=x\cup\{y\},\ puisque

 X_{n+1}=X_n\cup\{Y_n\},

o√Ļ les variables al√©atoires \scriptstyle\ Y_{n}\ sont des variables al√©atoires ind√©pendantes et uniformes sur \scriptstyle\ [\![1,11]\!]\  : ce sont les num√©ros successifs des vignettes tir√©es des tablettes de chocolat. Le temps moyen n√©cessaire pour compl√©ter la collection (ici le nombre de tablettes que Petit Pierre doit acheter en moyenne pour compl√©ter sa collec') est, pour une collection de \scriptstyle\ N\ vignettes au total, de \scriptstyle\ N\,H_N,\ o√Ļ \scriptstyle\ H_N\ est le \scriptstyle\ N\ -√®me nombre harmonique. Par exemple, \scriptstyle\ 11\,H_{11}=33,2\dots\quad tablettes de chocolat.

Remarques  :
  • La propri√©t√© de Markov d√©coule de l'ind√©pendance des \scriptstyle\ Y_i\ ;\ elle reste vraie lorsque les \scriptstyle\ Y_i\ ont des lois diff√©rentes, et lorsque la "relation de r√©currence" \scriptstyle\ X_{n+1}=f_n\left(X_n,Y_{n}\right)\ d√©pend de \scriptstyle\ n.\ Les hypoth√®ses faites en sus de l'ind√©pendance sont l√† uniquement pour assurer l'homog√©n√©it√© de la cha√ģne de Markov.
  • Le crit√®re est fondamental en cela que toute cha√ģne de Markov homog√®ne peut √™tre simul√©e via une r√©currence de la forme \scriptstyle\ X_{n+1}=f\left(X_n,Y_{n}\right),\ pour une fonction \scriptstyle\ f\ bien choisie. On peut m√™me choisir \scriptstyle\ F=[0,1],\ et choisir des variables \scriptstyle\ Y_{j}\ ind√©pendantes et uniformes sur l'intervalle [0,1], ce qui est commode pour l'√©tude de cha√ģnes de Markov via des m√©thodes de Monte-Carlo.

Probabilités de transition

D√©finition ‚ÄĒ Le nombre \scriptstyle\ \mathbb{P}\left(X_{1}=j\mid X_0=i\right) est appel√© probabilit√© de transition de l'√©tat \scriptstyle\ i\ √† l'√©tat \scriptstyle\ j\ en un pas, ou bien probabilit√© de transition de l'√©tat \scriptstyle\ i\ √† l'√©tat \scriptstyle\ j, s'il n'y a pas d'ambiguit√©. On note souvent ce nombre \scriptstyle\ p_{i,j}:

p_{i,j} = \mathbb{P}\left(X_{1}=j\mid X_0=i\right).
  • La famille de nombres \scriptstyle\ P=\left(p_{i,j}\right)_{(i,j)\in E^2} est appel√©e matrice de transition, noyau de transition, ou op√©rateur de transition de la cha√ģne de Markov.

La terminologie matrice de transition est la plus utilisée, mais elle n'est appropriée, en toute rigueur, que lorsque, pour un entier \scriptstyle\ n\ge 1, \scriptstyle\ E=\{1,2,\ldots,n\}. Lorsque \scriptstyle\ E\ est fini, par exemple de cardinal \scriptstyle\ n, on peut toujours numéroter les éléments de \scriptstyle\ E\ arbitrairement de 1 à \scriptstyle\ n, ce qui règle le problème, mais imparfaitement, car cette renumérotation est contre-intuitive dans beaucoup d'exemples.

Mod√®le d'Ehrenfest : les deux chiens et leurs puces  :

Deux chiens se partagent \scriptstyle\ N\ puces de la mani√®re suivante : √† chaque instant, une des \scriptstyle\ N\ puces est choisie au hasard et saute alors d'un chien √† l'autre. L'√©tat du syst√®me est d√©crit par un √©l√©ment \scriptstyle\ x=(x_1,x_2,\dots,x_N)\in\{0,1\}^N, o√Ļ

x_{i} = 0\text{ ou }1\text{ selon que la puce n}^{\circ}\ i\text{ est sur le 1er ou sur le 2eme chien.}

Alors \scriptstyle\ E\ poss√®de \scriptstyle\ 2^N\ √©l√©ments, mais les num√©roter de 1 √† \scriptstyle\ 2^N\ serait malcommode pour suivre l'√©volution du syst√®me, qui consiste √† choisir une des \scriptstyle\ N\ coordonn√©es de \scriptstyle\ x\ au hasard et √† changer sa valeur. Si l'on veut comprendre le syst√®me moins en d√©tail (car on n'est pas capable de reconna√ģtre une puce d'une autre), on peut se contenter d'√©tudier le nombre de puces sur le chien n¬į1, ce qui revient √† choisir \scriptstyle\ E=\{0, 1, 2,\dots, N\}. L√† encore, pour la compr√©hension, il serait dommage de renum√©roter les √©tats de 1 √† \scriptstyle\ N+1. Notons que pour cette nouvelle mod√©lisation,

p_{k,k+1} = \tfrac{N-k}N\text{ et }p_{k,k-1} = \tfrac{k}N,

puisque, par exemple, le nombre de puces sur le dos du chien n¬į1 passe de k √† k-1 si c'est une de ces k puces qui est choisie pour sauter, parmi les N puces pr√©sentes dans le "syst√®me". Ce mod√®le porte plus souvent le nom de "mod√®le des urnes d'Ehrenfest". Il a √©t√© introduit en 1907 par Paul et Tatiana Ehrenfest pour illustrer certains des ¬ę paradoxes ¬Ľ apparus dans les fondements de la m√©canique statistique naissante, et pour mod√©liser le bruit rose. Le mod√®le des urnes d'Ehrenfest √©tait consid√©r√© par le math√©maticien Mark Kac [1] comme ¬ę ... probablement l'un des mod√®les les plus instructifs de toute la physique ... ¬Ľ

Plut√īt que de renum√©roter les √©tats √† partir de 1, il est donc plus ergonomique dans beaucoup de cas d'accepter des matrices finies ou infinies dont les lignes et colonnes sont "num√©rot√©es" √† l'aide des √©l√©ments de \scriptstyle\ E. Le produit de deux telles "matrices", \scriptstyle\ A=\left(a_{i,j}\right)_{(i,j)\in E^2} et \scriptstyle\ B=\left(b_{i,j}\right)_{(i,j)\in E^2}, est alors d√©fini tr√®s naturellement par

(AB)_{i,j} = \sum_{\ell\in E}a_{i,\ell}b_{\ell,j},

par analogie avec la formule plus classique du produit de deux matrices carrées de taille \scriptstyle\ n,

(AB)_{i,j} = \sum_{k=1}^na_{i,k}b_{k,j}.

Proposition ‚ÄĒ La matrice de transition \scriptstyle\ P=\left(p_{i,j}\right)_{(i,j)\in E^2}\ est stochastique : la somme des termes de n'importe quelle ligne de \scriptstyle\ P\ donne toujours 1.

\forall i\in E, \quad\sum_{j\in E}p_{i,j}=1.

Proposition ‚ÄĒ  La loi de la cha√ģne de Markov \scriptstyle\ X=\left(X_n\right)_{n\ge 0} est caract√©ris√©e par le couple constitu√© de sa matrice de transition \scriptstyle\ P, et de sa loi initiale (la loi de \scriptstyle\ X_0\ ) : pour tout \scriptstyle\ n\ge 1 la loi jointe de \scriptstyle\ (X_0,X_1,\ldots,X_n) est donn√©e par

\mathbb{P}\left(X_{0}=i_0,X_{1}=i_1,\ldots,X_{n-1}=i_{n-1},X_{n}=i_n\right)=\mathbb{P}\left(X_{0}=i_0\right)\ p_{i_{0},i_1}\,p_{i_{1},i_2}\,\ldots\,p_{i_{n-2},i_{n-1}}\,p_{i_{n-1},i_n}.

Lorsqu'on √©tudie une cha√ģne de Markov particuli√®re, sa matrice de transition est en g√©n√©ral bien d√©finie et fix√©e tout au long de l'√©tude, mais la loi initiale peut changer lors de l'√©tude et les notations doivent refl√©ter la loi initiale consid√©r√©e sur le moment : si √† un moment de l'√©tude on consid√®re une cha√ģne de Markov de loi initiale d√©finie par \scriptstyle\ \forall i\in E,\quad \mathbb{P}\left(X_{0}=i\right)=\mu_i,\quad alors les probabilit√©s sont not√©es \scriptstyle\ \mathbb{P}_{\mu}\left(\dots\right),\quad et les esp√©rances sont not√©es \scriptstyle\ \mathbb{E}_{\mu}\left[\dots\right].\quad En particulier, si \scriptstyle\ \mathbb{P}\left(X_{0}=j\right)=1,\quad on dit que la cha√ģne de Markov part de \scriptstyle\ j,\quad les probabilit√©s sont not√©es \scriptstyle\ \mathbb{P}_{j}\left(\dots\right),\quad et les esp√©rances sont not√©es \scriptstyle\ \mathbb{E}_{j}\left[\dots\right].\quad

Pour \scriptstyle\ k\ge 1, la probabilit√© de transition en \scriptstyle\ k\ pas, \scriptstyle\ \mathbb{P}\left(X_{n+k}=j\mid X_n=i\right), ne d√©pend pas de \scriptstyle\ n :

Proposition ‚ÄĒ La matrice de transition en \scriptstyle\ k\ pas, \scriptstyle\ \left(\mathbb{P}\left(X_{n+k}=j\mid X_n=i\right)\right)_{(i,j)\in E^2}, est √©gale √† la puissance \scriptstyle\ k-√®me de la matrice de transition \scriptstyle\ P. On note

p^{(k)}_{i,j}=\mathbb{P}\left(X_{n+k}=j\mid X_n=i\right),

et

P^k=\left(p^{(k)}_{i,j}\right)_{(i,j)\in E^2}.

Par une simple application de la formule des probabilit√©s totales, on en d√©duit les lois marginales de la cha√ģne de Markov.

Corollaire ‚ÄĒ La loi de \scriptstyle\ X_{n+k}\ est donn√©e par

\mathbb{P}\left(X_{n+k}=j\right)=\sum_{i\in E}\mathbb{P}\left(X_{n}=i\right)p^{(k)}_{i,j}.

En particulier,

\mathbb{P}\left(X_{n}=j\right)=\sum_{i\in E}\mathbb{P}\left(X_{0}=i\right)p^{(n)}_{i,j}.

En √©criture matricielle, si la loi de \scriptstyle\ X_{n}\ est consid√©r√©e comme un vecteur-ligne \scriptstyle\ \mu_{n}=(\mu_{n,i})_{i\in E}, avec \scriptstyle\ \mu_{n,i}=\mathbb{P}\left(X_{n}=i\right), cela se reformule en :

\mu_{n+k}=\mu_{n}P^k\quad\text{ et }\quad \mu_{n}=\mu_{0}P^n.

Classification des états

Pour \scriptstyle\ (i,j)\in E^2\ , on dit que \scriptstyle\ j\ est accessible √† partir de \scriptstyle\ i\ si et seulement s'il existe \scriptstyle\ n\ge 0\ tel que \scriptstyle\ \mathbb{P}(X_{n}=j\mid X_0=i) >0.\ On note :

\{j\leftarrow i\}\quad\Leftrightarrow\quad\left\{\exists n\ge 0\text{ tel que }p^{(n)}_{i,j}>0\right\}.

On dit que \scriptstyle\ i\ et \scriptstyle\ j\ communiquent si et seulement s'il existe \scriptstyle\ (n,m)\in \mathbb{N}^2\ tels que \scriptstyle\ \mathbb{P}(X_{n}=j\mid X_0=i) >0.\ et \scriptstyle\ \mathbb{P}(X_{m}=i\mid X_0=j) >0.\ On note :

\{j\leftrightarrow i\}\quad\Leftrightarrow\quad\left\{j\leftarrow i\text{ et }i\leftarrow j\right\}.

La relation communiquer, not√©e \scriptstyle\ \leftrightarrow,\ est une relation d'√©quivalence. Quand on parle de classe en parlant des √©tats d'une cha√ģne de Markov, c'est g√©n√©ral aux classes d'√©quivalence pour la relation \scriptstyle\ \leftrightarrow\ qu'on fait r√©f√©rence. Si tous les √©tats communiquent, la cha√ģne de Markov est dite irr√©ductible.

La relation √™tre accessible, not√©e \scriptstyle\ \leftarrow,\ s'√©tend aux classes d'√©quivalence : pour deux classes \scriptstyle\ C\ et \scriptstyle\ C^{\prime}\ , on a

\{C\leftarrow C^{\prime}\}\quad\Leftrightarrow\quad\left\{\exists (i,j)\in C\times C^{\prime},\qquad i\leftarrow j\right\}\quad\Leftrightarrow\quad\left\{\forall (i,j)\in C\times C^{\prime},\qquad i\leftarrow j\right\}.

La relation \scriptstyle\ \leftarrow\ est une relation d'ordre entre les classes d'équivalence.


Une classe est dite finale si elle ne conduit √† aucune autre, i.e. si la classe est minimale pour la relation \scriptstyle\ \leftarrow.\ Sinon, elle est dite transitoire. L'appartenance √† une classe finale ou transitoire a des cons√©quences sur les propri√©t√©s probabilistes d'un √©tat de la cha√ģne de Markov, en particulier sur son statut d'√©tat r√©current ou d'√©tat transient. Le nombre et la nature des classes finales dicte la structure de l'ensemble des probabilit√©s stationnaires, qui r√©sument de mani√®re pr√©cise le comportement asymptotique de la cha√ģne de Markov, comme on peut le voir √† la prochaine section et dans les deux exemples d√©taill√©s √† la fin de cette page.

Soit

M_{ij} = \left\{n\ge 0\ |\ p^{(n)}_{i,j}>0\right\}.

La p√©riode d'un √©tat \scriptstyle\ i\ est le PGCD de l'ensemble \scriptstyle\ M_{ii}.\ Si deux √©tats communiquent, ils ont la m√™me p√©riode : on peut donc parler de la p√©riode d'une classe d'√©tats. Si la p√©riode vaut 1, la classe est dite ap√©riodique. L'ap√©riodicit√© des √©tats d'une cha√ģne de Markov conditionne la convergence de la loi de \scriptstyle\ X_n\ vers la probabilit√© stationnaire, voir la page Probabilit√© stationnaire d'une cha√ģne de Markov.


Graphe de la marche du cavalier sur l'échiquier (quart SO).

La classification des √©tats et leur p√©riode se lisent de mani√®re simple sur le graphe de la cha√ģne de Markov. Toutefois, si tous les √©l√©ments de la matrice de transition sont strictement positifs, la cha√ģne de Markov est irr√©ductible et ap√©riodique : dessiner le graphe de la cha√ģne de Markov est alors superflu.

Loi stationnaire

Définition

Il peut exister une ou plusieurs mesures \scriptstyle\ \pi=(\pi_i)_{i\in E},\ sur l'espace d'√©tats \scriptstyle\ E,\ telles que :

 \pi = \pi\,P,

ou bien encore

\forall j\in E,\qquad \pi_j = \sum_{i\in E}\pi_i\,p_{i,j}.

Une telle mesure \scriptstyle\ \pi\ est appel√©e une mesure stationnaire. Une mesure stationnaire est une fonction propre de la transpos√©e de la matrice de transition, associ√©e √† la valeur propre 1. Elle est appel√©e probabilit√© stationnaire ou loi stationnaire si elle remplit les conditions suppl√©mentaires :

  • \forall i\in E, \qquad \pi_i\ \ge\ 0,
  • \sum_{i\in E}\pi_i\ =\ 1.

Si la loi initiale de la cha√ģne de Markov (i.e. la loi de \scriptstyle\ X_0\ ) est une probabilit√© stationnaire \scriptstyle\ \pi,\ alors pour tout \scriptstyle\ n\ge 0,\ la loi de \scriptstyle\ X_n\ est \scriptstyle\ \pi.\ Plus g√©n√©ralement, la cha√ģne de Markov est un processus stationnaire si et seulement si sa loi initiale est une probabilit√© stationnaire.

Existence et unicité

Dans le cas des cha√ģnes de Markov √† espace d'√©tats discret, certaines propri√©t√©s du processus d√©terminent s'il existe ou non une probabilit√© stationnaire, et si elle est unique ou non :

  • une cha√ģne de Markov est irr√©ductible si tout √©tat est accessible √† partir de n'importe quel autre √©tat ;
  • un √©tat est r√©current positif si l'esp√©rance du temps de premier retour en cet √©tat, partant de cet √©tat, est finie.

Si une cha√ģne de Markov poss√®de au moins un √©tat r√©current positif, alors il existe une probabilit√© stationnaire. S'il existe une probabilit√© stationnaire \scriptstyle\ \pi\ telle que \scriptstyle\ \pi_i>0\ , alors l'√©tat \scriptstyle\ i\ est r√©current positif, et r√©ciproquement.

Th√©or√®me ‚ÄĒ Si une cha√ģne de Markov poss√®de une seule classe finale \scriptstyle\ C,\ alors il existe au plus une probabilit√© stationnaire. On a alors √©quivalence entre les 3 propositions :

  • il existe une unique probabilit√© stationnaire, not√©e \scriptstyle\ \pi,
  • il existe un √©tat r√©current positif,
  • tous les √©tats de la classe finale sont r√©currents positifs.

On a de plus l'équivalence

\{\pi_i>0\}\Leftrightarrow\{i\in C\}\Leftrightarrow\{i\text{ est recurrent positif}\}.

Ce th√©or√®me vaut en particulier pour les cha√ģnes de Markov irr√©ductibles, puisque ces derni√®res poss√®dent une seule classe (qui est donc n√©cessairement une classe finale) ; les cha√ģnes de Markov irr√©ductibles v√©rifient en particulier \scriptstyle\ C=E.

Loi forte des grands nombres et ergodicité

Dans le cas d'une cha√ģne de Markov irr√©ductible et r√©currente positive, la loi forte des grands nombres est en vigueur : la moyenne d'une fonction \scriptstyle\ f\ sur les instances de la cha√ģne de Markov est √©gale √† sa moyenne selon sa probabilit√© stationnaire. Plus pr√©cis√©ment, sous l'hypoth√®se

\sum_{i\in E} |f(i)|\,\pi_i\ < +\infty,

on a presque s√Ľrement :

 \lim_{n}\; \frac{1}{n} \; \sum_{k=0}^{n-1} f(X_k)
  \ =\ \sum_{i\in E} f(i)\,\pi_i\ =\ \pi f.

La moyenne de la valeur des instances est donc, sur le long terme, √©gale √† l'esp√©rance suivant la probabilit√© stationnaire. En particulier, cette √©quivalence sur les moyennes s'applique si \scriptstyle\ f\ est la fonction indicatrice d'un sous-ensemble \scriptstyle\ A\ de l'espace des √©tats :

 \lim_{n}\; \frac{1}{n} \; \sum_{k=0}^{n-1} \chi_A(X_k)\ 
=\ \sum_{i\in A}\ \pi_i\ =\ \pi(A).

Cela permet d'approcher la probabilité stationnaire par la distribution empirique (qui est un histogramme construit à partir d'une séquence particulière), comme par exemple dans le cas de la marche aléatoire avec barrière.

En particulier, si le processus est construit en prenant la probabilité stationnaire comme loi initiale, le shift \scriptstyle\ \theta\ défini par

 x=(x_0,x_1,x_2,\dots)\in E^{\mathbb{N}}\quad\rightarrow\quad \theta\,x=(x_1,x_2,x_3,\dots)

pr√©serve la mesure, ce qui fait de la cha√ģne de Markov un syst√®me dynamique. La loi forte des grands nombres entraine alors que la cha√ģne de Markov est un syst√®me dynamique ergodique. L'ergodicit√© est √† la fois plus forte que la loi forte des grands nombres car on peut en d√©duire, par exemple, que \scriptstyle\ \frac{1}{n} \; \sum_{k=0}^{n-1} f(X_k,X_{k+1}),\ a pour limite presque s√Ľre \scriptstyle\ \sum_{i,j\in E} f(i,j)\,\pi_ip_{i,j},\ mais elle est aussi plus faible car elle r√©clame en principe la stationnarit√© de la cha√ģne de Markov, ce qui n'est pas le cas de la loi forte des grands nombres.

Convergence vers la loi stationnaire

Si la cha√ģne de Markov est irr√©ductible, r√©currente positive et ap√©riodique, alors \scriptstyle\ P^k\ converge vers une matrice dont chaque ligne est l'unique distribution stationnaire \scriptstyle\ \pi.\ En particulier, la loi \scriptstyle\ \mu_n\ de \scriptstyle\ X_n\ converge vers \scriptstyle\ \pi\ ind√©pendamment de la loi initiale \scriptstyle\ \mu_0.\ Dans le cas d'un espace d'√©tat fini, cela se prouve par le th√©or√®me de Perron-Frobenius. Notons qu'il est naturel que la suite \scriptstyle\ \mu_n,\ d√©finie par r√©currence par la relation \scriptstyle\ \mu_{n+1}=\mu_nP,\ ait, √©ventuellement, pour limite un point fixe de cette transformation, i.e. une solution de l'√©quation \scriptstyle\ \pi=\pi P.\

Cha√ģnes de Markov √† espace d'√©tats fini

Si une cha√ģne de Markov est irr√©ductible et si son espace d'√©tats est fini, tous ses √©tats sont r√©currents positifs. La loi forte des grands nombres est alors en vigueur.

Plus généralement, tous les éléments d'une classe finale finie sont récurrents positifs, que l'espace d'états soit fini ou bien infini dénombrable.

Notation

Dans les formules qui précèdent, l'élément (i, j) est la probabilité de la transition de i à j. La somme des éléments d'une ligne vaut toujours 1 et la distribution stationnaire est donnée par le vecteur propre gauche de la matrice de transition.

On rencontre parfois des matrices de transition dans lesquelles le terme (i,j) est la probabilité de transition de j vers i, auquel cas la matrice de transition est simplement la transposée de celle décrite ici. La somme des éléments d'une colonne vaut alors 1. De plus, la distribution stationnaire du système est alors donnée par le vecteur propre droit de la matrice de transition, au lieu du vecteur propre gauche.

Exemple : Doudou le hamster

Doudou, le hamster paresseux, ne conna√ģt que trois endroits dans sa cage : les copeaux o√Ļ il dort, la mangeoire o√Ļ il mange et la roue o√Ļ il fait de l'exercice. Ses journ√©es sont assez semblables les unes aux autres, et son activit√© se repr√©sente ais√©ment par une cha√ģne de Markov. Toutes les minutes, il peut soit changer d'activit√©, soit continuer celle qu'il √©tait en train de faire. L'appellation processus sans m√©moire n'est pas du tout exag√©r√©e pour parler de Doudou.

  • Quand il dort, il a 9 chances sur 10 de ne pas se r√©veiller la minute suivante.
  • Quand il se r√©veille, il y a 1 chance sur 2 qu'il aille manger et 1 chance sur 2 qu'il parte faire de l'exercice.
  • Le repas ne dure qu'une minute, apr√®s il fait autre chose.
  • Apr√®s avoir mang√©, il y a 3 chances sur 10 qu'il parte courir dans sa roue, mais surtout 7 chances sur 10 qu'il retourne dormir.
  • Courir est fatigant ; il y a 8 chances sur 10 qu'il retourne dormir au bout d'une minute. Sinon il continue en oubliant qu'il est d√©j√† un peu fatigu√©.

Diagrammes

Les diagrammes peuvent montrer toutes les fl√®ches, chacune repr√©sentant une probabilit√© de transition. Cependant, c'est plus lisible si :

  • on ne dessine pas les fl√®ches de probabilit√© z√©ro (transition impossible) ;
  • on ne dessine pas les boucles (fl√®che d'un √©tat vers lui-m√™me). Cependant elles existent ; leur probabilit√© est sous-entendue car on sait que la somme des probabilit√©s des fl√®ches partant de chaque √©tat doit √™tre √©gale √† 1.

Matrice de transition

La matrice de transition de ce syst√®me est la suivante (les lignes et les colonnes correspondent dans l'ordre aux √©tats repr√©sent√©s sur le graphe par copeaux, mangeoire, roue) :

 P =\begin{bmatrix}
0,9 & 0,05 & 0,05 \\
0,7 & 0 & 0,3 \\
0,8 & 0 & 0,2 \\
\end{bmatrix}

Prévisions

Prenons l'hypothèse que Doudou dort lors de la première minute de l'étude.

  \mathbf{x}^{(0)} = \begin{bmatrix}
        1 & 0 & 0
    \end{bmatrix}

Au bout d'une minute, on peut pr√©dire :


    \mathbf{x}^{(1)} = \mathbf{x}^{(0)} P  = 
\begin{bmatrix}
        1 & 0 & 0
\end{bmatrix}
\begin{bmatrix}
0,9 & 0,05 & 0,05 \\
0,7 & 0 & 0,3 \\
0,8 & 0 & 0,2 \\
\end{bmatrix}

= \begin{bmatrix}
        0,9 & 0,05 & 0,05
  \end{bmatrix}

Ainsi, apr√®s une minute, on a 90 % de chances que Doudou dorme encore, 5 % qu'il mange et 5 % qu'il coure.


    \mathbf{x}^{(2)} = \mathbf{x}^{(1)} P  = \mathbf{x}^{(0)} P^2  = 
\begin{bmatrix}
        1 & 0 & 0
\end{bmatrix}
\begin{bmatrix}
0,9 & 0,05 & 0,05 \\
0,7 & 0 & 0,3 \\
0,8 & 0 & 0,2 \\
\end{bmatrix}^2

    = \begin{bmatrix}
        0,885 & 0,045 & 0,07
    \end{bmatrix}

Apr√®s 2 minutes, il y a 4,5 % de chances que le hamster mange.

De mani√®re g√©n√©rale, pour n minutes :


    \mathbf{x}^{(n)} = \mathbf{x}^{(n-1)} P

    \mathbf{x}^{(n)} =  \mathbf{x}^{(0)} P^n

La th√©orie montre qu'au bout d'un certain temps, la loi de probabilit√© est ind√©pendante de la loi initiale. Notons la q :


    \mathbf{q} = \lim_{n \to \infty} \mathbf{x}^{(n)}

On obtient la convergence si et seulement si la cha√ģne est ap√©riodique et irr√©ductible. C'est le cas dans notre exemple, on peut donc √©crire :


\begin{align}
     P  & =   \begin{bmatrix}
                0,9 & 0,05 & 0,05 \\
                0,7 & 0 & 0,3 \\
                0,8 & 0 & 0,2 \\
                \end{bmatrix}
\\
         \mathbf{q} P   & =  \mathbf{q} \qquad \mbox{(} \mathbf{q} \mbox{ est la loi invariante par rapport a } P \mbox{.)}
\\
        & =  \mathbf{q} I
\\
        \mathbf{q} (I - P) & =  \mathbf{0}
\\
        & =  \mathbf{q} \left( \begin{bmatrix}
            1 & 0 & 0 \\
            0 & 1 & 0 \\
            0 & 0 & 1 \\
        \end{bmatrix}
        - \begin{bmatrix}
                0,9 & 0,05 & 0,05 \\
                0,7 & 0 & 0,3 \\
                0,8 & 0 & 0,2 \\
           \end{bmatrix} \right) 
\\
       & =   \mathbf{q} \begin{bmatrix}
            0,1 & -0,05 & -0,05 \\
            -0,7 & 1 & -0,3 \\
            -0,8 & 0 & 0,8 \\
        \end{bmatrix}
\\
&= \begin{bmatrix}
q_1 & q_2 & q_3
\end{bmatrix}\begin{bmatrix}
            0,1 & -0,05 & -0,05 \\
            -0,7 & 1 & -0,3 \\
            -0,8 & 0 & 0,8 \\
\end{bmatrix}
\\
&=
\begin{bmatrix}
0 & 0 & 0
\end{bmatrix}
\end{align}

Sachant que q1 + q2 + q3 = 1, on obtient :

\begin{bmatrix}
q_1 & q_2 & q_3
\end{bmatrix} 
= \begin{bmatrix}
0,884 & 0,0442 & 0,0718
\end{bmatrix}

Doudou passe 88,4 % de son temps √† dormir !

Illustration de l'impact du modèle

L'exemple qui suit a pour but de montrer l'importance de la modélisation du système. Une bonne modélisation permet de répondre à des questions complexes avec des calculs simples.

On √©tudie une civilisation (fictive) constitu√©e de plusieurs classes sociales, et dans laquelle les individus peuvent passer d'une classe √† l'autre. Chaque √©tape repr√©sentera un an. On consid√©rera une lign√©e plut√īt qu'un individu, pour √©viter d'obtenir des citoyens bicentenaires. Les diff√©rents statuts sociaux sont au nombre de quatre :

  • esclave ;
  • libre ;
  • citoyen ;
  • haut-fonctionnaire.

Dans cette soci√©t√© :

  • les esclaves peuvent rester esclaves ou devenir des hommes libres (en achetant leur libert√© ou en √©tant affranchis g√©n√©reusement par leur ma√ģtre) ;
  • les hommes libres peuvent rester libres ou bien vendre leur libert√© (pour payer leurs dettes, etc.) ou encore devenir citoyens (l√† encore par m√©rite ou en achetant le titre de citoyen) ;
  • les citoyens sont citoyens √† vie et transmettent leur citoyennet√© √† leur lign√©e (on pourrait croire que le nombre de citoyens tend √† augmenter et qu'au bout d'un certain temps, tous sont citoyens mais historiquement, dans les civilisations qui suivaient ce sch√©ma, les citoyens sont d√©cim√©s par les guerres et de nouveaux esclaves arrivent r√©guli√®rement de l'√©tranger). Ils peuvent aussi se porter candidats lors des √©lections annuelles afin de devenir hauts-fonctionnaires (magistrats). Au terme de leur mandat, ils peuvent √™tre r√©√©lus ou redevenir de simples citoyens.

Pour compliquer un peu l'exemple et montrer ainsi l'√©tendue des applications des cha√ģnes de Markov, nous consid√©rerons que les fonctionnaires sont √©lus pour plusieurs ann√©es. Par cons√©quent, l'avenir d'un individu fonctionnaire d√©pend du temps depuis lequel il est fonctionnaire. Nous sommes donc dans le cas d'une cha√ģne de Markov non homog√®ne. Heureusement, nous pouvons ais√©ment nous ramener √† une cha√ģne homog√®ne. En effet, il suffit de rajouter un √©tat artificiel pour chaque ann√©e du mandat. Au lieu d'avoir un √©tat 4 : Fonctionnaire, nous aurons un √©tat :

  • 4 : Fonctionnaire en d√©but de mandat ;
  • 5 : Fonctionnaire en seconde ann√©e de mandat ;
  • etc.

Les probabilit√©s reliant deux √©tats artificiels cons√©cutifs (troisi√®me et quatri√®me ann√©e par exemple) sont de valeur 1 car l'on consid√®re que tout mandat commenc√© se termine (on pourrait mod√©liser le contraire en changeant la valeur de ces probabilit√©s). Fixons la dur√©e des mandats √† deux ans, le contingent des fonctionnaires √©tant renouvelable par moiti√© chaque ann√©e. On a alors le graphe suivant :

Graphe2.jpeg

Pour modéliser des élections qui ne seraient pas annuelles, il faudrait de même ajouter des états fictifs (année d'élection, un an depuis la dernière élection, etc.).

La matrice P s'√©crit alors :


\mathbf{P}=\begin{bmatrix}
	\frac{97}{98} & \frac{1}{98} & 0 & 0 & 0 \\
	\frac{2}{73} & \frac{65}{73} & \frac{6}{73} & 0 & 0 \\
	0 & 0 & \frac{12}{13} & \frac{1}{13} & 0 \\
	0 & 0 & 0 & 0 & 1 \\
	0 & 0 & \frac{7}{8} & \frac{1}{8} & 0 		
\end{bmatrix}

Comme cela est expliqu√© plus haut, Pn donne les probabilit√©s de transition en n √©tapes. Donc  p^{n}_{ij} est la probabilit√© d'√™tre dans l'√©tat j au bout de n ann√©es pour une lign√©e partie de la classe sociale i. Pour savoir ce que devient un esclave au bout de n ans, il suffit donc d'√©crire :


\begin{bmatrix}1 & 0 & 0 & 0 & 0 \end{bmatrix} \times \mathbf P^{(n)} = \begin{bmatrix}
p_1^{(n)} \\
p_2^{(n)} \\
p_3^{(n)}  \\
p_4^{(n)}  \\
p_5^{(n)} 
\end{bmatrix}

O√Ļ p_i^{n} est la probabilit√© d'√™tre dans la classe sociale i au bout de n ann√©es sachant que la lign√©e √©tudi√©e est partie de l'√©tat d'esclave.

Si on conna√ģt les effectifs de chaque classe sociale √† l'an 0, il suffit alors de calculer :

\frac1\mathrm{lign\acute ees} \times \begin{bmatrix}\rm esclaves&\rm libres &\rm citoyens &\rm \acute elus_1 &\rm \acute elus_2 \end{bmatrix} \times \mathbf P^{n} = Y

On obtient ainsi la répartition de la population dans les différentes classes sociales (au bout de n années). En multipliant ce vecteur Y par l'effectif total de la population, on obtient les effectifs de chaque classe au bout de n années.

Posons-nous maintenant la question suivante : ¬ę Au bout de n ann√©es, combien de lign√©es auront d√©j√† eu un haut fonctionnaire ayant termin√© son mandat ? ¬Ľ

La r√©ponse est diff√©rente du nombre de mandats effectu√©s en n ann√©es car il y a possibilit√© d'√™tre r√©√©lu. R√©pondre √† cette question semble difficile (encore faudrait-il que ce soit possible). En fait, il suffit de changer la mod√©lisation du probl√®me. Passons donc √† une nouvelle mod√©lisation pour r√©pondre √† cette question. (Par contre, elle ne permet pas de r√©pondre aux questions pr√©c√©dentes d'o√Ļ la pr√©sentation des deux mod√®les.)

Il suffit de modifier ainsi le graphe :

Graphe4.JPG

On ajoute un sommet absorbant car une fois qu'une lignée a fini un mandat, on ne tient plus compte d'elle.

Si certains lecteurs font preuve d'esprit critique, ils diront peut-être que le modèle est faux car les lignées comportant un élu ne participent plus aux élections. Il n'en est rien. En effet, le nombre d'élus est proportionnel au nombre de citoyens. Ne pas réinjecter les anciens hauts-fonctionnaires parmi les candidats ne change donc en rien la probabilité pour un citoyen d'être élu car, la population des citoyens étant plus restreinte, le nombre de postes offerts l'est aussi. Ce modèle permet de répondre avec exactitude à la question posée.

On a donc une nouvelle matrice de transition :


\mathbf{Q}=
\begin{bmatrix}
	\frac{97}{98} & \frac{1}{98} & 0 & 0 & 0 & 0 \\
	\frac{2}{73} & \frac{65}{73} & \frac{6}{73} & 0 & 0 & 0 \\
	0 & 0 & \frac{12}{13} & \frac{1}{13} & 0 & 0 \\
	0 & 0 & 0 & 0 & 1 & 0\\
	0 & 0 & 0 & 0 & 0 & 1 \\	
	0 & 0 & 0 & 0 & 0 & 1 	
\end{bmatrix}

En faisant les mêmes calculs qu'aux questions précédentes on obtient en dernière ligne du vecteur solution le pourcentage de lignées ayant accompli au moins un mandat ou bien l'effectif (si on multiplie par l'effectif total de la population). Autrement dit, modéliser à nouveau le problème permet de répondre à la question qui semblait si compliquée par un simple calcul de puissances d'une matrice.

Applications

  • Les syst√®mes Markoviens sont tr√®s pr√©sents en physique particuli√®rement en physique statistique. Plus g√©n√©ralement l'hypoth√®se markovienne est souvent invoqu√©e lorsque des probabilit√©s sont utilis√©es pour mod√©liser l'√©tat d'un syst√®me, en supposant toutefois que l'√©tat futur du syst√®me peut √™tre d√©duit du pass√© avec un historique assez faible.
  • Le c√©l√®bre article de 1948 de Claude Shannon, A mathematical theory of communication, qui fonde la th√©orie de l'information, commence en introduisant la notion d'entropie √† partir d'une mod√©lisation Markovienne de la langue anglaise. Il montre ainsi le degr√© de pr√©dictibilit√© de la langue anglaise, muni d'un simple mod√®le d'ordre 1. Bien que simples, de tels mod√®les permettent de bien repr√©senter les propri√©t√©s statistiques des syst√®mes et de r√©aliser des pr√©dictions efficaces sans d√©crire la structure compl√®te des syst√®mes.
  • L'indice de popularit√© d'une page Web (PageRank) tel qu'il est utilis√© par Google est d√©fini par une cha√ģne de Markov. Il est d√©fini par la probabilit√© d'√™tre dans cette page √† partir d'un √©tat quelconque de la chaine de Markov repr√©sentant le Web. Si N est le nombre de pages Web connues, et une page i a ki liens, alors sa probabilit√© de transition vers une page li√©e (vers laquelle elle pointe) est p_i^l= \tfrac{1-q}{k_i}+\tfrac qN et p_i^{nl}=\tfrac qN pour toutes les autres (pages non li√©es). Notons qu'on a bien k_i p_i^l+(N-k_i) p_i^{nl}=1. Le param√®tre q vaut environ 0,15.
  • Les cha√ģnes de Markov fondent les syst√®mes de Bonus/Malus mis au point par les actuaires des soci√©t√©s d'assurances automobiles (la probabilit√© d'avoir n accidents au cours de l'ann√©e t √©tant conditionn√©e par le nombre d'accidents en t-1)
  • Les cha√ģnes de Markov sont √©galement utilis√©es en bioinformatique pour mod√©liser les relations entre symboles successifs d'une m√™me s√©quence (de nucl√©otides par exemple), en allant au del√† du mod√®le polynomial. Les mod√®les markoviens cach√©s ont √©galement diverses utilisations, telles que la segmentation (d√©finition de fronti√®res de r√©gions au sein de s√©quences de g√®nes ou de prot√©ines dont les propri√©t√©s chimiques varient), l'alignement multiple, la pr√©diction de fonction, ou la d√©couverte de g√®nes (les mod√®les markoviens cach√©s sont plus ¬ę flexibles ¬Ľ que les d√©finitions strictes de type codon start + multiples codons + codons stop et ils sont donc plus adapt√©s pour les eucaryotes (√† cause de la pr√©sence d'introns dans le g√©nome de ceux-ci) ou pour la d√©couverte de pseudo-g√®nes).

Voir aussi

Liens externes

  • Portail des probabilit√©s et des statistiques Portail des probabilit√©s et des statistiques
  • Portail de la physique Portail de la physique
Ce document provient de ¬ę Cha%C3%AEne de Markov ¬Ľ.

Wikimedia Foundation. 2010.

Contenu soumis √† la licence CC-BY-SA. Source : Article Cha√ģnes de Markov de Wikip√©dia en fran√ßais (auteurs)

Regardez d'autres dictionnaires:

  • MARKOV (A. A.) ‚ÄĒ MARKOV ANDRE√Ź ANDRE√ŹEVITCH (1856 1922) Math√©maticien russe n√© √† Riazan et mort √† Petrograd. Andre√Į Andre√Įevitch Markov est connu comme un sp√©cialiste de la th√©orie des nombres, de la th√©orie des probabilit√©s et de l‚Äôanalyse math√©matique. Issu… ‚Ķ   Encyclop√©die Universelle

  • Markov chain Monte Carlo ‚ÄĒ Les m√©thodes MCMC (pour Markov chain Monte Carlo) sont une classe de m√©thodes d √©chantillonnage √† partir de distributions de probabilit√©. Ces m√©thodes se basent sur le parcours de cha√ģnes de Markov qui ont pour lois stationnaires les… ‚Ķ   Wikip√©dia en Fran√ßais

  • Cha√ģnes ‚ÄĒ Cha√ģne Cette page d‚Äôhomonymie r√©pertorie les diff√©rents sujets et articles partageant un m√™me nom.  Pour l‚Äôarticle homophone, voir Ch√™ne (homonymie) ‚Ķ   Wikip√©dia en Fran√ßais

  • Chaine De Markov ‚ÄĒ Cha√ģne de Markov Selon les auteurs, une cha√ģne de Markov est de mani√®re g√©n√©rale un processus de Markov √† temps discret ou un processus de Markov √† temps discret et √† espace d √©tats discret. En math√©matiques, un processus de Markov est un… ‚Ķ   Wikip√©dia en Fran√ßais

  • Chaine de Markov ‚ÄĒ Cha√ģne de Markov Selon les auteurs, une cha√ģne de Markov est de mani√®re g√©n√©rale un processus de Markov √† temps discret ou un processus de Markov √† temps discret et √† espace d √©tats discret. En math√©matiques, un processus de Markov est un… ‚Ķ   Wikip√©dia en Fran√ßais

  • Chaine de markov ‚ÄĒ Cha√ģne de Markov Selon les auteurs, une cha√ģne de Markov est de mani√®re g√©n√©rale un processus de Markov √† temps discret ou un processus de Markov √† temps discret et √† espace d √©tats discret. En math√©matiques, un processus de Markov est un… ‚Ķ   Wikip√©dia en Fran√ßais

  • Cha√ģne De Markov ‚ÄĒ Selon les auteurs, une cha√ģne de Markov est de mani√®re g√©n√©rale un processus de Markov √† temps discret ou un processus de Markov √† temps discret et √† espace d √©tats discret. En math√©matiques, un processus de Markov est un processus stochastique… ‚Ķ   Wikip√©dia en Fran√ßais

  • Cha√ģne de Markov ‚ÄĒ Selon les auteurs, une cha√ģne de Markov est de mani√®re g√©n√©rale un processus de Markov √† temps discret ou un processus de Markov √† temps discret et √† espace d √©tats discret. En math√©matiques, un processus de Markov est un processus stochastique… ‚Ķ   Wikip√©dia en Fran√ßais

  • Cha√ģne de Markov √† espace d'√©tats discret ‚ÄĒ Cha√ģne de Markov Selon les auteurs, une cha√ģne de Markov est de mani√®re g√©n√©rale un processus de Markov √† temps discret ou un processus de Markov √† temps discret et √† espace d √©tats discret. En math√©matiques, un processus de Markov est un… ‚Ķ   Wikip√©dia en Fran√ßais

  • Cha√ģne de markov ‚ÄĒ Selon les auteurs, une cha√ģne de Markov est de mani√®re g√©n√©rale un processus de Markov √† temps discret ou un processus de Markov √† temps discret et √† espace d √©tats discret. En math√©matiques, un processus de Markov est un processus stochastique… ‚Ķ   Wikip√©dia en Fran√ßais


Share the article and excerpts

Direct link
… Do a right-click on the link above
and select ‚ÄúCopy Link‚ÄĚ

We are using cookies for the best presentation of our site. Continuing to use this site, you agree with this.