Probabilits 20072008 TD n13

Marches alatoires, chanes de Markov

Exercice 1 Bruit qui court
Les notes de cours seront-elles autorises lexamen ? La rponse est transmise travers n intermdiaires. On suppose
que chaque tudiant transmet le message de faon correcte avec une probabilit p telle que 0 < p < 1 ou le dforme en
son contraire avec probabilit 1 p. Les intermdiaires sont indpendants.
1. Modliser cette situation par une chane de Markov a deux tats et calculer la probabilit que linformation transmise
par le n-ime intermdiaire soit conforme linformation initiale.
2. Que se passe-t-il quand n ?
Solution
1. On modlise ce systme par une chane de Markov ou le premier tat signie La dernire personne ayant reu
linformation a reu une information non dforme , lautre tat signiant quelle a linformation inverse. Chaque
transmission dun intermdiaire au suivant correspond une transition dans la chane de Markov.
La matrice correspondant cette chane de Markov est :
_
p (1 p)
(1 p) p
_
. .
P
=
_
1 1
1 1
_
. .
Q
_
1 0
0 2p 1
__
1/2 1/2
1/2 1/2
_
. .
Q
1
avec QQ
1
= Id.
P
n
= Q
_
1 0
0 2p 1
_
n
Q
1
La probabilit que linformation soit conforme linformation initiale est donc
(1 0)P
n
_
1
0
_
=
1
2
(1 + (2p 1)
n
)
2. Quand n tend vers , la probabilit tends vers
1
2
.
Exercice 2 Un jeu de tennis
On considre un jeu classique du tennis (pas un jeu dcisif) de Daniel contre Olivier. Cest Olivier de servir. Il gagne
chaque point avec probabilit p. Modliser par une chane de Markov et donner la probabilit pour Olivier de gagner le
jeu.
SolutionSoit q := 1 p. Voici l chane de Markov de ce jeu de tennis :

L
L
L
L
L
L
L
L
L
L
L
L
L
L
0 15 30 40
avantage Olivier a gagn
0
a
p

f
1
p

M
M
M
M
M
M
M
M
M
M
M
M
M
M
M
M
M
M
M
M
M
M
M
M
M
M
M
M
M
q

15
p

f
2
p

V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
q

30
p

f
3
p

g
40
p

@
@
@
@
@
@
@
@
@
@
@
@
@
@
@
@
@
@
@
@
p

0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
p

e
p

h
p

n
n
n
n
n
n
n
n
n
n
n
n
n
n
n
n
q

avantage
i
p

q
.~
~
~
~
~
~
~
~
~
Daniel a gagn
.
Correction par Jrmy Planul, relue par J.-B. Rouquier
Probabilits 20072008 TD n13
La probabilit darriver en g est la somme sur tous les chemins menant g de la probabilit de chaque chemin. On compte
ces chemin selon le dernier tat rencontr :
sil sagit de f
1
la probabilit du chemin est p
4
;
pour f
2
, il y a C
1
4
chemins possibles, chacun de probabilit p
4
q ;
pour f
3
, il y a de mme C
2
5
chemins, chacun de probabilit p
4
q
2
;
sil sagit de h, on dcompose le chemin en trois tapes :
la portion a...e, il y a C
3
6
chemins, chacun de probabilit p
3
q
3
,
un certain nombre de boucles ehe ou eie, la probabilit de faire n boucles est 2
n
(pq)
n
,
la portion ehg, de probabilit p
2
.
En sommant toutes les possibilit, la probabilit darriver en g est p
4
+ 4p
4
q + 10p
4
q
2
+ 20p
3
q
3

i=0
(2pq)
n
. .
1
12pq
p
2
Remarque. Voici en vert la probablit quOlivier gagne en fonction de p :
On a donc augment le contraste : le systme de comptage des points avantage le plus fort joueur.
Exercice 3 Dun tat lautre
Soit (X
n
)
nN
une chane de Markov valeurs dans S de matrice de transition P. Pour tout tat y, on note T
y
:=
min{n | X
n
= y } (avec la convention min = +). Pour tout vnement A on note P
x
(A) := P(A| X
0
= x).
Soient x et y deux tats distincts, on pose
xy
:= P
x
(T
y
< +).
Les questions de cet exercices sont simples, le but est de manier les dnitions en faisant une dmonstration particu-
lirement dtaille.
1. Montrer que
xy
> 0 n 1, P
n
(x, y) > 0.
2. On suppose dsormais
xy
> 0. Soit n
0
:= min{n 1 | P
n
(x, y) > 0}.
Soient x
1
, . . . , x
n01
des tats tels que P(x, x
1
)P(x
1
, x
2
)...P(x
n01
, y) > 0.
Montrer que les tats x =: x
0
, x
1
, . . . , x
n01
, x
n0
:= y sont distincts.
3. Supposons S ni de cardinal d. Montrer que n
0
d 1. On suppose
xy
> 0, montrer que P
x
(T
y
d 1) > 0
Solution
1. Supposons
xy
> 0.

xy
= P
x
(T
y
< )
= P
x
(

n
T
y
= n)
=

n
P
x
(T
y
= n) car les vnements T
y
= n sont disjoints deux deux.
Il existe donc n tel que P
x
(T
y
= n) > 0. Or P
n
(x, y) = P
x
(X
n
= y) P
x
(T
y
= n).
Rciproquement, supposons quil existe n tel que P
n
(x, y) > 0.
Alors
xy
= P
x
(T
y
< ) P
x
(T
y
n) P
x
(X
n
= y) > 0.
Intuitivement,
xy
> 0 si et seulement si il existe un chemin de x y.
Correction par Jrmy Planul, relue par J.-B. Rouquier
Probabilits 20072008 TD n13
2. Intuitivement, n
0
est la taille du plus court chemin de x y, il ne peut donc avoir de boucle.
Sil existait i, j 0, n
0
tels que x
i
= x
j
et i < j, on aurait alors P(x, x
1
)P(x
1
, x
2
)...P(x
i
, x
j
)...P(x
n01
, y) > 0 et
donc P
n0(ji)
(x, y) > 0, contradiction.
3. x, x
1
, . . . , x
n01
, y sont n
0
+1 tats distincts donc n
0
+1 d. Donc P
x
(T
y
d 1) P
x
(T
y
n
0
) P
x
(T
y
=n
0
) > 0.
Exercice 4 Walk the (real) line
Soit {X
k
} des variables alatoires discrtes indpendantes et identiquement distribues. On dnit une marche alatoire
par S
n
:=

n
k=1
X
k
. On sintresse une marche alatoire dans R. La fonction de distribution des X
k
est alors :
f
X
(x) =
_
1/2 si x = 1
0 sinon
On sintresse la probabilit dun retour lorigine (en un temps ni).
1. Sil y a eu un retour lorigine au temps m, que peut-on dire de m? Montrer quun retour lorigine au temps 2m
arrive avec une probabilit u
2m
= C
m
2m
2
2m
.
2. On dnit de mme la probabilit f
2m
quun premier retour lorigine se fasse au temps 2m. Montrer que les
probabilits {f
2k
} et {u
2k
} vrient la relation u
2n
= f
0
u
2n
+f
2
u
2n2
+ +f
2n
u
0
(on pose u
0
:= 1 et f
0
:= 0).
3. On dnit les fonctions gnratrices :
U(x) =

m=0
u
2m
x
m
et F(x) =

m=0
f
2m
x
m
Dduire de la question prcdente une relation simple entre U(x) et F(x).
4. On admet que U(x) =
1

1x
. En dduire que F(x) = 1 (1 x)
1/2
.
5. Montrer que f
2m
=
C
m
2m
(2m1)2
2m
. Indication : considrer F

.
6. Dnissons w
n
la probabilit quun retour lorigine se fasse au plus tard au temps n. Notre but est de savoir si
lon va revenir en un temps ni, cest--dire dterminer w

= lim
n
w
n
. Montrer que w

= F(1). Conclure.
Correction : voir le poly ACM page 471.
Correction par Jrmy Planul, relue par J.-B. Rouquier