1

EXERCICES

EXERCICE 1

Pour une certaine région, les prévisions d'un météorologiste M se distribuent suivant les
fréquences relatives données par le tableau :

Les colonnes correspondent au temps effectif et les lignes aux prévisions.

pas de pluie pluie

pas de pluie 5/8 1/16
pluie 3/16 1/8

1. Un étudiant astucieux montre que M se trompe une fois sur quatre et qu'il peut faire mieux
en ne prévoyant que des jours sans pluie. Vérifier cette assertion. Il postule donc pour le poste
de M. Le directeur de M refuse l'offre de l'étudiant. Commenter cette décision à l'aide d'un
raisonnement faisant intervenir des notions de théorie de l'information.

2. L'étudiant revient quelque temps plus tard en garantissant les résultats suivants :
Les colonnes correspondent au temps effectif et les lignes aux prévisions de l'étudiant.

pas de pluie pluie

pas de pluie 403/512 93/512
pluie 13/512 3/512

Comment le directeur doit-il réagir à cette nouvelle offre?

3. Le directeur souhaite stocker dans ses archives le temps T (pluie ou absence de pluie) et les
prévisions de M. Quelle est la taille minimale du fichier qu'il doit prévoir (en nombre de bits
par réalisation de T ou de M)?
2 _________________________________________________ exercices du chapitre II

Si on suppose que prévision et temps effectif pour un jour donné sont indépendants du passé,
quel résultat obtient-on par codage de Huffman des couples (T ,M )?

EXERCICE 2

Soit X une variable aléatoire à n valeurs possibles x1 , x2 ,..., xn−1 , x n de probabilités

1 1 1 1
, 2 ,..., n−1 , n−1 .
2 2 2 2

1. Effectuer un codage de Huffman des n valeurs possibles de X.

2. Comparer la longueur moyenne des mots code n à l'entropie H(X) de la source (on se
contentera d'exprimer n et H(X) sous la forme d'une somme finie de termes). Que constate-t-
on? En quoi ce résultat est-il remarquable? Comment expliquer ce résultat remarquable?

EXERCICE 3

On considère une source binaire sans mémoire U de loi de probabilité: P{U = 0} = 0,9 et
P{U = 1} = 0,1. Les zéros étant beaucoup plus fréquents que les uns, on se propose de coder
les séquences issues de la source en tenant compte du nombre de zéros entre deux uns
consécutifs. L'opération consiste en deux étapes :

- Première étape
On compte le nombre de zéros entre deux uns consécutifs. On obtient ainsi un entier que l'on
appelle entier intermédiaire.

- Deuxième étape
On code l'entier intermédiaire en un mot binaire constitué de quatre éléments binaires si
l'entier est inférieur ou égal à 7 et on choisit un mot de un élément binaire si l'entier est 8. Si
l'entier intermédiaire dépasse 8, on codera les suites de 8 zéros consécutifs par un bit
correspondant à l'entier intermédiaire autant de fois que nécessaire. On obtient ainsi la table
de correspondance entre les séquences source et les entiers intermédiaires :
exercices du chapitre II___________________________________________________3

séquences source entiers intermédiaires

1 0
01 1
001 2
0001 3
... ...
... ...
00000001 7
00000000 8
Exemple concernant la première étape d'attribution des entiers intermédiaires:

1 0 0 1 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 1
0 2 8 2 0 4

1. Les contraintes imposées permettent-elles de choisir un code uniquement déchiffrable (on

ne demande pas d'expliciter un code particulier)?

2. Calculer le nombre moyen n1 de bits source par entier intermédiaire.

3. Calculer le nombre moyen n2 de bits encodés par entier intermédiaire.

4. On considère une séquence de bits source de longueur n avec n très grand. En appliquant la
loi faible des grands nombres, exprimer le rapport du nombre de bits utilisés pour coder cette
séquence au nombre de bits source (n) en fonction de n1 et n2 . Calculer numériquement la
valeur de ce rapport. Comparer avec la limite en dessous de laquelle il n'est pas possible de
descendre.

5. Effectuer un codage de Huffman de l'extension d'ordre 4 de la source U. Calculer

(numériquement) le nombre moyen de bits utilisés pour coder un élément binaire issu de la
source U. Comparer avec les résultats du 4.

EXERCICE 4

1. On considère une variable aléatoire X de loi de probabilité donnée par:

4 _________________________________________________ exercices du chapitre II

P{X = i} = pq
∗
∀i ∈ IN p + q = 1. Calculer l'espérance mathématique de X et son
i−1

entropie. (on dit que X suit une loi géométrique de paramètre p)

2. Soit une source discrète sans mémoire (Xn )n ≥0 telle que chaque Xn suit la loi énoncée au 1.
On considère une suite binaire (Uj ) , construite à partir des Xn , qui émet successivement
j ≥0

X0 "0", X1 "1", X 2 "0",..., X 2i "0", X 2i+1 "1",... .

2.1 On admettra que (Uj ) est une chaîne de Markov homogène d'ordre 1. Calculer
j ≥0

son entropie.

2.2 Retrouver le résultat du 2.1 (entropie de U) en utilisant les liens unissant Uj à Xn .

2.3 Montrer que la suite U j ' définie par U j ' = Uj + U j −1 modulo 2 est sans mémoire.

3. On considère la chaîne de Markov Vj définie par le graphe:

p0

q0 0 1 q1

p1

Calculer l'entropie de cette source binaire. (on pourra introduire deux sources Xi et Xi ' de
lois géométriques de paramètres p0 et p1 et la source Yi = (Xi , X i' )).

EXERCICE 5

On considère la source binaire Vj définie par la question 3 de l'exercice précédent (on prend
q0 = 0,9 et q1 = 0,6 ).

1. Calculer la loi stationnaire de la source et son entropie. Effectuer un codage de Huffman de

l'extension d'ordre 3 de cette source. Quel est le nombre moyen de bits nécessaires pour coder
un symbole source? Comparer cette valeur avec l'encadrement donné par le théorème du
codage de source.
2. On se propose maintenant de coder la source à l'aide du code préfixe défini par l'arbre:
exercices du chapitre II___________________________________________________5

0
0 1

0 1 0 1

mots source 0000 00 01 10 11

mots code 0 100 101 110 111

Calculer le nombre moyen d'éléments binaires utilisés pour coder un bit source.

EXERCICE 6

On considère une source ternaire sans mémoire délivrant les symboles A, B, C avec les
probabilités correspondantes 0.2, 0.3, 0.5. Cette source émet des séquences de longueur 1000.

1. Quel est le nombre de séquences typiques?

2. Quel est le rapport du nombre de séquences typiques au nombre de séquences atypiques?
3. Qelle est la probabilité d'une séquence typique?
4. Combien de bits sont nécessaires pour coder les séquences typiques?
5. Quelle est la séquence la plus probable? S'agit-il d'une suite typique?

EXERCICE 7

Soit U une source discrète sans mémoire de valeurs possibles {a1 ,a2 ,...,ai ,...} vérifiant:
∀ k > j ≥ 1 P{ak }≤ P{a j } avec P{am} = P{U = am }.
On se propose de coder les différentes valeurs de U de la façon suivante:
i −1
à la valeur ai est associé le nombre Qi défini par Qi = ∑ P {ak } ∀ k > 1 et Q1 = 0 .
k =1
6 _________________________________________________ exercices du chapitre II

Le mot code binaire ci correspondant à la valeur ai est obtenu en prenant la partie "décimale"
1
de l'écriture de Qi dans le système binaire (ainsi Qi = → 100... ,
2
1 5
Qi = → 0100...,Qi = → 10100... ) que l'on tronque sur un nombre de bits égal au
4 8
plus petit entier supérieur ou égal à la self-information de l'événement {U = ai } exprimée en
(
Shannons on note ce nombre i(ai ) . )
1. Le code C ainsi réalisé vérifie-t-il la condition du préfixe (inégalité de Kraft)?

2. On désigne par n la longueur moyenne des mots code. Montrer que n vérifie la double
inégalité: H (U ) ≤ n < H(U ) + 1 (avec H (U) = entropie de U ).

Application

3. Coder par le procédé décrit précédemment les huit valeurs d'une source discrète sans
1 1 1 1 1 1 1 1
mémoire U de probabilités respectives , , , , , , , .
4 4 8 8 16 16 16 16

4. Calculer la longueur moyenne des mots code obtenus et la comparer à l'entropie de la

source U. Que constate-t-on? Comment expliquer ce résultat exceptionnel?

EXERCICE 8

1. Montrer que l'entropie maximale d'une source discrète à m valeurs distinctes est log2 m
Shannons.

2. Soit Xn une chaîne de Markov à deux états {0,1} dont le graphe est le suivant:

1-p
0 1
1-q

q
exercices du chapitre II___________________________________________________7

2.1 Calculer l'entropie de Xn en fonction de p et q.

2.2 Déterminer le couple (p,q ) pour lequel l'entropie de Xn a la valeur maximale 1

Shannon.

3. On considère une chaîne de Markov Yn dont le graphe est le suivant:

1-p
0 1

3.1 Déterminer, par un simple calcul de dérivée, la valeur de p pour laquelle l'entropie
de Yn est maximale. Quelle est la valeur numérique de cette entropie?

3.2 On note Nk le nombre de séquences possibles de longueur k émises par Yn et on

log N
définit H S = lim 2 k . Montrer que H S correspond à l'entropie maximale de Yn .
k→ ∞ k
On se propose maintenant de calculer H S .

3.3 On note Nk −1(0) (resp. Nk −1 (1)) le nombre de séquences possibles de longueur k − 1

émises par Yn et finissant par un "0" (resp. un "1"). On a bien sûr
Nk −1 (0) + Nk −1 (1) = N k −1 .

Exprimer Nk en fonction de Nk −1 (0) et Nk −1 (1), puis Nk −1 (1) en fonction de Nk − 2 (0).

En déduire Nk en fonction de Nk −1 et Nk − 2 .

3.4 L'étude des suites récurrentes montre que l'expression de Nk est de la forme:
Nk = α (λ 1 ) + β (λ 2 ) . Calculer λ 1 et λ 2 (le calcul de α et β n'est pas demandé, ces
k k

grandeurs n'intervenant pas dans la suite de l'exercice).

8 _________________________________________________ exercices du chapitre II

3.5 Calculer la valeur numérique de H S et comparer avec la valeur obtenue au 3.1.