Nicolas Sendrier

Programme Informatique Th
ematique S
ecurit
e

Introduction la th
eorie de linformation

Cours n2
Codage des sources discr`
etes sans m
emoire

Codage de source
Lid
ee g
en
erale : coder par des mots de code courts les lettres les plus
fr
equentes. Cest le cas du code Morse
A
B
C
D
E
F
G
H
I
J
K
L
M

.-...
-.-.
-..
.
..-.
--.
....
..
.---..-..
--

N
O
P
Q
R
S
T
U
V
W
X
Y
Z

-.
--.--.
--..-.
...
......--..-.---..

0
1
2
3
4
5
6
7
8
9
.
,
?

----.---..--...-.........
-....
--...
---..
----.
.-.-.--..-..--..

Il sagit en fait dun code ternaire, puisquil faut un symbole

suppl
ementaire pour s
eparer les
lettres.
Impossible sinon distinguer, par
exemple,
BAM -....---
NIJ -....---
Adapt
e `
a un op
erateur humain,
mais pas aux moyens de communication modernes (synchrones).

cours n 2: Codage des sources discr`

etes sans m
emoire

Code Morse

On peut repr
esenter le code Morse `
a laide dun arbre binaire. Chaque
nud, `
a lexception de la racine, est un mot de code.















XX

X

XXX

XXX

XX

XXX

XX

XX
X





H
 H



HH

@
@

A
A
A





HH

HH

HH
H

N
@

@
@

A

HH
H

S


A -



HH

H
 H

@
@

A
A

cours n 2: Codage des sources discr`

etes sans m
emoire

A
A

A
A

A

@
@

A -

A -

A -

A

A

A

A -

A
A

Code et codage
Soit un alphabet (fini) X .
D
efinition Un code de X est une application : X {0, 1} (lensemble des mots binaires de longueur arbitraire).
D
efinition Un mot de code est un
el
ement de (X ).
D
efinition Un codage de X est une application : X {0, 1} , qui
`
a toute s
equence finie de lettres de X associe une s
equence binaire.
` tout code de X on peut associer le codage
A
(x1, x2 , . . . , xL) ((x1 ) k (x2 ) k . . . k (xL))
(la r
eciproque nest pas vraie)
D
efinition Un code (resp. codage) est dit r
egulier si deux lettres
(resp. s
equences de lettres) distinctes sont cod
ees par des mots distincts.
Un code non r
egulier implique une perte dinformation.
cours n 2: Codage des sources discr`
etes sans m
emoire

Source sans m
emoire Efficacit
e
Une source discr`
ete X = (X , p) est un alphabet X muni dune loi de
probabilit
e p.
D
efinition Une source X = (X , p) est dite sans m
emoire si sa loi de
probabilit
e ne varie pas au cours du temps. Son entropie est
egale `
a
H(X) =

p(x) log2 p(x).

xX

D
efinition La longueur moyenne dun code dune source discr`
ete
sans m
emoire X = (X , p) est d
efinie par
|| =

p(x)|(x)|

xX

(|(x)| est la longueur de (x))

D
efinition Lefficacit
e dun code dune source discr`
ete sans m
emoire
X = (X , p) est d
efinie par
E() =

H(X)
.
||

cours n 2: Codage des sources discr`

etes sans m
emoire

Efficacit
e dun codage

Soit (x1, . . . , xn) une s

equence finie de lettres de X , nous noterons
n
Y

p(x1 , . . . , xn) =

p(xi)

i=1

sa probabilit
e. La longueur moyenne par lettre du codage sera d
efinie
par la limite suivante (si elle existe)
1 X
L() = lim
p(x1 , . . . , xn)|(x1, . . . , xn)|
n n
x1,...,xn
D
efinition Soit X une source discr`
ete sans m
emoire et un codage
de X dont la longueur moyenne par lettre est d
efinie. Lefficacit
e de
est
egale `
a
H(X)
E() =
.
L()

cours n 2: Codage des sources discr`

etes sans m
emoire

Codes de longeur fixe

Proposition Pour tout code r

egulier de longueur n dune source X
de cardinal K, nous avons
log2 K n
Lefficacit
e dun tel code est donc limit
ee par H(X)/ log2 K (qui vaut
1 si la loi de X est uniforme).
Proposition Pour toute source X de cardinal K, il existe un code
r
egulier de longueur n telle que
log2 K n < 1 + log2 K
Corollaire Il existe un codage r
egulier de X dont lefficacit
e est arbitrairement proche de H(X)/ log2 K.

cours n 2: Codage des sources discr`

etes sans m
emoire

Codes de longeur variable

D
efinition Un code est dit `
a d
ecodage unique si son codage associ
e
est injectif.
Autrement dit, une s
equence binaire finie donn
ee correspond au plus
`
a un s
equence de lettres de la source.
Condition du pr
efixe
Aucun mot de code nest le d
ebut dun autre
D
efinition Un code est dit pr
efixe sil v
erifie la condition du pr
efixe.
Nous parlerons aussi de code instantan
e.
Proposition Tout code pr
efixe est `
a d
ecodage unique.

cours n 2: Codage des sources discr`

etes sans m
emoire

Arbre associ
e `
a un code pr
efixe

Pour tout code pr

efixe, il existe un arbre dont les mots de codes sont
les feuilles (condition n
ecessaire et suffisante).
1

u

A

A

u

A

A
A


A

u


A

A


A


A


A
u


Au

A
Au

A
A
Au

1

a
b
c
d

0
10
110
111

cours n 2: Codage des sources discr`

etes sans m
emoire

u

A

A

u

A

A
A


A

u

A
Au

u


A

A


A

A
A

A
A
Au

A
Au
A
A

A
A

AAu

a
b
c
d

00
100
110
111

Inegalit
e de Kraft Th
eor`
eme de Mac Millan

Th
eor`
eme (Kraft) Il existe un code pr
efixe dont les K mots ont pour
longueur n1, n2, . . . , nK si et seulement si
K
X

1
1.
nk
2
k=1
Th
eor`
eme (Mac Millan) Il existe un code `
a d
ecodage unique dont
les K mots ont pour longueur n1, n2, . . . , nK si et seulement si
K
X

1
1.
nk
2
k=1

cours n 2: Codage des sources discr`

etes sans m
emoire

Premier th
eor`
eme de Shannon

Proposition
1. Pour toute source dentropie H cod
ee au moyen dun code `
a
d
ecodage unique de longueur moyenne n
, on a n
H.
2. Pour toute source dentropie H, il existe un code pr
efixe de lon < H + 1.
gueur moyenne n
telle que H n
Th
eor`
eme (Shannon) Pour toute source discr`
ete sans m
emoire, il
existe un codage r
egulier dont lefficacit
e est arbitrairement proche
de 1.

cours n 2: Codage des sources discr`

etes sans m
emoire

10