You are on page 1of 22

Chapitre 1 :

Thorie de l information

Claude Elwood Shannon (1916-2001)

Transmission de l information - Cours de l EPU de Tours - DI 2

1
Vue d ensemble
de la thorie de l information

A ct de son usage devenu banal, le mot "information" a un contenu


scientifique prcis mais restrictif. La thorie de l'information labore et
nonce par l'ingnieur amricain Claude Elwood Shannon en 1948, se
prsente comme un chapitre plutt austre de la thorie des probabilits. Elle
rsume, en une magistrale synthse, l'exprience thorique acquise avant et
surtout pendant la Seconde Guerre mondiale sur les moyens de
communication, en mme temps qu'elle suggre des possibilits entirement
nouvelles. Elle affirme la possibilit paradoxale d'une communication sans
erreur malgr des bruits perturbateurs affectant la transmission. pourvu qu'un
codage appropri soit employ.

Transmission de l information - Cours de l EPU de Tours - DI 3


Bases de la thorie de linformation 3

Vue d ensemble
de la thorie de l information

Utile, indispensable mme aux ingnieurs en tant que cadre conceptuel, elle
n'a eu initialement qu'une faible influence directe sur les moyens de
communication. Elle a pris de plus en plus d'importance mesure qu'il
devenait possible de raliser des dispositifs complexes. Par une concidence
qui fait rver, 1948 est aussi l'anne de l'invention du transistor. Le prodigieux
dveloppement de la technologie des semi-conducteurs a peu peu fait
entrer la thorie de l'information dans la pratique, et c'est peu dire qu'elle a
fait dsormais la preuve exprimentale de son utilit. La radiotlphonie
numrique et les CD seraient inconcevables sans les trs efficaces procds
de codage qu'a directement suscits la thorie de l'information. Une immense
exprience technique s'ajoute donc maintenant la thorie proprement dite.
Sa validit en est confirme avec clat et sa comprhension enrichie.

Transmission de l information - Cours de l EPU de Tours - DI 4


Bases de la thorie de linformation 4

2
Vue d ensemble
de la thorie de l information

Cette thorie est mal connue du public. L'une de ses caractristiques


fondamentale parat si trangre la perception commune de l'information
qu'elle tonne ou rebute et, en tout cas. fait obstacle son assimilation :
l'exclusion de la smantique. La thorie de l'information est, en effet,
indiffrente la signification des message. Au premier abord, la signification
parat l'essence mme de l'information, au point que le refus de la
smantique semble la vider de tout contenu. Mais le point de vue de la
thorie de l'information est modeste: celui d'un messager dont la fonction se
limite au transfert d'un objet -une lettre par exemple- dont il n'a pas
connatre autre chose que le poids et les dimensions extrieures.
L'information que peut porter cet objet n'a pas d'incidence sur les moyens
de la transporter. Tel est aussi le point de vue de l'ingnieur en
communications, seulement concern par la quantit d'information qu'il doit
transmettre, mesurable selon la thorie de Shannon.
G. Battail. Science et Avenir, hors srie dcembre 1999 janvier 2000, pp. 28-29

Transmission de l information - Cours de l EPU de Tours - DI 5


Bases de la thorie de linformation 5

Quelle mesure quantitative


pour linformation ?

Un constat :
la transmission dun message certain est inutile
z source dinformation : sige dvnements alatoires
qui constituent le message
z quantit dinformation dun message :

mesure de son imprvisibilit

Transmission de l information - Cours de l EPU de Tours - DI 6


Bases de la thorie de linformation 6

3
Voic i la blague daujourd hui

n Claude Shannon, avait lhabitude de faire jouer ce petit jeu de socit quand il
tait invit quelque part. Il prenait un livre au hasard, louvrait au hasard,
commenait lire un paragraphe et sarrtait. Il demandait ensuite lassistance
de deviner une une les lettres suivantes. Lassistance se dbrouillait bien et
trouvait la lettre dans environ 75 % des cas. Shannon en dduisait que la langue
anglaise possde un taux de redondance de 75 %.
n Quand nous manipulons du texte, les caractres que nous utilisons nont pas la
mme probabilit dapparition. De plus il a une structure interne forte (la
grammaire). Quand le mot arbre est au pluriel on peut aisment prdire la lettre
qui suit le e final.
n Quand nous travaillons avec de la musique, la distribution des probabilits
dapparition des sons nest pas uniforme non plus.
n Quand nous manipulons des images, elles possdent galement des rgularits,
elles ne sont pas alatoires .
n Cest cette caractristiques qui incite compresser les donnes et cest elle qui
permet, souvent, de russir.
Transmission de l information - Cours de l EPU de Tours - DI 7

Thorie de linformation (Shannon 1948)

n Reprsentation efficace de linformation: le codage


de source sans pertes (compaction de linformation)
n Thorie de la distorsion et codage de source avec
pertes (compression de linformation)
n Capacit dun canal de tlcommunications et
mthodes de codage de canal (transmission fiable
de linformation laide de codes correcteurs
derreurs)
n Chiffrement et stratgies de cryptanalyse
(confidentialit de linformation, authentification des
utilisateurs, dcryptement)

Transmission de l information - Cours de l EPU de Tours - DI 8

4
Modle d un systme de communication

Source = je parle
Canal = l'air ambiant
Perturbations = bruit sonore
Destinataire = tu coutes

Transmission de l information - Cours de l EPU de Tours - DI 9

Modle d un systme de communication


bruit

source codeur canal dcodeur destinataire

3 Th. Signaux dcrit messages et perturbations


3 Modulation modifie les signaux pour les propager
3 Electronique ralise les fonctions
3 Th. Information propose une mesure quantitative de
l'information et tudie sa reprsentation,
sa transmission, sa dgradation

Transmission de l information - Cours de l EPU de Tours - DI 10

5
Modle d un systme de communication

3 Source : sige d'vnements alatoires qui constituent


le message mis Entropie
3 Canal : transmet et dgrade le message Capacit

Des messages diffrents portent la mme information, le codage cherche le


message avec les meilleurs proprits.
3 Codage de source supprime la redondance, reduit le cot
3 Codage de canal protge contre les perturbations
3 Cryptage protge contre les curieux

Transmission de l information - Cours de l EPU de Tours - DI 11

Information, grandeur mesurable ?

n Aspects qualitatifs et quantitatifs de l information


-> apporter des valeurs chiffres, mesurer

n Information lie la nature alatoire d un message

n Information + grandeur mesurable = probabilits

n communication = exprience alatoire

n message = rsultat de l exprience qui apporte l information

n Exemple : montant sur bulletin de paye

Transmission de l information - Cours de l EPU de Tours - DI 12

6
Information, grandeur mesurable ?

n Soit I(x), la quantit dinformation apporte par le message x


1
n I(x) est une fonction f de Avec f croissante & f(1)=0
px
n I(x) doit tre positive

n I(x) doit tre additive : I(x+y) = I(x) + I(y)

Transmission de l information - Cours de l EPU de Tours - DI 13

Information, grandeur mesurable ?

Selon Shannon, I ( x ) = log( p( x )) = log( p( x ))


n
1

n Si log base 2, alors I(x) s exprime en bit

n I(xk) est aussi appel Self-information de la source

Transmission de l information - Cours de l EPU de Tours - DI 14

7
Sources discrtes

3 Source discrte d'information : suite de variables alatoires


discrtes X1, X2, Xn
3 Symbole ou lettre : lment fondamental irrductible
contenant une information, cad ralisation particulire de la
source d'information.

3 Mot : succession finie de symboles

3 Alphabet : totalit des D lettres


[X] = [x1,x2, ., xn]

Transmission de l information - Cours de l EPU de Tours - DI 15

Sources discrtes

3 Source discrte sans mmoire : source pour laquelle la


probabilit d'apparition d'un symbole ne dpend pas des
symboles prcdents p ( x / x , x ,...) = p ( x )
in in 1 i n 2 in
3 Source discrte mmoire : source pour laquelle la probabilit
d'apparition d'un symbole dpend du ou des symboles prcdents
3 Source stationnaire : source pour laquelle les probabilits
d'apparition des diffrents symboles ne dpendent pas de
l'origine des temps p ( xi ) = p ( xi ) k
n n+ k

3 Source dbit contrlable : source pouvant gnrer des


messages comme suite une commande externe (Tlgraphe, .)

Transmission de l information - Cours de l EPU de Tours - DI 16

8
Sources discrtes

3 Source dbit non contrlable : source gnrant des


messages avec un dbit fix, proprit de la source (CD audio)
3 Source discrte contraintes fixes : source pour laquelle
certains symboles ne peuvent tre utiliss qu'en des conditions
dtermines (Morse, )
3 Source discrte contraintes probabilistes : source
mmoire. Dans un tat, la source peut gnrer n'importe
lequel des symboles avec une probabilit qui dpend des
symboles prcdents (texte )
3 Source de Markov : source pour laquelle la probabilit de
gnrer un symbole ne dpend que du symbole l'instant n-1
p( xin / xin1 , xin2 ,...) = p ( xin / xin1 )
Transmission de l information - Cours de l EPU de Tours - DI 17

Entropie dune source dinformation

p = { p( x 1 ) ,K , p( x k ) ,K , p( x K )}
source dinformation
H(X )
X = {x 1 ,K , x k ,K , x K }

Hyp : source discrte finie stationnaire sans mmoire


Emission = variable alatoire X
pi = p( X = xi ) pour i = 1,2, ..., n
n

p
i =1
i =1

Transmission de l information - Cours de l EPU de Tours - DI 18

9
Entropie d une source d information

Quantit d'information moyenne associe


chaque symbole de la source = entropie

N N
H ( X ) = E ( I ( X )) = pi. log(1 / pi ) = pi. log( pi )
i =1 i =1

Transmission de l information - Cours de l EPU de Tours - DI 19

Entropie d une source binaire

p. log( p ) (1 p ). log(1 p ) pour 0 < p < 1


H(X ) =
0 si p = 0 ou 1

p (1) = p
p ( 0) = 1 p

Transmission de l information - Cours de l EPU de Tours - DI 20

10
Proprits de l entropie

3 Additivit : de part la dfinition de l'information propre.

3 Positive : H ( X ) = H ( p1 , p2 ,..., pn ) 0

1 1 1
3 Borne : H ( X ) H ( , ,..., ) = log(n)
n n n
3 Continuit : l'entropie est une fonction continue de chaque
variable pi.
Redondance :
H (X )
R = H max ( X ) H ( X ) = 1 H ( X )
max
Transmission de l information - Cours de l EPU de Tours - DI 21

Entropie & Dbit d information

3 Le dbit d'information d'une source est donn par le


produit son entropie (valeur moyenne de l'info /symbole)
par le nombre moyen de symboles par seconde, ce qui
quivaut :
H (X )
DX = (bits.s 1 ) avec dure moyenne d' un symbole

Source Qaire :
aire
3 Source Q : source S dont l'alphabet possde Q lments
ime
3k extension : source Sk dont l'alphabet est obtenu en
groupant par bloc de k celui de la source S (ordre k)

Transmission de l information - Cours de l EPU de Tours - DI 22

11
Information mutuelle

I ( xk ; y k ) = log( p( xk y k ) p( xk ))

Proprits :
I( x; y ) = I( y ; x )
I ( x, y ) = I ( x y ) I ( x )
I( x y ) = I( x ) si x et y indpendants

Rgle de Bayes : p( x, y ) = p( x y ). p( y ) = p( y x). p( x) = p( y, x)


Transmission de l information - Cours de l EPU de Tours - DI 23

Transinformation & entropies

Quantit moyenne d information transmise par le canal :


n m p ( xi , y j )
I ( X ; Y ) = p ( xi , y j ). log( )
i =1 j =1 p ( xi ). p ( y j )
J
I ( X ; Y ) = p( x k , yj ) log
K p( yj x k ) J
= p( x k , yj ) log
K (
p x k yj )
k =1 j =1 p( yj ) k =1 j =1 p( x k )

Entropie runie ou conjointe


n m
H ( X , Y ) = p ( xi , y j ). log( p ( xi , y j ))
i =1 j =1

Entropie conditionnelle ou quivoque


n m
H ( X / Y ) = p ( xi , y j ). log( p ( xi / y j ))
i =1 j =1
Transmission de l information - Cours de l EPU de Tours - DI 24

12
Transinformation

I ( X ;Y ) = H ( X ) + H (Y ) H ( X ,Y )
I ( X ;Y ) = H ( X ) H ( X / Y ) = H (Y ) H (Y / X )
0 I ( X ;Y ) H ( X )

Canaux non perturbs Canaux trs perturbs


H ( X / Y ) = H (Y / X ) = 0 H ( X / Y ) = H ( X ) et H (Y / X ) = H (Y )
H ( X ,Y ) = H ( X ) = H (Y ) H ( X ,Y ) = H ( X ) + H (Y )
I ( X ;Y ) = H ( X ) I ( X ,Y ) = 0
Transmission de l information - Cours de l EPU de Tours - DI 25

Notion de Capacit dun canal

Nous avons vu que :


u H(X) caractrise la source

u I(X;Y) dpend de la source p(x)


u I(X;Y) dpend du canal p(x/y) = P

u Cas extrmes :
u I(X;Y) = H(X) canal non bruit
u I(X;Y) = 0 canal bruit

n I(X;Y) varie entre 0 I(X;Y) H(X) on dfinit C

Transmission de l information - Cours de l EPU de Tours - DI 26

13
Capacit dun canal

Capacit: quantit maximum dinformation que lon peut


transmettre dans un canal de tlcommunications avec
une probabilit derreur arbitrairement faible

Autres dfinitions :
La capacit C d un canal est la plus grande quantit
dinformation moyenne qu il est capable de transmettre
de son entre sa sortie.

La capacit C d un canal est le maximum de linformation


mutuelle moyenne I(X;Y) avec X entre, Y sortie.

Transmission de l information - Cours de l EPU de Tours - DI 27

Capacit dun canal

C = max I ( X ; Y )
p

Transmission de l information - Cours de l EPU de Tours - DI 28

14
Capacit dun canal

n Extensions d ordre n de la source :

n On ajoute un buffer a la source qui attend d avoir


reu n symboles avant de transmettre
n En sortie : Mn messages u possibles
n Rcepteur recoit les messages v

I ( X n ,Y n ) = p(u,v ).log2 (p(v / u ) / p(v ))


X nY n

Transmission de l information - Cours de l EPU de Tours - DI 29

Capacit dun canal

n Si les Symboles statistiquement indpendants


n Quantit moyenne fournie par un symbole

I ( X n ,Y n )
I ( X ;Y ) =
n

I ( X n ,Y n )
n C = max
p ( u ),n n

Transmission de l information - Cours de l EPU de Tours - DI 30

15
Type de Canaux discrets

3 Canal : milieu de transmission de l'information situ entre la source


et la destination. Le canal opre une transformation entre l'espace
des symboles l'entre et celui de la sortie.
3 Canal discret : les espaces d'entre et de sortie sont discrets

3 Canal continu : les espaces d'entre et de sortie sont


continus
3 Canal sans mmoire : si la transformation d'un symbole x
l'entre en un symbole y en sortie ne dpend pas des
transformations antrieures
3 Canal stationnaire : si les transformations ne dpendent pas de
l'origine des temps
Transmission de l information - Cours de l EPU de Tours - DI 31

Canaux discrets
= {x 1 ,K
XX={X , x k ,K , xK} } Y = {1y
Y={Y ,Y yj ,K ,ny}J }
1 ,K ,k,,Y
1,X k,,X m
canal bruit
p = { p( x 1 ) ,K , p( x k ) ,K , p( x K )} { }
q = q( y1 ) ,K , q( yj ) ,K , q( yJ )

{ }
P = p( y1 x1 ) ,K , p( yj x k ) ,K , p( yJ x K )

Matrice stochastique du canal :

p( y1 / x1) p( y1 / x2 ) ... p( y1 / xm )
p( y / x ) p( y / x ) p( y2 / xm )
[P] = 2 1 2 2

... ...

p( yn / x1) p( yn / x2 ) ... p( yn / xm )
Transmission de l information - Cours de l EPU de Tours - DI 32

16
Capacit dun canal

n Canal uniforme en entre / Canal uniforme en sortie

n Canal uniforme en entre et sortie :

n
C = log2 N + p j . log2 p j
j =1

Transmission de l information - Cours de l EPU de Tours - DI 33

Capacit dun canal

Transmission de l information - Cours de l EPU de Tours - DI 34

17
Capacit dun canal

Transmission de l information - Cours de l EPU de Tours - DI 35

D autres grandeurs
I ( X ;Y )
Efficacit dun canal : c =
C
Taux d information (dbit) : RT = H ( X )
Ts
C
Capacit par unit de temps : CT =
Ts
pe : Probabilit moyenne d erreur :
(Rt CT ).Ts H ( pe ) + pe . log2 (M 1)
Entropie d erreur :
H ( pe ) = pe . log pe (1 pe ).log(1 pe )
Thorme du codage source :
Lorsque Rt < Ct en utilisant une procdure adquat de codage et dcodage, on peut
rcuprer le message mis avec une probabilit d erreur relativement faible
Transmission de l information - Cours de l EPU de Tours - DI 36

18
Modle d un systme de communication
bruit

source codeur canal dcodeur destination

Alphabet du canal Z compos de D symboles

D < M (de la source) => codeur + dcodeur

Message Xk devient Zk de longueur nk


M
nm = nk .p( x k )
k =1
On veut un codage pour lequel nm est minimal

Transmission de l information - Cours de l EPU de Tours - DI 37

Modle d un systme de communication

Entropie max du codeur : H(C)max = log D

Entropie du codeur par symbole H(C) = H(X) / nm

On peut dfinir lefficacit du codeur : e = H(C) / H(C)max

e = H(X) / (nm . log D)

e est maximum quand nm est minimum

Transmission de l information - Cours de l EPU de Tours - DI 38

19
Modle d un systme de communication

Si nk fixe alors il faut D nm M d ou nm log M / log D

Si symboles quiprobables on a H(X)= log M d ou nm H ( X ) / log D

Thorme de Shannon :

nm est born et on peut toujours trouv un codage optimal


en essayant davoir :
nm = H(X) / log D

Pour des codes bien choisi, on peut obtenir lim nm = H ( X ) / log D


N

Transmission de l information - Cours de l EPU de Tours - DI 39

Et pour un signal continu ?

n On peut faire des raisonnements similaires mais c est


beaucoup moins simple !
+
H ( X ) = f ( x ). log(f ( x ))dx

+ +
I ( X ;Y ) = f ( x, y ). log(f ( x, y ) /(f1(( x ).f2 ( y ))dx

C = max I ( X ; Y )
p

n Voir chapitre : Supports de transmission...


Transmission de l information - Cours de l EPU de Tours - DI 40

20
Transmission de l information - Cours de l EPU de Tours - DI 41

Cours de

Transmission de l information

Jean-Yves Ramel

Dpartement Informatique de l EPU de TOURS


Laboratoire d Informatique RFAI

http://www.rfai.li.univ-tours.fr/ramel/trans_info.html

21
Exemple

n Une source met 8 lettres avec :


p(a)=p(b)=1/4 p(c)=p(d)=1/8 p(e)=p(f)= p(e)=p(f)= 1/16

n Sur un canal binaire ncessit dun codeur


n 1ere solution de codage :
n a 000 b 001 c 010 d 011
n e 100 f 101 g 110 h 111
n Dou nmoy = 3 et e1 = HX/3
n 2e solution de codage :
n a 00 b 01 c 100 d 101
n e 1100 f 1101 g 1110 h 1111
n Dou nmoy = 2,75 et e2 = HX/ 2,75 2e solution mieux que 1ere

n Si destinataire reoit 1100001001011111 Pas dambigut car aucun


code nest le prfixe dun autre eacdh

Transmission de l information - Cours de l EPU de Tours - DI 43

Et pour un signal continu ?

n On se ramne la plupart du temps :

n un signal limit dans le temps T, une bande passante W


n un canal soumis un bruit blanc additif
n Les rpartitions en puissance du signal et du bruit suivent des
distributions de probabilit gaussienne
n Ce n est pas le cas dans la ralit mais cela fixe une rfrence
dont on essaie de se rapprocher.

Transmission de l information - Cours de l EPU de Tours - DI 44

22

You might also like