Professional Documents
Culture Documents
Thorie de l information
1
Vue d ensemble
de la thorie de l information
Vue d ensemble
de la thorie de l information
Utile, indispensable mme aux ingnieurs en tant que cadre conceptuel, elle
n'a eu initialement qu'une faible influence directe sur les moyens de
communication. Elle a pris de plus en plus d'importance mesure qu'il
devenait possible de raliser des dispositifs complexes. Par une concidence
qui fait rver, 1948 est aussi l'anne de l'invention du transistor. Le prodigieux
dveloppement de la technologie des semi-conducteurs a peu peu fait
entrer la thorie de l'information dans la pratique, et c'est peu dire qu'elle a
fait dsormais la preuve exprimentale de son utilit. La radiotlphonie
numrique et les CD seraient inconcevables sans les trs efficaces procds
de codage qu'a directement suscits la thorie de l'information. Une immense
exprience technique s'ajoute donc maintenant la thorie proprement dite.
Sa validit en est confirme avec clat et sa comprhension enrichie.
2
Vue d ensemble
de la thorie de l information
Un constat :
la transmission dun message certain est inutile
z source dinformation : sige dvnements alatoires
qui constituent le message
z quantit dinformation dun message :
3
Voic i la blague daujourd hui
n Claude Shannon, avait lhabitude de faire jouer ce petit jeu de socit quand il
tait invit quelque part. Il prenait un livre au hasard, louvrait au hasard,
commenait lire un paragraphe et sarrtait. Il demandait ensuite lassistance
de deviner une une les lettres suivantes. Lassistance se dbrouillait bien et
trouvait la lettre dans environ 75 % des cas. Shannon en dduisait que la langue
anglaise possde un taux de redondance de 75 %.
n Quand nous manipulons du texte, les caractres que nous utilisons nont pas la
mme probabilit dapparition. De plus il a une structure interne forte (la
grammaire). Quand le mot arbre est au pluriel on peut aisment prdire la lettre
qui suit le e final.
n Quand nous travaillons avec de la musique, la distribution des probabilits
dapparition des sons nest pas uniforme non plus.
n Quand nous manipulons des images, elles possdent galement des rgularits,
elles ne sont pas alatoires .
n Cest cette caractristiques qui incite compresser les donnes et cest elle qui
permet, souvent, de russir.
Transmission de l information - Cours de l EPU de Tours - DI 7
4
Modle d un systme de communication
Source = je parle
Canal = l'air ambiant
Perturbations = bruit sonore
Destinataire = tu coutes
5
Modle d un systme de communication
6
Information, grandeur mesurable ?
7
Sources discrtes
Sources discrtes
8
Sources discrtes
p = { p( x 1 ) ,K , p( x k ) ,K , p( x K )}
source dinformation
H(X )
X = {x 1 ,K , x k ,K , x K }
p
i =1
i =1
9
Entropie d une source d information
N N
H ( X ) = E ( I ( X )) = pi. log(1 / pi ) = pi. log( pi )
i =1 i =1
p (1) = p
p ( 0) = 1 p
10
Proprits de l entropie
3 Positive : H ( X ) = H ( p1 , p2 ,..., pn ) 0
1 1 1
3 Borne : H ( X ) H ( , ,..., ) = log(n)
n n n
3 Continuit : l'entropie est une fonction continue de chaque
variable pi.
Redondance :
H (X )
R = H max ( X ) H ( X ) = 1 H ( X )
max
Transmission de l information - Cours de l EPU de Tours - DI 21
11
Information mutuelle
I ( xk ; y k ) = log( p( xk y k ) p( xk ))
Proprits :
I( x; y ) = I( y ; x )
I ( x, y ) = I ( x y ) I ( x )
I( x y ) = I( x ) si x et y indpendants
12
Transinformation
I ( X ;Y ) = H ( X ) + H (Y ) H ( X ,Y )
I ( X ;Y ) = H ( X ) H ( X / Y ) = H (Y ) H (Y / X )
0 I ( X ;Y ) H ( X )
u Cas extrmes :
u I(X;Y) = H(X) canal non bruit
u I(X;Y) = 0 canal bruit
13
Capacit dun canal
Autres dfinitions :
La capacit C d un canal est la plus grande quantit
dinformation moyenne qu il est capable de transmettre
de son entre sa sortie.
C = max I ( X ; Y )
p
14
Capacit dun canal
I ( X n ,Y n )
I ( X ;Y ) =
n
I ( X n ,Y n )
n C = max
p ( u ),n n
15
Type de Canaux discrets
Canaux discrets
= {x 1 ,K
XX={X , x k ,K , xK} } Y = {1y
Y={Y ,Y yj ,K ,ny}J }
1 ,K ,k,,Y
1,X k,,X m
canal bruit
p = { p( x 1 ) ,K , p( x k ) ,K , p( x K )} { }
q = q( y1 ) ,K , q( yj ) ,K , q( yJ )
{ }
P = p( y1 x1 ) ,K , p( yj x k ) ,K , p( yJ x K )
p( y1 / x1) p( y1 / x2 ) ... p( y1 / xm )
p( y / x ) p( y / x ) p( y2 / xm )
[P] = 2 1 2 2
... ...
p( yn / x1) p( yn / x2 ) ... p( yn / xm )
Transmission de l information - Cours de l EPU de Tours - DI 32
16
Capacit dun canal
n
C = log2 N + p j . log2 p j
j =1
17
Capacit dun canal
D autres grandeurs
I ( X ;Y )
Efficacit dun canal : c =
C
Taux d information (dbit) : RT = H ( X )
Ts
C
Capacit par unit de temps : CT =
Ts
pe : Probabilit moyenne d erreur :
(Rt CT ).Ts H ( pe ) + pe . log2 (M 1)
Entropie d erreur :
H ( pe ) = pe . log pe (1 pe ).log(1 pe )
Thorme du codage source :
Lorsque Rt < Ct en utilisant une procdure adquat de codage et dcodage, on peut
rcuprer le message mis avec une probabilit d erreur relativement faible
Transmission de l information - Cours de l EPU de Tours - DI 36
18
Modle d un systme de communication
bruit
19
Modle d un systme de communication
Thorme de Shannon :
C = max I ( X ; Y )
p
20
Transmission de l information - Cours de l EPU de Tours - DI 41
Cours de
Transmission de l information
Jean-Yves Ramel
http://www.rfai.li.univ-tours.fr/ramel/trans_info.html
21
Exemple
22