You are on page 1of 120

TABLE DES MATIERES

INTRODUCTION ________________________________________________ 1 CHAPITRE 1 ETAT DE L'ART DES ALGORITHMES D'ESTIMATION PONCTUELLE ___________________________________ 5 1 2 3 4 5 6 7 L'ESTIMATEUR DE LA DENSITE DE PROBABILITE _________________ 6 THEOREME DE LHISTOGRAMME ET CONVERGENCE ______________ 7 ESTIMATION PAR LES FONCTIONS ORTHOGONALES _______________ 10 METHODE DU K-PLUS PROCHE VOISIN __________________________ 11 ESTIMATEUR A NOYAU ______________________________________ 12 METHODE DU NOYAU DIFFEOMORPHISME _______________________ 18 ESTIMATION NON PARAMETRIQUE PAR
LES RESEAUX DE NEURONE

___________________________________ 24

CONCLUSION ______________________________________________ 28

CHAPITRE 2 OPTIMISATION DU PARAMETRE DE LISSAGE DU NOYAU 1 2 3 4 _________________________________________________ 29

MTHODES RULE OF THUMB (ROT) ____________________________ 29 METHODES CROSS-VALIDATION ______________________________ 30 ALGORITHME DU PLUG-IN ___________________________________ 32 EVALUATION DES PERFORMANCES DES METHODES PLUG-IN,
ROT ET CROSS VALIDATION ___________________________________

34

5 6

CONVERGENCE DE L'ALGORITHME PLUG-IN_____________________ 35 CONCLUSION ______________________________________________ 49

Table des matires

CHAPITRE 3 PROPOSITION D'UN ALGORITHME PLUG-INRAPIDE ________________________________________________ 51 1 Approximation analytique de J(f) dans le cas du noyau optimal ___________________________________________ 51 2 3 4 5 6 Algorithme itratif du noyau optimal analytique_________________ 53 Etude de la complexit ______________________________________ 54 Dtermination exprimentale de la puissance de hN ______________ 55 Etude comparative entre le Plug-in et le Plug-in rapide ___________ 58 Conclusion ________________________________________________ 60

CHAPITRE 4 APPLICATION A L'ESTIMATION DU TAUX DERREUR DANS LA NORME UMTS 1 2 _________________________________________________ 63 SIMULATION MONTE CARLO _________________________________ 64 ESTIMATION DU BER PAR LA DENSITE DE PROBABILITE
DU SIGNAL REU ____________________________________________

67

ETUDE DES PERFORMANCES DE L'ESTIMATEUR __________________ 69 3.1 3.2 3.3 Etude du biais __________________________________________ 69 Etude asymptotique de la variance _________________________ 69 Etude asymptotique de la consistance_______________________ 69

ETUDE COMPARATIVE ENTRE LES DEUX METHODES


D'ESTIMATION DU BER

______________________________________ 70

EVALUATION DE L'ESTIMATION DU TEB EN FONCTION


DU NOMBRE DE SYMBOLES GENERES

___________________________ 74

CONCLUSION ______________________________________________ 76

Table des matires

CHAPITRE 5 MISE EN UVRE D'UN SIMULATEUR D'ESTIMATION STATISTIQUE DE LA NEUTRALITE DES POPULATIONS ____________________________ 77 1 2 CONTEXTE DE L'ETUDE ______________________________________ 77 EVALUATION STATISTIQUE DE LA NEUTRALITE DES POPULATIONS___ 78 2.1 Estimation de 2.2 Estimateur de partir des sites polymorphes S ______________ 79 par Tajima ________________________________ 79

2.3 Test statistique de neutralit de Tajima_______________________ 81 2.3.1 2.3.2 3 Principe du test ______________________________________ 81 Evaluation de la neutralit ____________________________ 83

APPLICATION DE LA METHODE DU NOYAU AVEC PLUG-IN


ANALYTIQUE _______________________________________________

84

CONCLUSION ______________________________________________ 86

CONCLUSION GNRALE _______________________________________ 89 ANNEXE 1 ANNEXE 2 ANNEXE 3 ANNEXE 4 _________________________________________________ 93 _________________________________________________ 97 _________________________________________________ 99 _________________________________________________ 103

BIBLIOGRAPHIE ________________________________________________ 109

INTRODUCTION

L'essor rcent des systmes sophistiqus de l'aronautique, des tlcommunications, de la mdecine, de la tldtection , est en partie la base d'un besoin de dveloppement de rsolutions numriques des mthodes statistiques les plus complexes. L'estimation des densits de probabilit comptant parmi ces disciplines, est un des principaux domaines de l'approche statistique en reconnaissance de formes. Il est bien reconnu que depuis une cinquantaine d'annes la littrature abonde dans cette branche au niveau de son utilisation. La modlisation probabiliste des paramtres rgissant les systmes technologiques les plus complexes et les grandeurs physiques dcrivant des phnomnes scientifiques est souvent requise. La complexit des formulations analytiques demande une tude par simulation. On est souvent amen estimer les densits de probabilit de ces grandeurs supposes alatoires (La modlisation stochastique des rseaux, la classification des signaux, la hirarchisation des bases de donnes avances : moteurs de recherche multimdia, la classification des images ariennes pour l'observation de la terre, la biomtrie, la classification des gnomes). Toutefois, en reconnaissance de formes, un des objectifs principaux de l'estimation est la mise en place de classifieurs. La classification talon, connue sous le nom de rgle de Bays [Gho90] car obtenue par minimisation de la probabilit d'erreur a posteriori, exige l'estimation des densits de probabilit conditionnelles de l'observation. D'autre part, l'extraction de primitives descriptives des objets classer est une phase essentielle. La description de ces objets est d'autant plus fine que le nombre de primitives est lev. On se retrouve alors dans un cas multivari de grande dimension et nul n'ignore l'exigence des thormes de convergence en termes de taille d'chantillon pour des prcisions minimales. C'est pourquoi la rduction de dimension est une solution souvent retenue. Les plus rcents dveloppements en matire de slection des primitives se ralisent par l'estimation des densits de probabilit dans un cadre multivari de basse dimension. Parmi les critres d'optimisation amenant des rductions de dimension tenant compte des statistiques d'ordre suprieur, nous citons

-1-

Introduction

les distances en probabilit, domaine en pleine investigation comportant des problmatiques encore non rsolues quant ses rgles de convergence [Pat69]. Il va de soi que l'application directe de l'estimation de densit de probabilit permettant la caractrisation complte en termes probabilistes des grandeurs physiques ou des paramtres d'un systme demeure d'une importance primordiale. Ces quantits et ces paramtres descripteurs extraits de la ralit, comportant souvent des singularits topologiques provenant de leur formulation (grandeurs bornes ou semi bornes), a rcemment ouvert un champ d'tude dnomm estimation tenant compte d'informations sur le support [Sao94][Sao97][Hal82]. Dans cette perspective, nous contribuons l'affinement de cette mthode en proposant un algorithme amliorant la convergence. Les premiers essais de l'estimation des densits de probabilit ont port sur le cas paramtrique. Nous citons essentiellement le maximum de vraisemblance et la mthode des moments d'ordre infrieur ou gal quatre connue sous la dnomination du systme de Pearson [Oja81]. Cette modlisation paramtrique continue faire l'objet d'une attention particulire dans les grandes applications telles que la tldtection, la transmission de donnes, la compression audiovisuelle et la modlisation du trafic dans les plus rcents rseaux puisque elle est moyen de pertinence et de compression de donnes complexes. L'ide principale de cette approche est d'mettre des hypothses sur le type de loi des grandeurs (systme de variables alatoires) dcrivant les systmes. Son avantage rside dans la simplicit algorithmique de sa mise en uvre. En effet, elle se ramne l'estimation des paramtres caractristiques de la loi du systme de variables alatoires suppose appartenir la famille large des lois exponentielle (loi Gamma, Bta, normale, multinomiale, loi K,). Paralllement, se sont dveloppes les mthodes dites non paramtriques, l'histogramme [Deh77] reprsentant la plus ancienne et la plus rpute parmi celles-ci. Malgr la vulgarisation de son utilisation, ses thormes de convergence restent assez mal connus par les utilisateurs. Pour les faibles tailles d'chantillon et lorsque les rgles de convergence sont respectes, l'histogramme aboutit une fonction en escalier. Un cart par rapport au modle continu reprsent par la densit de probabilit hypothtique est toujours prsent. Afin de remdier un tel inconvnient Rozenblatt [Roz56] en 1956 a propos un estimateur bas sur la convolution de la loi empirique par une fonction noyau prise sous forme d'une densit de probabilit. Il

-2-

Introduction

aboutit une fonction densit suffisamment rgulire. Les premiers travaux sur la convergence dvelopps ultrieurement [Par62][Hal82] fournissent des rgles en apparence quivalentes celles de l'histogramme. Les rgularits de l'estimateur noyau (continuit, drivabilit d'ordre suprieur) ont ensuite montr sa supriorit en termes de convergence. Nous signalons au passage les tudes sur la moyenne quadratique intgre et celles faisant appel au point de vue L1 dveloppes

essentiellement par les travaux de Devroye et al [Dev84]. Les fonctions orthogonales, jouant un rle fondamental en analyse harmonique, ont permis la naissance de l'estimateur des projections. Assez tt, Hall [Hal82] et d'autres ont pris en charge les tudes asymptotiques de cet estimateur prsentant un certain nombre de rgularits souhaitables, proches de celles de la mthode du noyau. La mthode des fonctions orthogonales prsente deux avantages essentiels. D'une part, elle s'adapte au type de support des grandeurs alatoires par le choix de la base convenable. D'autre part, sa gnralisation au cas multivari se fait de manire aise en considrant les produits tensoriels de ces fonctions de base. La convergence de toutes ces mthodes est directement dpendante du choix adquat d'un paramtre appel paramtre de lissage, fonction de la taille de l'chantillon. Cela a donn naissance un ensemble de procdures inspires des dveloppements limits des critres dcrivant la qualit de l'estimateur [Jon96] (Rot, cross validation, pas variable de P. Hominal.). Le Plug-in, algorithme itratif compte parmi ces mthodes et fera l'objet d'une attention particulire dans les travaux de cette thse [Hal87]. Nous contribuons par la proposition d'une version rapide de cet algorithme en introduisant un calcul analytique au niveau d'une de ses tapes. Rcemment, une adaptation de l'estimateur noyau tenant compte d'informations sur le support a t introduite [Sao94][Sao97]. Il s'agit d'un estimateur intgrant un changement de variable convenablement choisi et adapt la nature du support dnomm Noyau diffomorphisme. Ce dernier allie les avantages de rgularit de l'estimateur originel, de ses qualits de convergence et de son adaptation la nature topologique du support de donnes. Ce manuscrit est organis selon cinq chapitres. Le premier prsente un tat de l'art conceptuel, accompagn de simulations illustrant les principaux algorithmes

d'estimation ponctuelle rencontrs dans la littrature. Une attention particulire sera porte sur l'tude asymptotique de l'estimateur noyau dans ses deux variantes. Un

-3-

Introduction

accent particulier sera mis sur les dveloppements relatifs au critre de l'cart quadratique moyen intgr optimisant le type de noyau et le paramtre de lissage. Le second chapitre est consacr une description des travaux lis l'optimisation du paramtre de lissage, appel plus communment pas, pour la mthode du noyau. Les principales procdures algorithmiques d'ajustement de ce pas y sont dcrites. Une tude comparative comportant des simulations sur une panoplie de lois reprsentatives permet de souligner l'intrt thorique et pratique de l'algorithme Plug-in. Une premire contribution consistant en la proposition d'un algorithme itratif rapide pour la recherche du pas optimal intgrant un dveloppement analytique dans l'algorithme Plug-in est introduit dans le troisime chapitre. La complexit est analyse puis compare celle du Plug-in usuel d'un point de vue aussi bien conceptuel qu'exprimental. L'exprimentation dans ce mme chapitre ne concernera que les procdures de simulation. Deux chapitres ultrieurs permettront de confronter de tels dveloppements des cas rels manant d'exemples tirs de procdures contribuant la mise en uvre de grandes applications intressant l'activit humaine. Nous proposons dans un quatrime chapitre, d'valuer les performances d'un systme de communication de type UMTS par l'estimation de la probabilit d'erreur apparente plutt que par le taux d'erreur binaire puisque la premire s'exprime en fonction de la densit de probabilit des signaux reus permettent ainsi de rduire de manire significative le temps de calcul particulirement lorsque le rapport signal bruit est lev. Dans le cinquime chapitre, un simulateur de populations gntiquement neutre est mis en uvre. L'application du Plug-in analytique y est intgre permettant ainsi d'amliorer les performances en termes de prcision et de complexit.

-4-

CHAPITRE 1 ETAT DE L'ART DES ALGORITHMES


D'ESTIMATION PONCTUELLE

Les diffrentes mthodes d'estimation des densits de probabilit rpertories lors de l'tude de l'tat de l'art se subdivisent en deux catgories : Les mthodes paramtriques et les mthodes non paramtriques. L'approche paramtrique pour l'estimation des densits de probabilit se base sur l'hypothse que la densit de probabilit suit une loi connue (loi normale, loi bta, loi Gamma etc.). Les paramtres de ces lois peuvent tre estims par certaines mthodes parmi lesquelles nous citerons les mthodes du maximum de vraisemblance [Rob67][We70a][We70b] ou encore l'estimation des moments d'ordre 3 et 4 (skewness et Kurtosis)[Oja81]. Cependant, lorsque la densit de probabilit est a priori inconnue, il est prfrable d'viter de faire des hypothses sur une des lois connues. Les mthodes non paramtriques reprsentent une alternative intressante, la plus connue tant la mthode de l'histogramme. La mthode du noyau, la mthode des fonctions orthogonales ainsi que la mthode des k plus proches voisins [Bow87][Hal82][Sil86] sont galement frquemment utilises dans la littrature et permettent d'estimer les densits de probabilit sans faire d'hypothses a priori sur les lois. Ce chapitre est ddi la prsentation des diffrentes mthodes non paramtriques pour l'estimation des densits de probabilit ci-dessus cites. Des simulations ont t menes afin d'illustrer l'importance du choix du paramtre de lissage pour une

-5-

Etat de l'art des algorithmes d'estimation ponctuelle

estimation correcte des densits de probabilit. Le chapitre 7 traite quant lui des tentatives ralises dans la littrature pour l'estimation des densits de probabilit l'aide des rseaux de neurones. Les rsultats obtenus sont cependant limits et encore peu probants.

L'estimateur de la densit de probabilit

Soit (X1,X2,,XN) les N ralisations dune variable alatoire X ayant pour densit de probabilit f inconnue. Nous nous intressons lestimation du paramtre f partir de lobservation (X1,X2,,XN). Dfinition :

Un estimateur de la densit de probabilit f est une application f N telle que :


fN :
n

x1 ,......, x n

R f N x1 ,....., x n ; x

fN x

Lvaluation de la qualit dun estimateur exige de mesurer la proximit entre la densit relle et la densit estime. Pour cela, il est possible davoir recours diffrentes normes parmi lesquelles nous citerons : La norme de la convergence simple :

fN

f
x

fN x

f x

La convergence uniforme :

fN

sup f N x

f x

La convergence L2 :

fN

2 L
2

fN x

f x

dx

La norme de convergence simple et la convergence uniforme font partie des normes L1 qui, bien que prsentant des proprits intressantes, sont extrmement dlicates manipuler au niveau des calculs. Les normes L2, plus faciles manipuler, sont quant elles plus gnralement utilises.

Ainsi, f N converge vers f au sens de la norme choisie lorsque la distance entre f


et f N tend vers 0 quand N tend vers + .

-6-

Etat de l'art des algorithmes d'estimation ponctuelle

Dans ce mmoire, les performances des estimateurs de densit de probabilit tudis seront values selon deux distances : LErreur Quadratique Moyenne (EQM)

EQM

fN

f
x

E fN x

f x

LErreur Quadratique Moyenne intgre (EQMI)

EQMI

fN

f
x

dx

fN x

f x

dx

Thorme de lhistogramme et convergence

La mthode de l'histogramme est la plus connue des mthodes d'estimation non paramtrique des densits de probabilit. Elle consiste subdiviser l'espace image de la variable alatoire en une partition. Dans le cas o l'espace image est la droite

relle, cette dernire est divise en intervalles de mesure constante hN : Il sagit du pas de lhistogramme.
( Soit I k N ) , le kme intervalle de lhistogramme.

( I kN )

a khN , a

k 1 hN

a kN , a kN1

Le nombre de points de lchantillon se trouvant dans cet intervalle est not par N k ,
avec

N k

1I
i 1

N k

Xi

f peut alors tre estim par f N x

N k ( pour tout x appartenant lintervalle I k N ) . Nh N

L'tude de l'erreur quadratique moyenne de

f N au point x est donne par :


2

fN

f
x

var f N x

E fN x

f x

-7-

Etat de l'art des algorithmes d'estimation ponctuelle

( Pour tout x appartenant l'intervalle I k N ) , N k est une variable alatoire de loi

binomiale B(N, pN (x)) avec

pN x

p X1

I kN x

ak hN ak

f ( y )dy

On aura donc :

E fN x
et

pN x hN

var f N x

pN x 1 pN x
2 Nh N

En remplaant lesprance et la variance de f par leurs valeurs respectives dans lexpression de lEQMI, on obtient :

fN

f
x

pN x 1 pN x
2 NhN

f x

pN x hN

Pour obtenir la convergence de f N x vers f(x) en moyenne quadratique intgre, il


est ncessaire et suffisant que NhN tende vers + que le pas hN ne doit pas tendre trop vite vers 0. En pratique, le pas est dtermin en fonction de la taille de l'chantillon. Gnralement, on choisit hN et que hN tende 0. Cela veut dire

1 3

Limportance du choix du pas optimal est illustre par les figures 1.1, 1.2 et 1.3.

-8-

Etat de l'art des algorithmes d'estimation ponctuelle

Estimation d'une densit de probabilit par la mthode de l'histogramme avec le pas optimal 0.5 0.45 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 -4

-3

-2

-1

Figure 1- Histogramme avec pas optimal

La figure 1 reprsente l'estimation dune densit de probabilit avec un pas hN choisi de manire optimale.
Estimation de la densit de probabilit avec un pas infrieur au pas optimal 0.5 0.45 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 -4

-3

-2

-1

Figure 2 - Histogramme avec pas infrieur au pas optimal

Le choix dun pas plus faible (hN tend trop rapidement vers 0) implique une estimation moins fiable puisque la densit de probabilit apparat comme perturbe ainsi que le montre la figure 2.

-9-

Etat de l'art des algorithmes d'estimation ponctuelle

Estimation de la densit de probabilit avec un pas infrieur au pas optimal 0.5 0.45 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 -4

-3

-2

-1

Figure 3 - Histogramme avec pas suprieur au pas optimal

Par contre, le choix dun pas plus lev entrane un lissage de la densit estime (figure 3). Nous verrons plus loin que ce phnomne concerne galement les autres mthodes destimation des densits de probabilit qui sont galement tributaires du choix du pas hN. La simplicit de la mise en uvre de la mthode de l'histogramme reprsente un avantage important. Cependant, l'histogramme ne tient pas compte de la continuit de par sa construction mme.

Estimation par les fonctions orthogonales

Dans la mthode des fonctions orthogonales [Hal82], lestimation de f est ramene lestimation dun paramtre valeurs dans Rk. f scrit sous la forme dune srie :

f x
m 0

am f em x

o les em sont des fonctions connues et am f

les

coefficients de Fourier de la densit de probabilit estimer f. En exemple de fonctions orthogonales pouvant tre utilises, nous pouvons citer la base de fonctions trigonomtriques dans X

forme par :

-10-

Etat de l'art des algorithmes d'estimation ponctuelle

e0

1 2

; e 2i

cos ix
1

; e 2i

sin ix

La mthode destimation consiste tronquer la srie qui devient :


k

fk x
m 1

am f em x

puis estimer les paramtres a1 f ,....., a k f . Il sagit en fait destimer, pour chaque m, le coefficient de Fourier am(f) partir des observations (X1,,XN), N ralisations d'une variable alatoire X suivant une loi dont la densit de probabilit est f.

am f

f x em x dx peut tre estim par :

a m, N

1 N

em X i
m 1

Par consquent, f (x) peut tre estime par :

fN X

1 N

KN

a m, N e m X
m 1

Cet estimateur est sans biais quand KN tend vers l'infini et KN /N tend vers 0 lorsque N tend vers l'infini. Cette mthode a l'intrt d'tre adapte aux diffrents types d'espaces de reprsentation particulirement les densits de probabilit avec information sur le support. En effet, elle utilise des familles de fonctions orthogonales diffrentes lorsque la nature du support de la densit n'est pas la mme.

Mthode du k-plus proche voisin

Il s'agit pour cette mthode de fixer un entier que l'on notera k(N) avec 1= k(N) =N puis de rechercher le plus petit intervalle centr sur x et contenant k(N) points de l'chantillon. Soit lintervalle I x, r

x r , x r et N x, r le nombre de points de lchantillon

(X1,,XN) tombant dans I x, r . On pose galement :

-11-

Etat de l'art des algorithmes d'estimation ponctuelle

rN x
I x, rN x

inf r

0 / N x, r

k N

est le plus petit voisinage symtrique de x contenant k(N) points de

lchantillon. En posant, p x, r

P X1

I x, r

x r x r

f t dt , alors

lim
r 0

p x, r 2r

f x .
k N 2 N rN x

On dfinira f N x par f N x

L'tude de la convergence montre que f N x


k N N 0.

f x

lorsque k N

et

Estimateur noyau

L'estimateur noyau a t introduit par Rozenblatt en 1956 [Roz56] puis dvelopp par Parzen en 1962 [Par62]. Il est dfini par :

fN x

1 NhN

K
i 1

x Xi hN

avec (X1, X2,, XN) N ralisations dun chantillon et K une densit de probabilit appele noyau. Ainsi, le noyau K est centr sur le point x dont on veut estimer limage par f : il sagira de sommer les contributions des diffrents xi en normalisant par lentit hN appele "paramtre de lissage" ou plus simplement "pas". Gnralement, les noyaux K utiliss rpondent aux proprits suivantes : K est symtrique, i.e., K u
R

u .

K u du 1 u j K u du
u k K u du

0 pour j
0

1,....., k 1

-12-

Etat de l'art des algorithmes d'estimation ponctuelle

Dans ce cas, K est dit noyau d'ordre k. Il est noter qu'en raison de la symtrie K est

ncessairement paire. La seconde proprit implique quant elle que f N x est une
densit de probabilit, i.e.,
R

f N x dx 1 .

En pratique, les noyaux utiliss sont des noyaux d'ordre 2 ce qui implique que le noyau K est lui-mme une densit de probabilit. Des exemples de noyaux d'ordre 2, sont prsents dans le tableau 1.

Noyaux

Ku
1 I u 2

Uniforme

Triangle

1 u I u
3 1 u2 I u 4

Epanechnikov

Gaussien

1 2

exp

1 2 u 2

Tableau 1 - Exemples de noyaux d'ordre 2 I( ) reprsente la fonction indicatrice

5.1 Importance du paramtre de lissage


Le choix du pas hN est d'une importance primordiale pour une bonne estimation de f(x). En effet, l'obtention de la convergence en moyenne quadratique exige que NhN tende vers l'infini lorsque N tend vers l'infini. En ce qui concerne la convergence en moyenne quadratique intgre, la condition exige est plus restrictive puisque N(hN)2 doit tendre vers l'infini lorsque N tend vers l'infini. Les figures 4, 5 et 6 illustrent le lien entre la qualit de l'estimation de la densit de probabilit et le choix du pas hN.

-13-

Etat de l'art des algorithmes d'estimation ponctuelle

Les simulations sont ralises sur une densit trimodale issue d'un mlange de trois densits normales (0.35 N(-0.5,(0.1)2 ) +0.35 N(0,(0.1)2 ) +0.3 N(0.4,(0.1)2 ) ). La densit simule est estime en faisant varier la valeur du pas hN : De faibles variations de ce dernier induisent des estimations trs loignes de la densit relle. Le choix dun pas infrieur au pas optimal mne une estimation trs "perturbe" ainsi que le montre la figure 4. Ces perturbations induisent une augmentation de l'EQMI et par consquent une mauvaise estimation de la densit relle. La figure 5 permet galement de visualiser une trs mauvaise estimation de la densit de probabilit obtenue en utilisant un pas plus lev que le pas optimal. Cela conduit

un lissage de la courbe f N . Cette dernire est trs loigne de la densit thorique.


Par contre, avec le pas optimal, une rduction significative de l'EQMI est observe. Ainsi que le montre la figure 6, la densit de probabilit simule est correctement estime. Il est important de remarquer que de faibles variations du pas hN (de l'ordre de 10-3) peuvent mener des variations importantes des densits de probabilit estimes. Par consquent, le paramtre de lissage hN doit tre dtermin de manire suffisamment prcise afin de garantir une estimation fiable de la densit de probabilit.

hn faible = 0.0288 2 1.8 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0 -1.5 Densit thorique Densit estime

-1

-0.5

0.5

1.5

Figure 4 - Estimateur noyau avec hN infrieur au pas optimal

-14-

Etat de l'art des algorithmes d'estimation ponctuelle

hn lev = 0.0313 2 1.8 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0 -1.5 Densit thorique Densit estime

-1

-0.5

0.5

1.5

Figure 5 - Estimateur noyau avec hN suprieur au pas optimal

hn optimal = 0.0307 2 1.8 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0 -1.5 Densit thorique Densit estime

-1

-0.5

0.5

1.5

Figure 6 - Estimateur noyau avec hN optimal

-15-

Etat de l'art des algorithmes d'estimation ponctuelle

5.2 Etude de la convergence


L'tude thorique de la convergence de

fN

vers f permet de formuler

mathmatiquement l'expression du pas optimal. Elle permet galement de dterminer le noyau optimal permettant la meilleure estimation de la densit de probabilit.

L'Ecart Quadratique Moyen (EQM) est compos de deux parties : la variance de f et


le carr du biais qui a pour expression f

E fN

EQM

E fN
E f N2
var f N

f
E fN
f

E f N2
2

f 2 2 f E fN
E fN
2

f 2 2 f E fN

E fN

Le dveloppement de l'expression de la variance de f permet de l'exprimer comme


suit :

var f N

1 K 2 u f x hN u du NhN
1 hN

1 N

K u f x hN u du
K u f x uhN du

[Eq. 1]

De mme, E f N

K u f x uhN hN du

Ainsi, le biais, second terme de l'EQM, devient gal :

E fN

K u f x uhN du
K u f x uhN

K u f x du
2

[Eq. 2]

f x du

D'aprs les quations 1 et 2, l'EQM a pour expression :

E fN

1 K 2 u f x hN u du NhN K u f x uhN f x du
2

1 N

K u f x hN u du

-16-

Etat de l'art des algorithmes d'estimation ponctuelle

Le dveloppement de Taylor de f x hN u , permet d'approcher l'EQMI en fonction de hN par

hN .
hN M K Nh N
4 J f hN 4

EQMI

[Eq.3]

avec

M K

K 2 u du

et

J f

f" x

dx

f" tant la drive seconde de f . (Annexe A) Pour minimiser

h N , il suffit de rsoudre l'quation


3 hN J ( f )

' (h N ) 0 .

' hN

M (K )
2 NhN

* La valeur optimale de hN note h N devient alors :


1 5. 1 5. 1 5

* hN

J f

M K

[Eq. 4]

Ainsi, lexpression thorique du pas optimal au sens de lEQMI est fonction de la taille de lchantillon N, de lintgrale du noyau choisi lev au carr M(K) ainsi que

de lintgrale de la drive seconde leve au carr de f N note J(f). Or, cette


dernire entit est directement lie f, fonction inconnue que nous cherchons estimer. L'EQMI minimum thorique sexprime par :

EQMI

5 N 4

4 5

M K

4 5

J f

1 5

Il est noter que l'EQMI dpend galement de f N .


De la mme manire, l'expression du noyau optimal not Ko, peut tre retrouve au sens de l'EQMI [Deh77], et correspond :

0 si x Ko x 3 4 5 1

5 x2 si x 5 5

-17-

Etat de l'art des algorithmes d'estimation ponctuelle

Un simple changement de variable permet de retrouver le noyau d'Epanechnikov.

Mthode du noyau diffomorphisme

Les densits de probabilit support born ou semi born prsentent des difficults d'estimation dues en particulier l'effet de Gibbs observ sur les bords. En effet, le recours la mthode du noyau ou la mthode des fonctions orthogonales pour l'estimation de ce type de densits de probabilit mne des rsultats prsentant des biais sur les bords. La mthode du noyau diffomorphisme [Sao94] [Sao97] permet une meilleure estimation grce un changement de variable par un C1-diffomorphisme not -dire que la limite de

de ]a, b[ dans R.

doit tre suffisamment rgulier c'est-

'(x) est infinie lorsque x tend vers a ou lorsque x tend vers b.

L'estimateur du noyau diffomorphisme s'exprime par :

fN x

' x NhN

K
i 1

x hN

Xi

L'tude de la convergence montre que cet estimateur est sans biais pour tout x dans ]a, b[. Pour vrifier la convergence en moyenne quadratique, il faut que hN NhN + lorsque N + . 0 et

Afin dobtenir la convergence en moyenne quadratique intgre, l'application x

' f x doit tre intgrable sur ]a, b[ car :


b a 2

fX x
b a

f x
2

dx 1 N
b a

1 NhN

fX x

' x dx K 2 y dy
R

f X2 x dx

b a

hN

Deux exemples de diffomorphismes pouvant tre appliqus sont prsents ci- dessous

D1 :

a ,b

: a, b x

R Log x a / b x

-18-

Etat de l'art des algorithmes d'estimation ponctuelle

D2 :

a ,b

: a, b x

R tg b x

avec Remarque :

/b a

et

a b /2

Plus le diffomorphisme crot ou dcrot lentement, plus lerreur quadratique moyenne est faible. Le diffomorphisme de type logarithmique est donc celui qui estime le mieux la vraie densit de probabilit. Comme pour la mthode du noyau, la qualit de l'estimation est tributaire du choix du pas hN car elle est plus ou moins lisse selon la vitesse avec laquelle le pas hN tend vers 0. La valeur optimale de ce dernier est calcule par tude de la convergence puis par minimisation de la moyenne quadratique intgre.

2 N

f x

AN x

BN x

C N x avec

AN x

' x NhN

K 2 y g N x, y dy
R

BN x
R

K y

' g N x, y

f x

dy

CN x

' x N

K y g N x, y dy
R

Le dveloppement de Taylor de la fonction Hy dfinie par :

-19-

Etat de l'art des algorithmes d'estimation ponctuelle

Hy

fo

yhN

'

yhN

au voisinage du point

x implique quil existe un nombre compris entre 0 et 1 tel que :

Hy

yhN

Hy
2 y 2 hN '' Hy 2

x x

' yhN H y

x x yhN

3 y 3 hN ''' Hy 6

En effectuant le calcul des drives successives de la fonction Hy au point approximations suivantes sont obtenues :

x , les

AN x

' x f x NhN
4 hN

M K avec M K

K 2 y dy

BN x

' x

F 2 x avec

F x

f x 3 '' x
f x N
2

' x ''' x

3 f ' x ' x '' x

f '' x

' x

CN x

Ltude asymptotique de lEcart Quadratique Moyen Intgr permet dcrire les dveloppements suivants :

D2 f N , f

AN x NhN
R

BN x

CN x dx F2 x
R 8

M K

h4 ' x f x dx N 4

dx

' x

-20-

Etat de l'art des algorithmes d'estimation ponctuelle

Dans le cas o M

et J existent et en posant

M
et

M K

' x f x dx

F2 x
R

' x

dx

* il est possible de dduire la valeur de hN qui minimise lEQMI, que lon notera h N .

* hN

1 5

1 5

1 5

Pour illustrer l'intrt de la mthode du noyau-diffomorphisme, nous avons procd des simulations sur deux densits : une densit de probabilit semi borne, en l'occurrence une loi exponentielle de moyenne 1 estime partir d'un chantillon de taille 1500, une densit de probabilit borne, savoir une loi uniforme entre ]0, 0.1[. La figure 7 reprsente l'estimation de la densit d'une loi exponentielle simule par la mthode du noyau (Noyau optimal) avec recherche du pas optimal par l'algorithme Plug-in usuel. Nous remarquons le phnomne de Gibbs aux bords ainsi qu'un manque de lissage de la densit estime. La figure 8 reprsente l'estimation de cette densit de probabilit par la mthode du Noyau-Diffomorphisme. Non seulement, le phnomne de Gibbs est compltement absent de par le principe mme de la mthode mais la densit recherche est estime d'une manire presque parfaite. Nous pensons que cela est du au fait que la vitesse de convergence est acclre aux bords tout en gardant une vitesse de convergence raisonnable l'intrieur de la densit de probabilit.

-21-

Etat de l'art des algorithmes d'estimation ponctuelle

noyau optimal f f estime 1

0.8

0.6

0.4

0.2

0 -2

-1

Figure 7 -Estimation d'une loi exponentielle par la mthode du noyau.

noyau diffeomorphisme ptimal f f estime 1

0.8

0.6

0.4

0.2

0 -2

-1

Figure 8 -Estimation d'une loi exponentielle par la mthode du noyau diffomorphisme

-22-

Etat de l'art des algorithmes d'estimation ponctuelle

noyau optimal 12 f f estime 10

0 -0.04

-0.02

0.02

0.04

0.06

0.08

0.1

0.12

0.14

Figure 9 -Estimation d'une loi uniforme par la mthode du noyau diffomorphisme

noyau diffomorphisme optimal 12 f f estime 10

0 -0.04

-0.02

0.02

0.04

0.06

0.08

0.1

0.12

0.14

Figure 10 -Estimation d'une loi uniforme par la mthode du noyau diffomorphisme

Les figures 9 et 10 reprsentent l'estimation de la densit d'une loi uniforme par l'estimateur du noyau et l'estimateur du noyau diffomorphisme. Les rsultats obtenus

-23-

Etat de l'art des algorithmes d'estimation ponctuelle

confirment ceux observs pour la loi exponentielle. Le phnomne de Gibbs est l aussi compltement matris. En ce qui concerne le lissage de la densit de probabilit, il est moins facile observer que pour la loi exponentielle. Cela peut tre expliqu par le fait que la loi uniforme est particulirement connue par ses difficults d'estimation.

Estimation non paramtrique par les rseaux de neurone

L'estimation paramtrique des densits de probabilit par les rseaux de neurone multicouches a t tudie par White [Whi92]. Pour cela la fonction d'activation des couches caches doit tre non constante, continue et borne. Les densits de probabilit tant des fonctions positives, la fonction de sortie doit tre croissante, positive et localement continue. La normalisation est quant elle assure en imposant des contraintes empiriques sur les poids de sortie. L'estimation non paramtrique des densits de probabilit par les rseaux de neurones a t quant elle peu aborde dans la littrature du domaine en raison notamment de la complexit algorithmique de type gnralement NP complet [Jon92]. Cependant, quelques auteurs [Mod94][Lik00]ont propos une mthode d'estimation des densits de probabilit support compact base sur une loi d'apprentissage par rtro propagation minimisant l'entropie relative entre l'estimateur et la densit de probabilit. Soit g(X) la densit de probabilit support compact inconnue dfinie sur un sous ensemble compact S tel que S RM1. Cette densit peut tre estime par un rseau de

neurone poids borns ayant une seule sortie et une seule couche cache, formellement dcrit par :

p X,

Fc

f X,

avec

p X,

, l'estimateur de la densit de probabilit inconnue

, l'ensemble des poids du rseau Ml le nombre d'units de la lme couche, la premire couche tant la couche d'entre. (1.0.X) (1.0.x1,..,xM1) est le vecteur d'entre de dimension (M1+1)augment du

biais d'entre.

-24-

Etat de l'art des algorithmes d'estimation ponctuelle

lij

correspond au poids de la ime unit de la lme couche associe la jme unit de la

couche prcdente. La sortie du rseau est formellement dcrite de la manire suivante :


M2 M1

f X,
i 1

G
j 0

xj

2 ij

31i

G tant la fonction d'activation des units caches. Les bornes des poids du rseau sont donnes par :
Ml
1

B i.e
j 0

l, j

B avec B

R+ .

c( ) le poids du biais entre la couche cache et la couche de sortie. Il doit tre dtermin de manire empirique pour que
S

p X,

dX

1.

En choisissant la fonction exponentielle en tant que fonction d'activation de la sortie du rseau F, la sortie de l'estimateur devient une famille de densits exponentielles qui possdent la proprit d'entropie relative minimale [Kul59]:
M2 M1

p X,

c
i 1

G
j 0

xj

2 ij

31i

La fonction d'activation des units caches G doit tre choisie de manire ce que le rseau puisse approximer le log des densits. Pour cela, il suffit de choisir la fonction logistique ou encore la fonction tangente hyperbolique. Le poids du biais de sortie est choisi de la manire suivante :

log
S

exp f X ,

dX

-25-

Etat de l'art des algorithmes d'estimation ponctuelle

Pour un chantillon X de taille N, la valeur Leibler [Kul59],


S

minimisant la distance de Kulback-

g X log g X / p( X , ) dX entre l'estimateur et la vraie densit

g(X) ou celle maximisant l'entropie de Shanon-Wiener [Sha62] de l'estimateur,


S

g X log p( X , ) dX ,

est

connue

comme

l'estimation

du

maximum

de

vraisemblance de . Elle peut alors tre calcule en tant que valeur maximisant le log de la vraisemblance.
g X log p X , dX Eg log p X ,

g(X) tant la densit de probabilit inconnue, ( ) ne peut tre calcule. Il est cependant possible de l'estimer grce la loi des grands nombres.
N N

log p X k ,
k 1

c
k 1

f Xk,

Il suffit alors de maximiser N N

pour obtenir une estimation de

o.

Cependant

n'tant pas concave, la rsolution de l'quation se fait grce des heuristiques

telles que le recuit simul ou les algorithmes gntiques. Les mthodes de rtro propagation bases sur la descente du gradient sont galement valables pour approcher la solution optimale. L'ide de base consiste driver une rgle delta modifie gnralise pour l'estimation des densits de probabilit.
N 0 k 1

0N

0c

f Xk,

Soient

k I li

M1 j 0

k lij z l 1 j

k et z li respectivement la somme affine de tous les poids

d'entre et la sortie de la ime unit de la lme couche durant le kme passage


k d'apprentissage. Dans les couches caches, z li k G I li .

-26-

Etat de l'art des algorithmes d'estimation ponctuelle

Il convient en un premier temps de calculer partielle

f Xk,

en calculant sa drive

f Xk,
lij

f Xk,
k I li

k I li lij

En notant par

k li

f Xk,
k I li

, on obtient

f Xk,
lij

k li lij

M1 q 0

k liq z l 1 q

k k li z l 1 j

Il suffit de calculer

k li

Pour la couche de sortie,

k li

f Xk,
k I li

Pour les couches caches,

k li

f Xk,
k I li

f Xk,
k z li

k z li k I li

f Xk,
k z li

k G ' I li avec

G' la drive de G, fonction d'activation des units caches.

Il convient de calculer

f Xk,
k z li

pour chaque couche cache :

f Xk,
k z li

Ml

f Xk, I (kl 1) p

I (kl

p 1

1) p k z li

Ml

k (l 1) p (l 1) pi

p 1

Par substitution

k li

k G ' I li

Ml

k (l 1) p (l 1) pi

p 1

Aucune sortie dsire n'tant requise, cet estimateur peut tre class en tant que non paramtrique. Rappelons la dfinition du biais [Kul59] :

-27-

Etat de l'art des algorithmes d'estimation ponctuelle

0c S

1 exp f X , dX

. exp f X ,
S

f X,

dX

0N

N 0 k 1

f Xk,
S

1 exp f X , dX

. exp f X ,
S

f X,

dX

L'algorithme de rtro propagation se prsente de la manire suivante :


nouveau ancien

lim
N

ancien

avec

une petite constante.

Conclusion

Dans ce chapitre, nous avons prsent les mthodes d'estimations ponctuelles relatives au domaine recenses dans la littrature. La mthode du noyau, souvent considre comme une gnralisation de la mthode de l'histogramme, prsente l'avantage de prserver la continuit des densits de probabilit estimes et d'tre relativement simple mettre en uvre. Elle fera l'objet de dveloppements ultrieurs notamment pour le choix du paramtre de lissage, choix dterminant pour l'obtention de la convergence en moyenne quadratique et en moyenne quadratique intgre. Ainsi, dans le chapitre suivant, nous prsenterons les diffrents algorithmes d'optimisation du paramtre de lissage en menant une tude comparative entre les mthodes les plus courantes.

-28-

CHAPITRE 2 OPTIMISATION DU PARAMETRE


DE LISSAGE DU NOYAU

L'tude de la convergence de l'estimateur noyau a permis de formuler l'expression thorique du pas optimal hN. Ce dernier peut tre directement dtermin partir de l'quation 3, condition de connatre les deux entits M(K) et J(f). Or, si M(K) ne prsente aucune difficult pour sa dtermination puisqu'il s'agit de l'intgrale du noyau lev au carr, il n'en est pas de mme pour J(f). En effet, J(f) correspond l'intgrale de la drive seconde leve au carr de la densit estimer. Cette problmatique a fait l'objet d'un nombre important de travaux. Plusieurs mthodes ont t dveloppes dans la littrature. Nous en citons ci-dessous les principales : Les mthodes Rule of thumb (rot) [Sil86][Hr91][Ter92] Les mthodes cross-validation [Ha87a][Sco87][Hal91b] La mthode Plug-in[Ha87b][Par90] Toutes ces mthodes tentent de donner une estimation du pas optimal en minimisant l'Erreur Quadratique Moyenne Intgre (EQMI).

Mthodes Rule of thumb (rot)

La mthode Rule of thumb ou rot a t dveloppe par Deheuvels [Deh77] pour l'estimation de la densit de probabilit par la mthode de l'histogramme. Elle a pour

-29-

Optimisation du paramtre de lissage du noyau

principe de remplacer la densit inconnue par une fonction de distribution de rfrence ayant la mme variance que celle de l'chantillon. En prenant titre d'exemple le noyau gaussien et la distribution normale comme distribution de rfrence, l'expression du pas optimal devient :

h rot

1.06 N

1 5

tant l'cart type estim partir de l'chantillon.

Une version plus robuste a t construite en remplaant la variance par le rang interquartile R [Sil86][Har91]. L'expression de l'estimateur devient alors :

h rot

R 1.06 min , N 1.34

1 5

En 1990, Terrel [Ter90] a propos une borne infrieur pour J(f) et par consquent une borne suprieure pour hN . C'est cette borne suprieure qu'il propose de choisir comme pas optimal que l'on
1/ 5

notera

hMSP (Maximal

Smoothing

Parameter).

hMSP

3 35

1/ 5

M K

1 5

Ces mthodes donnent gnralement des rsultats fiables pour les densits unimodales. Cependant, en ce qui concerne les densits multimodales, les estimations obtenues sont gnralement assez loignes des densits relles toujours au sens de l'EQMI.

Mthodes Cross-validation

La mthode Pseudo Likelihood Cross Validation (PLCV) consiste choisir hN de faon maximiser
N f i 1 N

X i [Dui76].

fN x

1 Nh N

K
i 1

x Xi hN

est remplace par f N , i x

1 NhN

K
i 1 j i

x Xj hN

-30-

Optimisation du paramtre de lissage du noyau

Le pas slectionn par cette mthode minimise la distance de Kullback-Leibler entre

f N x et f(x). Cependant, cette mthode prsente l'inconvnient d'tre inconsistance


envers certaines distributions telles que la distribution de Student. La mthode Least Squares Cross Validation [Bow84] (LSCV) est d'aprs la littrature la plus populaire et la plus tudie. Elle consiste estimer le paramtre de lissage permettant de minimiser l'Erreur Quadratique Intgre (EQI).

EQI

fN x fN x
2

f x dx

dx f N x f x dx
2
2

f x

dx

La fonction LSCV(h) est un estimateur de EQI


R

x dx

Par estimation des moments, elle s'exprime par :

LSCV h
R

f N2 x dx 2

N i 1

fN, i Xi

La valeur de hN permettant de minimiser la fonction LSCV est slectionne en tant que pas optimal. L'inconvnient de cette mthode est que les pas slectionns prsentent une grande variance en fonction des chantillons issus d'une mme distribution. Par ailleurs, la fonction LSCV peut prsenter plusieurs minimums. La mthode Biased Cross Validation, propose par Scott et Terrel [Sco87], considre quant elle l'estimation asymptotique de l'Erreur Quadratique Moyenne Intgre.

EQMI

M K Nh N

4 J f hN 4

L'entit J(f) est remplace par une estimation obtenue par minimisation de la fonction BCV suivante :

BCV hN

M (K ) Nh N

4 hN

4N

2 i j

" " K hn * K hn X i

Xj

-31-

Optimisation du paramtre de lissage du noyau

Plusieurs minimums peuvent galement tre observs pour cette mthode bien que plus rarement que pour la mthode LSCV. Dans ce cas la meilleure performance est obtenue en choisissant la plus faible valeur de hN obtenue partir des minimums. La mthode Smoothed Cross-Validation (SCV) propose par Hall, Marron et Park [Hal92] se base sur l'estimation de l'intgrale du biais savoir

K u f x uh N

f x du en remplaant f par son estimation note f g x un

autre estimateur avec un pas g et un noyau L diffrents.


SCV h N M (K ) Nh N 1 N N 1 Kh * Kh
i j
n

2 K hN

K 0 * Lg * Lg X i

Xj

Le pas hN optimal est suppos tre celui qui minimise la fonction SCV.

Algorithme du Plug-in

La mthode Plug-in fait appel un algorithme itratif pour la recherche du pas optimal [Ha87b]. Le principe de cette mthode est de recalculer chaque itration l'entit J(f) puis de r-estimer la densit de probabilit avec le nouveau J(f). Ainsi, le premier J(f) peut tre fix de manire alatoire.

3.1 Description de l'algorithme Plug-in


Les diffrentes tapes de l'algorithme Plug-in sont dtailles ci dessous : tape 1: Dtermination de M(K) . Cette tape est ralise analytiquement lorsque le carr du noyau choisi est intgrable. Dans le cas contraire, on a recours une estimation numrique. tape 2 : Fixation alatoire de J(0) f . Il est galement possible de fixer J(0) f par des mthodes telles que la mthode rot. hN(0) est ensuite dduit partir de J(0) f . tape 3 : Estimation de f par la mthode du noyau en utilisant le pas hN(0). On

obtient alors f 0 premire estimation de f par l'algorithme Plug-in. Cette premire


estimation converge rarement vers f particulirement dans le cas des densits multimodales. tape 4 : R-estimer J(k) f

en estimant la drive seconde de f k

puis en

l'intgrant. hN(k) est ainsi dduite chaque itration k.

-32-

Optimisation du paramtre de lissage du noyau

tape 5 : L'arrt de l'algorithme a lieu lorsque hN converge, i.e., la diffrence entre hN(k) et hN(k-1) est trs faible. Les diffrentes tapes cites sont schmatises dans la figure 11.

Calcul de J(k)(f) Dbut puis de hN(k)

Estimation de f avec hN(k)

Calcul de M(K) Choix arbitraire de J(f). Estimation de f k=0 fin k=k+1


non

|hN(k)-hN(k-1) | = e

oui

Figure 11 -Schma descriptif de l'algorithme Plug-in

3.2 Complexit de l'algorithme Plug-in


L'tude de la complexit algorithmique montre que cet algorithme est polynomial de l'ordre de O(2kNp) avec k le nombre d'itrations ncessaire pour atteindre la convergence, N la taille de l'chantillon et p la rsolution que l'on dfinira comme le nombre de point pour lesquels on estime l'image par f. En effet, pour chaque itration, l'estimation de f par la mthode du noyau a une complexit de O(2Np) et l'estimation de J(f) a une complexit de O(2p).

-33-

Optimisation du paramtre de lissage du noyau

Evaluation des performances des mthodes Plug-in, rot et Cross validation

L'valuation des performances des mthodes Plug-in, rot et Cross Validation pour la slection du pas optimal, est ralise dans ce chapitre par une comparaison de leurs EQMI respectifs. En ce qui concerne les mthodes rot, le pas optimal est choisi

comme suit : hMSP

3 35

1/ 5

M K

1/ 5

1 5

Pour les mthodes Cross Validation, le pas est dtermin par la mthode Least Square Cross Validation (LSCV). La mthodologie adopte consistera estimer les erreurs quadratiques moyennes intgres (EQMI) pour les trois mthodes sur plusieurs simulations en faisant varier les distributions et les noyaux. Deux principaux noyaux seront tests : le noyau gaussien souvent utilis en pratique et le noyau d'Epanechnikov qui n'est autre que le noyau optimal cens donner une meilleure estimation des densits de probabilit. Les caractristiques des simulations unimodales, bimodales ou trimodales servant de base de test sont dtailles dans le tableau 2. Chacune des 8 figures numrotes de 12 19 reprsente les estimations d'une des 8 densits de probabilit thoriques par les quatre mthodes slectionnes. A vue d'il, il est possible de noter que les mthodes Plug-in sont au moins aussi performantes que les mthodes rot et LSCV pour les densits unimodales. Par contre, lorsqu'il s'agit d'estimer des densits multi modales, les mthodes Plug-in apparaissent nettement plus performantes indpendamment du noyau utilis. Comparativement, les mthodes rot et LSCV affichent des rsultats mdiocres. L'estimation des diffrentes erreurs quadratiques moyennes intgres (EQMI) permettent de conforter ces hypothses, puisque dans tous les cas de figure, les plus faibles EQMI sont observs sur les estimations par la mthode du noyau avec recherche du pas optimal par des algorithmes Plug-in. Ces valeurs, prsentes dans le tableau 3, nous permettent de conclure sans aucune ambigut l'intrt d'avoir recours aux algorithmes Plug-in

-34-

Optimisation du paramtre de lissage du noyau

pour la recherche du pas optimal lors de l'estimation des densits de probabilit par la mthode du noyau.

Convergence de l'algorithme Plug-in

Dans la section 4, nous avons montr que l'algorithme Plug-in converge vers le pas optimal hN pour toutes les densits de probabilit que nous avons testes. Cette section est ddie l'tude de la vitesse et de l'uniformit de convergence de cet algorithme. La mthodologie adopte consistera mesurer les valeurs de l'EQMI en fonction des itrations pour les densits de probabilit test. Ces mesures concerneront les deux noyaux tests : le noyau gaussien et le noyau optimal. Les valeurs obtenues (tableau 4) nous permettent de conclure la rapidit de convergence de l'algorithme Plug-in indpendamment du noyau choisi. En effet, dans tous les cas de figure, les carts quadratiques moyens intgrs sont suffisamment faibles pour pouvoir conclure une bonne estimation de la densit de probabilit ds la 5me itration. Nous pouvons donc supposer que 10 itrations de l'algorithme Plug-in suffisent largement pour dterminer le pas optimal dans la majorit des cas. Lors de l'implantation des diffrents algorithmes Plug-in, nous avons opt pour un nombre fixe d'itrations quelque soit la densit de probabilit estimer. Les figures allant de 20 27 reprsentent l'volution de l'EQMI en fonction du nombre d'itrations et illustrent bien cette rapidit de convergence. Par ailleurs, la stabilit de l'algorithme Plug-in est tudie afin de mettre en vidence la faible variabilit des carts quadratiques intgrs (EQI) pour une mme densit de probabilit. Dans le tableau 4, les EQMI reprsents sont les valeurs moyennes de 100 EQI estims pour chaque densit test. Nous avons galement inclus dans ce tableau les variances des EQI ainsi que les valeurs extrmes estimes. Ces dernires prsentent dans la majorit des cas des carts importants ce qui implique des variances leves. En effet, chaque estimation est effectue partir de la gnration d'un chantillon diffrent. Les estimations tant tributaires de l'chantillon observ, les performances des estimateurs le sont galement. Cependant, le tableau 4 met en vidence la stabilit des deux estimateurs puisque les EQMI, variances et valeurs extrmes sont proches indiffremment du noyau utilis.

-35-

Optimisation du paramtre de lissage du noyau

Il est galement intressant d'observer que l'algorithme Plug-in converge dans certains cas vers une valeur de hN ne donnant pas l'EQMI minimal. Ainsi, on obtient au bout de la seconde ou de la troisime itration l'EQMI minimal qui augmente ensuite lgrement au fil des itrations et finit par converger vers une valeur lgrement plus leve. Cet cart est cependant tellement faible qu'il peut tre considr comme ngligeable puisque aucune altration de la qualit de l'estimation n'est observe.

-36-

Optimisation du paramtre de lissage du noyau

Distribution G1

Caractristiques Distribution unimodale de taille 1000 obtenue partir d'une Gaussienne Distribution bimodale de taille 1000 obtenue partir d'un mlange de deux gaussiennes
1 *

0 0.3 -0.15 0.15


2

*
1

G2

0.1 0.5 -0.3 0.3 0.1 0.5 -0.3 0 0.3


3

pi1 = pi2
1

G3

Distribution bimodale de taille 1000 obtenue partir d'un mlange de deux gaussiennes
1

pi1 = pi2
1 2

G4

Distribution trimodale de taille 1000 obtenue partir d'un mlange de trois gaussiennes
1

2=

0.1 0.35 0.3 -0.4 0 0.4 0.1 0.35 0.3 [-2, 3] [-2, 1] 0.4 [-1, 3] 0.6 [-0.5, 0.5] 0.6 0.3 0.2

pi1 = pi2 pi3


1 2

G5

Distribution trimodale de taille 1000 obtenue partir d'un mlange de trois gaussiennes
1

2=

pi1 = pi2 pi3 G6 Distribution uniforme de taille 5000 Mlange de deux distributions uniformes de taille 5000 [a, b] [a1, b1] pi1 [a2, b2] pi2 [a, b] pi1 (LU) G8 Mlange d'une loi uniforme et d'une gaussienne

G7

Pi2 (LN) Tableau 2 - Caractristiques des densits de probabilit testes

0.4

: moyenne -

: Ecart-type pi : proportion [a, b] : intervalle pour la loi uniforme

-37-

Optimisation du paramtre de lissage du noyau

Plug-in avec le noyau gaussien 1.5 f f-est 1 1 1.5

Plug-in avec le noyau optimal f f-est

0.5

0.5

0 -2

-1

0 -2

-1

Least Square Cross-Validation 1.5 f f-est 1.5

Rule Of Thumb f f-est

0.5

0.5

0 -2

-1

0 -2

-1

Figure 12 -G1 en fonction de la mthode de slection de hN

Plug-in avec le noyau gaussien 2.5 2 1.5 1 0.5 0 -1 -0.5 0 0.5 1 f f-est 2.5 2 1.5 1 0.5 0 -1

Plug-in avec le noyau optimal f f-est

-0.5

0.5

Least Square Cross-Validation 3 f f-est 2 2 3

Rule Of Thumb f f-est

0 -1

-0.5

0.5

0 -1

-0.5

0.5

Figure 13 -G2 en fonction de la mthode de slection de hN

-38-

Optimisation du paramtre de lissage du noyau

Plug-in avec le noyau gaussien 2 1.5 1 0.5 0 -1 -0.5 0 0.5 1 f f-est 2 1.5 1 0.5 0

Plug-in avec le noyau optimal f f-est

-1

-0.5

0.5

Least Square Cross-Validation 2 1.5 1 0.5 0 -1 -0.5 0 0.5 1 f f-est 2 1.5 1 0.5 0 -1

Rule Of Thumb f f-est

-0.5

0.5

Figure 14 -G3 en fonction de la mthode de slection de hN

Plug-in avec le noyau gaussien 1.5 f f-est 1.5

Plug-in avec le noyau optimal f f-est

0.5

0.5

-0.5

0.5

-0.5

0.5

Least Square Cross-Validation 1.5 1 0.5 0 f f-est 1.5 1 0.5 0

Rule Of Thumb f f-est

-0.5

0.5

-0.5

0.5

Figure 15 -G4 en fonction de la mthode de slection hN

-39-

Optimisation du paramtre de lissage du noyau

Plug-in avec le noyau gaussien 1.5 f f-est 1.5

Plug-in avec le noyau optimal f f-est

0.5

0.5

-1

-0.5

0.5

-1

-0.5

0.5

Least Square Cross-Validation 1.5 1 0.5 0 f f-est 1.5 1 0.5 0

Rule Of Thumb f f-est

-1

-0.5

0.5

-1

-0.5

0.5

Figure 16 -G5 en fonction de la mthode de slection de hN

Plug-in avec le noyau gaussien 0.2 0.15 0.1 0.05 0 -2 0 2 4 6 f f-est 0.2 0.15 0.1 0.05 0

Plug-in avec le noyau optimal f f-est

-2

Least Square Cross-Validation 0.2 0.15 0.1 0.05 0 -2 0 2 4 6 f f-est 0.2 0.15 0.1 0.05 0 -2

Rule Of Thumb f f-est

Figure 17 -G6 en fonction de la mthode de slection de hN

-40-

Optimisation du paramtre de lissage du noyau

Plug-in avec le noyau gaussien 0.3 0.2 0.1 0 f f-est 0.3 0.2 0.1 0

Plug-in avec le noyau optimal f f-est

-2

-2

Least Square Cross-Validation 0.3 0.2 0.1 0 f f-est 0.3 0.2 0.1 0

Rule Of Thumb f f-est

-2

-2

Figure 18 -G7 en fonction de la mthode de slection de hN

Plug-in avec le noyau gaussien 2 1.5 1 0.5 0 -1 f f-est 2 1.5 1 0.5 0 -1

Plug-in avec le noyau optimal f f-est

-0.5

0.5

-0.5

0.5

Least Square Cross-Validation 2 1.5 1 0.5 0 -1 f f-est 2 1.5 1 0.5 0 -1

Rule Of Thumb f f-est

-0.5

0.5

-0.5

0.5

Figure 19 -G8 en fonction de la mthode de slection de hN

-41-

Optimisation du paramtre de lissage du noyau

EQMI par la mthode du noyau selon hN Plug-in Noyau gaussien G1 G2 G3 G4 G5 G6 G7 G8 7.45*10-5 8.78*10-5 8.73*10-5 1.48*10-4 2.49*10-4 2.24*10-4 3.03*10-4 2.08*10-4 Noyau optimal 5.41*10-5 7.01*10-5 8.99*10-5 1.34*10-4 2.99*10-4 2.21*10-4 3.04*10-4 2.04*10-4 8.46*10-5 4.64*10-4 5.45*10-5 8.67*10-4 4.1*10-3 9.52*10-4 7.56*10-4 5.88*10-4 4.27*10-5 2.91*10-4 2.30*10-3 5.47*10-4 3.1*10-3 6.09*10-4 5.70*10-4 3.93*10-4 rot LSCV

Tableau 3 - EQMI en fonction de la mthode de slection de hN.

-42-

Optimisation du paramtre de lissage du noyau

Distribution

Nombre d'itrations Type de noyau 1 1 0.872 36 36 10.6 12.2 21 21 50 56 0.342 0.352 0.365 0.371 1.2 1.2 2 0.085 0.066 14 0.250 0.425 1.5 0.265 0.775 0.40 17 0.302 0.306 0.304 0.305 0.338 0.346 3 0.060 0.052 0.62 0.230 0.264 0.180 0.166 0.244 0.184 0.272 0.287 0.289 0.280 0.280 0.231 0.235 4 0.570 0.051 0.434 0.210 0.200 0.144 0.121 0.110 0.166 0.156 0.280 0.282 0.271 0.274 0.195 0.199 5 0.570 0.051 0.326 0.200 0.171 0.143 0.102 0.095 0.163 0.151 0.277 0.280 0.269 0.271 0.180 0.183 6 0.570 0.051 0.247 0.200 0.159 0.144 0.098 0.093 0.162 0.151 0.276 0.280 0.269 0.270 0.174 0.179 7 0.570 0.051 0.200 0.197 0.155 0.144 0.098 0.094 0.162 0.151 0.275 0.278 0.269 0.270 0.170 0.178 8 0.570 0.051 0.174 0.196 0.153 0.144 0.098 0.094 0.162 0.151 0.275 0.277 0.270 0.270 0.169 0.178 9 0.570 0.051 0.160 0.195 0.153 0.144 0.098 0.094 0.161 0.151 0.275 0.276 0.270 0.270 0.169 0.178 10 0.570 0.051 0.153 0.195 0.153 0.144 0.098 0.094 0.161 0.151 0.275 0.276 0.270 0.270 0.169 0.178

Gaussien G1 optimal Gaussien G2 optimal Gaussien G3 optimal Gaussien EQMI *10-3 G4 optimal Gaussien G5 optimal Gaussien G6 optimal Gaussien G7 optimal Gaussien G8 optimal

Tableau 4 -Evolution de l'EQMI en fonction du nombre d'itrations.

-43-

Optimisation du paramtre de lissage du noyau

1.5

x 10

-3

choix de hn par plug-in noyau optimal

1 EQMI

0.5

1 x 10
-3

5 6 7 8 Nombre d'itrations choix de hn par plug-in noyau Gaussien

10

1.5

1 EQMI

0.5

5 6 Nombre d'itrations

10

Figure 20 - Evolution de l'EQMI de G1 en fonction du nombre d'itrations.

1.5

x 10

-3

choix de hn par plug-in noyau optimal

1 EQMI

0.5

1 x 10
-3

5 6 7 8 Nombre d'itrations choix de hn par plug-in noyau Gaussien

10

1.5

1 EQMI

0.5

5 6 Nombre d'itrations

10

Figure 21 -Evolution de l'EQMI de G2 en fonction du nombre d'itrations.

-44-

Optimisation du paramtre de lissage du noyau

1.5

x 10

-3

choix de hn par plug-in noyau optimal

1 EQMI

0.5

1 x 10
-3

5 6 7 8 Nombre d'itrations choix de hn par plug-in noyau Gaussien

10

1.5

1 EQMI

0.5

5 6 Nombre d'itrations

10

Figure 22 -Evolution de l'EQMI de G3 en fonction du nombre d'itrations.

1.5

x 10

-3

choix de hn par plug-in noyau optimal

1 EQMI

0.5

1 x 10
-3

5 6 7 8 Nombre d'itrations choix de hn par plug-in noyau Gaussien

10

1.5

1 EQMI

0.5

5 6 Nombre d'itrations

10

Figure 23 -Evolution de l'EQMI de G4 en fonction du nombre d'itrations.

-45-

Optimisation du paramtre de lissage du noyau

1.5

x 10

-3

choix de hn par plug-in noyau optimal

1 EQMI

0.5

1 x 10
-3

5 6 7 8 Nombre d'itrations choix de hn par plug-in noyau Gaussien

10

1.5

1 EQMI

0.5

5 6 Nombre d'itrations

10

Figure 24 -Evolution de l'EQMI de G5 en fonction du nombre d'itrations.

1.5

x 10

-3

choix de hn par plug-in noyau optimal

1 EQMI

0.5

0 x 10
-3

4 5 6 7 8 Nombre d'itrations choix de hn par plug-in noyau Gaussien

10

1.5

1 EQMI

0.5

4 5 6 Nombre d'itrations

10

Figure 25 -Evolution de l'EQMI de G6 en fonction du nombre d'itrations.

-46-

Optimisation du paramtre de lissage du noyau

1.5

x 10

-3

choix de hn par plug-in noyau optimal

1 EQMI

0.5

0 x 10
-3

4 5 6 7 8 Nombre d'itrations choix de hn par plug-in noyau Gaussien

10

1.5

1 EQMI

0.5

4 5 6 Nombre d'itrations

10

Figure 26 -Evolution de l'EQMI de G7 en fonction du nombre d'itrations.

1.5

x 10

-3

choix de hn par plug-in noyau optimal

1 EQMI

0.5

0 x 10
-3

4 5 6 7 8 Nombre d'itrations choix de hn par plug-in noyau Gaussien

10

1.5

1 EQMI

0.5

4 5 6 Nombre d'itrations

10

Figure 27 -Evolution de l'EQMI de G8 en fonction du nombre d'itrations.

-47-

Optimisation du paramtre de lissage du noyau

Variance Type de noyau EQMI*10-4 *10-4 Noyau gaussien G1 Noyau optimal Noyau gaussien G2 Noyau optimal Noyau gaussien G3 Noyau optimal Noyau gaussien G4 Noyau optimal Noyau gaussien G5 Noyau optimal Noyau gaussien G6 Noyau optimal Noyau gaussien G7 Noyau optimal Noyau gaussien G8 Noyau optimal 2.31 0.83 2.84 2.28 0.33 0.87 2.89 2.04 0.35 0.44 2.24 2.15 0.84 0.47 1.77 2.31 0.82 0.88 2.19 1.82 0.83 0.81 1.70 2.23 0.75 0.90 1.53 1.73 0.84 0.75 1.45 0.8

EQI minimal*10 0.21 0.2 0.41 0.36 0.42 0.35 0.39 0.43 0.43 0.74 1.37 2.12 1.07 2.05 0.97 0.98
-4

EQI maximal*10-4 5.57 4.89 3.98 4.5 4.51 4.27 4.45 4.30 5.03 5.03 3.68 3.91 3.10 4.02 5.51 5.28

Tableau 5 -EQMI, Ecart Types et valeurs extrmes.

-48-

Optimisation du paramtre de lissage du noyau

Conclusion

Dans ce chapitre, nous avons prsent l'tat de l'art des algorithmes d'optimisation du paramtre de lissage pour la mthode du noyau. Des simulations ont t ralises dans l'objectif de mener une tude comparative entre les algorithmes les plus frquemment utiliss dans la littrature. Nous avons observ que, pour la quasi-totalit de ces mthodes, l'efficacit est gnralement acquise lorsqu'il s'agit d'estimer des densits prsentant un seul mode. Par contre, avec l'augmentation du nombre de modes, l'estimation des densits devient plus dlicate. L'efficacit de l'algorithme du Plug-in a pu tre dmontre car il est pratiquement le seul permettre, dans la majorit des cas de figure, une estimation correcte du paramtre de lissage et par consquent de la densit de probabilit. Ainsi, le recours cet algorithme permet de garantir une estimation non paramtrique fiable pour des densits inconnues.

-49-

CHAPITRE 3 PROPOSITION D'UN ALGORITHME PLUG-IN RAPIDE

Nous proposons dans cette section une version rapide de la mthode Plug-in pour la recherche du pas optimal. En effet, lorsque les noyaux utiliss sont deux fois drivables ou au moins deux fois drivables par morceaux, il est possible de calculer l'expression analytique de J(f) qui n'est autre que l'intgrale de la drive seconde leve au carr de la de la densit de probabilit f estimer. Cela permet de n'estimer la densit de probabilit qu'une seule fois alors que l'approximation numrique de J(f) implique l'estimation de la densit de probabilit chaque itration. Nous avons choisi de travailler sur le noyau optimal qui permettrait thoriquement dapprocher le mieux les densits estimes au sens de lEQMI.

Approximation analytique de J(f) dans le cas du noyau optimal

J(f) tant lintgrale de la drive seconde leve au carr de la densit estimer f, il est possible de lexprimer analytiquement en drivant directement le noyau utilis. Nous avons choisi d'utiliser le noyau d'Epanechnikov. f " sexprime comme suit :

f " ( x)

1
2 Nh N n

K
i 1

Xi hN Xi hN

"

3 Nh N i 1

K"

-51-

Proposition d'un algorithme Plug-in rapide

0 si x
Or, l'expression du noyau optimal tant :

5 1 x2 si x 5 5

K x

3 4 5

0
Sa drive seconde correspond : K " x

si

x x x

5 5 5

indfini si 3 5 50 si

Dans la suite de notre dveloppement et pour les diffrentes simulations, nous avons ignor le cas o K" (x) est indfini. Nous avons considr K" comme s'il tait gal :

0 K" x 3 5 50

si si

x x

5 5

Ce choix sera justifi dans la suite de cette section. Ainsi, nous proposons d'approximer J(f) par :
J f 1
3 Nh N N

K"
i 1

Xi hN

dx

1
6 N 2 hN

K"
i 1

Xi hN

dx

La quantit
i 1

K"

Xi hN
2

peut s'crire de la manire suivante :

K"
i AN ( X 1 .,..., X N )

Xi hN

avec AN un sous ensemble d'entiers tel que

AN ( X 1 .,..., X N )
En remplaant

0
la
2

N;

Xi hN

5
seconde du
2

drive

noyau

par

sa

valeur,

K"
i AN x

Xi hN

9 500

N AN ( X1 .,..., X N ) ( x ) i 1

9 500

(x) est une fonction constante par intervalles et formant une partition sur la droite relle.

-52-

Proposition d'un algorithme Plug-in rapide

Ainsi, J(f), est compos par la somme finie des drives secondes de la fonction noyau optimal. Il s'exprime par :

J f

9 1 2 6 500 N h N

x dx

[Eq. 5]

Cette expression analytique de J(f) ne tient pas du tout compte des points indfinis qui seront traits de la mme manire que les points dont la valeur absolue est strictement suprieure
5 , c'est--dire que leur contribution sera considre comme nulle. En

effet, comme le nombre de points non dfinis pour (x) est fini, on peut considrer la contribution de ces points dans J(f) comme ngligeable. Pourtant, ainsi que nous l'observerons dans la section 4 de ce chapitre, les diffrentes simulations ralises permettent de constater que l'quation 5 ne permet pas de converger vers le pas optimal. Cependant, nous avons observ que cette convergence peut tre atteinte en faisant varier le facteur de puissance de hN dans l'quation 5. Ainsi, en remplaant la puissance 6 du pas hN par une puissance comprise entre les valeurs 4 et 5, l'algorithme Plug-in rapide converge vers le pas optimal. Cela peut tre thoriquement justifi par le fait que la drivation de J(f) s'apparente la mthode d'approximation du noyau dont la variance a besoin d'tre ajuste. Ainsi, dans l'estimation analytique de J(f), le pas hN sera lev un facteur de puissance gal 4,5. J(f) sera par consquent estim par :

J f

9 1 2 4.5 500 N h N

x dx

[Eq.6]

Algorithme itratif du noyau optimal rapide

Les tapes de l'algorithme itratif du noyau optimal avec approche analytique de J(f) sont dcrites ci-dessous: Etape 1 : Dtermination analytique de M(K). Etape 2 : Initialisation arbitraire de J valeur de hN. Etape 3 : A la kme itration, J l'chantillon Xi. hNk
k

0 afin de dterminer h N , premire

est calcul directement partir de


k

est ensuite calcul et J f

r-estim. A chaque

itration J(f) est calcul analytiquement.

-53-

Proposition d'un algorithme Plug-in rapide

Etape 4 : Critre d'arrt : h Nk

h Nk

Ainsi, l'approximation analytique de J(f) n'exige pas d'estimer la densit de probabilit chaque itration ce qui permet de rduire la complexit par rapport l'algorithme Plug-in usuel. La figure 28 reprsente graphiquement les diffrentes tapes de l'algorithme Plug-in rapide.

Dbut

Calcul de J(k)(f) partir de lchantillon puis de hN(k)

Calcul de M(K) Choix arbitraire de J(f). Dtermination de hN. k=0

k=k+1

non

|hN(k)-hN(k-1) | = e

oui

fin

Estimation de f

Figure 28 -Schma descriptif de l'algorithme Plug-in rapide

Etude de la complexit

Dans le cas de l'algorithme Plug-in pour la recherche du pas optimal dans la mthode du noyau, f et J(f) sont estims k fois, k tant le nombre d'itrations. L'estimation de f est O(2Np), et l'estimation de J(f) est O(2p) avec N la taille de l'chantillon et p le nombre d'lments x dont on va estimer l'image par la mthode du noyau. La complexit de l'algorithme est de O(2kNp). Dans le cas de l'algorithme Plug-in rapide, f n'est estime qu'une seule fois. La complexit devient O(2p(k+N)). k tant trs faible comparativement N, il peut tre nglig. La complexit devient alors O(2pN).

-54-

Proposition d'un algorithme Plug-in rapide

Dtermination exprimentale de la puissance de hN

La puissance optimale de hN est dtermine exprimentalement partir des diffrentes distributions tests dj prsentes dans le chapitre 2. Le tableau 6 prsente les valeurs des EQMI obtenues en faisant varier la puissance du pas hN. On peut remarquer que la convergence de l'algorithme Plug-in vers le pas optimal est obtenue pour les puissances de hN comprises entre 4 et 5. Le plus souvent c'est la puissance 4.5 qui permet de donner les meilleurs rsultats, raison pour laquelle elle a t retenue dans l'algorithme du Plug-in rapide.

Estimation du pas optimal pour la mthode du noyau avec noyau optimal par Plug-in Distributions EQMI * 10-4 G1 G2 G3 G4 G5 G6 G7 G8 1.40 1.68 2.10 1.75 2.25 3.51 3.50 1.67 6 77 56 65 52 54 51 49 62 EQMI * 10-4 en fonction de la puissance de hN 5 3.17 1.91 2.19 1.87 2.22 4.69 4.53 1.79 4.5 1.40 1.70 2.12 1.73 2.70 3.48 3.48 1.66 4 1.25 9.40 27 8.95 24 3.58 3.56 2.46 3.5 2.28 21 116 16 46 4.06 4.18 3.76 Plug-in rapide

Tableau 6 - EQMI en fonction de la puissance de hN

Les figures suivantes illustrent cette conclusion en montrant les diffrentes estimations de f en fonction de la puissance de hN. Nous pouvons remarquer que pour certaines distributions (G1, G6, G7 et G8) pouvant tre assimiles des distributions unimodales, les puissances infrieures 4.5 n'engendrent pas une dtrioration rapide de la qualit de l'estimation. Plus le nombre de modes augmente, plus l'estimation se dtriore rapidement lorsque la puissance de hN diminue par rapport 4,5. La

-55-

Proposition d'un algorithme Plug-in rapide

distribution G5 qui prsente 3 modes spars est mieux estime par une puissance de hN gale 5. Les figures 29, 30, 31, 32 et 33 illustrent parfaitement les observations cidessus cites.
Plug-in analytique avec puissance hn=6 3 2 1 0 -2.5 2 1 0 -2.5 2 1 0 -2.5 f f-est f f-est -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 f f-est

Plug-in analytique avec puissance hn=4.5

-2

-1.5

-1

-0.5

0.5

1.5

2.5

Plug-in analytique avec puissance hn=3.5

-2

-1.5

-1

-0.5

0.5

1.5

2.5

Figure 29 -G1 en fonction de la puissance de hN.

Plug-in analytique avec puissance hn=6 4 f f-est 2

0 -1.5 4 2 0 -1.5 2 1 0 -1.5

-1

-0.5

0.5

1.5

Plug-in analytique avec puissance hn=4.5 f f-est

-1

-0.5

0.5

1.5

Plug-in analytique avec puissance hn=3.5 f f-est

-1

-0.5

0.5

1.5

Figure 30 -G3 en fonction de la puissance de hN.

-56-

Proposition d'un algorithme Plug-in rapide

Plug-in analytique avec puissance hn=6 3 2 1 0 -1.5 2 1 0 -1.5 2 1 0 -1.5 f f-est f f-est -1 -0.5 0 0.5 1 1.5 f f-est

Plug-in analytique avec puissance hn=4.5

-1

-0.5

0.5

1.5

Plug-in analytique avec puissance hn=3.5

-1

-0.5

0.5

1.5

Figure 31 -G5 en fonction de la puissance de hN.

Plug-in analytique avec puissance hn=6 0.4 0.2 0 -4 -3 -2 -1 0 1 2 3 4 f f-est

Plug-in analytique avec puissance hn=4.5 0.5 f f-est

0 -4

-3

-2

-1

Plug-in analytique avec puissance hn=3.5 0.5 f f-est

0 -4

-3

-2

-1

Figure 32 - G7 en fonction de la puissance de hN.

-57-

Proposition d'un algorithme Plug-in rapide

Plug-in analytique avec puissance hn=6 3 2 1 0 -1.5 2 1 0 -1.5 2 1 0 -1.5 f f-est f f-est -1 -0.5 0 0.5 1 1.5 2 2.5 f f-est

Plug-in analytique avec puissance hn=4.5

-1

-0.5

0.5

1.5

2.5

Plug-in analytique avec puissance hn=3.5

-1

-0.5

0.5

1.5

2.5

Figure 33 -G8 en fonction de la puissance de hN.

Etude comparative entre le Plug-in et le Plug-in rapide

Le tableau 6 permet galement de comparer les valeurs des EQMI obtenus par la mthode Plug-in usuelle avec celles obtenues par la mthode Plug-inrapide. Les valeurs obtenues sont sensiblement proches dans tous les cas tudis et permettent de conclure l'quivalence de la qualit de l'estimation au sens de l'EQMI. Nous illustrons notre propos par une tude comparative d'une distribution mlange d'une loi normale et d'une loi uniforme ayant une densit de probabilit de la forme suivante :

f ( x)
avec

1f

1, 1

( x)
1 =0.2,

2 f a ,b ( x )

1 =0.3,

a =-0.3, b =0.2.
1

Les probabilits a priori l'chantillon de 4000.

et

sont respectivement de 0.75 et 0.25 et la taille de

La figure 34 reprsente les deux diffrentes estimations de la densit de probabilit thorique. On peut observer que les estimations obtenues par les 2 mthodes sont

-58-

Proposition d'un algorithme Plug-in rapide

comparables. Ce rsultat est corrobor par les valeurs des EQMI prsentes dans le tableau 7. Ces valeurs sont obtenues partir de 1000 simulations de la densit thorique ce qui nous permet d'estimer la variance de l'cart quadratique intgr. Ces valeurs sont trs proches indpendamment l'algorithme utilis.
Estimateur itratif du noyau avec approche analytique de J(f) 2 1.5 1 0.5 0 -1.5 Densit thorique Densit estime

-1

-0.5

0.5

1.5

Estimateur itratif du noyau optimal avec approche numrique de J(f) 2 1.5 1 0.5 0 -1.5 Densit thorique Densit estime

-1

-0.5

0.5

1.5

Figure 34 -Estimation par la mthode du noyau avec dtermination de hN par Plug-in usuel et Plug-inrapide.

EQMI Mthode du noyau optimal avec algorithme Plug-in usuel Mthode du noyau optimal avec algorithme Plug-inrapide 0.0223 0.0223

Variance 2.6130.10-5 2.6432. 10-5

Tableau 7 -EQMI et variance de l'EQMI par Plug-in et par Plug-in rapide.

-59-

Proposition d'un algorithme Plug-in rapide

0.07 0.065 0.06 0.055 0.05 0.045 0.04 0.035 0.03 0.025 0.02 500 EQMI de l'estimateur noyau analytique EQMI de l'estimateur noyau numrique

1000

1500

2000

2500

3000

3500

4000

Figure 35 -Plug-inet Plug-in rapide : EQMI en fonction de la taille d'chantillon

Dans la figure 35, l'EQMI est moyenn sur 100 rptitions en faisant varier la taille d'chantillon. On peut observer que les valeurs de l'EQMI dcroissent rgulirement avec l'augmentation de la taille d'chantillon confirmant ainsi que la prcision d'estimation est d'autant plus leve que le nombre d'observations est important.

Conclusion

Dans cette section, nous proposons une version plus rapide de l'algorithme du Plug-in en drivant directement le noyau utilis lors du calcul de l'entit J(f). Il n'est alors plus

ncessaire d'estimer f chaque itration ce qui implique un gain au niveau de la


complexit. Il est important de souligner que l'expression mathmatique de J(f) ne permet pas d'obtenir une bonne convergence. Cependant, l'ajustement exprimental de la puissance du paramtre de lissage hN qui prend la valeur de 4,5 au lieu de 6 dans l'expression de J( f ), permet d'estimer les densits de probabilit avec une fiabilit

-60-

Proposition d'un algorithme Plug-in rapide

comparable celle obtenue avec l'algorithme du Plug-in classique. En effet, l'tude comparative mene entre l'algorithme Plug-in usuel et l'algorithme Plug-in rapide permet de conclure une efficacit proche des deux algorithmes au sens de l'EQMI.

-61-

CHAPITRE 4 APPLICATION A L'ESTIMATION DU


TAUX DERREUR DANS LA NORME

UMTS

Gnralement, les performances d'un systme de communication numrique, ne peuvent tre calcules analytiquement. Elles sont values par estimation du taux d'erreur binaire ou BER (Bit Error Rate) par la mthode de simulation Monte Carlo (MC) [Jer84][Efr83][Lau68]. Cette mthode consiste simuler le transfert d'un nombre suffisant de signaux binaires travers le systme de communication, valuer puis dtecter le nombre d'erreurs de transmission afin de calculer la frquence d'erreurs. Malheureusement, la taille d'chantillon ncessaire pour un intervalle de confiance correct devient, lorsque le rapport signal bruit est lev, trs importante. Par consquent, la mthode MC, galement lie la complexit algorithmique du rcepteur, devient trs couteuse en temps de calcul. En effet, pour une prcision de l'ordre de 10-1, le nombre de symboles gnrs doit tre suffisamment lev pour permettre de comptabiliser 100 erreurs de transmission. Cela implique qu'il faut gnrer environ 108 symboles lorsque la probabilit d'erreur est de 10-6 [Web81] [Jer84]. Dans ce chapitre, nous proposons, comme alternative cette mthode, d'estimer le BER directement partir de la densit de probabilit du signal reu. En effet, en se fixant comme contrainte de ne transmettre que des +1 (resp. -1), la probabilit d'erreur

-63-

Application l'estimation du taux d'erreur dans la norme UMTS

du

systme

valu

serait

estime

par

l'erreur

apparente

f x dx

(resp.
0

f x dx ), f (x) tant la densit de probabilit du signal reu.

En pratique, il est gnralement difficile de connatre la densit de probabilit du signal reu puisqu'il dpend des rcepteurs et des canaux tudis. Ainsi, il s'agira d'une loi normale pour un canal AWGN (Additive White Gaussien Noise), d'un mlange gaussien pour un rcepteur de type AWGN CDMA (Code Division Multiple Access), des distributions d'un autre type pour les canaux de Rayleigh, Nakagami ou Rice. Pour les rcepteurs base de techniques itratives ou filtres non linaires tels que les turbos codes, la distribution du signal reu ne peut gnralement pas tre identifie une distribution connue. L'absence d'information sur la densit de probabilit du signal reu, implique l'utilisation de mthodes non paramtriques pour son estimation. En l'occurrence, nous proposons d'avoir recours la mthode du noyau avec recherche du pas optimal par la mthode Plug-in. Ce chapitre est organis en quatre sections. La premire section prsente le systme de communication CDMA sur lequel se base notre tude. Puis, la mthode usuelle d'estimation de la probabilit d'erreur, savoir le TEB, est dtaille. La section suivante est ddie la prsentation de la mthode d'estimation de la probabilit d'erreur par l'estimation de l'erreur apparente. La dernire section traite d'une tude comparative entre les deux mthodes.

Simulation Monte Carlo

Les simulations Monte Carlo permettent d'valuer les performances de n'importe quel systme de communication numrique quelque soit la technique de transmission utilise (CDMA, MC-CDMA, TDMA, .). La figure 36 schmatise un modle de transmission k utilisateurs. Chaque utilisateur transmet une suite de symboles binaires de type BPSK (Binary Phase Shift Keying) laquelle est associe une squence d'talement Si. Ce signal sera amplifi diffremment pour chaque utilisateur i. Un bruit additif, gnralement gaussien sera additionn la somme des signaux envoys par les k utilisateurs lors du passage par le canal de transmission.

-64-

Application l'estimation du taux d'erreur dans la norme UMTS

Utilisateur 1

S1
Utilisateur 2

A1

Bruit additif rn

S2
Utilisateur k

A2

Canal de transmission

Sk

Ak
Figure 36 -Modle de transmission en CDMA

y1 ST1 y2 ST2 rn Rcepteur

X1

X2

yk STk

Xk

Figure 37 -Modle de Rception pour une transmission CDMA

La figure 37 schmatise la rception du signal transmis, Xi tant le signal reu pour l'utilisateur i.

-65-

Application l'estimation du taux d'erreur dans la norme UMTS

Considrons bi

1 i N

1, 1 un ensemble de N symboles indpendants transmis.

Considrons galement

Xi

1 i N

le signal reu au niveau du rcepteur. bi sera

estim en fonction du signe de Xi i.e. bi

sgn X i .

L'erreur d'estimation peut tre considre comme une loi de Bernouilli dfinie comme suit :

bi

1 si bi 0 sinon

bi

La probabilit d'erreur pe est gale :

pe

Pr bi

bi

Pr

bi

bi

avec E(.) l'oprateur Esprance

mathmatique.

Dans la mthode Monte Carlo, pe est estim par calcul de la moyenne arithmtique
des

bi :

pe

1 N

bi
i 1

L'estimateur

Monte

Carlo

n'est .

pas

biais

puisque

E(e)

0,

avec

pe

pe

1 N

pe
i 1

bi

Sa variance est donne par :


2 e

pe

pe

pe 1 pe N

L'erreur relative de l'estimateur Monte Carlo est gale :


e

E pe

1 pe pe N 1 pe N

[Eq. 7]

Lorsque le BER est faible (pe<<1), l'quation (7) devient :

Il est alors possible de dterminer N la taille de l'chantillon simuler pour une prcision donne donne : N
2

1 . pe

Ainsi, pour valuer les performances d'un canal de transmission donn avec une prcision de 10-1, il faut gnrer au moins 109 BPSK si la pe est de l'ordre de 10-7. Cela

-66-

Application l'estimation du taux d'erreur dans la norme UMTS

exige des temps de calcul excessivement levs particulirement lorsque les systmes de communication tudis sont complexes.

Estimation du BER par la densit de probabilit du signal reu

Cette mthode repose sur l'estimation de fX(x), la densit de probabilit du signal reu la sortie du rcepteur. Il est important de noter que tous les

Xi

1 i N

reus la

sortie du rcepteur sont des variables alatoires de mme loi : leur densit de probabilit est donc la mme. Les signaux gnrs indpendants et identiquement distribus avec P bi Le BER est donn par :

bi

1 i N

sont supposs tre

1/ 2 .

Pe

P bi P P P P X X X X

bi 0 et bi 0 | bi 0 | bi 0 | bi 1 1 P bi 1 1 X 1 0 et bi P X 1 0 | bi 1 P bi 1

La probabilit d'erreur peut alors s'exprimer par :

pe

f Xbi f Xbi
0

x dx x dx
1

1 2
b avec f X i

f Xbi
1

x dx

1 2
1

f Xbi

x dx

. (resp. f Xbi

. ) est la densit de probabilit conditionnelle de X telle

que bi = +1(resp. bi = -1) Ainsi, il est possible d'estimer le BER d'un systme de communication numrique en transmettant une squence de bits de mme signe (+1 par exemple) pour un des K utilisateurs puis d'estimer la densit de probabilit du signal la sortie du rcepteur et de calculer le BER en intgrant la densit de probabilit entre squence de +1 ou entre 0 et + pour une squence de -1. et 0 pour une

-67-

Application l'estimation du taux d'erreur dans la norme UMTS

En ayant recours la mthode du noyau pour l'estimation de la densit de probabilit, la probabilit d'erreur s'exprime par :

Pe

f X , N x dx

1 NhN

i 1

x Xi dx hN

[Eq. 8]

Moyennant le changement de variable suivant :

Xi hN

L'expression de la probabilit d'erreur peut s'crire :

Pe

1 NhN

N i 1

Xi hN

K u hN du

Pour cette application, nous avons choisi d'utiliser le noyau gaussien. Dans ce cas, l'estimateur de la probabilit d'erreur s'crit de la manire suivante :

Pe

1 N 1 N

N i 1 N i 1

Xi hN

1 e 2 1 e 2

u2 2

du

Xi hN

u2 2

du
1 exp( x 2 / 2)dx . Pe s'exprime par : 2

Soit la fonction Q x

Pe

1 N

Q
i 1

Xi hN

Nous rappelons ce niveau l'importance du choix du pas hN. Ainsi que nous l'avons dvelopp dans le chapitre 2, l'tude asymptotique montre que le pas optimal
* s'exprime par hN

* hN

1 5

J f

1 5

M K

1 5

. Il est fonction de M(K) et J(f ) avec :


2

M K

K 2 x dx et J f

f" x

dx .

Il est facile de calculer la valeur de M(K) dont la valeur est de noyau Gaussien. Ainsi, l'expression de J( f ) devient :

1 2

dans le cas du

J f

1 2 5 N hN 2

K
i 1 j 1

Xi

Xj 2hN

Xi

Xj

2hN

3 4

-68-

Application l'estimation du taux d'erreur dans la norme UMTS

Il peut tre estim par l'algorithme itratif Plug-in dcrit dans le chapitre 2. Ainsi, une fois la densit de probabilit estime, le BER peut tre estim directement partir de l'quation (8).

Etude des performances de l'estimateur

Cette section est ddie l'tude des performances de l'estimateur du BER propos. Il s'agit d'tudier son biais, sa variance ainsi que sa consistance. Ce dernier est fonction de f, densit de probabilit du signal la sortie du rcepteur. Au cours de notre dveloppement, on supposera que f est deux fois drivable, et que hN N + . 0 lorsque

3.1 Etude du biais


Soit f une densit de probabilit deux fois drivable, et hN 0 lorsque N + .

L'estimateur du BER est pour le noyau Gaussien, asymptotiquement sans biais c'est-dire que :

lim E pe, N

pe

f x dx .

(Voir Annexe 2 pour les dtails de calcul).

3.2 Etude asymptotique de la variance


L'tude asymptotique de la variance de l'estimateur de la probabilit d'erreur propos tend vers 0 lorsque N tend vers l'infini.

lim Var pe, N

Les calculs sont dtaills dans l'annexe 3.

3.3 Etude asymptotique de la consistance


Un estimateur est dit asymptotiquement consistant lorsque l'erreur quadratique moyenne tend vers 0 quand la taille de l'chantillon tend vers + .

-69-

Application l'estimation du taux d'erreur dans la norme UMTS

Ainsi, nous dmontrons que

lim E

pe, N

pe

0 dans le cas du noyau

Gaussien choisi pour cette application. (Voir Annexe 5 pour les dtails de la dmonstration). Nous pouvons donc conclure la consistance de notre estimateur.

Etude comparative entre les deux mthodes d'estimation du BER

Dans cette section une tude comparative entre l'estimation du BER par la mthode usuelle et par la mthode propose, est mene. Pour cela, nous simulons un systme de communication CDMA synchrone avec K utilisateurs. Les squences d'talement si
SF

spcifiques chaque utilisateur i

1/ SF , 1/ SF

, SF tant le facteur

d'talement. Le canal utilis est un canal bruit Gaussien de type AWGN (Additive White Gaussian Noise). Le signal reu au niveau du rcepteur est la superposition des signaux mis par les K utilisateurs. Il s'exprime par :
K

r
k 1

Ak bk sk

avec r sk bk

R SF le signal reu.
SF

1/ SF , 1/ SF

la squence d'talement du kme utilisateur

1, 1 l'information binaire transmise par le kme utilisateur

Ak est l'amplitude spcifique au kme utilisateur n R SF le bruit Gaussien additif de moyenne 0 et dont la matrice de covariance
2

est gale

ISF

Le signal dmodul la sortie du rcepteur pour les K utilisateurs est donn par un vecteur y de taille K avec yk
T sk r reu par le kme utilisateur.

yk peut galement s'crire yk


o
j ,k

Ak bk
j k

Aj b j

j ,k

nk ,

reprsente la corrlation entre les squences d'talement sj et sk et nk le bruit

additif Gaussien pour l'utilisateur k.

-70-

Application l'estimation du taux d'erreur dans la norme UMTS

yk est compos de trois termes. Le premier Ak bk correspond au signal mis par


l'utilisateur k. Le second terme
j k

Aj b j

j ,k

que l'on dsignera par MAI (Multiple

Access Interference) reprsente les interfrences entre les signaux mis par les diffrents utilisateurs. Quant au troisime terme, il reprsente le bruit additif Gaussien li au passage du signal du kme utilisateur par le canal AWGN. Il est noter que le bruit additif savoir
j k

Aj b j

j ,k

nk est une loi mlange de 2k-1

distributions gaussiennes. L'valuation du BER en fonction du rapport signal bruit (RSB) est ralise par les deux mthodes. Pour cette simulation, nous avons fix le nombre d'utilisateurs 4. Le nombre de symboles gnr est optimal pour chaque RSB. Le tableau 8 rcapitule pour les deux mthodes les rsultats suivants : - La probabilit d'erreur thorique, note PET. - La moyenne sur 100 rptitions du BER estim par le taux d'erreur, mthode usuelle, que nous noterons MMC (Mthode Monte Carlo). - La variance du BER estim par MMC. - E1 : L'erreur relative du BER-MMC par rapport la probabilit d'erreur thorique. - La moyenne sur 100 rptitions du BER estim par l'estimation de la densit de probabilit du signal reu, note MEDP (Mthode par Estimation de la Densit de Probabilit). - La variance du BER estim par MEDP. - E2 : L'erreur relative du BER-MEDP par rapport la probabilit d'erreur thorique. E1 et E2 s'expriment par :

E1

PET

MMC

PET

et

E2

PET

MEDP PET

On peut remarquer que l'erreur relative E2 est plus faible que l'erreur relative E1 pour les faibles valeurs de RSB. Cela implique une excellente estimation par la mthode propose. Par contre, pour des valeurs de RSB plus leves, l'estimation devient meilleure par le taux d'erreur.

-71-

Application l'estimation du taux d'erreur dans la norme UMTS

RSB (db) Nombre de symboles gnrs Probabilit d'erreur thorique (PET) Moyenne du BER MMC Variance du BER E 1 Moyenne du BER MEDP Variance du BER E2

2 2000 6.45*10-2 6.04*10-2 0.0052 6.36% 6.51*10-2 0.0049 0.93%

4 5000 2.83*10-2 2.65*10-2 0.0022 6.36% 2.87*10-2 0.0018 1.41%

6 14000 0.84*10-2 0.83*10-2 7.87*10-4 1.19% 0.89*10-2 6.85*10-4 5.95%

8 100000 0.14*10-2 0.14*10-2 1.07*10-4 0% 0.15*10-2 1.03*10-4 7.14%

Tableau 8 -Probabilit d'erreur estime par MMC et MEDP

1.4

1.2

0.8

0.6

0.4

0.2

0 -2

-1

.
Figure 38 - Estimation du BER pour des valeurs RSB faibles

-72-

Application l'estimation du taux d'erreur dans la norme UMTS

1.4

1.2

0.8

0.6

0.4

0.2

0 -3

-2

-1

Figure 39 -Estimation du BER pour des valeurs RSB leves

Cette observation trouve son explication dans les limites de cette mthode que nous dveloppons ci-dessous. En effet, l'erreur apparente correspond l'intgrale de 0 de la densit de

probabilit estime. En observant la figure 38, on peut constater qu'en raison de la faible valeur du RSB, plusieurs erreurs de transmission sont observes : La surface intgrer est donc assez importante. Par contre, sur la figure 39 correspondant des valeurs de RSB plus leves, la surface intgrer est beaucoup plus faible ce qui induit des erreurs d'estimation et par consquent un manque de prcision pour l'estimation numrique de la probabilit d'erreur. La figure 40, permet de visualiser l'volution du taux d'erreur et de l'erreur apparente en fonction du rapport signal bruit. On peut observer que pour une valeur de RSB gale 6, l'estimation de la probabilit d'erreur par l'erreur apparente reste trs acceptable mme si elle n'est pas aussi performante que l'estimation par le taux d'erreur.

-73-

Application l'estimation du taux d'erreur dans la norme UMTS

Nombre d'utilisateurs =4 - Nombre de signaux gnrs = suffisant pour enregistrer 100 erreurs 0 10

10

-1

Pe

-2

10

10

-3

-4

BER-MMC BER-MEDP Pe thorique du recept standard Rfrence : cas utilisateur unique MMSE thorique 0 1 2 3 4 5 Rapport singal bruit 6 7 8

10

Figure 40 -Evolution du BER-MMC et du BER-MEDP selon le RSB

Evaluation de l'estimation du TEB en fonction du nombre de symboles gnrs

Le dveloppement de la mthode de l'estimation du BER par l'estimation de la densit de probabilit du signal reu a pour objectif de pouvoir donner une estimation de la probabilit d'erreur partir d'un plus faible nombre de symboles gnrs, donc en un temps de calcul raisonnable. C'est pourquoi il est important d'valuer la mthode propose en tudiant son comportement en fonction du nombre de symboles gnrs. Les rsultats prsents dans le tableau 9 reprsentent les BER estims par la mthode MEDP en fonction du nombre de symboles gnrs pour des valeurs de RSB gales 6 et 8. La figure 41 montre comment pour des RSB levs (9 et 10 db), il est possible d'avoir une ide sur la probabilit d'erreur l'aide de l'estimation de l'erreur apparente en gnrant uniquement 20000 symboles. La mthode Monte Carlo ne donne quant elle aucun rsultat pour les valeurs de RSB gales 8 ou 10 db pour ce nombre de symboles gnrs.

-74-

Application l'estimation du taux d'erreur dans la norme UMTS

RSB = 6 db PET = 0.0084 Nombre de symboles gnrs 14000 10000 7000 5000 BER-MEDP 0.0089 0.0088 0.0091 0.0092 P2 5.95% 4.76% 8.33% 9.52% Nombre de

RSB = 8 db PET = 0.0014 BER-MEDP 0.0015 0.0015 0.0015 0.0015 P2 7.14% 7.14% 7.14% 7.14%

symboles gnrs 100000 50000 25000 15000

Tableau 9 Evolution du BER-MEDP selon le nombre de symboles gnrs

Nombre de signaux gnrs = 20000 - Nombre d'utilisateurs = 4

10

10

-1

10

-2

Pe

-3

10

10

-4

10

-5

-6

BER-MMC BER-MEDP Rference : utilisateur unique BER-MMC 0 1 2 3 4 5 6 Rapport signal bruit 7 8 9 10

10

Figure 41 BER-MMC et BER-MEDP selon RSB pour un faible nombre de symboles gnrs

-75-

Application l'estimation du taux d'erreur dans la norme UMTS

Conclusion

Dans ce chapitre, une alternative la mthode Monte Carlo pour l'estimation de la probabilit d'erreur des systmes de communications numriques est propose. Elle est base sur l'estimation non paramtrique de la densit de probabilit du signal reu et requiert un nombre moins important de donnes transmises celui exig par la mthode Monte Carlo pour une estimation fiable. L'tude thorique de cet estimateur du BER montre qu'il est consistant et sans biais. Diverses simulations viennent illustrer les rsultats obtenus et conforter les performances de l'estimateur propos.

-76-

CHAPITRE 5 MISE EN UVRE D'UN SIMULATEUR


D'ESTIMATION STATISTIQUE DE LA NEUTRALITE DES POPULATIONS

Contexte de l'tude

La majorit des tudes ralises en gntique des populations se basent sur l'hypothse de la neutralit des populations tudies. La comprhension de cette notion de neutralit exige des claircissements sur les notions suivantes : La diversit gntique des espces se base sur l'existence de plusieurs versions pour certains gnes, appels allles. Les allles ont les mmes fonctions avec des variations au niveau de leur structure, par exemple une base la place d'une autre suite des mutations ponctuelles. Les mutations sont des vnements rares pouvant tre modliss par des lois statistiques telles que les lois de poissons. Les nouveaux allles apparaissant suite des mutations pouvant confrer un avantage slectif l'individu auquel cas la frquence de cet allle devient rapidement plus importante dans la population. Ils peuvent galement confrer un dsavantage et disparatre rapidement. Mais dans la majorit des cas les mutations sont neutres et n'apportent ni avantage ni dsavantage.

-77-

Mise en uvre d'un simulateur d'estimation statistique de la neutralit des populations

Les nuclotides ayant subi une mutation sont appels sites polymorphes nots S.

Les allles de faibles frquences sont rares dans une population suppose neutre. En effet, les mutations tant des vnements rares, peu de nouveaux allles apparaissent : la majorit des allles dtects existent depuis longtemps dans une population neutre et sont reprsents en un nombre suffisamment lev.

La rupture de la neutralit peut tre provoque par plusieurs vnements tels que l'apparition d'un phnomne naturel qui va avantager certains allles ou provoquer beaucoup de mutations ou encore par l'arrive massive de migrants. etc.

Evaluation statistique de la neutralit des populations

L'valuation de la neutralit des populations se base sur le modle d'arbre alatoire utilis pour reprsenter une gnalogie de gne [Ewe72] (Figure 42).

Allle 1 anctre commun

Allle fils 1.2

Allle fils 2.2

Allle fils 1.3

Allle fils 2.3

Allle fils 3.3

Allle fils 1.4

Allle fils 2.4

Allle fils 3.4

Allle fils 4.4

Allle fils 1.5

Allle fils 2.5

Allle fils 3.5

Allle fils 4.5

Allle fils 5.5

Figure 42 -Gnalogie d'un gne cinq allles

-78-

Mise en uvre d'un simulateur d'estimation statistique de la neutralit des populations

En effet, tous les allles sont supposs avoir un anctre commun qui a donn naissance au fil des gnrations aux diffrents allles dtects. L'apparition des allles tant due des mutations, on dfinit le paramtre mutationnel comme tant lesprance du

nombre de mutations ayant eu lieu depuis la divergence de deux squences.

2Ne 2

tant le taux de mutations par gnration et par site polymorphe et

Ne la taille de la population. Il existe plusieurs mthodes permettant l'estimation du paramtre mutationnel . Nous nous intressons particulirement l'estimateur de Watterson et l'estimateur de Tajima.

2.1 Estimation de

partir des sites polymorphes S


est propose par Watterson [Wat75]. Elle se

Une premire mthode d'estimation de

base sur le nombre de sites polymorphes S prsents dans l'chantillon. L'esprance de S correspond au nombre total de mutations ayant pu se raliser tout au long de la gnalogie. En pratique, S est estim par le nombre de sites polymorphes comptabiliss sur les chantillons d'ADN. Les expressions mathmatiques de l'esprance et de la variance de S s'expriment par :
n 1

E S

a1 4 N e
a1 a2
2

a1

avec

a1
i

1 1i 1 i2

n 1

V S

avec

a2
i 1

Il est donc possible d'estimer dans un chantillon.

partir du nombre de sites polymorphes contenus

S a1

2.2 Estimateur de
Un second estimateur de

par Tajima
appel est propos par Tajima [Taj83]. Sa construction

se base sur l'observation qu' chaque coalescence, deux nouveaux allles apparaissent, faisant passer le nombre dallles de i i+1. Ces nouveaux allles apparaissent conscutivement l'apparition de mutations chez lanctre commun. La modlisation mutationnelle adopte tant le modle nombre infini de sites, le nombre de nuclotides diffrents entre deux squences est la somme des mutations subies par

-79-

Mise en uvre d'un simulateur d'estimation statistique de la neutralit des populations

lanctre commun qui nest autre que

4Ne

pour chaque gnration et pour

chaque brin d'ADN. La moyenne du nombre de diffrences nuclotides des squences dADN prises deux deux, que lon note , permet donc davoir une estimation directe de .

b1
avec

b2

b1

n 1 3( N 1)

et

b2

2( N 2 N 3) 9 N ( N 1)

N tant le nombre de squences ADN de lchantillon. Deux mthodes permettent d'estimer .

La premire mthode consiste sommer les diffrences nuclotides entre les squences d'ADN prises deux deux et calculer une moyenne.

k ij
i j

2
i j

k ij
, kij tant la diffrence nuclotide entre les squences i et j.

N 2

N N 1

Nanmoins, lorsque la taille de l'chantillon est leve, un tel calcul peut s'avrer fastidieux. Une seconde mthode pour estimer plus facilement se base sur les frquences allliques.
S

=
i 1

hi

o S est le nombre de sites polymorphes dj dfini dans le paragraphe 2.1 et hi lestimation de la diversit nuclotide (htrozygotie) pour le ime site polymorphe. hi est donn par [Taj89]:
4

N (1 hi
j 1

x2 ) ji

N 1

o xji est la frquence du jme allle de lchantillon dans le ime site polymorphe.

-80-

Mise en uvre d'un simulateur d'estimation statistique de la neutralit des populations

2.3 Test statistique de neutralit de Tajima 2.3.1


Principe du test

Le test de neutralit de Tajima se base sur l'observation suivante : les estimateurs du paramtre mutationnel de Watterson et de Tajima donnent des valeurs diffrentes de pour des populations ne vrifiant pas la neutralit. En effet, le paramtre mutationnel de Watterson, w , tient compte de tous les allles prsents y compris ceux ayant une faible frquence et plus particulirement les mutants dltres. Ainsi, sa valeur est significativement affecte par l'existence d'allles dltres. Par contre, est estim partir des frquences allliques. La consquence immdiate est que les allles de faible frquence n'affectent pas beaucoup la valeur de . Par consquent, si parmi les allles observs, certains ont un effet slectif, l'estimation de par w sera significativement diffrente de l'estimation de par . Dans le cas

contraire, c'est--dire dans le cas d'une population neutre au niveau de la slection, les deux estimations seraient sensiblement gales. D'o l'ide de dvelopper une statistique base sur la diffrence entre les deux estimateurs et permettant de dtecter une ventuelle absence de neutralit due

essentiellement l'effet de la slection [Taj89]. Soit d la diffrence de valeur entre les deux estimateurs de . d=
S , avec a1 a1
n 1 i

1 1i

Dans le cas d'une population o les allles ne seraient pas dots d'un effet slectif, lesprance de d est suppose nulle. Sa variance est donne par :

V (d ) V ( )

^ 2 Cov ( S , ) a1

1 a2 1

V (S )

La covariance entre le nombre de sites polymorphes et le nombre moyen de diffrences nuclotides entre les brins d'ADN pris deux deux est dfinie de la manire suivante :
Cov S , 1 2 1 N
2

-81-

Mise en uvre d'un simulateur d'estimation statistique de la neutralit des populations

Lorsque N est grand, Cov st S ,

1 2

Cette covariance est appele covariance stochastique et permet de dterminer la covariance de l'chantillon donne par :

Cov e S ,

Cov S ,

Cov st S ,

1 N

En substituant les constituants par leur valeur, on obtient :

V (d ) b1 V (d ) c1
c1
avec

b2 c2
b1

2 a1

1 2

1 N

1
2 a1

a1

a2

1 a1 n 2 a1 N a2
2 a1

et c2 b2

Gnralement,
2

est inconnue et peut tre estime par

S ou par . L'estimation de a1

par S 2 est donne par :

E S2

V S

ES ES

a1
2 a1

2 a1

a2
2

Comme E S 2

a2

peut tre estime par

S S 1
2 a1

a2

V(d) est alors estime par :

V d

e1 S

e2 S S 1 o e1

c1 a1

et e2

c2
2 a1

a2

Pour tester les hypothses de neutralit, une nouvelle statistique correspondant la statistique d rduite et appele D, est construite.

d V d

e1 S

S a1 e2 S S 1

La statistique D est centre et rduite. Thoriquement, sa moyenne doit tre de 0 et sa variance doit voluer autour de 1. Pour tester l'hypothse de neutralit, il est important de connatre la distribution de D pour des populations thoriquement neutres. Cela implique la simulation d'un nombre important de populations thoriquement neutres

-82-

Mise en uvre d'un simulateur d'estimation statistique de la neutralit des populations

partir desquelles il sera possible d'observer une distribution de D. L'estimation de la densit de probabilit de D permettra alors d'valuer la neutralit de la population tudie.

2.3.2

Evaluation de la neutralit

Une population est considre comme prsentant un cart la neutralit lorsque la valeur de D, note Dp, calcule partir d'un chantillon de la population tudie, est considre comme ayant une faible probabilit de faire partie de la distribution thorique de D. Ainsi, la population est suppose neutre lorsque P[D<Dp]>0.02 pour un risque de premire espce de 5%. Dans la grande majorit des cas, les chercheurs utilisent des logiciels qui leur retournent la valeur de P[D<Dp] (Arlequin, Phylip, etc). Lors des travaux de Master, nous avons mis en uvre un simulateur permettant de gnrer des populations gntiquement neutres selon les paramtres des populations tudies [Tro04]. L'estimation de la densit de probabilit avait t ralise par la mthode de l'histogramme et avait abouti des rsultats comparables ceux obtenus par les logiciels utiliss. Les diffrentes tapes permettant d'valuer la neutralit pour un chantillon de taille N sont : L'estimation de partir de l'chantillon par l'estimateur de Watterson w .

La gnration d'un nombre important (gnralement 1000) de populations neutres simules de tailles N (taille de l'chantillon rel). La dtermination de D pour chaque population neutre gnre permet d'obtenir une distribution empirique de la variable alatoire D. L'estimation de la densit de probabilit de D. L'valuation de la neutralit par la dtermination de la valeur P[D<Dp] Cette mthode d'valuation de la neutralit est largement utilise dans les logiciels de base en gntique des populations.

-83-

Mise en uvre d'un simulateur d'estimation statistique de la neutralit des populations

Application de la mthode du noyau avec Plug-in rapide

L'estimation de la densit de probabilit de la variable alatoire D simule permet d'avoir une ide sur la neutralit d'une population. Dans ce cadre, le recours la mthode du noyau avec recherche du pas optimal grce l'algorithme Plug-in reprsente une alternative intressante. En effet, une meilleure estimation de la densit de probabilit permet de gagner en prcision. Nous pouvons particulirement voquer le cas o les rsultats obtenus peuvent prsenter un caractre litigieux particulirement lorsque la valeur de P[D<Dp] est proche de 0.02. La prise de dcision requiert dans ce cas, l'estimation d'une valeur moyenne P[D<Dp]. Pour cela, il convient de simuler au moins une centaine de fois la densit de probabilit de D, ce qui reprsente un temps de calcul assez important. La mise en uvre du Plug-in rapide permet d'avoir une moindre complexit, d'o l'ide de son utilisation. La validation de notre approche consiste montrer sur des populations prsentant une valeur de P[D<Dp] voluant autour de 0.02, que les rsultats obtenus par l'utilisation de l'algorithme Plug-in rapide sont aussi fiables que ceux obtenus par la mthode Plug-in. Parmi les populations berbres de Tunisie testes, nous avons choisi pour notre tude celles qui prsentent un P[D<Dp] d'environ 0.02. Il s'agit des populations de Sened et de Testour dont les caractristiques sont prsentes dans le tableau 10 il s'agit des paramtres N, et S ncessaires la

gnration des populations thoriquement neutres et qui sont fonction de l'chantillon reprsentant la population tudie. Dp reprsente quant lui la valeur de D dduite partir de l'chantillon.

Population Sened Testour

N 55 40 7.60471 6.33846

S 69 53

Dp -1.717 -1.755

Tableau 10 -Caractristiques des populations de Sened et de Testour

-84-

Mise en uvre d'un simulateur d'estimation statistique de la neutralit des populations

Estimation of D-pdf with plug-in optimal KDE

0.4

0.2

0 -4

-3

-2

-1

Estimation of D-pdf with fast plug-in optimal KDE

0.4

0.2

0 -4

-3

-2

-1

Figure 43 -Densit de probabilit de la population Sened par le noyau Plug-in et Plug-in rapide

Estimation of D-pdf with plug-in optimal KDE

0.4

0.2

0 -4

-3

-2

-1

Estimation of D-pdf with fast plug-in optimal KDE

0.4

0.2

0 -4

-3

-2

-1

Figure 44 -Densit de probabilit de la population Testour par le noyau Plug-in et Plug-in rapide

-85-

Mise en uvre d'un simulateur d'estimation statistique de la neutralit des populations

La densit de probabilit de D est estime partir de populations thoriquement neutres simules en utilisant la mthode du noyau avec recherche du pas optimal selon deux mthodes : L'algorithme Plug-in usuel et l'algorithme Plug-in rapide. Bien entendu, dans les deux cas, c'est le noyau optimal qui est utilis. Les figures 43 et 44 montrent bien que les deux estimations sont pratiquement les mmes. Pour une meilleure estimation de la neutralit de ces deux populations, une valeur moyenne de l'entit P[D<Dp] est calcule partir de 100 valeurs simules de D. Le tableau 11 prsente les rsultats obtenus pour les deux populations partir des deux mthodes testes.

P[D<Dp] (Valeur moyenne) Population Sened Testour Plug-in 0.0213 0.0183 Plug-in rapide 0.0214 0.0184

Tableau 11 -Valeurs moyennes de P[D<Dp] selon le Plug-in et le Plug-in rapide

Ainsi, les valeurs obtenues par les deux mthodes sont trs proches et permettent d'aboutir aux mmes conclusions concernant la neutralit des populations testes. L'apport du Plug-in rapide concerne uniquement le gain en temps de calcul du sa moindre complexit algorithmique relativement au Plug-in usuel.

Conclusion

Nous nous intressons dans ce chapitre l'estimation de la neutralit gntique des populations. En effet, les tests statistiques dvelopps en gntique des populations se basent sur l'hypothse de la neutralit qui leur permet de modliser la transmission de gnes travers les gnrations par un modle binomial. Souvent, les gnticiens utilisent pour estimer cette neutralit des logiciels ferms et affirment partir d'une seule mesure la neutralit ou non de la population tudie. Une

-86-

Mise en uvre d'un simulateur d'estimation statistique de la neutralit des populations

telle affirmation risque d'tre errone dans certains cas litigieux pour lesquels il serait judicieux de calculer plutt une moyenne. Une telle dmarche exige la mise en uvre d'un logiciel conforme aux exigences spcifiques des donnes manipules. Ainsi, nous avons dvelopp un logiciel qui permet de mesurer cette neutralit en utilisant la mthode du noyau avec recherche du pas optimal par l'algorithme du Plug-in rapide (Chapitre 3). Nous avons pu montrer travers des exemples tires des populations berbres de Tunisie que les rsultats obtenus par utilisation du Plug-in rapide et ceux obtenus par le Plug-in usuel sont comparables.

-87-

CONCLUSION GNRALE

Le travail ralis dans le cadre de cette thse traite essentiellement de l'optimisation du paramtre de lissage de l'estimateur noyau dans le cadre de l'estimation non paramtrique des densits de probabilit. Lors de l'tude de l'tat de l'art du domaine, l'algorithme Plug-in pour la recherche du paramtre de lissage optimal apparat particulirement performant notamment pour l'estimation des densits prsentant plusieurs modes. En effet, les diffrentes simulations menes montrent bien que le plus faible cart quadratique moyen est obtenu en utilisant le paramtre de lissage estim par l'algorithme Plug-in. La rduction de la complexit de l'algorithme Plug-in reprsente une premire contribution dans cette thse. L'ide principale est de calculer l'expression analytique de l'entit J( f ) en utilisant des noyaux deux fois drivables ou deux fois drivables par morceaux. Il devient alors inutile d'estimer la densit de probabilit chaque itration. Cette variante de l'algorithme Plug-in, que nous avons appel Plug-in rapide, a abouti des carts quadratiques moyens intgrs comparables ceux obtenus par l'algorithme du Plug-in usuel sur les simulations ralises. Ainsi nous avons pu conclure l'efficacit de cet algorithme pour estimer le paramtre de lissage hN. L'estimation de la probabilit d'erreur des systmes de communication numrique, gnralement dtermine par la mthode Monte Carlo, reprsente une problmatique en raison du temps de calcul ncessaire pour obtenir un intervalle de confiance correct. En effet, ce temps de calcul devient extrmement lev avec la complexification algorithmique des systmes de communications. Une alternative la mthode Monte Carlo est propose dans le chapitre 4. Elle consiste estimer la densit de probabilit des signaux reus d'un des utilisateurs pour lequel on ne transmet que des signaux d'un seul type (+1 par exemple). L'intgrale de 0 de cette densit de probabilit

-89-

Conclusion gnrale

reprsente le taux d'erreur binaire. Il est cependant ncessaire de garantir une estimation correcte de la densit de probabilit du signal reu. Cette dernire dpend de la technologie du systme de communication tudi. Pour cela, nous proposons d'utiliser la mthode du noyau avec estimation du paramtre de lissage par la mthode Plug-in. L'tude thorique de l'estimateur propos a permis de dmontrer qu'il s'agit d'un estimateur consistant et sans biais. Par ailleurs, nous avons pu montrer la fiabilit de notre estimateur travers plusieurs simulations dont les rsultats sont comparables ceux obtenus par la mthode Monte Carlo. La neutralit gntique des populations est gnralement mesure en estimant la densit de probabilit d'une statistique construite partir de populations thoriquement neutres ayant les mmes caractristiques que la population tudie. Un systme d'algorithmes, permettant de gnrer la distribution de cette statistique puis d'estimer sa densit de probabilit par la mthode du noyau avec recherche du pas optimal par l'algorithme Plug-in, a t mis en uvre et a permis d'amliorer la prcision des rsultats. Il est important de noter que les qualits en termes de temps de calcul du Plug-in rapide ont donn la possibilit d'explorer les performances des statistiques du paramtre de neutralit en multipliant dans un temps praticable les exprimentations relatives au calcul de son biais et de sa variance. Plusieurs perspectives sont prendre en compte la suite de ces travaux aussi bien dans les orientations thoriques qu'applicatives. Les densits de probabilit bornes peuvent tre estimes en liminant le phnomne de Gibbs par la mthode du noyau diffomorphisme. L'application de l'algorithme Plug-in pour l'estimation du paramtre de lissage optimal peut tre ralise. Des premiers essais donnent des rsultats intressants mritant d'tre approfondis. Le cas multivari qu'il soit born ou pas est appel tre tudi de manire similaire. Toutefois, la gnralisation, du moins au cas bivari, ne semble pas aise pour au moins deux raisons. Le dveloppement limit de l'EQMI dans le cas le plus simple (non born) semble introduire plus d'un paramtre puisque les drives partielles d'ordre 2 sont en nombre gal 3. La seconde raison est notre avis d'ordre plutt gomtrique puisque les domaines borns ou semi-borns du plan rel (cas bivari) comportent ds lors une multitude de topologies telles que les domaines non rectangulaires, les domaines non simplement connexes (comportant des trous)Cela a pour consquence de rendre difficile la construction de diffomorphismes (changement de variable) entre ce type de domaine et le plan rel. Toutefois, l'aide d'artifices aboutissant des mthodes comportant des

-90-

Conclusion gnrale

imperfections, nous pensons pouvoir proposer dans nos futurs travaux des solutions apportant une certaine amlioration. A titre indicatif, concernant la limitation provenant de la diversit gomtrique des domaines multidimensionnels, il est toujours possible de considrer des domaines plus larges de formes relativement simples contenant le vrai support. Grce des mthodes numriques, la construction de diffomorphismes sur l'enveloppe convexe du domaine pourrait faire l'objet de travaux futurs. Il est bien connu que l'estimation dans le cas multivari, comme dj voqu, requiert des tailles d'chantillon leves et souvent non praticables. La rduction de dimension est souvent retenue dans de telles situations. Les algorithmes bass sur les matrices de dispersion tel que le critre de Fisher sont les plus utilises en raison de leur simplicit de mise en uvre et la faible complexit algorithmique qu'ils prsentent. Cependant, dans la majorit des configurations, les rsultats de rduction de dimension aboutissent des solutions non optimales. Il est maintenant bien tabli que l'une des raisons cela est la manire selon laquelle les donnes occupent l'espace d'observation. Comme nous l'avons signal dans ce document le recours aux statistiques d'ordre suprieur ou mieux encore toute la caractrisation stochastique par l'utilisation des fonctions caractristiques ou des densits de probabilit conjointes dans les critres tels que les distances en probabilit ne peut qu'aboutir des rductions de dimension tendant tre optimales. Cela ouvre un champ d'applications fondamentales au prsent travail. Il est reconnu que les grands enjeux venir vont de plus en plus porter aussi bien sur les progrs technologiques que sur l'amlioration et la prservation de la qualit de la vie humaine. Sont essentiellement cits, le secteur de l'environnement, le dveloppement durable, la prvention des catastrophes naturelles, la sant Toutes les applications dveloppes au service de tels objectifs demandent de plus en plus de matrise des alas. La dtermination de manire prcise, rigoureuse et rapide des distributions des paramtres et des grandeurs physiques numrises par les moyens informatiques demeureront un challenge technologique et scientifique de premier rang. Notre contribution l'analyse des estimateurs de densit de probabilit non paramtriques trouverait des perspectives d'application dans ces domaines essentiels.

-91-

ANNEXE 1

var f N

var

1 Nh N

K
i 1

Xi hN

1
2 N 2 hN

var
i 1

K
x

Xi hN

N
2 N 2 hN

var K

X1 hN

1
2 NhN

var K

X1 hN
2

1
2 Nh N

E K

X1 hN

E K

X1 hN
2

1
2 Nh N

x y f y dy hN

x y K f y dy hN

En ayant recours au changement de variable suivant : u variance devient :

x y , l'expression de la hN

var f N

1
2 NhN

K 2 u f x hN u hN du
K 2 u f x h N u du 1 N

K u f x hN u hN du
K u f x h N u du
2

1 Nh N

[Eq. 1]

Dans un second temps, l'expression de E f N est analyse.


E fN E 1 Nh N
N

K
i 1

Xi hN

1 E NhN

K
i 1

Xi hN

-93-

Annexe 1

x X1 N E K Nh N hN
1 hN K x y f y dy hN x y hN

En ayant recours au mme changement de variable, savoir : u

E fN

1 hN

K u f x uhN h N du

K u f x uhN du

L'expression du biais devient alors :

E fN

K u f x uhN du K u f x uhN

K u f x du
2

[Eq. 2]

f x du

Les quations 1 et 2 permettent d'exprimer l'EQM de la manire suivante:

E fN

1 Nh N

K 2 u f x hN u du f x du
2

K u f x uhN

1 N

K u f x hN u du

= AN(x) + BN(x) - CN(x) avec :

AN x
BN x

1 NhN

K 2 u f x hN u du
f x du
2
2

K u f x uhN

CN x

1 N

K u f x hN u du

Le dveloppement de Taylor permet d'exprimer f x hN u comme suit:

f x hN u f x hN uf ' x
< 1.

u2 2 hN f " x 2

3 u 3 hN f 6

hn u

avec 0 <

-94-

Annexe 1

AN (x), BN (x) et CN (x) peuvent alors tre approximes par :


AN x f x Nh N K 2 u du

BN x

4 f ' x hN

uK u du

f '' x 2 hN 2

u 2 K u du

CN x

f2 x N

Le noyau K tant une densit de probabilit symtrique d'ordre 2 de moyenne 0 et de variance 1, le biais B N x L'EQMI devient alors gal :
AN x BN x C N x dx

f ' '2 4 hN 4

En notant par M K

K 2 u du et J f

f" x

dx

avec f" la drive seconde de f , l'EQMI peut tre approch en fonction de hN par

hN .
EQMI hN M K Nh N
4 J f hN 4

[Eq.3]

Pour minimiser

h N , il suffit de rsoudre l'quation


3 hN J ( f )

' (h N ) 0 .

' hN

M (K )
2 NhN

* La valeur optimale de hN note h N devient alors :


1 5. 1 5. 1 5

* hN

J f

M K

[Eq. 4]

-95-

Annexe 2

pe, N

1 NhN
0

K
i 1

x Xi hN
N

E pe, N

1 NhN

E K
i 1

x Xi hN

dx

x X1 1 NE K NhN hN 1 hN K

dx

x u f u du dx hN

En posant t

x u / hN , on obtient :
0

E pe , N

1 hN

K t f x hN t dt hN dx K t f x hN t dt dx

Par dveloppement limit de f(x),


2 hN t 2 f" x 2

f x hN t

f x

hN t f ' x

3 O hN t 3

-97-

Annexe 2

Ainsi,

E pe , N

(K t (f x

f x

hN t f ' x

2 hN t 2 f" x 2

3 O hN t 3

dt ) dx

K t dt hN f ' x

t K t dt

2 hN f" x 2

3 t 2 K t dt )dx O hN t 3

Pour un noyau K centr en 0 et de variance 1, comme c'est le cas pour le noyau

gaussien, E pe , N
Comme hN

f x dx

2 hN f' 0 2

3 O hN t 3

0 lorsque N
0

+ , alors :

lim E pe, N

f x dx

pe

-98-

Annexe 3

L'expression de l'estimateur du BER tant donne par :


0

pe, N

1 NhN

K
i 1

x Xi , hN

Sa variance s'exprime par :


0

Var pe , N

Var

1 NhN
0

K
i 1

x Xi hN dx

dx

1 Var 2 NhN
0

x X1 hN

Posons A

x X1 dx . hN

Afin de dterminer Var (A ), nous devons dterminer E A et E A2 .

On peut remarquer que : E A

hN E pe, N .

Ce qui nous permet d'approximer E A par :


3 hN f' 0 2

E A

hN pe +

3 hN O hN

-99-

Annexe 3

E A2

x X1 dx hN

y X1 dy hN

Dans le cas du noyau Gaussien,

x X1 K hN

y X1 hN

X1

x y 2

hN / 2

x y 2hN

Soit le changement de variable suivant :

v, w

x y 2

,x y

E A2 s'exprime alors par :


x y 2

E A2

K
0

X1

hN / 2 K

x y dx dy 2hN w dv dw 2hN

X1 v K hN / 2 X1 v dv hN / 2

2hN 2hN

K
0

u R

u x dx f u du hN / 2

En considrant le changement de variable suivant :

u x , on obtient : hN / 2
0 t R

E A2

2 hN

K t f

x thN 2

dtdx

f tant 2 fois drivable, il est possible de dvelopper en srie de Taylor le terme

x thN 2

qui s'crit :

-100-

Annexe 3

x thN 2

f x

thN 2

f' x

2 t 2 hN f" x 4

3 O t 3 hN

Par ailleurs, le noyau Gaussien tant symtrique centr en 0 et de variance 1,

E A 2 s'crit :
tK t hN 2
2 t 2 K t hN f " x dtdx 4

E A2

2 hN

0 t R 0

K t f x
2 N

f' x

2 hN

f x dx
2 hN f' 0 4

h f' 0 4
5 O hN

5 O hN

2 hN pe

Ainsi, on peut calculer la variance de l'estimateur du BER :

Var pe , N

E A2

E A

1 2 hN pe 2 NhN pe 1 pe N
Comme hN 0 lorsque N

2 hN f' 0 4 2 hN f' 0 N

hN pe 1 4 pe

3 hN f' 0 2 4 hN f' 0 4N 2

1 5 O hN N

+ ,

lim Var pe, N

-101-

Annexe 4

E
E

pe, N
pe , N

pe
pe

E
E 2E

pe, N
pe , N pe, N

E pe, N + E pe, N
E pe, N E pe, N
2

pe

+ E pe, N E pe, N pe

pe

Or, E

pe, N

E pe , N

E pe , N

pe

Cela implique que : E pe, N pe


2

=E

pe , N

E pe, N

+ E pe , N

pe

Comme pe, N est un estimateur sans biais de pe, E pe, N


N + .

pe

0 lorsque

De mme l'tude de la variance de l'estimateur a montr que la variance de

pe, N tend vers 0 lorsque N


Ainsi, lim E
N

+ .

pe , N

pe

pe, N est donc un estimateur consistant.

-103-

LISTE DES ILLUSTRATIONS

Figure 1- Histogramme avec pas optimal........................................................... 9 Figure 2 - Histogramme avec pas infrieur au pas optimal................................ 9 Figure 3 - Histogramme avec pas suprieur au pas optimal............................. 10 Figure 4 - Estimateur noyau avec hN infrieur au pas optimal ..................... 14 Figure 5 - Estimateur noyau avec hN suprieur au pas optimal .................... 15 Figure 6 - Estimateur noyau avec hN optimal ............................................... 15 Figure 7 -Estimation d'une loi exponentielle par la mthode du noyau. .......... 22 Figure 8 -Estimation d'une loi exponentielle par la mthode du noyau diffomorphisme .............................................................................................. 22 Figure 9 -Estimation d'une loi uniforme par la mthode du noyau diffomorphisme .............................................................................................. 23 Figure 10 -Estimation d'une loi uniforme par la mthode du noyau diffomorphisme .............................................................................................. 23 Figure 11 -Schma descriptif de l'algorithme Plug-in...................................... 33 Figure 12 -G1 en fonction de la mthode de slection de hN ........................... 38 Figure 13 -G2 en fonction de la mthode de slection de hN ........................... 38 Figure 14 -G3 en fonction de la mthode de slection de hN ........................... 39 Figure 15 -G4 en fonction de la mthode de slection hN ................................ 39 Figure 16 -G5 en fonction de la mthode de slection de hN ........................... 40 Figure 17 -G6 en fonction de la mthode de slection de hN ........................... 40 Figure 18 -G7 en fonction de la mthode de slection de hN ........................... 41 Figure 19 -G8 en fonction de la mthode de slection de hN ........................... 41 Figure 20 - Evolution de l'EQMI de G1 en fonction du nombre d'itrations. .. 44

-105-

Liste des illustrations

Figure 21 -Evolution de l'EQMI de G2 en fonction du nombre d'itrations. ... 44 Figure 22 -Evolution de l'EQMI de G3 en fonction du nombre d'itrations. ... 45 Figure 23 -Evolution de l'EQMI de G4 en fonction du nombre d'itrations. ... 45 Figure 24 -Evolution de l'EQMI de G5 en fonction du nombre d'itrations. ... 46 Figure 25 -Evolution de l'EQMI de G6 en fonction du nombre d'itrations. ... 46 Figure 26 -Evolution de l'EQMI de G7 en fonction du nombre d'itrations. ... 47 Figure 27 -Evolution de l'EQMI de G8 en fonction du nombre d'itrations. ... 47 Figure 28 -Schma descriptif de l'algorithme Plug-in rapide........................... 54 Figure 29 -G1 en fonction de la puissance de hN. ............................................ 56 Figure 30 -G3 en fonction de la puissance de hN. ............................................ 56 Figure 31 -G5 en fonction de la puissance de hN. ............................................ 57 Figure 32 - G7 en fonction de la puissance de hN. ........................................... 57 Figure 33 -G8 en fonction de la puissance de hN. ............................................ 58 Figure 34 -Estimation par la mthode du noyau avec dtermination de hN par Plug-in usuel et Plug-inrapide. ......................................................................... 59 Figure 35 -Plug-inet Plug-in rapide : EQMI en fonction de la taille d'chantillon...................................................................................................... 60 Figure 36 -Modle de transmission en CDMA ................................................ 65 Figure 37 -Modle de Rception pour une transmission CDMA..................... 65 Figure 38 - Estimation du BER pour des valeurs RSB faibles......................... 72 Figure 39 -Estimation du BER pour des valeurs RSB leves......................... 73 Figure 40 -Evolution du BER-MMC et du BER-MEDP selon le RSB............ 74 Figure 41 BER-MMC et BER-MEDP selon RSB pour un faible nombre de symboles gnrs.............................................................................................. 75 Figure 42 -Gnalogie d'un gne cinq allles................................................ 78 Figure 43 -Densit de probabilit de la population Sened par le noyau Plug-in et Plug-in rapide................................................................................... 85 Figure 44 -Densit de probabilit de la population Testour par le noyau Plug-in et Plug-in rapide................................................................................... 85

-106-

LISTE DES TABLES


Tableau 1 - Exemples de noyaux d'ordre 2 ...................................................... 13 Tableau 2 - Caractristiques des densits de probabilit testes ...................... 37 Tableau 3 - EQMI en fonction de la mthode de slection de hN..................... 42 Tableau 4 -Evolution de l'EQMI en fonction du nombre d'itrations. ............. 43 Tableau 5 -EQMI, Ecart Types et valeurs extrmes......................................... 48 Tableau 6 - EQMI en fonction de la puissance de hN ....................................... 55 Tableau 7 -EQMI et variance de l'EQMI par Plug-in et par Plug-in rapide..... 59 Tableau 8 -Probabilit d'erreur estime par MMC et MEDP........................... 72 Tableau 9 Evolution du BER-MEDP selon le nombre de symboles gnrs.............................................................................................. 75 Tableau 10 -Caractristiques des populations de Sened et de Testour............. 84 Tableau 11 -Valeurs moyennes de P[D<Dp] selon le Plug-in et le Plug-in rapide ........................................................................................... 86

-107-

BIBLIOGRAPHIE

[Ard94] [Ban93]

P. Ardilly, Les techniques de sondage, Edition Tehcnip, 1994. C. Banga et F. Ghorbel, L'chantillonnage bootstrap pour la segmentation non supervise d'images relles, XXVmes journes de statistiques, Socit de Statistiques de France, Vannes, 24-28, Mai 1993.

[Bea80]

S.J. Bean and C.P. Tsokos, Developments in non parametric density estimation, International Statistical Review, Vol. 48, pp. 267-287, 1980.

[Ban95]

C. Banga, L'approche bootstrap en analyse des images : Application la restitution de la cintique de la fuite dans la choriortinopathie sreuse centrale, Thse de doctorat, Universit de Rennes 1, 22 fvrier 1995.

[Bow84] A. W. Bowman, An alternative method of cross-validation for the smoothing of density estimates, Biometrika, Vol. 71, pp. 353-360, 1984. [Bow97] A.W. Bowman and A. Azzalini, Applied Smoothing Techniques for Data Analysis in Oxford University Press, 1997. [Cav67] L. Cavalli-Sforza and Marcus W. Feldmans, Phylogenetic analysis : Models and estimation procedures, American Journal Of Human Genetics, Vol. 19, N 3, pp. 233 257, May 1967. [Chi91] S.T. Chiu, Bandwidth selection for Kernel Density Estimation, Annals of statistics, Vol. 19, pp. 1883 1905, 1991. [Deh77] P. Deheuvels, Estimation non paramtrique de la densit par histogrammes gnraliss, Revue de statistiques appliques, Vol. 25, pp. 5 42, 1977. [Dev84] L. Devroye and L. Gyrfi, Non parametric density estimation: The L1-view, Wiley, New York, 1984. [Dha92] D. S. Modha and Y. Fainman, A learning law for density estimation, IEEE trans. On neural networks, Vol. 5, N 3, pp. 519 523, 1992.

-109-

Bibliographie

[Dui76]

R.P.W. Duin, On the choice of the smoothing parameters of Parzen estimators of probability density functions, IEEE transactions on computers, Vol. 25, pp. 1175 1179, 1976.

[Ef79a]

B. Efron, Bootstrap methods: Another look at the jackknife, Annals of statistics, Vol. 7, pp. 1 26, 1979.

[Ef79b]

B. Efron, Computers and the theory of statistics: Thinking and unthinkable, SIAM review, Vol. 21, pp. 460 480, 1979.

[Efr83]

B. Efron, Estimating the Error rate of a prediction rule: Improvement on Crossvalidation, Journal of the American Statistical Assosiation, Vol. 78, pp. 316 331, 1983.

[Ewe72]

W. J. Ewens, The sampling theory of selectively sampling alleles, Theoretical population biology, Vol. 3, pp. 87 112, 1972.

[Fad04] [Fis97] [Fle87] [Fle99]

K. Fadhlaoui-Zid, Mitochondrial DNA heterogeneity in Tunisian berbers, Annals of Human Genetics, Vol. 68, pp. 222 233, 2004. G.S. Fishmon, Mont Carlo, Edition Springer, 1997. R. Fletcher, Practical Methods of Optimization, Wiley, New York, 1987. B.H. Fleury, M. Tschudin, R. Heddergott, D. Dahlhaus, K.I. Pedersen, Channel parameter in mobile radio environments using the SAGE algorithm, IEEE J. Select. Areas Commun, Vol. 17, pp. 434 450, 1999.

[Fu 93]

Y. X. Fu & W. H. Li, Statistical tests of neutrality of mutations, Genetics, Vol. 133, pp. 693 709, 1993.

[Fu 97]

Y. X. Fu, Statistical tests of neutrality of mutations against population growth, hitchhiking and background selection, Genetics, Vol. 147, pp. 915 925, 1997.

[Gho90]

F. Ghorbel , Vers une approche unifie des aspects gomtriques et statistiques de la reconnaissance de formes planes, Thse de doctorat, Universit de Rennes I, 1990.

[Gho94] F. Ghorbel et C. Banga, Bootstrap sampling applied to image analysis, Invited paper, Special session, IEEE-ICASSP 94, Octobre 1994, Adelade, South Australia, Volume 6, pp 81-84, 1994. [Har91] W. Hrdle, Smoothing Techniques with implementation in S, Springer, New York, 1991. [Har92] W. Hrdle and D.W. Scott, Smoothing by weighted averaging of rounded points, Computational statistics, Vol. 7, pp. 97 128, 1992.

-110-

Bibliographie

[Hal82]

P. Hall, Comparison of two orthogonal series methods of estimating a density and its derivatives on interval. J. Multivariate anal., Vol. 12, pp. 432 449, 1982.

[Ha87a] P. Hall, J.S. Marron, Extent to which Least-Squares Cross-Validation Minimises Integrated Square Error in Non Parametric Density Estimation, Probability Theory and related fields., Vol. 74, pp. 567 581, 1987. [Ha87b] P. Hall, J.S. Marron, Estimation of integrated squared density derivatives, Statistics &Probability letters, Vol. 6, pp. 109 115, 1987. [Hal88] P. Hall, M.P. Wand, Minimizing L1 distance in non parametric density estimation, Journal of Multivariate Analysis, Vol. 26, pp. 263 269, 1988. [Ha91a] P. Hall, J.S. Marron, Lower bounds for bandwidth selection in density estimation, Probability Theory and related fields., Vol. 90, pp. 149 173, 1991. [Ha91b] P. Hall, J.S. Marron, Local minima in cross-validation functions, Journal of the royal statistical society, Series B, Vol. 53, pp. 245 252, 1991. [Hom79] P. Hominal et P. Deheuvels, Estimation non paramtrique de la densit compte tenu d'informations sur le support, Revue de statistiques, Vol. 27, pp. 47 68, 1979. [Jer84] M.C. Jeruchim, Techniques of Estimating the Bit Error Rate in the Simulation of Digital Communications Systems, IEEE J. Select Areas. Comm, Vol. 2, n 1, 153 170, Jan. 1984. [Jon92] L.K. Jones, A simple lemma on greedy approximation in Hilbert space and convergence rates for projections pursuit regression and neural network training, Ann. stat., Vol. 20, n 1, 608 - 613, 1992. [Jon96] M.C. Jones, J.S. Marron and S.J. Seather, A brief survey of bandwidth selection for density estimation. J. Amer. Stat. Assoc, 91, 401 407, 1996. [Ken67] M.G. Kendall and A. Stuart, The advance theory of statistics, volume 2, ditions Charles Griffin & Co, chapitre 30, pp 149-464, London 1967. [Kin82] J. F. C. Kingman, The coalescent, Stochastic processes and applications, Vol. 13, pp. 234 248, 1982. [Kon96] S. Kondo, L. Milstein, On the performance of multi-carrier DS-CDMA systems, IEEE Trans. Commun, Vol. 44, pp. 238 246, 1996 [Koo91] C. Kooperberg and C.J. Stone, A study of logspline density estimation, Computational statistics & Data analysis, Vol. 12, pp. 327 347, 1991.

-111-

Bibliographie

[Kor68]

G. A. Korn & T. M. Korn, Mathematical handbook for scientists and engineers, Editions Mc Graw-Hill, 1968.

[Kro68]

R. Kronmal and M. Tarter, The estimation of probability densities and cumulatives by Fourier series methods, Journal Amer. Statist. Assoc., n 63, 925 - 952, 1968.

[Kul59] [Lau68]

S. Kulback, Information theory and statistics, Editions Wiley, New York, 1959. P. Lauchenbraun and M. Mickey, Estimation of error rate in discriminant analysis, Technometrics, Vol. 10, pp. 1 11, 1968.

[Lep03]

R. Lepage and B. Solaiman, Les rseaux de neurones artificiels et leurs application en imagerie et en vision par ordinateur, Universit du Qubec, Ecole de technologie suprieur, 2003.

[Lik01]

A. Likas, Probability density estimation using artificial neural networks, Computer physics communication, Vol. 135, pp. 167 175, 2001.

[Mug04] A.R. Mugadi and A.A. Ibrahim, A bandwidth selection for kernel density estimation of functions of random variables, Computational statistics and data analysis, Vol. 47, pp 49-62, 2004. [Oja81] H., Oja, On location, scale, skewness and kurtosis of univariate distribution. Scand. J. Statist, vol. 8, 164 168, 1981. [Oja83] H., Oja, Descriptive statistics for multivariate distributions, Statistics and probability letters, vol. 1, 327 332, 1983. [Par62] E. Parzen, On estimation of a probability density function and mode, Annals of mathematical statistics, Vol. 33, 1065-1076, 1962. [Par90] B.U. Park and J.S. Marron, Comparison of data driver bandwidth selectors, Journal of the American Statistical Association, Vol. 85, pp. 66 - 72, 1990. [Pat69] E. A. Patrick and F. P. Fischer, Non parametric feature selection, IEEE transaction on information theory, vol. 15, 577 584, 1969. [Poo97] H.V. Poor and S. Verdi, Probability of error in MMSE multiuser detection, IEEE trans. Inform. Theory, Vol. 43, N3, pp. 858 871, 1997. [Roz56] M. Rozenblatt, Remarks on some non-parametric estimates of a density function. Annals of mathematical statistics 27, 832-837, 1956. [Rob67] M. Robertson, On estimating a density which is measurable with respect to a lattice. Annals of mathematical statistics 38, 482-493, 67.

-112-

Bibliographie

[Rub81]

R.Y. Rubinstein, Simulation and the Mont Carlo Mthod, Edition John Wiley & sons, 1981.

[Sao 92]

S. Saoudi, J.M. Boucher and A. Le Guyader, A new efficient algorithm to compute the LSP parameters for speech coding, Signal Processing, Vol. 28, pp 201-212, 1992.

[Sao94]

S. Saoudi, F. Ghorbel, A. Hillion, Non parametric probability density function estimation on a bounded support: applications to shape classification and speech coding, Applied Stochastic Models and Data Analysis, Vol.10, 215-231, 1994.

[Sao97] S. Saoudi, F. Ghorbel, A. Hillion, Some statistical properties of the Kerneldiffeomorphism estimator, Applied Stochastic Models and Data Analysis, Vol. 10, pp. 39-58, 1997. [Sao09] S. Saoudi, M. Troudi, F. Ghorbel, A new iterative soft Bit Error Rate estimation of any digital communication system using a non parametric probability density function, EURASIP Journal on Wireless Communications and Networking, accepted on March 2009. [Sco77] D.W. Scott, R.A. Tapia and J.R. Thompson, Kernel density estimation revisited, Non linear analysis, theory, methods and applications, Vol. 1, pp. 339 372, 1977. [Sco87] D.W. Scott and G.R. Terrel, Biased and unbiased cross-validation in density estimation, Journal of the American statistical association, Vol. 82, pp. 1131 1146, 1987. [Sha62] C.E. Shannon and W. Weaver, The mathematical theory of communication, Urbana, IL: University of Illinois Press, 1962. [Sil86] B.W. Silverman, Density Estimation for Statistics and Data Analysis in Chapman & Hall, London, U.K, 1986. [Taj83] F. Tajima, Evolutionary relationships of DNA sequences in finite populations, Genetics, Vol. 105, pp. 437 460, 1983. [Taj89] F. Tajima, Statistical method for testing the neutral mutation hypothesis by DNA polymorphism, Genetics, Vol. 123, pp. 585 595, 1989. [Tan93] M. Tanda, Bit error rate of DQPSK signals in slow nakagami fading, Electronics letters, Vol. 29, pp. 134 136, 1993. [Ter90] G.R. Terrel, The maximal smoothing principle in density estimation, Journal of the American statistical association, Vol. 85, pp. 470 477, 1990.

-113-

Bibliographie

[Til01] [Tro04]

Y. Tille, Thorie des sondages, Edition DUNOD, 2001. M. Troudi, Analyse stochastique de donnes gntiques, Mmoire de Mastre, Universit de Sfax, Juillet 2004.

[Tr06a]

M. Troudi et S. Saoudi, Gnration d'arbres alatoires pour la simulation de populations gntiquement neutres, AMINA, Monastir-Tunisie. 16-18 Novembre 2006.

[Tr06b]

M. Troudi, S. Saoudi et F. Ghorbel, Un nouvel algorithme itratif pour l'ajustement de distributions statistiques : Application des donnes gntiques, IEEE ISIVC, Hammamet-Tunisie, 13-15 Septembre 2007

[Tr07a]

M. Troudi, A. M. Alimi et S. Saoudi, Un algorithme rapide d'estimation des densits de probabilit bas sur le Plug-in: Application des donnes gntiques, Gretsi, Troyes-France, 11-14 Septembre 2007

[Tr07b]

M. Troudi, A. M. Alimi and S. Saoudi, Fast Plug-in Method for Parzen Probability Density Estimator Applied to Genetic Neutrality Study, IEEE EUROCON 2007, VarsoviePologne, 9 - 12 Septembre 2007.

[Tr08a]

M. Troudi, A. M. Alimi and S. Saoudi, Analytical Plug-in Method for Kernel Density Estimator Applied to Genetic Neutrality Study, Eurasip Journal of advances in Signal Processing (Eurasip-JASP), Volume 2008, Article ID 739082, 8 pages doi: 10.1155/2008/739082.

[Tr08b]

M. Troudi, A. M. Alimi and S. Saoudi, Estimation of Bit Error Rate for CDMA systems by Plug-in Method for Kernel Density Estimator, ISIVC, Bilbao-Spain, 0911 July 2008.

[Ver98] [Wat74]

L.K. Jones, Multiuser Detection, Cambridge University Press, UK, 1998. G. A. Watterson, On the number of segregating sites in genetical models without recombination, Theoretical population biology, vol 7, pp. 256 276, 1974.

[Web81] C. L. Weber, G. K. Huth, B. Baston, Performance consideration on code division multiple access, IEEE trans on Vehicular Technology, Vol. 30, pp. 3 9, 1981. [We70a] C. Wegman, Maximum likehood estimation of a unimodal density I, Ann. Math. Stat., Vol. 41, pp. 457 471, 1970. [We70n] C. Wegman, Maximum likehood estimation of a unimodal density II, Ann. Math. Stat., Vol. 41, pp. 2169 2174, 1970.

-114-

Bibliographie

[Whi92]

H. White, Parametric statistical estimation with artificial neural networks, Mathematical perspectives of neural networks: approximation and learning theory, Blackwell, Oxford.

[Won83] W. Wong, A note on the modified likelihood for density estimation, Journal of the American Statistical Association, Vol. 78, pp. 461 463, 1983. [Wri37] S. Wright, The distribution of gene frequencies in populations, Genetics, vol 23, pp. 307-320, 1937. [Yac99] B. Yacoubi Loueslati, Etude du polymorphisme des immunoglobulines et de lADN mitochondrial dans la population de lle de Jerba, thse de doctorat, Universit de Tunis Al Manar, Facult des sciences, 1999. [Yan05] Yang, C., Duraiswami, R., Davis, L., 2005. Efficient kernel machines using the improved fast Gauss transform, Advances in Neural Information Processing Systems, 1561 1568.

-115-

Ce document t cre avec Win2pdf disponible http://www.win2pdf.com/fr La version non enregistre de Win2pdf est uniquement pour valuation ou usage non commercial.

You might also like