Professional Documents
Culture Documents
INTRODUCTION ________________________________________________ 1 CHAPITRE 1 ETAT DE L'ART DES ALGORITHMES D'ESTIMATION PONCTUELLE ___________________________________ 5 1 2 3 4 5 6 7 L'ESTIMATEUR DE LA DENSITE DE PROBABILITE _________________ 6 THEOREME DE LHISTOGRAMME ET CONVERGENCE ______________ 7 ESTIMATION PAR LES FONCTIONS ORTHOGONALES _______________ 10 METHODE DU K-PLUS PROCHE VOISIN __________________________ 11 ESTIMATEUR A NOYAU ______________________________________ 12 METHODE DU NOYAU DIFFEOMORPHISME _______________________ 18 ESTIMATION NON PARAMETRIQUE PAR
LES RESEAUX DE NEURONE
___________________________________ 24
CONCLUSION ______________________________________________ 28
MTHODES RULE OF THUMB (ROT) ____________________________ 29 METHODES CROSS-VALIDATION ______________________________ 30 ALGORITHME DU PLUG-IN ___________________________________ 32 EVALUATION DES PERFORMANCES DES METHODES PLUG-IN,
ROT ET CROSS VALIDATION ___________________________________
34
5 6
CHAPITRE 3 PROPOSITION D'UN ALGORITHME PLUG-INRAPIDE ________________________________________________ 51 1 Approximation analytique de J(f) dans le cas du noyau optimal ___________________________________________ 51 2 3 4 5 6 Algorithme itratif du noyau optimal analytique_________________ 53 Etude de la complexit ______________________________________ 54 Dtermination exprimentale de la puissance de hN ______________ 55 Etude comparative entre le Plug-in et le Plug-in rapide ___________ 58 Conclusion ________________________________________________ 60
CHAPITRE 4 APPLICATION A L'ESTIMATION DU TAUX DERREUR DANS LA NORME UMTS 1 2 _________________________________________________ 63 SIMULATION MONTE CARLO _________________________________ 64 ESTIMATION DU BER PAR LA DENSITE DE PROBABILITE
DU SIGNAL REU ____________________________________________
67
ETUDE DES PERFORMANCES DE L'ESTIMATEUR __________________ 69 3.1 3.2 3.3 Etude du biais __________________________________________ 69 Etude asymptotique de la variance _________________________ 69 Etude asymptotique de la consistance_______________________ 69
______________________________________ 70
___________________________ 74
CONCLUSION ______________________________________________ 76
CHAPITRE 5 MISE EN UVRE D'UN SIMULATEUR D'ESTIMATION STATISTIQUE DE LA NEUTRALITE DES POPULATIONS ____________________________ 77 1 2 CONTEXTE DE L'ETUDE ______________________________________ 77 EVALUATION STATISTIQUE DE LA NEUTRALITE DES POPULATIONS___ 78 2.1 Estimation de 2.2 Estimateur de partir des sites polymorphes S ______________ 79 par Tajima ________________________________ 79
2.3 Test statistique de neutralit de Tajima_______________________ 81 2.3.1 2.3.2 3 Principe du test ______________________________________ 81 Evaluation de la neutralit ____________________________ 83
84
CONCLUSION ______________________________________________ 86
CONCLUSION GNRALE _______________________________________ 89 ANNEXE 1 ANNEXE 2 ANNEXE 3 ANNEXE 4 _________________________________________________ 93 _________________________________________________ 97 _________________________________________________ 99 _________________________________________________ 103
INTRODUCTION
L'essor rcent des systmes sophistiqus de l'aronautique, des tlcommunications, de la mdecine, de la tldtection , est en partie la base d'un besoin de dveloppement de rsolutions numriques des mthodes statistiques les plus complexes. L'estimation des densits de probabilit comptant parmi ces disciplines, est un des principaux domaines de l'approche statistique en reconnaissance de formes. Il est bien reconnu que depuis une cinquantaine d'annes la littrature abonde dans cette branche au niveau de son utilisation. La modlisation probabiliste des paramtres rgissant les systmes technologiques les plus complexes et les grandeurs physiques dcrivant des phnomnes scientifiques est souvent requise. La complexit des formulations analytiques demande une tude par simulation. On est souvent amen estimer les densits de probabilit de ces grandeurs supposes alatoires (La modlisation stochastique des rseaux, la classification des signaux, la hirarchisation des bases de donnes avances : moteurs de recherche multimdia, la classification des images ariennes pour l'observation de la terre, la biomtrie, la classification des gnomes). Toutefois, en reconnaissance de formes, un des objectifs principaux de l'estimation est la mise en place de classifieurs. La classification talon, connue sous le nom de rgle de Bays [Gho90] car obtenue par minimisation de la probabilit d'erreur a posteriori, exige l'estimation des densits de probabilit conditionnelles de l'observation. D'autre part, l'extraction de primitives descriptives des objets classer est une phase essentielle. La description de ces objets est d'autant plus fine que le nombre de primitives est lev. On se retrouve alors dans un cas multivari de grande dimension et nul n'ignore l'exigence des thormes de convergence en termes de taille d'chantillon pour des prcisions minimales. C'est pourquoi la rduction de dimension est une solution souvent retenue. Les plus rcents dveloppements en matire de slection des primitives se ralisent par l'estimation des densits de probabilit dans un cadre multivari de basse dimension. Parmi les critres d'optimisation amenant des rductions de dimension tenant compte des statistiques d'ordre suprieur, nous citons
-1-
Introduction
les distances en probabilit, domaine en pleine investigation comportant des problmatiques encore non rsolues quant ses rgles de convergence [Pat69]. Il va de soi que l'application directe de l'estimation de densit de probabilit permettant la caractrisation complte en termes probabilistes des grandeurs physiques ou des paramtres d'un systme demeure d'une importance primordiale. Ces quantits et ces paramtres descripteurs extraits de la ralit, comportant souvent des singularits topologiques provenant de leur formulation (grandeurs bornes ou semi bornes), a rcemment ouvert un champ d'tude dnomm estimation tenant compte d'informations sur le support [Sao94][Sao97][Hal82]. Dans cette perspective, nous contribuons l'affinement de cette mthode en proposant un algorithme amliorant la convergence. Les premiers essais de l'estimation des densits de probabilit ont port sur le cas paramtrique. Nous citons essentiellement le maximum de vraisemblance et la mthode des moments d'ordre infrieur ou gal quatre connue sous la dnomination du systme de Pearson [Oja81]. Cette modlisation paramtrique continue faire l'objet d'une attention particulire dans les grandes applications telles que la tldtection, la transmission de donnes, la compression audiovisuelle et la modlisation du trafic dans les plus rcents rseaux puisque elle est moyen de pertinence et de compression de donnes complexes. L'ide principale de cette approche est d'mettre des hypothses sur le type de loi des grandeurs (systme de variables alatoires) dcrivant les systmes. Son avantage rside dans la simplicit algorithmique de sa mise en uvre. En effet, elle se ramne l'estimation des paramtres caractristiques de la loi du systme de variables alatoires suppose appartenir la famille large des lois exponentielle (loi Gamma, Bta, normale, multinomiale, loi K,). Paralllement, se sont dveloppes les mthodes dites non paramtriques, l'histogramme [Deh77] reprsentant la plus ancienne et la plus rpute parmi celles-ci. Malgr la vulgarisation de son utilisation, ses thormes de convergence restent assez mal connus par les utilisateurs. Pour les faibles tailles d'chantillon et lorsque les rgles de convergence sont respectes, l'histogramme aboutit une fonction en escalier. Un cart par rapport au modle continu reprsent par la densit de probabilit hypothtique est toujours prsent. Afin de remdier un tel inconvnient Rozenblatt [Roz56] en 1956 a propos un estimateur bas sur la convolution de la loi empirique par une fonction noyau prise sous forme d'une densit de probabilit. Il
-2-
Introduction
aboutit une fonction densit suffisamment rgulire. Les premiers travaux sur la convergence dvelopps ultrieurement [Par62][Hal82] fournissent des rgles en apparence quivalentes celles de l'histogramme. Les rgularits de l'estimateur noyau (continuit, drivabilit d'ordre suprieur) ont ensuite montr sa supriorit en termes de convergence. Nous signalons au passage les tudes sur la moyenne quadratique intgre et celles faisant appel au point de vue L1 dveloppes
essentiellement par les travaux de Devroye et al [Dev84]. Les fonctions orthogonales, jouant un rle fondamental en analyse harmonique, ont permis la naissance de l'estimateur des projections. Assez tt, Hall [Hal82] et d'autres ont pris en charge les tudes asymptotiques de cet estimateur prsentant un certain nombre de rgularits souhaitables, proches de celles de la mthode du noyau. La mthode des fonctions orthogonales prsente deux avantages essentiels. D'une part, elle s'adapte au type de support des grandeurs alatoires par le choix de la base convenable. D'autre part, sa gnralisation au cas multivari se fait de manire aise en considrant les produits tensoriels de ces fonctions de base. La convergence de toutes ces mthodes est directement dpendante du choix adquat d'un paramtre appel paramtre de lissage, fonction de la taille de l'chantillon. Cela a donn naissance un ensemble de procdures inspires des dveloppements limits des critres dcrivant la qualit de l'estimateur [Jon96] (Rot, cross validation, pas variable de P. Hominal.). Le Plug-in, algorithme itratif compte parmi ces mthodes et fera l'objet d'une attention particulire dans les travaux de cette thse [Hal87]. Nous contribuons par la proposition d'une version rapide de cet algorithme en introduisant un calcul analytique au niveau d'une de ses tapes. Rcemment, une adaptation de l'estimateur noyau tenant compte d'informations sur le support a t introduite [Sao94][Sao97]. Il s'agit d'un estimateur intgrant un changement de variable convenablement choisi et adapt la nature du support dnomm Noyau diffomorphisme. Ce dernier allie les avantages de rgularit de l'estimateur originel, de ses qualits de convergence et de son adaptation la nature topologique du support de donnes. Ce manuscrit est organis selon cinq chapitres. Le premier prsente un tat de l'art conceptuel, accompagn de simulations illustrant les principaux algorithmes
d'estimation ponctuelle rencontrs dans la littrature. Une attention particulire sera porte sur l'tude asymptotique de l'estimateur noyau dans ses deux variantes. Un
-3-
Introduction
accent particulier sera mis sur les dveloppements relatifs au critre de l'cart quadratique moyen intgr optimisant le type de noyau et le paramtre de lissage. Le second chapitre est consacr une description des travaux lis l'optimisation du paramtre de lissage, appel plus communment pas, pour la mthode du noyau. Les principales procdures algorithmiques d'ajustement de ce pas y sont dcrites. Une tude comparative comportant des simulations sur une panoplie de lois reprsentatives permet de souligner l'intrt thorique et pratique de l'algorithme Plug-in. Une premire contribution consistant en la proposition d'un algorithme itratif rapide pour la recherche du pas optimal intgrant un dveloppement analytique dans l'algorithme Plug-in est introduit dans le troisime chapitre. La complexit est analyse puis compare celle du Plug-in usuel d'un point de vue aussi bien conceptuel qu'exprimental. L'exprimentation dans ce mme chapitre ne concernera que les procdures de simulation. Deux chapitres ultrieurs permettront de confronter de tels dveloppements des cas rels manant d'exemples tirs de procdures contribuant la mise en uvre de grandes applications intressant l'activit humaine. Nous proposons dans un quatrime chapitre, d'valuer les performances d'un systme de communication de type UMTS par l'estimation de la probabilit d'erreur apparente plutt que par le taux d'erreur binaire puisque la premire s'exprime en fonction de la densit de probabilit des signaux reus permettent ainsi de rduire de manire significative le temps de calcul particulirement lorsque le rapport signal bruit est lev. Dans le cinquime chapitre, un simulateur de populations gntiquement neutre est mis en uvre. L'application du Plug-in analytique y est intgre permettant ainsi d'amliorer les performances en termes de prcision et de complexit.
-4-
Les diffrentes mthodes d'estimation des densits de probabilit rpertories lors de l'tude de l'tat de l'art se subdivisent en deux catgories : Les mthodes paramtriques et les mthodes non paramtriques. L'approche paramtrique pour l'estimation des densits de probabilit se base sur l'hypothse que la densit de probabilit suit une loi connue (loi normale, loi bta, loi Gamma etc.). Les paramtres de ces lois peuvent tre estims par certaines mthodes parmi lesquelles nous citerons les mthodes du maximum de vraisemblance [Rob67][We70a][We70b] ou encore l'estimation des moments d'ordre 3 et 4 (skewness et Kurtosis)[Oja81]. Cependant, lorsque la densit de probabilit est a priori inconnue, il est prfrable d'viter de faire des hypothses sur une des lois connues. Les mthodes non paramtriques reprsentent une alternative intressante, la plus connue tant la mthode de l'histogramme. La mthode du noyau, la mthode des fonctions orthogonales ainsi que la mthode des k plus proches voisins [Bow87][Hal82][Sil86] sont galement frquemment utilises dans la littrature et permettent d'estimer les densits de probabilit sans faire d'hypothses a priori sur les lois. Ce chapitre est ddi la prsentation des diffrentes mthodes non paramtriques pour l'estimation des densits de probabilit ci-dessus cites. Des simulations ont t menes afin d'illustrer l'importance du choix du paramtre de lissage pour une
-5-
estimation correcte des densits de probabilit. Le chapitre 7 traite quant lui des tentatives ralises dans la littrature pour l'estimation des densits de probabilit l'aide des rseaux de neurones. Les rsultats obtenus sont cependant limits et encore peu probants.
Soit (X1,X2,,XN) les N ralisations dune variable alatoire X ayant pour densit de probabilit f inconnue. Nous nous intressons lestimation du paramtre f partir de lobservation (X1,X2,,XN). Dfinition :
x1 ,......, x n
R f N x1 ,....., x n ; x
fN x
Lvaluation de la qualit dun estimateur exige de mesurer la proximit entre la densit relle et la densit estime. Pour cela, il est possible davoir recours diffrentes normes parmi lesquelles nous citerons : La norme de la convergence simple :
fN
f
x
fN x
f x
La convergence uniforme :
fN
sup f N x
f x
La convergence L2 :
fN
2 L
2
fN x
f x
dx
La norme de convergence simple et la convergence uniforme font partie des normes L1 qui, bien que prsentant des proprits intressantes, sont extrmement dlicates manipuler au niveau des calculs. Les normes L2, plus faciles manipuler, sont quant elles plus gnralement utilises.
-6-
Dans ce mmoire, les performances des estimateurs de densit de probabilit tudis seront values selon deux distances : LErreur Quadratique Moyenne (EQM)
EQM
fN
f
x
E fN x
f x
EQMI
fN
f
x
dx
fN x
f x
dx
La mthode de l'histogramme est la plus connue des mthodes d'estimation non paramtrique des densits de probabilit. Elle consiste subdiviser l'espace image de la variable alatoire en une partition. Dans le cas o l'espace image est la droite
relle, cette dernire est divise en intervalles de mesure constante hN : Il sagit du pas de lhistogramme.
( Soit I k N ) , le kme intervalle de lhistogramme.
( I kN )
a khN , a
k 1 hN
a kN , a kN1
Le nombre de points de lchantillon se trouvant dans cet intervalle est not par N k ,
avec
N k
1I
i 1
N k
Xi
fN
f
x
var f N x
E fN x
f x
-7-
pN x
p X1
I kN x
ak hN ak
f ( y )dy
On aura donc :
E fN x
et
pN x hN
var f N x
pN x 1 pN x
2 Nh N
En remplaant lesprance et la variance de f par leurs valeurs respectives dans lexpression de lEQMI, on obtient :
fN
f
x
pN x 1 pN x
2 NhN
f x
pN x hN
1 3
Limportance du choix du pas optimal est illustre par les figures 1.1, 1.2 et 1.3.
-8-
Estimation d'une densit de probabilit par la mthode de l'histogramme avec le pas optimal 0.5 0.45 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 -4
-3
-2
-1
La figure 1 reprsente l'estimation dune densit de probabilit avec un pas hN choisi de manire optimale.
Estimation de la densit de probabilit avec un pas infrieur au pas optimal 0.5 0.45 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 -4
-3
-2
-1
Le choix dun pas plus faible (hN tend trop rapidement vers 0) implique une estimation moins fiable puisque la densit de probabilit apparat comme perturbe ainsi que le montre la figure 2.
-9-
Estimation de la densit de probabilit avec un pas infrieur au pas optimal 0.5 0.45 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 -4
-3
-2
-1
Par contre, le choix dun pas plus lev entrane un lissage de la densit estime (figure 3). Nous verrons plus loin que ce phnomne concerne galement les autres mthodes destimation des densits de probabilit qui sont galement tributaires du choix du pas hN. La simplicit de la mise en uvre de la mthode de l'histogramme reprsente un avantage important. Cependant, l'histogramme ne tient pas compte de la continuit de par sa construction mme.
Dans la mthode des fonctions orthogonales [Hal82], lestimation de f est ramene lestimation dun paramtre valeurs dans Rk. f scrit sous la forme dune srie :
f x
m 0
am f em x
les
coefficients de Fourier de la densit de probabilit estimer f. En exemple de fonctions orthogonales pouvant tre utilises, nous pouvons citer la base de fonctions trigonomtriques dans X
forme par :
-10-
e0
1 2
; e 2i
cos ix
1
; e 2i
sin ix
fk x
m 1
am f em x
puis estimer les paramtres a1 f ,....., a k f . Il sagit en fait destimer, pour chaque m, le coefficient de Fourier am(f) partir des observations (X1,,XN), N ralisations d'une variable alatoire X suivant une loi dont la densit de probabilit est f.
am f
a m, N
1 N
em X i
m 1
fN X
1 N
KN
a m, N e m X
m 1
Cet estimateur est sans biais quand KN tend vers l'infini et KN /N tend vers 0 lorsque N tend vers l'infini. Cette mthode a l'intrt d'tre adapte aux diffrents types d'espaces de reprsentation particulirement les densits de probabilit avec information sur le support. En effet, elle utilise des familles de fonctions orthogonales diffrentes lorsque la nature du support de la densit n'est pas la mme.
Il s'agit pour cette mthode de fixer un entier que l'on notera k(N) avec 1= k(N) =N puis de rechercher le plus petit intervalle centr sur x et contenant k(N) points de l'chantillon. Soit lintervalle I x, r
-11-
rN x
I x, rN x
inf r
0 / N x, r
k N
lchantillon. En posant, p x, r
P X1
I x, r
x r x r
f t dt , alors
lim
r 0
p x, r 2r
f x .
k N 2 N rN x
On dfinira f N x par f N x
f x
lorsque k N
et
Estimateur noyau
L'estimateur noyau a t introduit par Rozenblatt en 1956 [Roz56] puis dvelopp par Parzen en 1962 [Par62]. Il est dfini par :
fN x
1 NhN
K
i 1
x Xi hN
avec (X1, X2,, XN) N ralisations dun chantillon et K une densit de probabilit appele noyau. Ainsi, le noyau K est centr sur le point x dont on veut estimer limage par f : il sagira de sommer les contributions des diffrents xi en normalisant par lentit hN appele "paramtre de lissage" ou plus simplement "pas". Gnralement, les noyaux K utiliss rpondent aux proprits suivantes : K est symtrique, i.e., K u
R
u .
K u du 1 u j K u du
u k K u du
0 pour j
0
1,....., k 1
-12-
Dans ce cas, K est dit noyau d'ordre k. Il est noter qu'en raison de la symtrie K est
ncessairement paire. La seconde proprit implique quant elle que f N x est une
densit de probabilit, i.e.,
R
f N x dx 1 .
En pratique, les noyaux utiliss sont des noyaux d'ordre 2 ce qui implique que le noyau K est lui-mme une densit de probabilit. Des exemples de noyaux d'ordre 2, sont prsents dans le tableau 1.
Noyaux
Ku
1 I u 2
Uniforme
Triangle
1 u I u
3 1 u2 I u 4
Epanechnikov
Gaussien
1 2
exp
1 2 u 2
-13-
Les simulations sont ralises sur une densit trimodale issue d'un mlange de trois densits normales (0.35 N(-0.5,(0.1)2 ) +0.35 N(0,(0.1)2 ) +0.3 N(0.4,(0.1)2 ) ). La densit simule est estime en faisant varier la valeur du pas hN : De faibles variations de ce dernier induisent des estimations trs loignes de la densit relle. Le choix dun pas infrieur au pas optimal mne une estimation trs "perturbe" ainsi que le montre la figure 4. Ces perturbations induisent une augmentation de l'EQMI et par consquent une mauvaise estimation de la densit relle. La figure 5 permet galement de visualiser une trs mauvaise estimation de la densit de probabilit obtenue en utilisant un pas plus lev que le pas optimal. Cela conduit
hn faible = 0.0288 2 1.8 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0 -1.5 Densit thorique Densit estime
-1
-0.5
0.5
1.5
-14-
hn lev = 0.0313 2 1.8 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0 -1.5 Densit thorique Densit estime
-1
-0.5
0.5
1.5
hn optimal = 0.0307 2 1.8 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0 -1.5 Densit thorique Densit estime
-1
-0.5
0.5
1.5
-15-
fN
mathmatiquement l'expression du pas optimal. Elle permet galement de dterminer le noyau optimal permettant la meilleure estimation de la densit de probabilit.
E fN
EQM
E fN
E f N2
var f N
f
E fN
f
E f N2
2
f 2 2 f E fN
E fN
2
f 2 2 f E fN
E fN
var f N
1 K 2 u f x hN u du NhN
1 hN
1 N
K u f x hN u du
K u f x uhN du
[Eq. 1]
De mme, E f N
K u f x uhN hN du
E fN
K u f x uhN du
K u f x uhN
K u f x du
2
[Eq. 2]
f x du
E fN
1 K 2 u f x hN u du NhN K u f x uhN f x du
2
1 N
K u f x hN u du
-16-
hN .
hN M K Nh N
4 J f hN 4
EQMI
[Eq.3]
avec
M K
K 2 u du
et
J f
f" x
dx
' (h N ) 0 .
' hN
M (K )
2 NhN
* hN
J f
M K
[Eq. 4]
Ainsi, lexpression thorique du pas optimal au sens de lEQMI est fonction de la taille de lchantillon N, de lintgrale du noyau choisi lev au carr M(K) ainsi que
EQMI
5 N 4
4 5
M K
4 5
J f
1 5
0 si x Ko x 3 4 5 1
5 x2 si x 5 5
-17-
Les densits de probabilit support born ou semi born prsentent des difficults d'estimation dues en particulier l'effet de Gibbs observ sur les bords. En effet, le recours la mthode du noyau ou la mthode des fonctions orthogonales pour l'estimation de ce type de densits de probabilit mne des rsultats prsentant des biais sur les bords. La mthode du noyau diffomorphisme [Sao94] [Sao97] permet une meilleure estimation grce un changement de variable par un C1-diffomorphisme not -dire que la limite de
de ]a, b[ dans R.
fN x
' x NhN
K
i 1
x hN
Xi
L'tude de la convergence montre que cet estimateur est sans biais pour tout x dans ]a, b[. Pour vrifier la convergence en moyenne quadratique, il faut que hN NhN + lorsque N + . 0 et
fX x
b a
f x
2
dx 1 N
b a
1 NhN
fX x
' x dx K 2 y dy
R
f X2 x dx
b a
hN
Deux exemples de diffomorphismes pouvant tre appliqus sont prsents ci- dessous
D1 :
a ,b
: a, b x
R Log x a / b x
-18-
D2 :
a ,b
: a, b x
R tg b x
avec Remarque :
/b a
et
a b /2
Plus le diffomorphisme crot ou dcrot lentement, plus lerreur quadratique moyenne est faible. Le diffomorphisme de type logarithmique est donc celui qui estime le mieux la vraie densit de probabilit. Comme pour la mthode du noyau, la qualit de l'estimation est tributaire du choix du pas hN car elle est plus ou moins lisse selon la vitesse avec laquelle le pas hN tend vers 0. La valeur optimale de ce dernier est calcule par tude de la convergence puis par minimisation de la moyenne quadratique intgre.
2 N
f x
AN x
BN x
C N x avec
AN x
' x NhN
K 2 y g N x, y dy
R
BN x
R
K y
' g N x, y
f x
dy
CN x
' x N
K y g N x, y dy
R
-19-
Hy
fo
yhN
'
yhN
au voisinage du point
Hy
yhN
Hy
2 y 2 hN '' Hy 2
x x
' yhN H y
x x yhN
3 y 3 hN ''' Hy 6
En effectuant le calcul des drives successives de la fonction Hy au point approximations suivantes sont obtenues :
x , les
AN x
' x f x NhN
4 hN
M K avec M K
K 2 y dy
BN x
' x
F 2 x avec
F x
f x 3 '' x
f x N
2
' x ''' x
f '' x
' x
CN x
Ltude asymptotique de lEcart Quadratique Moyen Intgr permet dcrire les dveloppements suivants :
D2 f N , f
AN x NhN
R
BN x
CN x dx F2 x
R 8
M K
h4 ' x f x dx N 4
dx
' x
-20-
Dans le cas o M
et J existent et en posant
M
et
M K
' x f x dx
F2 x
R
' x
dx
* il est possible de dduire la valeur de hN qui minimise lEQMI, que lon notera h N .
* hN
1 5
1 5
1 5
Pour illustrer l'intrt de la mthode du noyau-diffomorphisme, nous avons procd des simulations sur deux densits : une densit de probabilit semi borne, en l'occurrence une loi exponentielle de moyenne 1 estime partir d'un chantillon de taille 1500, une densit de probabilit borne, savoir une loi uniforme entre ]0, 0.1[. La figure 7 reprsente l'estimation de la densit d'une loi exponentielle simule par la mthode du noyau (Noyau optimal) avec recherche du pas optimal par l'algorithme Plug-in usuel. Nous remarquons le phnomne de Gibbs aux bords ainsi qu'un manque de lissage de la densit estime. La figure 8 reprsente l'estimation de cette densit de probabilit par la mthode du Noyau-Diffomorphisme. Non seulement, le phnomne de Gibbs est compltement absent de par le principe mme de la mthode mais la densit recherche est estime d'une manire presque parfaite. Nous pensons que cela est du au fait que la vitesse de convergence est acclre aux bords tout en gardant une vitesse de convergence raisonnable l'intrieur de la densit de probabilit.
-21-
0.8
0.6
0.4
0.2
0 -2
-1
0.8
0.6
0.4
0.2
0 -2
-1
-22-
0 -0.04
-0.02
0.02
0.04
0.06
0.08
0.1
0.12
0.14
0 -0.04
-0.02
0.02
0.04
0.06
0.08
0.1
0.12
0.14
Les figures 9 et 10 reprsentent l'estimation de la densit d'une loi uniforme par l'estimateur du noyau et l'estimateur du noyau diffomorphisme. Les rsultats obtenus
-23-
confirment ceux observs pour la loi exponentielle. Le phnomne de Gibbs est l aussi compltement matris. En ce qui concerne le lissage de la densit de probabilit, il est moins facile observer que pour la loi exponentielle. Cela peut tre expliqu par le fait que la loi uniforme est particulirement connue par ses difficults d'estimation.
L'estimation paramtrique des densits de probabilit par les rseaux de neurone multicouches a t tudie par White [Whi92]. Pour cela la fonction d'activation des couches caches doit tre non constante, continue et borne. Les densits de probabilit tant des fonctions positives, la fonction de sortie doit tre croissante, positive et localement continue. La normalisation est quant elle assure en imposant des contraintes empiriques sur les poids de sortie. L'estimation non paramtrique des densits de probabilit par les rseaux de neurones a t quant elle peu aborde dans la littrature du domaine en raison notamment de la complexit algorithmique de type gnralement NP complet [Jon92]. Cependant, quelques auteurs [Mod94][Lik00]ont propos une mthode d'estimation des densits de probabilit support compact base sur une loi d'apprentissage par rtro propagation minimisant l'entropie relative entre l'estimateur et la densit de probabilit. Soit g(X) la densit de probabilit support compact inconnue dfinie sur un sous ensemble compact S tel que S RM1. Cette densit peut tre estime par un rseau de
neurone poids borns ayant une seule sortie et une seule couche cache, formellement dcrit par :
p X,
Fc
f X,
avec
p X,
, l'ensemble des poids du rseau Ml le nombre d'units de la lme couche, la premire couche tant la couche d'entre. (1.0.X) (1.0.x1,..,xM1) est le vecteur d'entre de dimension (M1+1)augment du
biais d'entre.
-24-
lij
f X,
i 1
G
j 0
xj
2 ij
31i
G tant la fonction d'activation des units caches. Les bornes des poids du rseau sont donnes par :
Ml
1
B i.e
j 0
l, j
B avec B
R+ .
c( ) le poids du biais entre la couche cache et la couche de sortie. Il doit tre dtermin de manire empirique pour que
S
p X,
dX
1.
En choisissant la fonction exponentielle en tant que fonction d'activation de la sortie du rseau F, la sortie de l'estimateur devient une famille de densits exponentielles qui possdent la proprit d'entropie relative minimale [Kul59]:
M2 M1
p X,
c
i 1
G
j 0
xj
2 ij
31i
La fonction d'activation des units caches G doit tre choisie de manire ce que le rseau puisse approximer le log des densits. Pour cela, il suffit de choisir la fonction logistique ou encore la fonction tangente hyperbolique. Le poids du biais de sortie est choisi de la manire suivante :
log
S
exp f X ,
dX
-25-
g X log p( X , ) dX ,
est
connue
comme
l'estimation
du
maximum
de
vraisemblance de . Elle peut alors tre calcule en tant que valeur maximisant le log de la vraisemblance.
g X log p X , dX Eg log p X ,
g(X) tant la densit de probabilit inconnue, ( ) ne peut tre calcule. Il est cependant possible de l'estimer grce la loi des grands nombres.
N N
log p X k ,
k 1
c
k 1
f Xk,
o.
Cependant
telles que le recuit simul ou les algorithmes gntiques. Les mthodes de rtro propagation bases sur la descente du gradient sont galement valables pour approcher la solution optimale. L'ide de base consiste driver une rgle delta modifie gnralise pour l'estimation des densits de probabilit.
N 0 k 1
0N
0c
f Xk,
Soient
k I li
M1 j 0
k lij z l 1 j
-26-
f Xk,
en calculant sa drive
f Xk,
lij
f Xk,
k I li
k I li lij
En notant par
k li
f Xk,
k I li
, on obtient
f Xk,
lij
k li lij
M1 q 0
k liq z l 1 q
k k li z l 1 j
Il suffit de calculer
k li
k li
f Xk,
k I li
k li
f Xk,
k I li
f Xk,
k z li
k z li k I li
f Xk,
k z li
k G ' I li avec
Il convient de calculer
f Xk,
k z li
f Xk,
k z li
Ml
f Xk, I (kl 1) p
I (kl
p 1
1) p k z li
Ml
k (l 1) p (l 1) pi
p 1
Par substitution
k li
k G ' I li
Ml
k (l 1) p (l 1) pi
p 1
Aucune sortie dsire n'tant requise, cet estimateur peut tre class en tant que non paramtrique. Rappelons la dfinition du biais [Kul59] :
-27-
0c S
1 exp f X , dX
. exp f X ,
S
f X,
dX
0N
N 0 k 1
f Xk,
S
1 exp f X , dX
. exp f X ,
S
f X,
dX
lim
N
ancien
avec
Conclusion
Dans ce chapitre, nous avons prsent les mthodes d'estimations ponctuelles relatives au domaine recenses dans la littrature. La mthode du noyau, souvent considre comme une gnralisation de la mthode de l'histogramme, prsente l'avantage de prserver la continuit des densits de probabilit estimes et d'tre relativement simple mettre en uvre. Elle fera l'objet de dveloppements ultrieurs notamment pour le choix du paramtre de lissage, choix dterminant pour l'obtention de la convergence en moyenne quadratique et en moyenne quadratique intgre. Ainsi, dans le chapitre suivant, nous prsenterons les diffrents algorithmes d'optimisation du paramtre de lissage en menant une tude comparative entre les mthodes les plus courantes.
-28-
L'tude de la convergence de l'estimateur noyau a permis de formuler l'expression thorique du pas optimal hN. Ce dernier peut tre directement dtermin partir de l'quation 3, condition de connatre les deux entits M(K) et J(f). Or, si M(K) ne prsente aucune difficult pour sa dtermination puisqu'il s'agit de l'intgrale du noyau lev au carr, il n'en est pas de mme pour J(f). En effet, J(f) correspond l'intgrale de la drive seconde leve au carr de la densit estimer. Cette problmatique a fait l'objet d'un nombre important de travaux. Plusieurs mthodes ont t dveloppes dans la littrature. Nous en citons ci-dessous les principales : Les mthodes Rule of thumb (rot) [Sil86][Hr91][Ter92] Les mthodes cross-validation [Ha87a][Sco87][Hal91b] La mthode Plug-in[Ha87b][Par90] Toutes ces mthodes tentent de donner une estimation du pas optimal en minimisant l'Erreur Quadratique Moyenne Intgre (EQMI).
La mthode Rule of thumb ou rot a t dveloppe par Deheuvels [Deh77] pour l'estimation de la densit de probabilit par la mthode de l'histogramme. Elle a pour
-29-
principe de remplacer la densit inconnue par une fonction de distribution de rfrence ayant la mme variance que celle de l'chantillon. En prenant titre d'exemple le noyau gaussien et la distribution normale comme distribution de rfrence, l'expression du pas optimal devient :
h rot
1.06 N
1 5
Une version plus robuste a t construite en remplaant la variance par le rang interquartile R [Sil86][Har91]. L'expression de l'estimateur devient alors :
h rot
1 5
En 1990, Terrel [Ter90] a propos une borne infrieur pour J(f) et par consquent une borne suprieure pour hN . C'est cette borne suprieure qu'il propose de choisir comme pas optimal que l'on
1/ 5
notera
hMSP (Maximal
Smoothing
Parameter).
hMSP
3 35
1/ 5
M K
1 5
Ces mthodes donnent gnralement des rsultats fiables pour les densits unimodales. Cependant, en ce qui concerne les densits multimodales, les estimations obtenues sont gnralement assez loignes des densits relles toujours au sens de l'EQMI.
Mthodes Cross-validation
La mthode Pseudo Likelihood Cross Validation (PLCV) consiste choisir hN de faon maximiser
N f i 1 N
X i [Dui76].
fN x
1 Nh N
K
i 1
x Xi hN
1 NhN
K
i 1 j i
x Xj hN
-30-
EQI
fN x fN x
2
f x dx
dx f N x f x dx
2
2
f x
dx
x dx
LSCV h
R
f N2 x dx 2
N i 1
fN, i Xi
La valeur de hN permettant de minimiser la fonction LSCV est slectionne en tant que pas optimal. L'inconvnient de cette mthode est que les pas slectionns prsentent une grande variance en fonction des chantillons issus d'une mme distribution. Par ailleurs, la fonction LSCV peut prsenter plusieurs minimums. La mthode Biased Cross Validation, propose par Scott et Terrel [Sco87], considre quant elle l'estimation asymptotique de l'Erreur Quadratique Moyenne Intgre.
EQMI
M K Nh N
4 J f hN 4
L'entit J(f) est remplace par une estimation obtenue par minimisation de la fonction BCV suivante :
BCV hN
M (K ) Nh N
4 hN
4N
2 i j
" " K hn * K hn X i
Xj
-31-
Plusieurs minimums peuvent galement tre observs pour cette mthode bien que plus rarement que pour la mthode LSCV. Dans ce cas la meilleure performance est obtenue en choisissant la plus faible valeur de hN obtenue partir des minimums. La mthode Smoothed Cross-Validation (SCV) propose par Hall, Marron et Park [Hal92] se base sur l'estimation de l'intgrale du biais savoir
K u f x uh N
2 K hN
K 0 * Lg * Lg X i
Xj
Le pas hN optimal est suppos tre celui qui minimise la fonction SCV.
Algorithme du Plug-in
La mthode Plug-in fait appel un algorithme itratif pour la recherche du pas optimal [Ha87b]. Le principe de cette mthode est de recalculer chaque itration l'entit J(f) puis de r-estimer la densit de probabilit avec le nouveau J(f). Ainsi, le premier J(f) peut tre fix de manire alatoire.
puis en
-32-
tape 5 : L'arrt de l'algorithme a lieu lorsque hN converge, i.e., la diffrence entre hN(k) et hN(k-1) est trs faible. Les diffrentes tapes cites sont schmatises dans la figure 11.
|hN(k)-hN(k-1) | = e
oui
-33-
L'valuation des performances des mthodes Plug-in, rot et Cross Validation pour la slection du pas optimal, est ralise dans ce chapitre par une comparaison de leurs EQMI respectifs. En ce qui concerne les mthodes rot, le pas optimal est choisi
3 35
1/ 5
M K
1/ 5
1 5
Pour les mthodes Cross Validation, le pas est dtermin par la mthode Least Square Cross Validation (LSCV). La mthodologie adopte consistera estimer les erreurs quadratiques moyennes intgres (EQMI) pour les trois mthodes sur plusieurs simulations en faisant varier les distributions et les noyaux. Deux principaux noyaux seront tests : le noyau gaussien souvent utilis en pratique et le noyau d'Epanechnikov qui n'est autre que le noyau optimal cens donner une meilleure estimation des densits de probabilit. Les caractristiques des simulations unimodales, bimodales ou trimodales servant de base de test sont dtailles dans le tableau 2. Chacune des 8 figures numrotes de 12 19 reprsente les estimations d'une des 8 densits de probabilit thoriques par les quatre mthodes slectionnes. A vue d'il, il est possible de noter que les mthodes Plug-in sont au moins aussi performantes que les mthodes rot et LSCV pour les densits unimodales. Par contre, lorsqu'il s'agit d'estimer des densits multi modales, les mthodes Plug-in apparaissent nettement plus performantes indpendamment du noyau utilis. Comparativement, les mthodes rot et LSCV affichent des rsultats mdiocres. L'estimation des diffrentes erreurs quadratiques moyennes intgres (EQMI) permettent de conforter ces hypothses, puisque dans tous les cas de figure, les plus faibles EQMI sont observs sur les estimations par la mthode du noyau avec recherche du pas optimal par des algorithmes Plug-in. Ces valeurs, prsentes dans le tableau 3, nous permettent de conclure sans aucune ambigut l'intrt d'avoir recours aux algorithmes Plug-in
-34-
pour la recherche du pas optimal lors de l'estimation des densits de probabilit par la mthode du noyau.
Dans la section 4, nous avons montr que l'algorithme Plug-in converge vers le pas optimal hN pour toutes les densits de probabilit que nous avons testes. Cette section est ddie l'tude de la vitesse et de l'uniformit de convergence de cet algorithme. La mthodologie adopte consistera mesurer les valeurs de l'EQMI en fonction des itrations pour les densits de probabilit test. Ces mesures concerneront les deux noyaux tests : le noyau gaussien et le noyau optimal. Les valeurs obtenues (tableau 4) nous permettent de conclure la rapidit de convergence de l'algorithme Plug-in indpendamment du noyau choisi. En effet, dans tous les cas de figure, les carts quadratiques moyens intgrs sont suffisamment faibles pour pouvoir conclure une bonne estimation de la densit de probabilit ds la 5me itration. Nous pouvons donc supposer que 10 itrations de l'algorithme Plug-in suffisent largement pour dterminer le pas optimal dans la majorit des cas. Lors de l'implantation des diffrents algorithmes Plug-in, nous avons opt pour un nombre fixe d'itrations quelque soit la densit de probabilit estimer. Les figures allant de 20 27 reprsentent l'volution de l'EQMI en fonction du nombre d'itrations et illustrent bien cette rapidit de convergence. Par ailleurs, la stabilit de l'algorithme Plug-in est tudie afin de mettre en vidence la faible variabilit des carts quadratiques intgrs (EQI) pour une mme densit de probabilit. Dans le tableau 4, les EQMI reprsents sont les valeurs moyennes de 100 EQI estims pour chaque densit test. Nous avons galement inclus dans ce tableau les variances des EQI ainsi que les valeurs extrmes estimes. Ces dernires prsentent dans la majorit des cas des carts importants ce qui implique des variances leves. En effet, chaque estimation est effectue partir de la gnration d'un chantillon diffrent. Les estimations tant tributaires de l'chantillon observ, les performances des estimateurs le sont galement. Cependant, le tableau 4 met en vidence la stabilit des deux estimateurs puisque les EQMI, variances et valeurs extrmes sont proches indiffremment du noyau utilis.
-35-
Il est galement intressant d'observer que l'algorithme Plug-in converge dans certains cas vers une valeur de hN ne donnant pas l'EQMI minimal. Ainsi, on obtient au bout de la seconde ou de la troisime itration l'EQMI minimal qui augmente ensuite lgrement au fil des itrations et finit par converger vers une valeur lgrement plus leve. Cet cart est cependant tellement faible qu'il peut tre considr comme ngligeable puisque aucune altration de la qualit de l'estimation n'est observe.
-36-
Distribution G1
Caractristiques Distribution unimodale de taille 1000 obtenue partir d'une Gaussienne Distribution bimodale de taille 1000 obtenue partir d'un mlange de deux gaussiennes
1 *
*
1
G2
pi1 = pi2
1
G3
Distribution bimodale de taille 1000 obtenue partir d'un mlange de deux gaussiennes
1
pi1 = pi2
1 2
G4
Distribution trimodale de taille 1000 obtenue partir d'un mlange de trois gaussiennes
1
2=
0.1 0.35 0.3 -0.4 0 0.4 0.1 0.35 0.3 [-2, 3] [-2, 1] 0.4 [-1, 3] 0.6 [-0.5, 0.5] 0.6 0.3 0.2
G5
Distribution trimodale de taille 1000 obtenue partir d'un mlange de trois gaussiennes
1
2=
pi1 = pi2 pi3 G6 Distribution uniforme de taille 5000 Mlange de deux distributions uniformes de taille 5000 [a, b] [a1, b1] pi1 [a2, b2] pi2 [a, b] pi1 (LU) G8 Mlange d'une loi uniforme et d'une gaussienne
G7
0.4
: moyenne -
-37-
0.5
0.5
0 -2
-1
0 -2
-1
0.5
0.5
0 -2
-1
0 -2
-1
Plug-in avec le noyau gaussien 2.5 2 1.5 1 0.5 0 -1 -0.5 0 0.5 1 f f-est 2.5 2 1.5 1 0.5 0 -1
-0.5
0.5
0 -1
-0.5
0.5
0 -1
-0.5
0.5
-38-
Plug-in avec le noyau gaussien 2 1.5 1 0.5 0 -1 -0.5 0 0.5 1 f f-est 2 1.5 1 0.5 0
-1
-0.5
0.5
Least Square Cross-Validation 2 1.5 1 0.5 0 -1 -0.5 0 0.5 1 f f-est 2 1.5 1 0.5 0 -1
-0.5
0.5
0.5
0.5
-0.5
0.5
-0.5
0.5
-0.5
0.5
-0.5
0.5
-39-
0.5
0.5
-1
-0.5
0.5
-1
-0.5
0.5
-1
-0.5
0.5
-1
-0.5
0.5
Plug-in avec le noyau gaussien 0.2 0.15 0.1 0.05 0 -2 0 2 4 6 f f-est 0.2 0.15 0.1 0.05 0
-2
Least Square Cross-Validation 0.2 0.15 0.1 0.05 0 -2 0 2 4 6 f f-est 0.2 0.15 0.1 0.05 0 -2
-40-
Plug-in avec le noyau gaussien 0.3 0.2 0.1 0 f f-est 0.3 0.2 0.1 0
-2
-2
Least Square Cross-Validation 0.3 0.2 0.1 0 f f-est 0.3 0.2 0.1 0
-2
-2
-0.5
0.5
-0.5
0.5
-0.5
0.5
-0.5
0.5
-41-
EQMI par la mthode du noyau selon hN Plug-in Noyau gaussien G1 G2 G3 G4 G5 G6 G7 G8 7.45*10-5 8.78*10-5 8.73*10-5 1.48*10-4 2.49*10-4 2.24*10-4 3.03*10-4 2.08*10-4 Noyau optimal 5.41*10-5 7.01*10-5 8.99*10-5 1.34*10-4 2.99*10-4 2.21*10-4 3.04*10-4 2.04*10-4 8.46*10-5 4.64*10-4 5.45*10-5 8.67*10-4 4.1*10-3 9.52*10-4 7.56*10-4 5.88*10-4 4.27*10-5 2.91*10-4 2.30*10-3 5.47*10-4 3.1*10-3 6.09*10-4 5.70*10-4 3.93*10-4 rot LSCV
-42-
Distribution
Nombre d'itrations Type de noyau 1 1 0.872 36 36 10.6 12.2 21 21 50 56 0.342 0.352 0.365 0.371 1.2 1.2 2 0.085 0.066 14 0.250 0.425 1.5 0.265 0.775 0.40 17 0.302 0.306 0.304 0.305 0.338 0.346 3 0.060 0.052 0.62 0.230 0.264 0.180 0.166 0.244 0.184 0.272 0.287 0.289 0.280 0.280 0.231 0.235 4 0.570 0.051 0.434 0.210 0.200 0.144 0.121 0.110 0.166 0.156 0.280 0.282 0.271 0.274 0.195 0.199 5 0.570 0.051 0.326 0.200 0.171 0.143 0.102 0.095 0.163 0.151 0.277 0.280 0.269 0.271 0.180 0.183 6 0.570 0.051 0.247 0.200 0.159 0.144 0.098 0.093 0.162 0.151 0.276 0.280 0.269 0.270 0.174 0.179 7 0.570 0.051 0.200 0.197 0.155 0.144 0.098 0.094 0.162 0.151 0.275 0.278 0.269 0.270 0.170 0.178 8 0.570 0.051 0.174 0.196 0.153 0.144 0.098 0.094 0.162 0.151 0.275 0.277 0.270 0.270 0.169 0.178 9 0.570 0.051 0.160 0.195 0.153 0.144 0.098 0.094 0.161 0.151 0.275 0.276 0.270 0.270 0.169 0.178 10 0.570 0.051 0.153 0.195 0.153 0.144 0.098 0.094 0.161 0.151 0.275 0.276 0.270 0.270 0.169 0.178
Gaussien G1 optimal Gaussien G2 optimal Gaussien G3 optimal Gaussien EQMI *10-3 G4 optimal Gaussien G5 optimal Gaussien G6 optimal Gaussien G7 optimal Gaussien G8 optimal
-43-
1.5
x 10
-3
1 EQMI
0.5
1 x 10
-3
10
1.5
1 EQMI
0.5
5 6 Nombre d'itrations
10
1.5
x 10
-3
1 EQMI
0.5
1 x 10
-3
10
1.5
1 EQMI
0.5
5 6 Nombre d'itrations
10
-44-
1.5
x 10
-3
1 EQMI
0.5
1 x 10
-3
10
1.5
1 EQMI
0.5
5 6 Nombre d'itrations
10
1.5
x 10
-3
1 EQMI
0.5
1 x 10
-3
10
1.5
1 EQMI
0.5
5 6 Nombre d'itrations
10
-45-
1.5
x 10
-3
1 EQMI
0.5
1 x 10
-3
10
1.5
1 EQMI
0.5
5 6 Nombre d'itrations
10
1.5
x 10
-3
1 EQMI
0.5
0 x 10
-3
10
1.5
1 EQMI
0.5
4 5 6 Nombre d'itrations
10
-46-
1.5
x 10
-3
1 EQMI
0.5
0 x 10
-3
10
1.5
1 EQMI
0.5
4 5 6 Nombre d'itrations
10
1.5
x 10
-3
1 EQMI
0.5
0 x 10
-3
10
1.5
1 EQMI
0.5
4 5 6 Nombre d'itrations
10
-47-
Variance Type de noyau EQMI*10-4 *10-4 Noyau gaussien G1 Noyau optimal Noyau gaussien G2 Noyau optimal Noyau gaussien G3 Noyau optimal Noyau gaussien G4 Noyau optimal Noyau gaussien G5 Noyau optimal Noyau gaussien G6 Noyau optimal Noyau gaussien G7 Noyau optimal Noyau gaussien G8 Noyau optimal 2.31 0.83 2.84 2.28 0.33 0.87 2.89 2.04 0.35 0.44 2.24 2.15 0.84 0.47 1.77 2.31 0.82 0.88 2.19 1.82 0.83 0.81 1.70 2.23 0.75 0.90 1.53 1.73 0.84 0.75 1.45 0.8
EQI minimal*10 0.21 0.2 0.41 0.36 0.42 0.35 0.39 0.43 0.43 0.74 1.37 2.12 1.07 2.05 0.97 0.98
-4
EQI maximal*10-4 5.57 4.89 3.98 4.5 4.51 4.27 4.45 4.30 5.03 5.03 3.68 3.91 3.10 4.02 5.51 5.28
-48-
Conclusion
Dans ce chapitre, nous avons prsent l'tat de l'art des algorithmes d'optimisation du paramtre de lissage pour la mthode du noyau. Des simulations ont t ralises dans l'objectif de mener une tude comparative entre les algorithmes les plus frquemment utiliss dans la littrature. Nous avons observ que, pour la quasi-totalit de ces mthodes, l'efficacit est gnralement acquise lorsqu'il s'agit d'estimer des densits prsentant un seul mode. Par contre, avec l'augmentation du nombre de modes, l'estimation des densits devient plus dlicate. L'efficacit de l'algorithme du Plug-in a pu tre dmontre car il est pratiquement le seul permettre, dans la majorit des cas de figure, une estimation correcte du paramtre de lissage et par consquent de la densit de probabilit. Ainsi, le recours cet algorithme permet de garantir une estimation non paramtrique fiable pour des densits inconnues.
-49-
Nous proposons dans cette section une version rapide de la mthode Plug-in pour la recherche du pas optimal. En effet, lorsque les noyaux utiliss sont deux fois drivables ou au moins deux fois drivables par morceaux, il est possible de calculer l'expression analytique de J(f) qui n'est autre que l'intgrale de la drive seconde leve au carr de la de la densit de probabilit f estimer. Cela permet de n'estimer la densit de probabilit qu'une seule fois alors que l'approximation numrique de J(f) implique l'estimation de la densit de probabilit chaque itration. Nous avons choisi de travailler sur le noyau optimal qui permettrait thoriquement dapprocher le mieux les densits estimes au sens de lEQMI.
J(f) tant lintgrale de la drive seconde leve au carr de la densit estimer f, il est possible de lexprimer analytiquement en drivant directement le noyau utilis. Nous avons choisi d'utiliser le noyau d'Epanechnikov. f " sexprime comme suit :
f " ( x)
1
2 Nh N n
K
i 1
Xi hN Xi hN
"
3 Nh N i 1
K"
-51-
0 si x
Or, l'expression du noyau optimal tant :
5 1 x2 si x 5 5
K x
3 4 5
0
Sa drive seconde correspond : K " x
si
x x x
5 5 5
indfini si 3 5 50 si
Dans la suite de notre dveloppement et pour les diffrentes simulations, nous avons ignor le cas o K" (x) est indfini. Nous avons considr K" comme s'il tait gal :
0 K" x 3 5 50
si si
x x
5 5
Ce choix sera justifi dans la suite de cette section. Ainsi, nous proposons d'approximer J(f) par :
J f 1
3 Nh N N
K"
i 1
Xi hN
dx
1
6 N 2 hN
K"
i 1
Xi hN
dx
La quantit
i 1
K"
Xi hN
2
K"
i AN ( X 1 .,..., X N )
Xi hN
AN ( X 1 .,..., X N )
En remplaant
0
la
2
N;
Xi hN
5
seconde du
2
drive
noyau
par
sa
valeur,
K"
i AN x
Xi hN
9 500
N AN ( X1 .,..., X N ) ( x ) i 1
9 500
(x) est une fonction constante par intervalles et formant une partition sur la droite relle.
-52-
Ainsi, J(f), est compos par la somme finie des drives secondes de la fonction noyau optimal. Il s'exprime par :
J f
9 1 2 6 500 N h N
x dx
[Eq. 5]
Cette expression analytique de J(f) ne tient pas du tout compte des points indfinis qui seront traits de la mme manire que les points dont la valeur absolue est strictement suprieure
5 , c'est--dire que leur contribution sera considre comme nulle. En
effet, comme le nombre de points non dfinis pour (x) est fini, on peut considrer la contribution de ces points dans J(f) comme ngligeable. Pourtant, ainsi que nous l'observerons dans la section 4 de ce chapitre, les diffrentes simulations ralises permettent de constater que l'quation 5 ne permet pas de converger vers le pas optimal. Cependant, nous avons observ que cette convergence peut tre atteinte en faisant varier le facteur de puissance de hN dans l'quation 5. Ainsi, en remplaant la puissance 6 du pas hN par une puissance comprise entre les valeurs 4 et 5, l'algorithme Plug-in rapide converge vers le pas optimal. Cela peut tre thoriquement justifi par le fait que la drivation de J(f) s'apparente la mthode d'approximation du noyau dont la variance a besoin d'tre ajuste. Ainsi, dans l'estimation analytique de J(f), le pas hN sera lev un facteur de puissance gal 4,5. J(f) sera par consquent estim par :
J f
9 1 2 4.5 500 N h N
x dx
[Eq.6]
Les tapes de l'algorithme itratif du noyau optimal avec approche analytique de J(f) sont dcrites ci-dessous: Etape 1 : Dtermination analytique de M(K). Etape 2 : Initialisation arbitraire de J valeur de hN. Etape 3 : A la kme itration, J l'chantillon Xi. hNk
k
r-estim. A chaque
-53-
h Nk
Ainsi, l'approximation analytique de J(f) n'exige pas d'estimer la densit de probabilit chaque itration ce qui permet de rduire la complexit par rapport l'algorithme Plug-in usuel. La figure 28 reprsente graphiquement les diffrentes tapes de l'algorithme Plug-in rapide.
Dbut
k=k+1
non
|hN(k)-hN(k-1) | = e
oui
fin
Estimation de f
Etude de la complexit
Dans le cas de l'algorithme Plug-in pour la recherche du pas optimal dans la mthode du noyau, f et J(f) sont estims k fois, k tant le nombre d'itrations. L'estimation de f est O(2Np), et l'estimation de J(f) est O(2p) avec N la taille de l'chantillon et p le nombre d'lments x dont on va estimer l'image par la mthode du noyau. La complexit de l'algorithme est de O(2kNp). Dans le cas de l'algorithme Plug-in rapide, f n'est estime qu'une seule fois. La complexit devient O(2p(k+N)). k tant trs faible comparativement N, il peut tre nglig. La complexit devient alors O(2pN).
-54-
La puissance optimale de hN est dtermine exprimentalement partir des diffrentes distributions tests dj prsentes dans le chapitre 2. Le tableau 6 prsente les valeurs des EQMI obtenues en faisant varier la puissance du pas hN. On peut remarquer que la convergence de l'algorithme Plug-in vers le pas optimal est obtenue pour les puissances de hN comprises entre 4 et 5. Le plus souvent c'est la puissance 4.5 qui permet de donner les meilleurs rsultats, raison pour laquelle elle a t retenue dans l'algorithme du Plug-in rapide.
Estimation du pas optimal pour la mthode du noyau avec noyau optimal par Plug-in Distributions EQMI * 10-4 G1 G2 G3 G4 G5 G6 G7 G8 1.40 1.68 2.10 1.75 2.25 3.51 3.50 1.67 6 77 56 65 52 54 51 49 62 EQMI * 10-4 en fonction de la puissance de hN 5 3.17 1.91 2.19 1.87 2.22 4.69 4.53 1.79 4.5 1.40 1.70 2.12 1.73 2.70 3.48 3.48 1.66 4 1.25 9.40 27 8.95 24 3.58 3.56 2.46 3.5 2.28 21 116 16 46 4.06 4.18 3.76 Plug-in rapide
Les figures suivantes illustrent cette conclusion en montrant les diffrentes estimations de f en fonction de la puissance de hN. Nous pouvons remarquer que pour certaines distributions (G1, G6, G7 et G8) pouvant tre assimiles des distributions unimodales, les puissances infrieures 4.5 n'engendrent pas une dtrioration rapide de la qualit de l'estimation. Plus le nombre de modes augmente, plus l'estimation se dtriore rapidement lorsque la puissance de hN diminue par rapport 4,5. La
-55-
distribution G5 qui prsente 3 modes spars est mieux estime par une puissance de hN gale 5. Les figures 29, 30, 31, 32 et 33 illustrent parfaitement les observations cidessus cites.
Plug-in analytique avec puissance hn=6 3 2 1 0 -2.5 2 1 0 -2.5 2 1 0 -2.5 f f-est f f-est -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 f f-est
-2
-1.5
-1
-0.5
0.5
1.5
2.5
-2
-1.5
-1
-0.5
0.5
1.5
2.5
-1
-0.5
0.5
1.5
-1
-0.5
0.5
1.5
-1
-0.5
0.5
1.5
-56-
Plug-in analytique avec puissance hn=6 3 2 1 0 -1.5 2 1 0 -1.5 2 1 0 -1.5 f f-est f f-est -1 -0.5 0 0.5 1 1.5 f f-est
-1
-0.5
0.5
1.5
-1
-0.5
0.5
1.5
0 -4
-3
-2
-1
0 -4
-3
-2
-1
-57-
Plug-in analytique avec puissance hn=6 3 2 1 0 -1.5 2 1 0 -1.5 2 1 0 -1.5 f f-est f f-est -1 -0.5 0 0.5 1 1.5 2 2.5 f f-est
-1
-0.5
0.5
1.5
2.5
-1
-0.5
0.5
1.5
2.5
Le tableau 6 permet galement de comparer les valeurs des EQMI obtenus par la mthode Plug-in usuelle avec celles obtenues par la mthode Plug-inrapide. Les valeurs obtenues sont sensiblement proches dans tous les cas tudis et permettent de conclure l'quivalence de la qualit de l'estimation au sens de l'EQMI. Nous illustrons notre propos par une tude comparative d'une distribution mlange d'une loi normale et d'une loi uniforme ayant une densit de probabilit de la forme suivante :
f ( x)
avec
1f
1, 1
( x)
1 =0.2,
2 f a ,b ( x )
1 =0.3,
a =-0.3, b =0.2.
1
et
La figure 34 reprsente les deux diffrentes estimations de la densit de probabilit thorique. On peut observer que les estimations obtenues par les 2 mthodes sont
-58-
comparables. Ce rsultat est corrobor par les valeurs des EQMI prsentes dans le tableau 7. Ces valeurs sont obtenues partir de 1000 simulations de la densit thorique ce qui nous permet d'estimer la variance de l'cart quadratique intgr. Ces valeurs sont trs proches indpendamment l'algorithme utilis.
Estimateur itratif du noyau avec approche analytique de J(f) 2 1.5 1 0.5 0 -1.5 Densit thorique Densit estime
-1
-0.5
0.5
1.5
Estimateur itratif du noyau optimal avec approche numrique de J(f) 2 1.5 1 0.5 0 -1.5 Densit thorique Densit estime
-1
-0.5
0.5
1.5
Figure 34 -Estimation par la mthode du noyau avec dtermination de hN par Plug-in usuel et Plug-inrapide.
EQMI Mthode du noyau optimal avec algorithme Plug-in usuel Mthode du noyau optimal avec algorithme Plug-inrapide 0.0223 0.0223
-59-
0.07 0.065 0.06 0.055 0.05 0.045 0.04 0.035 0.03 0.025 0.02 500 EQMI de l'estimateur noyau analytique EQMI de l'estimateur noyau numrique
1000
1500
2000
2500
3000
3500
4000
Dans la figure 35, l'EQMI est moyenn sur 100 rptitions en faisant varier la taille d'chantillon. On peut observer que les valeurs de l'EQMI dcroissent rgulirement avec l'augmentation de la taille d'chantillon confirmant ainsi que la prcision d'estimation est d'autant plus leve que le nombre d'observations est important.
Conclusion
Dans cette section, nous proposons une version plus rapide de l'algorithme du Plug-in en drivant directement le noyau utilis lors du calcul de l'entit J(f). Il n'est alors plus
-60-
comparable celle obtenue avec l'algorithme du Plug-in classique. En effet, l'tude comparative mene entre l'algorithme Plug-in usuel et l'algorithme Plug-in rapide permet de conclure une efficacit proche des deux algorithmes au sens de l'EQMI.
-61-
UMTS
Gnralement, les performances d'un systme de communication numrique, ne peuvent tre calcules analytiquement. Elles sont values par estimation du taux d'erreur binaire ou BER (Bit Error Rate) par la mthode de simulation Monte Carlo (MC) [Jer84][Efr83][Lau68]. Cette mthode consiste simuler le transfert d'un nombre suffisant de signaux binaires travers le systme de communication, valuer puis dtecter le nombre d'erreurs de transmission afin de calculer la frquence d'erreurs. Malheureusement, la taille d'chantillon ncessaire pour un intervalle de confiance correct devient, lorsque le rapport signal bruit est lev, trs importante. Par consquent, la mthode MC, galement lie la complexit algorithmique du rcepteur, devient trs couteuse en temps de calcul. En effet, pour une prcision de l'ordre de 10-1, le nombre de symboles gnrs doit tre suffisamment lev pour permettre de comptabiliser 100 erreurs de transmission. Cela implique qu'il faut gnrer environ 108 symboles lorsque la probabilit d'erreur est de 10-6 [Web81] [Jer84]. Dans ce chapitre, nous proposons, comme alternative cette mthode, d'estimer le BER directement partir de la densit de probabilit du signal reu. En effet, en se fixant comme contrainte de ne transmettre que des +1 (resp. -1), la probabilit d'erreur
-63-
du
systme
valu
serait
estime
par
l'erreur
apparente
f x dx
(resp.
0
En pratique, il est gnralement difficile de connatre la densit de probabilit du signal reu puisqu'il dpend des rcepteurs et des canaux tudis. Ainsi, il s'agira d'une loi normale pour un canal AWGN (Additive White Gaussien Noise), d'un mlange gaussien pour un rcepteur de type AWGN CDMA (Code Division Multiple Access), des distributions d'un autre type pour les canaux de Rayleigh, Nakagami ou Rice. Pour les rcepteurs base de techniques itratives ou filtres non linaires tels que les turbos codes, la distribution du signal reu ne peut gnralement pas tre identifie une distribution connue. L'absence d'information sur la densit de probabilit du signal reu, implique l'utilisation de mthodes non paramtriques pour son estimation. En l'occurrence, nous proposons d'avoir recours la mthode du noyau avec recherche du pas optimal par la mthode Plug-in. Ce chapitre est organis en quatre sections. La premire section prsente le systme de communication CDMA sur lequel se base notre tude. Puis, la mthode usuelle d'estimation de la probabilit d'erreur, savoir le TEB, est dtaille. La section suivante est ddie la prsentation de la mthode d'estimation de la probabilit d'erreur par l'estimation de l'erreur apparente. La dernire section traite d'une tude comparative entre les deux mthodes.
Les simulations Monte Carlo permettent d'valuer les performances de n'importe quel systme de communication numrique quelque soit la technique de transmission utilise (CDMA, MC-CDMA, TDMA, .). La figure 36 schmatise un modle de transmission k utilisateurs. Chaque utilisateur transmet une suite de symboles binaires de type BPSK (Binary Phase Shift Keying) laquelle est associe une squence d'talement Si. Ce signal sera amplifi diffremment pour chaque utilisateur i. Un bruit additif, gnralement gaussien sera additionn la somme des signaux envoys par les k utilisateurs lors du passage par le canal de transmission.
-64-
Utilisateur 1
S1
Utilisateur 2
A1
Bruit additif rn
S2
Utilisateur k
A2
Canal de transmission
Sk
Ak
Figure 36 -Modle de transmission en CDMA
X1
X2
yk STk
Xk
La figure 37 schmatise la rception du signal transmis, Xi tant le signal reu pour l'utilisateur i.
-65-
Considrons bi
1 i N
Considrons galement
Xi
1 i N
sgn X i .
L'erreur d'estimation peut tre considre comme une loi de Bernouilli dfinie comme suit :
bi
1 si bi 0 sinon
bi
pe
Pr bi
bi
Pr
bi
bi
mathmatique.
Dans la mthode Monte Carlo, pe est estim par calcul de la moyenne arithmtique
des
bi :
pe
1 N
bi
i 1
L'estimateur
Monte
Carlo
n'est .
pas
biais
puisque
E(e)
0,
avec
pe
pe
1 N
pe
i 1
bi
pe
pe
pe 1 pe N
E pe
1 pe pe N 1 pe N
[Eq. 7]
Il est alors possible de dterminer N la taille de l'chantillon simuler pour une prcision donne donne : N
2
1 . pe
Ainsi, pour valuer les performances d'un canal de transmission donn avec une prcision de 10-1, il faut gnrer au moins 109 BPSK si la pe est de l'ordre de 10-7. Cela
-66-
exige des temps de calcul excessivement levs particulirement lorsque les systmes de communication tudis sont complexes.
Cette mthode repose sur l'estimation de fX(x), la densit de probabilit du signal reu la sortie du rcepteur. Il est important de noter que tous les
Xi
1 i N
reus la
sortie du rcepteur sont des variables alatoires de mme loi : leur densit de probabilit est donc la mme. Les signaux gnrs indpendants et identiquement distribus avec P bi Le BER est donn par :
bi
1 i N
1/ 2 .
Pe
P bi P P P P X X X X
bi 0 et bi 0 | bi 0 | bi 0 | bi 1 1 P bi 1 1 X 1 0 et bi P X 1 0 | bi 1 P bi 1
pe
f Xbi f Xbi
0
x dx x dx
1
1 2
b avec f X i
f Xbi
1
x dx
1 2
1
f Xbi
x dx
. (resp. f Xbi
que bi = +1(resp. bi = -1) Ainsi, il est possible d'estimer le BER d'un systme de communication numrique en transmettant une squence de bits de mme signe (+1 par exemple) pour un des K utilisateurs puis d'estimer la densit de probabilit du signal la sortie du rcepteur et de calculer le BER en intgrant la densit de probabilit entre squence de +1 ou entre 0 et + pour une squence de -1. et 0 pour une
-67-
En ayant recours la mthode du noyau pour l'estimation de la densit de probabilit, la probabilit d'erreur s'exprime par :
Pe
f X , N x dx
1 NhN
i 1
x Xi dx hN
[Eq. 8]
Xi hN
Pe
1 NhN
N i 1
Xi hN
K u hN du
Pour cette application, nous avons choisi d'utiliser le noyau gaussien. Dans ce cas, l'estimateur de la probabilit d'erreur s'crit de la manire suivante :
Pe
1 N 1 N
N i 1 N i 1
Xi hN
1 e 2 1 e 2
u2 2
du
Xi hN
u2 2
du
1 exp( x 2 / 2)dx . Pe s'exprime par : 2
Soit la fonction Q x
Pe
1 N
Q
i 1
Xi hN
Nous rappelons ce niveau l'importance du choix du pas hN. Ainsi que nous l'avons dvelopp dans le chapitre 2, l'tude asymptotique montre que le pas optimal
* s'exprime par hN
* hN
1 5
J f
1 5
M K
1 5
M K
K 2 x dx et J f
f" x
dx .
Il est facile de calculer la valeur de M(K) dont la valeur est de noyau Gaussien. Ainsi, l'expression de J( f ) devient :
1 2
dans le cas du
J f
1 2 5 N hN 2
K
i 1 j 1
Xi
Xj 2hN
Xi
Xj
2hN
3 4
-68-
Il peut tre estim par l'algorithme itratif Plug-in dcrit dans le chapitre 2. Ainsi, une fois la densit de probabilit estime, le BER peut tre estim directement partir de l'quation (8).
Cette section est ddie l'tude des performances de l'estimateur du BER propos. Il s'agit d'tudier son biais, sa variance ainsi que sa consistance. Ce dernier est fonction de f, densit de probabilit du signal la sortie du rcepteur. Au cours de notre dveloppement, on supposera que f est deux fois drivable, et que hN N + . 0 lorsque
L'estimateur du BER est pour le noyau Gaussien, asymptotiquement sans biais c'est-dire que :
lim E pe, N
pe
f x dx .
-69-
lim E
pe, N
pe
Gaussien choisi pour cette application. (Voir Annexe 5 pour les dtails de la dmonstration). Nous pouvons donc conclure la consistance de notre estimateur.
Dans cette section une tude comparative entre l'estimation du BER par la mthode usuelle et par la mthode propose, est mene. Pour cela, nous simulons un systme de communication CDMA synchrone avec K utilisateurs. Les squences d'talement si
SF
1/ SF , 1/ SF
, SF tant le facteur
d'talement. Le canal utilis est un canal bruit Gaussien de type AWGN (Additive White Gaussian Noise). Le signal reu au niveau du rcepteur est la superposition des signaux mis par les K utilisateurs. Il s'exprime par :
K
r
k 1
Ak bk sk
avec r sk bk
R SF le signal reu.
SF
1/ SF , 1/ SF
Ak est l'amplitude spcifique au kme utilisateur n R SF le bruit Gaussien additif de moyenne 0 et dont la matrice de covariance
2
est gale
ISF
Le signal dmodul la sortie du rcepteur pour les K utilisateurs est donn par un vecteur y de taille K avec yk
T sk r reu par le kme utilisateur.
Ak bk
j k
Aj b j
j ,k
nk ,
-70-
Aj b j
j ,k
Access Interference) reprsente les interfrences entre les signaux mis par les diffrents utilisateurs. Quant au troisime terme, il reprsente le bruit additif Gaussien li au passage du signal du kme utilisateur par le canal AWGN. Il est noter que le bruit additif savoir
j k
Aj b j
j ,k
distributions gaussiennes. L'valuation du BER en fonction du rapport signal bruit (RSB) est ralise par les deux mthodes. Pour cette simulation, nous avons fix le nombre d'utilisateurs 4. Le nombre de symboles gnr est optimal pour chaque RSB. Le tableau 8 rcapitule pour les deux mthodes les rsultats suivants : - La probabilit d'erreur thorique, note PET. - La moyenne sur 100 rptitions du BER estim par le taux d'erreur, mthode usuelle, que nous noterons MMC (Mthode Monte Carlo). - La variance du BER estim par MMC. - E1 : L'erreur relative du BER-MMC par rapport la probabilit d'erreur thorique. - La moyenne sur 100 rptitions du BER estim par l'estimation de la densit de probabilit du signal reu, note MEDP (Mthode par Estimation de la Densit de Probabilit). - La variance du BER estim par MEDP. - E2 : L'erreur relative du BER-MEDP par rapport la probabilit d'erreur thorique. E1 et E2 s'expriment par :
E1
PET
MMC
PET
et
E2
PET
MEDP PET
On peut remarquer que l'erreur relative E2 est plus faible que l'erreur relative E1 pour les faibles valeurs de RSB. Cela implique une excellente estimation par la mthode propose. Par contre, pour des valeurs de RSB plus leves, l'estimation devient meilleure par le taux d'erreur.
-71-
RSB (db) Nombre de symboles gnrs Probabilit d'erreur thorique (PET) Moyenne du BER MMC Variance du BER E 1 Moyenne du BER MEDP Variance du BER E2
1.4
1.2
0.8
0.6
0.4
0.2
0 -2
-1
.
Figure 38 - Estimation du BER pour des valeurs RSB faibles
-72-
1.4
1.2
0.8
0.6
0.4
0.2
0 -3
-2
-1
Cette observation trouve son explication dans les limites de cette mthode que nous dveloppons ci-dessous. En effet, l'erreur apparente correspond l'intgrale de 0 de la densit de
probabilit estime. En observant la figure 38, on peut constater qu'en raison de la faible valeur du RSB, plusieurs erreurs de transmission sont observes : La surface intgrer est donc assez importante. Par contre, sur la figure 39 correspondant des valeurs de RSB plus leves, la surface intgrer est beaucoup plus faible ce qui induit des erreurs d'estimation et par consquent un manque de prcision pour l'estimation numrique de la probabilit d'erreur. La figure 40, permet de visualiser l'volution du taux d'erreur et de l'erreur apparente en fonction du rapport signal bruit. On peut observer que pour une valeur de RSB gale 6, l'estimation de la probabilit d'erreur par l'erreur apparente reste trs acceptable mme si elle n'est pas aussi performante que l'estimation par le taux d'erreur.
-73-
Nombre d'utilisateurs =4 - Nombre de signaux gnrs = suffisant pour enregistrer 100 erreurs 0 10
10
-1
Pe
-2
10
10
-3
-4
BER-MMC BER-MEDP Pe thorique du recept standard Rfrence : cas utilisateur unique MMSE thorique 0 1 2 3 4 5 Rapport singal bruit 6 7 8
10
Le dveloppement de la mthode de l'estimation du BER par l'estimation de la densit de probabilit du signal reu a pour objectif de pouvoir donner une estimation de la probabilit d'erreur partir d'un plus faible nombre de symboles gnrs, donc en un temps de calcul raisonnable. C'est pourquoi il est important d'valuer la mthode propose en tudiant son comportement en fonction du nombre de symboles gnrs. Les rsultats prsents dans le tableau 9 reprsentent les BER estims par la mthode MEDP en fonction du nombre de symboles gnrs pour des valeurs de RSB gales 6 et 8. La figure 41 montre comment pour des RSB levs (9 et 10 db), il est possible d'avoir une ide sur la probabilit d'erreur l'aide de l'estimation de l'erreur apparente en gnrant uniquement 20000 symboles. La mthode Monte Carlo ne donne quant elle aucun rsultat pour les valeurs de RSB gales 8 ou 10 db pour ce nombre de symboles gnrs.
-74-
RSB = 6 db PET = 0.0084 Nombre de symboles gnrs 14000 10000 7000 5000 BER-MEDP 0.0089 0.0088 0.0091 0.0092 P2 5.95% 4.76% 8.33% 9.52% Nombre de
RSB = 8 db PET = 0.0014 BER-MEDP 0.0015 0.0015 0.0015 0.0015 P2 7.14% 7.14% 7.14% 7.14%
10
10
-1
10
-2
Pe
-3
10
10
-4
10
-5
-6
10
Figure 41 BER-MMC et BER-MEDP selon RSB pour un faible nombre de symboles gnrs
-75-
Conclusion
Dans ce chapitre, une alternative la mthode Monte Carlo pour l'estimation de la probabilit d'erreur des systmes de communications numriques est propose. Elle est base sur l'estimation non paramtrique de la densit de probabilit du signal reu et requiert un nombre moins important de donnes transmises celui exig par la mthode Monte Carlo pour une estimation fiable. L'tude thorique de cet estimateur du BER montre qu'il est consistant et sans biais. Diverses simulations viennent illustrer les rsultats obtenus et conforter les performances de l'estimateur propos.
-76-
Contexte de l'tude
La majorit des tudes ralises en gntique des populations se basent sur l'hypothse de la neutralit des populations tudies. La comprhension de cette notion de neutralit exige des claircissements sur les notions suivantes : La diversit gntique des espces se base sur l'existence de plusieurs versions pour certains gnes, appels allles. Les allles ont les mmes fonctions avec des variations au niveau de leur structure, par exemple une base la place d'une autre suite des mutations ponctuelles. Les mutations sont des vnements rares pouvant tre modliss par des lois statistiques telles que les lois de poissons. Les nouveaux allles apparaissant suite des mutations pouvant confrer un avantage slectif l'individu auquel cas la frquence de cet allle devient rapidement plus importante dans la population. Ils peuvent galement confrer un dsavantage et disparatre rapidement. Mais dans la majorit des cas les mutations sont neutres et n'apportent ni avantage ni dsavantage.
-77-
Les nuclotides ayant subi une mutation sont appels sites polymorphes nots S.
Les allles de faibles frquences sont rares dans une population suppose neutre. En effet, les mutations tant des vnements rares, peu de nouveaux allles apparaissent : la majorit des allles dtects existent depuis longtemps dans une population neutre et sont reprsents en un nombre suffisamment lev.
La rupture de la neutralit peut tre provoque par plusieurs vnements tels que l'apparition d'un phnomne naturel qui va avantager certains allles ou provoquer beaucoup de mutations ou encore par l'arrive massive de migrants. etc.
L'valuation de la neutralit des populations se base sur le modle d'arbre alatoire utilis pour reprsenter une gnalogie de gne [Ewe72] (Figure 42).
-78-
En effet, tous les allles sont supposs avoir un anctre commun qui a donn naissance au fil des gnrations aux diffrents allles dtects. L'apparition des allles tant due des mutations, on dfinit le paramtre mutationnel comme tant lesprance du
2Ne 2
Ne la taille de la population. Il existe plusieurs mthodes permettant l'estimation du paramtre mutationnel . Nous nous intressons particulirement l'estimateur de Watterson et l'estimateur de Tajima.
2.1 Estimation de
base sur le nombre de sites polymorphes S prsents dans l'chantillon. L'esprance de S correspond au nombre total de mutations ayant pu se raliser tout au long de la gnalogie. En pratique, S est estim par le nombre de sites polymorphes comptabiliss sur les chantillons d'ADN. Les expressions mathmatiques de l'esprance et de la variance de S s'expriment par :
n 1
E S
a1 4 N e
a1 a2
2
a1
avec
a1
i
1 1i 1 i2
n 1
V S
avec
a2
i 1
S a1
2.2 Estimateur de
Un second estimateur de
par Tajima
appel est propos par Tajima [Taj83]. Sa construction
se base sur l'observation qu' chaque coalescence, deux nouveaux allles apparaissent, faisant passer le nombre dallles de i i+1. Ces nouveaux allles apparaissent conscutivement l'apparition de mutations chez lanctre commun. La modlisation mutationnelle adopte tant le modle nombre infini de sites, le nombre de nuclotides diffrents entre deux squences est la somme des mutations subies par
-79-
4Ne
chaque brin d'ADN. La moyenne du nombre de diffrences nuclotides des squences dADN prises deux deux, que lon note , permet donc davoir une estimation directe de .
b1
avec
b2
b1
n 1 3( N 1)
et
b2
2( N 2 N 3) 9 N ( N 1)
La premire mthode consiste sommer les diffrences nuclotides entre les squences d'ADN prises deux deux et calculer une moyenne.
k ij
i j
2
i j
k ij
, kij tant la diffrence nuclotide entre les squences i et j.
N 2
N N 1
Nanmoins, lorsque la taille de l'chantillon est leve, un tel calcul peut s'avrer fastidieux. Une seconde mthode pour estimer plus facilement se base sur les frquences allliques.
S
=
i 1
hi
o S est le nombre de sites polymorphes dj dfini dans le paragraphe 2.1 et hi lestimation de la diversit nuclotide (htrozygotie) pour le ime site polymorphe. hi est donn par [Taj89]:
4
N (1 hi
j 1
x2 ) ji
N 1
o xji est la frquence du jme allle de lchantillon dans le ime site polymorphe.
-80-
Le test de neutralit de Tajima se base sur l'observation suivante : les estimateurs du paramtre mutationnel de Watterson et de Tajima donnent des valeurs diffrentes de pour des populations ne vrifiant pas la neutralit. En effet, le paramtre mutationnel de Watterson, w , tient compte de tous les allles prsents y compris ceux ayant une faible frquence et plus particulirement les mutants dltres. Ainsi, sa valeur est significativement affecte par l'existence d'allles dltres. Par contre, est estim partir des frquences allliques. La consquence immdiate est que les allles de faible frquence n'affectent pas beaucoup la valeur de . Par consquent, si parmi les allles observs, certains ont un effet slectif, l'estimation de par w sera significativement diffrente de l'estimation de par . Dans le cas
contraire, c'est--dire dans le cas d'une population neutre au niveau de la slection, les deux estimations seraient sensiblement gales. D'o l'ide de dvelopper une statistique base sur la diffrence entre les deux estimateurs et permettant de dtecter une ventuelle absence de neutralit due
essentiellement l'effet de la slection [Taj89]. Soit d la diffrence de valeur entre les deux estimateurs de . d=
S , avec a1 a1
n 1 i
1 1i
Dans le cas d'une population o les allles ne seraient pas dots d'un effet slectif, lesprance de d est suppose nulle. Sa variance est donne par :
V (d ) V ( )
^ 2 Cov ( S , ) a1
1 a2 1
V (S )
La covariance entre le nombre de sites polymorphes et le nombre moyen de diffrences nuclotides entre les brins d'ADN pris deux deux est dfinie de la manire suivante :
Cov S , 1 2 1 N
2
-81-
1 2
Cette covariance est appele covariance stochastique et permet de dterminer la covariance de l'chantillon donne par :
Cov e S ,
Cov S ,
Cov st S ,
1 N
V (d ) b1 V (d ) c1
c1
avec
b2 c2
b1
2 a1
1 2
1 N
1
2 a1
a1
a2
1 a1 n 2 a1 N a2
2 a1
et c2 b2
Gnralement,
2
S ou par . L'estimation de a1
E S2
V S
ES ES
a1
2 a1
2 a1
a2
2
Comme E S 2
a2
S S 1
2 a1
a2
V d
e1 S
e2 S S 1 o e1
c1 a1
et e2
c2
2 a1
a2
Pour tester les hypothses de neutralit, une nouvelle statistique correspondant la statistique d rduite et appele D, est construite.
d V d
e1 S
S a1 e2 S S 1
La statistique D est centre et rduite. Thoriquement, sa moyenne doit tre de 0 et sa variance doit voluer autour de 1. Pour tester l'hypothse de neutralit, il est important de connatre la distribution de D pour des populations thoriquement neutres. Cela implique la simulation d'un nombre important de populations thoriquement neutres
-82-
partir desquelles il sera possible d'observer une distribution de D. L'estimation de la densit de probabilit de D permettra alors d'valuer la neutralit de la population tudie.
2.3.2
Evaluation de la neutralit
Une population est considre comme prsentant un cart la neutralit lorsque la valeur de D, note Dp, calcule partir d'un chantillon de la population tudie, est considre comme ayant une faible probabilit de faire partie de la distribution thorique de D. Ainsi, la population est suppose neutre lorsque P[D<Dp]>0.02 pour un risque de premire espce de 5%. Dans la grande majorit des cas, les chercheurs utilisent des logiciels qui leur retournent la valeur de P[D<Dp] (Arlequin, Phylip, etc). Lors des travaux de Master, nous avons mis en uvre un simulateur permettant de gnrer des populations gntiquement neutres selon les paramtres des populations tudies [Tro04]. L'estimation de la densit de probabilit avait t ralise par la mthode de l'histogramme et avait abouti des rsultats comparables ceux obtenus par les logiciels utiliss. Les diffrentes tapes permettant d'valuer la neutralit pour un chantillon de taille N sont : L'estimation de partir de l'chantillon par l'estimateur de Watterson w .
La gnration d'un nombre important (gnralement 1000) de populations neutres simules de tailles N (taille de l'chantillon rel). La dtermination de D pour chaque population neutre gnre permet d'obtenir une distribution empirique de la variable alatoire D. L'estimation de la densit de probabilit de D. L'valuation de la neutralit par la dtermination de la valeur P[D<Dp] Cette mthode d'valuation de la neutralit est largement utilise dans les logiciels de base en gntique des populations.
-83-
L'estimation de la densit de probabilit de la variable alatoire D simule permet d'avoir une ide sur la neutralit d'une population. Dans ce cadre, le recours la mthode du noyau avec recherche du pas optimal grce l'algorithme Plug-in reprsente une alternative intressante. En effet, une meilleure estimation de la densit de probabilit permet de gagner en prcision. Nous pouvons particulirement voquer le cas o les rsultats obtenus peuvent prsenter un caractre litigieux particulirement lorsque la valeur de P[D<Dp] est proche de 0.02. La prise de dcision requiert dans ce cas, l'estimation d'une valeur moyenne P[D<Dp]. Pour cela, il convient de simuler au moins une centaine de fois la densit de probabilit de D, ce qui reprsente un temps de calcul assez important. La mise en uvre du Plug-in rapide permet d'avoir une moindre complexit, d'o l'ide de son utilisation. La validation de notre approche consiste montrer sur des populations prsentant une valeur de P[D<Dp] voluant autour de 0.02, que les rsultats obtenus par l'utilisation de l'algorithme Plug-in rapide sont aussi fiables que ceux obtenus par la mthode Plug-in. Parmi les populations berbres de Tunisie testes, nous avons choisi pour notre tude celles qui prsentent un P[D<Dp] d'environ 0.02. Il s'agit des populations de Sened et de Testour dont les caractristiques sont prsentes dans le tableau 10 il s'agit des paramtres N, et S ncessaires la
gnration des populations thoriquement neutres et qui sont fonction de l'chantillon reprsentant la population tudie. Dp reprsente quant lui la valeur de D dduite partir de l'chantillon.
N 55 40 7.60471 6.33846
S 69 53
Dp -1.717 -1.755
-84-
0.4
0.2
0 -4
-3
-2
-1
0.4
0.2
0 -4
-3
-2
-1
Figure 43 -Densit de probabilit de la population Sened par le noyau Plug-in et Plug-in rapide
0.4
0.2
0 -4
-3
-2
-1
0.4
0.2
0 -4
-3
-2
-1
Figure 44 -Densit de probabilit de la population Testour par le noyau Plug-in et Plug-in rapide
-85-
La densit de probabilit de D est estime partir de populations thoriquement neutres simules en utilisant la mthode du noyau avec recherche du pas optimal selon deux mthodes : L'algorithme Plug-in usuel et l'algorithme Plug-in rapide. Bien entendu, dans les deux cas, c'est le noyau optimal qui est utilis. Les figures 43 et 44 montrent bien que les deux estimations sont pratiquement les mmes. Pour une meilleure estimation de la neutralit de ces deux populations, une valeur moyenne de l'entit P[D<Dp] est calcule partir de 100 valeurs simules de D. Le tableau 11 prsente les rsultats obtenus pour les deux populations partir des deux mthodes testes.
P[D<Dp] (Valeur moyenne) Population Sened Testour Plug-in 0.0213 0.0183 Plug-in rapide 0.0214 0.0184
Ainsi, les valeurs obtenues par les deux mthodes sont trs proches et permettent d'aboutir aux mmes conclusions concernant la neutralit des populations testes. L'apport du Plug-in rapide concerne uniquement le gain en temps de calcul du sa moindre complexit algorithmique relativement au Plug-in usuel.
Conclusion
Nous nous intressons dans ce chapitre l'estimation de la neutralit gntique des populations. En effet, les tests statistiques dvelopps en gntique des populations se basent sur l'hypothse de la neutralit qui leur permet de modliser la transmission de gnes travers les gnrations par un modle binomial. Souvent, les gnticiens utilisent pour estimer cette neutralit des logiciels ferms et affirment partir d'une seule mesure la neutralit ou non de la population tudie. Une
-86-
telle affirmation risque d'tre errone dans certains cas litigieux pour lesquels il serait judicieux de calculer plutt une moyenne. Une telle dmarche exige la mise en uvre d'un logiciel conforme aux exigences spcifiques des donnes manipules. Ainsi, nous avons dvelopp un logiciel qui permet de mesurer cette neutralit en utilisant la mthode du noyau avec recherche du pas optimal par l'algorithme du Plug-in rapide (Chapitre 3). Nous avons pu montrer travers des exemples tires des populations berbres de Tunisie que les rsultats obtenus par utilisation du Plug-in rapide et ceux obtenus par le Plug-in usuel sont comparables.
-87-
CONCLUSION GNRALE
Le travail ralis dans le cadre de cette thse traite essentiellement de l'optimisation du paramtre de lissage de l'estimateur noyau dans le cadre de l'estimation non paramtrique des densits de probabilit. Lors de l'tude de l'tat de l'art du domaine, l'algorithme Plug-in pour la recherche du paramtre de lissage optimal apparat particulirement performant notamment pour l'estimation des densits prsentant plusieurs modes. En effet, les diffrentes simulations menes montrent bien que le plus faible cart quadratique moyen est obtenu en utilisant le paramtre de lissage estim par l'algorithme Plug-in. La rduction de la complexit de l'algorithme Plug-in reprsente une premire contribution dans cette thse. L'ide principale est de calculer l'expression analytique de l'entit J( f ) en utilisant des noyaux deux fois drivables ou deux fois drivables par morceaux. Il devient alors inutile d'estimer la densit de probabilit chaque itration. Cette variante de l'algorithme Plug-in, que nous avons appel Plug-in rapide, a abouti des carts quadratiques moyens intgrs comparables ceux obtenus par l'algorithme du Plug-in usuel sur les simulations ralises. Ainsi nous avons pu conclure l'efficacit de cet algorithme pour estimer le paramtre de lissage hN. L'estimation de la probabilit d'erreur des systmes de communication numrique, gnralement dtermine par la mthode Monte Carlo, reprsente une problmatique en raison du temps de calcul ncessaire pour obtenir un intervalle de confiance correct. En effet, ce temps de calcul devient extrmement lev avec la complexification algorithmique des systmes de communications. Une alternative la mthode Monte Carlo est propose dans le chapitre 4. Elle consiste estimer la densit de probabilit des signaux reus d'un des utilisateurs pour lequel on ne transmet que des signaux d'un seul type (+1 par exemple). L'intgrale de 0 de cette densit de probabilit
-89-
Conclusion gnrale
reprsente le taux d'erreur binaire. Il est cependant ncessaire de garantir une estimation correcte de la densit de probabilit du signal reu. Cette dernire dpend de la technologie du systme de communication tudi. Pour cela, nous proposons d'utiliser la mthode du noyau avec estimation du paramtre de lissage par la mthode Plug-in. L'tude thorique de l'estimateur propos a permis de dmontrer qu'il s'agit d'un estimateur consistant et sans biais. Par ailleurs, nous avons pu montrer la fiabilit de notre estimateur travers plusieurs simulations dont les rsultats sont comparables ceux obtenus par la mthode Monte Carlo. La neutralit gntique des populations est gnralement mesure en estimant la densit de probabilit d'une statistique construite partir de populations thoriquement neutres ayant les mmes caractristiques que la population tudie. Un systme d'algorithmes, permettant de gnrer la distribution de cette statistique puis d'estimer sa densit de probabilit par la mthode du noyau avec recherche du pas optimal par l'algorithme Plug-in, a t mis en uvre et a permis d'amliorer la prcision des rsultats. Il est important de noter que les qualits en termes de temps de calcul du Plug-in rapide ont donn la possibilit d'explorer les performances des statistiques du paramtre de neutralit en multipliant dans un temps praticable les exprimentations relatives au calcul de son biais et de sa variance. Plusieurs perspectives sont prendre en compte la suite de ces travaux aussi bien dans les orientations thoriques qu'applicatives. Les densits de probabilit bornes peuvent tre estimes en liminant le phnomne de Gibbs par la mthode du noyau diffomorphisme. L'application de l'algorithme Plug-in pour l'estimation du paramtre de lissage optimal peut tre ralise. Des premiers essais donnent des rsultats intressants mritant d'tre approfondis. Le cas multivari qu'il soit born ou pas est appel tre tudi de manire similaire. Toutefois, la gnralisation, du moins au cas bivari, ne semble pas aise pour au moins deux raisons. Le dveloppement limit de l'EQMI dans le cas le plus simple (non born) semble introduire plus d'un paramtre puisque les drives partielles d'ordre 2 sont en nombre gal 3. La seconde raison est notre avis d'ordre plutt gomtrique puisque les domaines borns ou semi-borns du plan rel (cas bivari) comportent ds lors une multitude de topologies telles que les domaines non rectangulaires, les domaines non simplement connexes (comportant des trous)Cela a pour consquence de rendre difficile la construction de diffomorphismes (changement de variable) entre ce type de domaine et le plan rel. Toutefois, l'aide d'artifices aboutissant des mthodes comportant des
-90-
Conclusion gnrale
imperfections, nous pensons pouvoir proposer dans nos futurs travaux des solutions apportant une certaine amlioration. A titre indicatif, concernant la limitation provenant de la diversit gomtrique des domaines multidimensionnels, il est toujours possible de considrer des domaines plus larges de formes relativement simples contenant le vrai support. Grce des mthodes numriques, la construction de diffomorphismes sur l'enveloppe convexe du domaine pourrait faire l'objet de travaux futurs. Il est bien connu que l'estimation dans le cas multivari, comme dj voqu, requiert des tailles d'chantillon leves et souvent non praticables. La rduction de dimension est souvent retenue dans de telles situations. Les algorithmes bass sur les matrices de dispersion tel que le critre de Fisher sont les plus utilises en raison de leur simplicit de mise en uvre et la faible complexit algorithmique qu'ils prsentent. Cependant, dans la majorit des configurations, les rsultats de rduction de dimension aboutissent des solutions non optimales. Il est maintenant bien tabli que l'une des raisons cela est la manire selon laquelle les donnes occupent l'espace d'observation. Comme nous l'avons signal dans ce document le recours aux statistiques d'ordre suprieur ou mieux encore toute la caractrisation stochastique par l'utilisation des fonctions caractristiques ou des densits de probabilit conjointes dans les critres tels que les distances en probabilit ne peut qu'aboutir des rductions de dimension tendant tre optimales. Cela ouvre un champ d'applications fondamentales au prsent travail. Il est reconnu que les grands enjeux venir vont de plus en plus porter aussi bien sur les progrs technologiques que sur l'amlioration et la prservation de la qualit de la vie humaine. Sont essentiellement cits, le secteur de l'environnement, le dveloppement durable, la prvention des catastrophes naturelles, la sant Toutes les applications dveloppes au service de tels objectifs demandent de plus en plus de matrise des alas. La dtermination de manire prcise, rigoureuse et rapide des distributions des paramtres et des grandeurs physiques numrises par les moyens informatiques demeureront un challenge technologique et scientifique de premier rang. Notre contribution l'analyse des estimateurs de densit de probabilit non paramtriques trouverait des perspectives d'application dans ces domaines essentiels.
-91-
ANNEXE 1
var f N
var
1 Nh N
K
i 1
Xi hN
1
2 N 2 hN
var
i 1
K
x
Xi hN
N
2 N 2 hN
var K
X1 hN
1
2 NhN
var K
X1 hN
2
1
2 Nh N
E K
X1 hN
E K
X1 hN
2
1
2 Nh N
x y f y dy hN
x y K f y dy hN
x y , l'expression de la hN
var f N
1
2 NhN
K 2 u f x hN u hN du
K 2 u f x h N u du 1 N
K u f x hN u hN du
K u f x h N u du
2
1 Nh N
[Eq. 1]
K
i 1
Xi hN
1 E NhN
K
i 1
Xi hN
-93-
Annexe 1
x X1 N E K Nh N hN
1 hN K x y f y dy hN x y hN
E fN
1 hN
K u f x uhN h N du
K u f x uhN du
E fN
K u f x uhN du K u f x uhN
K u f x du
2
[Eq. 2]
f x du
E fN
1 Nh N
K 2 u f x hN u du f x du
2
K u f x uhN
1 N
K u f x hN u du
AN x
BN x
1 NhN
K 2 u f x hN u du
f x du
2
2
K u f x uhN
CN x
1 N
K u f x hN u du
f x hN u f x hN uf ' x
< 1.
u2 2 hN f " x 2
3 u 3 hN f 6
hn u
avec 0 <
-94-
Annexe 1
BN x
4 f ' x hN
uK u du
f '' x 2 hN 2
u 2 K u du
CN x
f2 x N
Le noyau K tant une densit de probabilit symtrique d'ordre 2 de moyenne 0 et de variance 1, le biais B N x L'EQMI devient alors gal :
AN x BN x C N x dx
f ' '2 4 hN 4
En notant par M K
K 2 u du et J f
f" x
dx
avec f" la drive seconde de f , l'EQMI peut tre approch en fonction de hN par
hN .
EQMI hN M K Nh N
4 J f hN 4
[Eq.3]
Pour minimiser
' (h N ) 0 .
' hN
M (K )
2 NhN
* hN
J f
M K
[Eq. 4]
-95-
Annexe 2
pe, N
1 NhN
0
K
i 1
x Xi hN
N
E pe, N
1 NhN
E K
i 1
x Xi hN
dx
x X1 1 NE K NhN hN 1 hN K
dx
x u f u du dx hN
En posant t
x u / hN , on obtient :
0
E pe , N
1 hN
K t f x hN t dt hN dx K t f x hN t dt dx
f x hN t
f x
hN t f ' x
3 O hN t 3
-97-
Annexe 2
Ainsi,
E pe , N
(K t (f x
f x
hN t f ' x
2 hN t 2 f" x 2
3 O hN t 3
dt ) dx
K t dt hN f ' x
t K t dt
2 hN f" x 2
3 t 2 K t dt )dx O hN t 3
gaussien, E pe , N
Comme hN
f x dx
2 hN f' 0 2
3 O hN t 3
0 lorsque N
0
+ , alors :
lim E pe, N
f x dx
pe
-98-
Annexe 3
pe, N
1 NhN
K
i 1
x Xi , hN
Var pe , N
Var
1 NhN
0
K
i 1
x Xi hN dx
dx
1 Var 2 NhN
0
x X1 hN
Posons A
x X1 dx . hN
hN E pe, N .
E A
hN pe +
3 hN O hN
-99-
Annexe 3
E A2
x X1 dx hN
y X1 dy hN
x X1 K hN
y X1 hN
X1
x y 2
hN / 2
x y 2hN
v, w
x y 2
,x y
E A2
K
0
X1
hN / 2 K
x y dx dy 2hN w dv dw 2hN
X1 v K hN / 2 X1 v dv hN / 2
2hN 2hN
K
0
u R
u x dx f u du hN / 2
u x , on obtient : hN / 2
0 t R
E A2
2 hN
K t f
x thN 2
dtdx
x thN 2
qui s'crit :
-100-
Annexe 3
x thN 2
f x
thN 2
f' x
2 t 2 hN f" x 4
3 O t 3 hN
E A 2 s'crit :
tK t hN 2
2 t 2 K t hN f " x dtdx 4
E A2
2 hN
0 t R 0
K t f x
2 N
f' x
2 hN
f x dx
2 hN f' 0 4
h f' 0 4
5 O hN
5 O hN
2 hN pe
Var pe , N
E A2
E A
1 2 hN pe 2 NhN pe 1 pe N
Comme hN 0 lorsque N
2 hN f' 0 4 2 hN f' 0 N
hN pe 1 4 pe
3 hN f' 0 2 4 hN f' 0 4N 2
1 5 O hN N
+ ,
-101-
Annexe 4
E
E
pe, N
pe , N
pe
pe
E
E 2E
pe, N
pe , N pe, N
E pe, N + E pe, N
E pe, N E pe, N
2
pe
+ E pe, N E pe, N pe
pe
Or, E
pe, N
E pe , N
E pe , N
pe
=E
pe , N
E pe, N
+ E pe , N
pe
pe
0 lorsque
+ .
pe , N
pe
-103-
Figure 1- Histogramme avec pas optimal........................................................... 9 Figure 2 - Histogramme avec pas infrieur au pas optimal................................ 9 Figure 3 - Histogramme avec pas suprieur au pas optimal............................. 10 Figure 4 - Estimateur noyau avec hN infrieur au pas optimal ..................... 14 Figure 5 - Estimateur noyau avec hN suprieur au pas optimal .................... 15 Figure 6 - Estimateur noyau avec hN optimal ............................................... 15 Figure 7 -Estimation d'une loi exponentielle par la mthode du noyau. .......... 22 Figure 8 -Estimation d'une loi exponentielle par la mthode du noyau diffomorphisme .............................................................................................. 22 Figure 9 -Estimation d'une loi uniforme par la mthode du noyau diffomorphisme .............................................................................................. 23 Figure 10 -Estimation d'une loi uniforme par la mthode du noyau diffomorphisme .............................................................................................. 23 Figure 11 -Schma descriptif de l'algorithme Plug-in...................................... 33 Figure 12 -G1 en fonction de la mthode de slection de hN ........................... 38 Figure 13 -G2 en fonction de la mthode de slection de hN ........................... 38 Figure 14 -G3 en fonction de la mthode de slection de hN ........................... 39 Figure 15 -G4 en fonction de la mthode de slection hN ................................ 39 Figure 16 -G5 en fonction de la mthode de slection de hN ........................... 40 Figure 17 -G6 en fonction de la mthode de slection de hN ........................... 40 Figure 18 -G7 en fonction de la mthode de slection de hN ........................... 41 Figure 19 -G8 en fonction de la mthode de slection de hN ........................... 41 Figure 20 - Evolution de l'EQMI de G1 en fonction du nombre d'itrations. .. 44
-105-
Figure 21 -Evolution de l'EQMI de G2 en fonction du nombre d'itrations. ... 44 Figure 22 -Evolution de l'EQMI de G3 en fonction du nombre d'itrations. ... 45 Figure 23 -Evolution de l'EQMI de G4 en fonction du nombre d'itrations. ... 45 Figure 24 -Evolution de l'EQMI de G5 en fonction du nombre d'itrations. ... 46 Figure 25 -Evolution de l'EQMI de G6 en fonction du nombre d'itrations. ... 46 Figure 26 -Evolution de l'EQMI de G7 en fonction du nombre d'itrations. ... 47 Figure 27 -Evolution de l'EQMI de G8 en fonction du nombre d'itrations. ... 47 Figure 28 -Schma descriptif de l'algorithme Plug-in rapide........................... 54 Figure 29 -G1 en fonction de la puissance de hN. ............................................ 56 Figure 30 -G3 en fonction de la puissance de hN. ............................................ 56 Figure 31 -G5 en fonction de la puissance de hN. ............................................ 57 Figure 32 - G7 en fonction de la puissance de hN. ........................................... 57 Figure 33 -G8 en fonction de la puissance de hN. ............................................ 58 Figure 34 -Estimation par la mthode du noyau avec dtermination de hN par Plug-in usuel et Plug-inrapide. ......................................................................... 59 Figure 35 -Plug-inet Plug-in rapide : EQMI en fonction de la taille d'chantillon...................................................................................................... 60 Figure 36 -Modle de transmission en CDMA ................................................ 65 Figure 37 -Modle de Rception pour une transmission CDMA..................... 65 Figure 38 - Estimation du BER pour des valeurs RSB faibles......................... 72 Figure 39 -Estimation du BER pour des valeurs RSB leves......................... 73 Figure 40 -Evolution du BER-MMC et du BER-MEDP selon le RSB............ 74 Figure 41 BER-MMC et BER-MEDP selon RSB pour un faible nombre de symboles gnrs.............................................................................................. 75 Figure 42 -Gnalogie d'un gne cinq allles................................................ 78 Figure 43 -Densit de probabilit de la population Sened par le noyau Plug-in et Plug-in rapide................................................................................... 85 Figure 44 -Densit de probabilit de la population Testour par le noyau Plug-in et Plug-in rapide................................................................................... 85
-106-
-107-
BIBLIOGRAPHIE
[Ard94] [Ban93]
P. Ardilly, Les techniques de sondage, Edition Tehcnip, 1994. C. Banga et F. Ghorbel, L'chantillonnage bootstrap pour la segmentation non supervise d'images relles, XXVmes journes de statistiques, Socit de Statistiques de France, Vannes, 24-28, Mai 1993.
[Bea80]
S.J. Bean and C.P. Tsokos, Developments in non parametric density estimation, International Statistical Review, Vol. 48, pp. 267-287, 1980.
[Ban95]
C. Banga, L'approche bootstrap en analyse des images : Application la restitution de la cintique de la fuite dans la choriortinopathie sreuse centrale, Thse de doctorat, Universit de Rennes 1, 22 fvrier 1995.
[Bow84] A. W. Bowman, An alternative method of cross-validation for the smoothing of density estimates, Biometrika, Vol. 71, pp. 353-360, 1984. [Bow97] A.W. Bowman and A. Azzalini, Applied Smoothing Techniques for Data Analysis in Oxford University Press, 1997. [Cav67] L. Cavalli-Sforza and Marcus W. Feldmans, Phylogenetic analysis : Models and estimation procedures, American Journal Of Human Genetics, Vol. 19, N 3, pp. 233 257, May 1967. [Chi91] S.T. Chiu, Bandwidth selection for Kernel Density Estimation, Annals of statistics, Vol. 19, pp. 1883 1905, 1991. [Deh77] P. Deheuvels, Estimation non paramtrique de la densit par histogrammes gnraliss, Revue de statistiques appliques, Vol. 25, pp. 5 42, 1977. [Dev84] L. Devroye and L. Gyrfi, Non parametric density estimation: The L1-view, Wiley, New York, 1984. [Dha92] D. S. Modha and Y. Fainman, A learning law for density estimation, IEEE trans. On neural networks, Vol. 5, N 3, pp. 519 523, 1992.
-109-
Bibliographie
[Dui76]
R.P.W. Duin, On the choice of the smoothing parameters of Parzen estimators of probability density functions, IEEE transactions on computers, Vol. 25, pp. 1175 1179, 1976.
[Ef79a]
B. Efron, Bootstrap methods: Another look at the jackknife, Annals of statistics, Vol. 7, pp. 1 26, 1979.
[Ef79b]
B. Efron, Computers and the theory of statistics: Thinking and unthinkable, SIAM review, Vol. 21, pp. 460 480, 1979.
[Efr83]
B. Efron, Estimating the Error rate of a prediction rule: Improvement on Crossvalidation, Journal of the American Statistical Assosiation, Vol. 78, pp. 316 331, 1983.
[Ewe72]
W. J. Ewens, The sampling theory of selectively sampling alleles, Theoretical population biology, Vol. 3, pp. 87 112, 1972.
K. Fadhlaoui-Zid, Mitochondrial DNA heterogeneity in Tunisian berbers, Annals of Human Genetics, Vol. 68, pp. 222 233, 2004. G.S. Fishmon, Mont Carlo, Edition Springer, 1997. R. Fletcher, Practical Methods of Optimization, Wiley, New York, 1987. B.H. Fleury, M. Tschudin, R. Heddergott, D. Dahlhaus, K.I. Pedersen, Channel parameter in mobile radio environments using the SAGE algorithm, IEEE J. Select. Areas Commun, Vol. 17, pp. 434 450, 1999.
[Fu 93]
Y. X. Fu & W. H. Li, Statistical tests of neutrality of mutations, Genetics, Vol. 133, pp. 693 709, 1993.
[Fu 97]
Y. X. Fu, Statistical tests of neutrality of mutations against population growth, hitchhiking and background selection, Genetics, Vol. 147, pp. 915 925, 1997.
[Gho90]
F. Ghorbel , Vers une approche unifie des aspects gomtriques et statistiques de la reconnaissance de formes planes, Thse de doctorat, Universit de Rennes I, 1990.
[Gho94] F. Ghorbel et C. Banga, Bootstrap sampling applied to image analysis, Invited paper, Special session, IEEE-ICASSP 94, Octobre 1994, Adelade, South Australia, Volume 6, pp 81-84, 1994. [Har91] W. Hrdle, Smoothing Techniques with implementation in S, Springer, New York, 1991. [Har92] W. Hrdle and D.W. Scott, Smoothing by weighted averaging of rounded points, Computational statistics, Vol. 7, pp. 97 128, 1992.
-110-
Bibliographie
[Hal82]
P. Hall, Comparison of two orthogonal series methods of estimating a density and its derivatives on interval. J. Multivariate anal., Vol. 12, pp. 432 449, 1982.
[Ha87a] P. Hall, J.S. Marron, Extent to which Least-Squares Cross-Validation Minimises Integrated Square Error in Non Parametric Density Estimation, Probability Theory and related fields., Vol. 74, pp. 567 581, 1987. [Ha87b] P. Hall, J.S. Marron, Estimation of integrated squared density derivatives, Statistics &Probability letters, Vol. 6, pp. 109 115, 1987. [Hal88] P. Hall, M.P. Wand, Minimizing L1 distance in non parametric density estimation, Journal of Multivariate Analysis, Vol. 26, pp. 263 269, 1988. [Ha91a] P. Hall, J.S. Marron, Lower bounds for bandwidth selection in density estimation, Probability Theory and related fields., Vol. 90, pp. 149 173, 1991. [Ha91b] P. Hall, J.S. Marron, Local minima in cross-validation functions, Journal of the royal statistical society, Series B, Vol. 53, pp. 245 252, 1991. [Hom79] P. Hominal et P. Deheuvels, Estimation non paramtrique de la densit compte tenu d'informations sur le support, Revue de statistiques, Vol. 27, pp. 47 68, 1979. [Jer84] M.C. Jeruchim, Techniques of Estimating the Bit Error Rate in the Simulation of Digital Communications Systems, IEEE J. Select Areas. Comm, Vol. 2, n 1, 153 170, Jan. 1984. [Jon92] L.K. Jones, A simple lemma on greedy approximation in Hilbert space and convergence rates for projections pursuit regression and neural network training, Ann. stat., Vol. 20, n 1, 608 - 613, 1992. [Jon96] M.C. Jones, J.S. Marron and S.J. Seather, A brief survey of bandwidth selection for density estimation. J. Amer. Stat. Assoc, 91, 401 407, 1996. [Ken67] M.G. Kendall and A. Stuart, The advance theory of statistics, volume 2, ditions Charles Griffin & Co, chapitre 30, pp 149-464, London 1967. [Kin82] J. F. C. Kingman, The coalescent, Stochastic processes and applications, Vol. 13, pp. 234 248, 1982. [Kon96] S. Kondo, L. Milstein, On the performance of multi-carrier DS-CDMA systems, IEEE Trans. Commun, Vol. 44, pp. 238 246, 1996 [Koo91] C. Kooperberg and C.J. Stone, A study of logspline density estimation, Computational statistics & Data analysis, Vol. 12, pp. 327 347, 1991.
-111-
Bibliographie
[Kor68]
G. A. Korn & T. M. Korn, Mathematical handbook for scientists and engineers, Editions Mc Graw-Hill, 1968.
[Kro68]
R. Kronmal and M. Tarter, The estimation of probability densities and cumulatives by Fourier series methods, Journal Amer. Statist. Assoc., n 63, 925 - 952, 1968.
[Kul59] [Lau68]
S. Kulback, Information theory and statistics, Editions Wiley, New York, 1959. P. Lauchenbraun and M. Mickey, Estimation of error rate in discriminant analysis, Technometrics, Vol. 10, pp. 1 11, 1968.
[Lep03]
R. Lepage and B. Solaiman, Les rseaux de neurones artificiels et leurs application en imagerie et en vision par ordinateur, Universit du Qubec, Ecole de technologie suprieur, 2003.
[Lik01]
A. Likas, Probability density estimation using artificial neural networks, Computer physics communication, Vol. 135, pp. 167 175, 2001.
[Mug04] A.R. Mugadi and A.A. Ibrahim, A bandwidth selection for kernel density estimation of functions of random variables, Computational statistics and data analysis, Vol. 47, pp 49-62, 2004. [Oja81] H., Oja, On location, scale, skewness and kurtosis of univariate distribution. Scand. J. Statist, vol. 8, 164 168, 1981. [Oja83] H., Oja, Descriptive statistics for multivariate distributions, Statistics and probability letters, vol. 1, 327 332, 1983. [Par62] E. Parzen, On estimation of a probability density function and mode, Annals of mathematical statistics, Vol. 33, 1065-1076, 1962. [Par90] B.U. Park and J.S. Marron, Comparison of data driver bandwidth selectors, Journal of the American Statistical Association, Vol. 85, pp. 66 - 72, 1990. [Pat69] E. A. Patrick and F. P. Fischer, Non parametric feature selection, IEEE transaction on information theory, vol. 15, 577 584, 1969. [Poo97] H.V. Poor and S. Verdi, Probability of error in MMSE multiuser detection, IEEE trans. Inform. Theory, Vol. 43, N3, pp. 858 871, 1997. [Roz56] M. Rozenblatt, Remarks on some non-parametric estimates of a density function. Annals of mathematical statistics 27, 832-837, 1956. [Rob67] M. Robertson, On estimating a density which is measurable with respect to a lattice. Annals of mathematical statistics 38, 482-493, 67.
-112-
Bibliographie
[Rub81]
R.Y. Rubinstein, Simulation and the Mont Carlo Mthod, Edition John Wiley & sons, 1981.
[Sao 92]
S. Saoudi, J.M. Boucher and A. Le Guyader, A new efficient algorithm to compute the LSP parameters for speech coding, Signal Processing, Vol. 28, pp 201-212, 1992.
[Sao94]
S. Saoudi, F. Ghorbel, A. Hillion, Non parametric probability density function estimation on a bounded support: applications to shape classification and speech coding, Applied Stochastic Models and Data Analysis, Vol.10, 215-231, 1994.
[Sao97] S. Saoudi, F. Ghorbel, A. Hillion, Some statistical properties of the Kerneldiffeomorphism estimator, Applied Stochastic Models and Data Analysis, Vol. 10, pp. 39-58, 1997. [Sao09] S. Saoudi, M. Troudi, F. Ghorbel, A new iterative soft Bit Error Rate estimation of any digital communication system using a non parametric probability density function, EURASIP Journal on Wireless Communications and Networking, accepted on March 2009. [Sco77] D.W. Scott, R.A. Tapia and J.R. Thompson, Kernel density estimation revisited, Non linear analysis, theory, methods and applications, Vol. 1, pp. 339 372, 1977. [Sco87] D.W. Scott and G.R. Terrel, Biased and unbiased cross-validation in density estimation, Journal of the American statistical association, Vol. 82, pp. 1131 1146, 1987. [Sha62] C.E. Shannon and W. Weaver, The mathematical theory of communication, Urbana, IL: University of Illinois Press, 1962. [Sil86] B.W. Silverman, Density Estimation for Statistics and Data Analysis in Chapman & Hall, London, U.K, 1986. [Taj83] F. Tajima, Evolutionary relationships of DNA sequences in finite populations, Genetics, Vol. 105, pp. 437 460, 1983. [Taj89] F. Tajima, Statistical method for testing the neutral mutation hypothesis by DNA polymorphism, Genetics, Vol. 123, pp. 585 595, 1989. [Tan93] M. Tanda, Bit error rate of DQPSK signals in slow nakagami fading, Electronics letters, Vol. 29, pp. 134 136, 1993. [Ter90] G.R. Terrel, The maximal smoothing principle in density estimation, Journal of the American statistical association, Vol. 85, pp. 470 477, 1990.
-113-
Bibliographie
[Til01] [Tro04]
Y. Tille, Thorie des sondages, Edition DUNOD, 2001. M. Troudi, Analyse stochastique de donnes gntiques, Mmoire de Mastre, Universit de Sfax, Juillet 2004.
[Tr06a]
M. Troudi et S. Saoudi, Gnration d'arbres alatoires pour la simulation de populations gntiquement neutres, AMINA, Monastir-Tunisie. 16-18 Novembre 2006.
[Tr06b]
M. Troudi, S. Saoudi et F. Ghorbel, Un nouvel algorithme itratif pour l'ajustement de distributions statistiques : Application des donnes gntiques, IEEE ISIVC, Hammamet-Tunisie, 13-15 Septembre 2007
[Tr07a]
M. Troudi, A. M. Alimi et S. Saoudi, Un algorithme rapide d'estimation des densits de probabilit bas sur le Plug-in: Application des donnes gntiques, Gretsi, Troyes-France, 11-14 Septembre 2007
[Tr07b]
M. Troudi, A. M. Alimi and S. Saoudi, Fast Plug-in Method for Parzen Probability Density Estimator Applied to Genetic Neutrality Study, IEEE EUROCON 2007, VarsoviePologne, 9 - 12 Septembre 2007.
[Tr08a]
M. Troudi, A. M. Alimi and S. Saoudi, Analytical Plug-in Method for Kernel Density Estimator Applied to Genetic Neutrality Study, Eurasip Journal of advances in Signal Processing (Eurasip-JASP), Volume 2008, Article ID 739082, 8 pages doi: 10.1155/2008/739082.
[Tr08b]
M. Troudi, A. M. Alimi and S. Saoudi, Estimation of Bit Error Rate for CDMA systems by Plug-in Method for Kernel Density Estimator, ISIVC, Bilbao-Spain, 0911 July 2008.
[Ver98] [Wat74]
L.K. Jones, Multiuser Detection, Cambridge University Press, UK, 1998. G. A. Watterson, On the number of segregating sites in genetical models without recombination, Theoretical population biology, vol 7, pp. 256 276, 1974.
[Web81] C. L. Weber, G. K. Huth, B. Baston, Performance consideration on code division multiple access, IEEE trans on Vehicular Technology, Vol. 30, pp. 3 9, 1981. [We70a] C. Wegman, Maximum likehood estimation of a unimodal density I, Ann. Math. Stat., Vol. 41, pp. 457 471, 1970. [We70n] C. Wegman, Maximum likehood estimation of a unimodal density II, Ann. Math. Stat., Vol. 41, pp. 2169 2174, 1970.
-114-
Bibliographie
[Whi92]
H. White, Parametric statistical estimation with artificial neural networks, Mathematical perspectives of neural networks: approximation and learning theory, Blackwell, Oxford.
[Won83] W. Wong, A note on the modified likelihood for density estimation, Journal of the American Statistical Association, Vol. 78, pp. 461 463, 1983. [Wri37] S. Wright, The distribution of gene frequencies in populations, Genetics, vol 23, pp. 307-320, 1937. [Yac99] B. Yacoubi Loueslati, Etude du polymorphisme des immunoglobulines et de lADN mitochondrial dans la population de lle de Jerba, thse de doctorat, Universit de Tunis Al Manar, Facult des sciences, 1999. [Yan05] Yang, C., Duraiswami, R., Davis, L., 2005. Efficient kernel machines using the improved fast Gauss transform, Advances in Neural Information Processing Systems, 1561 1568.
-115-
Ce document t cre avec Win2pdf disponible http://www.win2pdf.com/fr La version non enregistre de Win2pdf est uniquement pour valuation ou usage non commercial.