6MDI851 - Sujets spciaux en modlisation avance

Devoir#1 - Perceptron multicouches (MLP)

1. Fonctions de sortie de neurones
La fonction de sortie sigmodale est en quelque sorte la pierre angulaire de lalgorithme de
rtropropagation du gradient derreur. Cette fonction est la fois suffisamment discriminante
pour pouvoir afficher les classes de sortie et la fois diffrentiable en tout point afin de pouvoir
calculer une valeur de gradient. De plus, sa forme de type exponentielle permet de calculer
facilement sa drive car lexponentielle est la seule fonction dont la drive est galement une
exponentielle.
valuez la drive des fonctions de sortie suivantes :
1.1 Sigmode unipolaire :
1.2 Sigmode unipolaire pente ajustable :
1.3 Sigmode bipolaire :
1.4 Sigmode bipolaire pente ajustable :
Pour rsoudre des problmes autres que de classification, par exemple pour lapproximation de
fonction, une fonction de sortie linaire sera prfre pour la couche de sortie. La fonction de
sortie doit aussi tre drivable pour pouvoir valuer le gradient.
valuez la drive de la fonction de sortie linaire :
1.5 Linaire

2. Perceptron une couche cache et deux entres

Soit le perceptron multicouche suivant :

La valeur des poids est indique directement au dessus de la connexion. La valeur de polarisation
de chaque neurone est indique dans le cercle symbolisant le neurone.
Les paramtres du rseau sont les suivants :

Compltez le tableau ci-dessous pour une passe complte travers le rseau, i.e. de la
propagation directe du vecteur dentre X=[1 0] jusquau changement de poids des connexions.

3. Perceptron 2-2-1
Soit le perceptron multicouche suivant :

La valeur des poids est indique directement au-dessus de la connexion. La valeur de

polarisation de chaque neurone est indique dans le cercle symbolisant le neurone. Les
paramtres du rseau sont les suivants :

Calculez les nouvelles valeurs de poids et de polarisation aprs une passe complte de
propagation directe - rtropropagation du gradient.

4. Perceptron bipolaire 2-2-1

Soit le mme perceptron multicouche quau problme prcdent, avec les diffrences que les
entres sont bipolaires et les fonctions de sortie galement bipolaires.

Les paramtres du rseau deviennent :

Calculez les nouvelles valeurs de poids et de polarisation aprs une passe complte de
propagation directe - rtropropagation du gradient.

5. Perceptron 3-2-3
Soit le perceptron multicouche suivant :

Dans lunique but de simplifier les calculs, les neurones ne sont pas munis de lhabituel
paramtre de polarisation. Les poids de connexion affichs directement sur la connexion sont
rsums dans les deux matrices de connexion :

Les paramtres du rseau sont :

Calculez les nouvelles valeurs de poids des matrices de connexion V et W aprs une passe
complte de propagation directe - rtropropagation du gradient