Reele neurale Kohonen

Reele neurale - Generaliti

O reea neural este compus dintr-un numr de noduri sau unituri conectate ntre ele
prin legturi. Fiecare legtur are o pondere numeric asociat cu ea. Ponderea este mijlocul
primar de memorare pe termen lung n reelele neuronale i n realitate nvarea const n
gsirea (calcularea) acestor ponderi astfel nct reeaua s rspund ct mai bine la datele de
antrenament. Unele noduri au legturi directe cu mediul nconjurtor i pot fi considerate ca i
uniti de intrare sau ieire. Alte noduri, care nu au nici o legtur direct cu exteriorul sunt
considerate noduri ascunse. Ponderile reelei sunt modificate pe parcursul nvrii astfel nct
reeaua s reproduc prin comportamentul intrare/ieire ct mai fidel datele de antrenament.

Arhitectura reelelor neurale

Exist o varietate de tipuri de structuri de reele, fiecare dintre acestea rezult din diferite
posibiliti de calcul i n funcie de problema care trebuie rezolvat. O reea neural poate fi
privit ca un graf orientat ponderat n care neuronii sunt nodurile iar arcele orientate (cu
ponderile asociate) sunt legturile ntre neuroni Din punct de vedere al construciei reelele
neurale se mpart n dou categorii principale: reelele feed-forward i reelele recurent. n
reelele feed-forward (cu propagare nainte), legturile dintre neuroni sunt unidirecionale i nu
exist bucle (legturi de la un neuron de pe un strat superior la un neuron de pe un strat
inferior). n reelele feed-forward legturile pot pleca de la topologii arbitrare, neexistnd nici o
legtur spre stratul anterior sau legturi care sar peste un anumit strat. n aceste tipuri de
reele toi neuronii de pe un anumit strat sunt actualizai la o anumit perioad de timp. Aceste
reele sunt reele statice ele neavnd un comportament dinamic propriu-zis ieire reelei
depinznd doar de valoarea curent a intrrii nu i de valorile anterioare ale intrrii.
Reelele recurente sunt reele n care pot exista legturi napoi, un neuron de pe un strat
superior are legturi cu neuroni de pe nivelurile inferioare. De asemenea n reelele recurente
pot exista legturi care sar peste anumite straturi. n acest caz reeaua reprezint un graf
orientat complet i are un comportament dinamic propriu-zis.

Reguli de nvare
Fiecare tip de reea i modific ponderile n funcie de anumite reguli de nvare care
depind att de tipul datelor de intrare ct i de modul de construcie al reelei. Capacitatea de
nvare reprezint o trstur fundamental a inteligenei. n cadrul reelelor neurale nvarea
const n modificarea reelei pentru a-i adapta comportamentul la necesitile rezolvrii unei
probleme specifice. n general sunt modificaii coeficienii sinaptici (ponderile legturilor), uneori
modificndu-se numrul de uniti i sau configuraia reelei. Principalul avantaj al reelelor
neuronale n comparaie cu sistemele expert clasice este acela c, n loc de a folosi un set de
reguli date de un expert uman, are loc o nvare prin exemple.
Din punct de vedere al organizrii datelor de intrare exist dou categorii de nvare:

nvarea nesupervizat n care se prezint reelei doar datele de intrare fr a

se specifica i ieirea dorit pentru acestea. n acest caz reeaua este lsat s
evolueze liber urmnd ca la sfrit s vedem rezultatul nvrii.
este nvarea supervizat n care mulimea de exemple de antrenament sunt
organizate sub forma de perechi intrare ieire, specificnd reelei la fiecare pas
care trebuie s fie ieirea corect, urmnd ca reeaua s generalizeze datele de
intrare.

Exist patru tipuri de reguli de nvare:

- regula de nvare competitiv n cazul acestei reguli ntre unitile de ieire are loc o
competiie pentru activare. n final o singur unitate va fi activ la un moment dat. Acest
fenomen este cunoscut i sub numele winner takes all.
- regula de nvare prin corecia erorii n nvarea supervizat reeaua dispune de
ieirea dorit pentru fiecare vector de intrare. n timpul nvrii ieirea reelei nu este egal cu
valoarea dorit. Principiul coreciei erorii folosete semnalul de eroare pentru modificarea
ponderilor n scopul minimizrii erorii.
- regula de nvare Boltzman mainile Boltzman sunt reele recurente simetrice i
acestea nva asocieri ntre vectorii de intrare i vectorii de ieire.
- regula de nvare Hebb este cea mai veche regul de nvare, n acest domeniu,
care respect postulatul lui Hebb aprut n 1949 avnd la baz observaia neurobiologic:
Dac ambii neuroni legai ntr-o sinaps sunt activi simultan coeficientul sinaptic al acestei
legturi crete. Aceast regul este plauzibil biologic i prezint avantajul c nvarea are loc
local, modificarea ponderii unei sinapse depinznd doar de neuronii alturai.

nvare online/ offline

Din punct de vedere al timpului cnd se face actualizarea ponderilor reelei exist dou
timpuri de nvare: nvarea on-line i nvarea off-line.
1. off-line - se determin, pentru fiecare pereche intrare/ieire, modificarea ce trebuie
adus coeficienilor sinaptici. Aceste modificri se sumeaz i se aplic reelei numai dup ce
au fost prezentate toate datele de antrenament (perechile intrare/ieire).
2. on-line - modificarea coeficienilor, calculai pentru o pereche intrare/ieire se aplicat
reelei imediat dup prezentarea acestei perechi. Prezint, n raport cu precedentul, avantajul
c este n general este mai rapid i poate prsi unele minime locale ale funciei de eroare
total.

Reelele competitive
n multe reele neurale exist un strat de neuroni care evolueaz pe baza competiiei
ntre neuroni. Cale mai cunoscute reele sunt Counterpropagation i Hrile Topografice ale lui
Kohonen.
n procesul winner takes all neuronul care este iniial cel mai activat va domina treptat
i va deveni cu activare maxim n timp ce ceilali neuroni din competiie se vor dezactiva. n
multe reele neurale procesul winner takes all este necesar pentru a selecta, n timpul nvrii
sau a procesrii, neuronul cu activarea maxim.

SOM (Self-Organizing Maps hri cu auto-organizare)

Aceast reea cunoscut i sub numele de Reeaua Kohonen dup numele profesorului
care a dezvoltat-o (Theo Kohonen) prezint o reea de nvare nesupervizat n care unitile
de intrare/ieire sunt dispuse sub form de gril (n general rectangular) n plan, iar coeficienii
conexiunilor ntre uniti din stratul de ieire depind de distanele ntre uniti. Astfel dac
unitile sunt apropiate acestea se influeneaz reciproc iar dac acestea sunt deprtate
influena este inhibatoare. Se definete astfel pentru fiecare neuron o vecintate a sa. Forma
acestei vecinti poate varia n funcie de datele de intrare i poate fi rectangular sau
circular. n timpul nvrii competitive se actualizeaz nu numai vectorul asociat unitii
nvingtoare ci i (uneori cu un coeficient mai redus) unitile din vecintatea acesteia. Acest
mod de modificare ncurajeaz unitile vecine s rspund n mod similar la vectori de intrare
similari. Deoarece T. Kohonen a lucrat la dezvoltarea teoriei competiiei, iar elementele de
procesare competitiv sunt adesea referite ca uniti Kohonen.
Reeaua este utilizat n aproximarea distribuiei vectorilor de intrare, n reducerea
dimensionalitii datelor meninnd (pe ct posibil) vecintatea i n clustering. Arhitectura

reelei SOM const ntr-o matrice bidimensional de uniti de ieire, fiecare conectat cu toate
cele n uniti de intrare. Fie

w ij

vectorul n-dimensional asociat unitii din poziia (i,j) a

matricii bidimensionale. Fiecare neuron de ieire calculeaz distana dintre vectorul de intrare x
i vectorul pondere wij memorat. Ponderea neuronului nvingtor (i a celor din vecintatea
acestuia) pentru pasul urmtor se calculeaz dup urmtoarea formul (formula lui Kohonen),
acesta modificndu-se dup fiecare vector de intrare fiind astfel din categoria reelelor cu
nvare online:

w i ( t + 1 )=

wi ( t ) + ( t ) ( xwi (t ) ) pentru i Vecinatatii

wi ( t ) restul

(1)

Unde

w i ( t+ 1 ) reprezint ponderea de la pasul urmtor a unuineuron

w i ( t ) reprezint ponderea de la pasul curent a unui neuron
x vectorul de intrare
( t ) rata de nvar e

Idea acestui algoritm este c se caut unitatea nvingtoare pentru fiecare vector de
intrare (la fel ca la algoritmul anterior cel bazat pe asociere pe baza similaritiilor), dar
modificarea coeficienilor sinaptici se realizeaz nu numai pentru unitatea nvingtoare ci (n
general cu un coeficient mai redus) i pentru unitile aflate n vecintatea acestei uniti,
vecintate definit de o vecintate v. Acest mod de modificare a coeficienilor ncurajeaz
unitile vecine s rspund n mod similar la vectori de intrare similari; reeaua este astfel o
hart a mulimii vectorilor de intrare.

Algoritmul de nvare Kohonen

Idea de nvare const n a plasa reeaua undeva n plan i a o antrena la nceput cu o
vecintate i un coeficient de nvare mare care pe parcursul nvrii s scad treptat, astfel:
1. se dispun unitile de ieire sub form de gril n plan (aceast dispunere reprezint
de fapt i iniializarea ponderilor unitilor cu valori aleatoare mici). Se recomand memorarea
acestor uniti ntr-o matrice pentru a se putea calcula ulterior vecintatea unui neuron. In cazul
reelei SOM ponderea unui neuron este considerat poziia acelui neuron n spaiul de
reprezentare al datelor de intrare.
2. se stabilete o anumit formul pentru calculul vecintii i al coeficientului de
nvare (formul care s depind de pasul la care s-a ajuns n nvare).
3. se ia un vector de intrare, i se calculeaz distana dintre el i toi neuroni din reea.
4. Neuronul care este cel mai apropiat este considerat neuronul nvingtor (ca n
formula 2) i la acest neuron se modific ponderea dup formula lui Kohonen (formula 1)

xwm , n=mini , jxwi , j

(2)

5. La toi neuroni care sunt vecini (la pasul respectiv) cu neuronul nvingtor se
recalculeaz ponderea dup aceeai formul (formula 1).
6. dac coeficientul de nvare () a ajuns la 0 se consider c reeaua a nvat
deoarece nu vor mai avea loc modificri n reea (conform formulei lui Kohonen)
7. dac coeficientul de nvare nu a ajuns la 0 se sare la pasul 3
n cadrul SOM vecintatea joac un rol esenial. n cazul dispunerii neuronilor pe o gril
ptrat vecintatea unui neuron este definit ca fiind toi neuronii vecini din cadrul matricei care
sunt in domeniul

[iv ,i+ v ]i[ jv , j+ v ]

pentru neuronul nvingtor de pe poziia (i,j) din

matricea de start iar v este vecintatea la acel moment dat. Exist mai multe formule pentru
calculul vecintii i al coeficientului de nvare la pasul t, acestea depinznd foarte mult de
aplicaie. Un exemplu de astfel de formul pentru aplicaia curent ar fi:

1
N

Vecinatate ( t )=6.1 e +1

 ( t )=0.01 e

1
N

unde t reprezint pasul curent

N numrul total de pai n care am vrea s nvee reeaua

Obs:
- Se consider un pas numai n momentul n care s-a terminat de prezentat reelei tot
setul de date de antrenament.
- Coeficientul 6.1 pentru vecintate este ales deoarece vrem s pornim cu o vecintate
mare la nceput (se recomand vecintatea s fie aproximativ 60-70% din numrul de neuroni
de pe o dimensiune a reelei). Coeficientul 6.1 a fost ales pentru o reea de 10x10 neuroni.
- Coeficientul de 0,01 la rata de nvare () este ales deoarece vrem ca rata de nvare
s fie suficient de mic nct s tind repede la 0.

Bibliografie
1.
2.
3.
4.
5.

http://webspace.ulbsibiu.ro/daniel.morariu/html/StudentDoc/ML/IA-laborator3.pdf
http://www.victorneagoe.com/university/prai/lab3b.pdf
http://en.wikipedia.org/wiki/Self-organizing_map
http://jknnl.sourceforge.net/
http://www.heatonresearch.com/articles/6/page3.html