UNIVERSITATEA DIN CRAIOVA

FACULTATEA DE AUTOMATIC, CALCULATOARE I

ELECTRONIC

PROBLEME CALITATIVE N DINAMICA

REELELOR NEURONALE

REZUMATUL TEZEI DE DOCTORAT

Autor: Ing. Daniela Danciu

Conductor tiinific
Prof. dr. ing. Vladimir Rsvan

CRAIOVA
2003

CUPRINS
C U P R I N S .......................................................................................................1
Introducere............................................................................................................3
Structura tezei .......................................................................................................4
Capitolul 1 Tipuri i modele dinamice de reele neuronale..............................6
1.1. Caracteristici de baz ale reelelor neuronale ...........................................6
1.1.1. Neuronul artificial ..............................................................................6
1.1.2. Funcii de activare ..............................................................................7
1.1.3 Topologii .............................................................................................8
1.1.4. Tipuri de reele neuronale ..................................................................9
1.1.5. Metode de nvare .............................................................................9
1.2. Modele de neuroni artificiali...................................................................10
1.2.1. Modele de neuroni artificiali fr reacie.........................................10
1.2.2. Modele de neuroni artificiali cu reacie ...........................................10
1.3. Reele neuronale tip Hopfield .................................................................12
1.4. Memorii asociative bidirecionale...........................................................13
1.5. Reele neuronale competitive..................................................................14
1.6. Reele neuronale celulare ........................................................................15
Capitolul 2 - Elemente de teoria stabilitii n sens Liapunov i sisteme cu mai
multe stri de echilibru .......................................................................................16
2.1. Stabilitatea n sens Liapunov pentru sisteme autonome.........................16
2.2. Metoda funciei Liapunov .......................................................................16
2.3. Proprietile sistemelor cu mai multe echilibre ......................................18
Capitolul 3 - Funcii Liapunov pentru reele neuronale ....................................21
3.1. Funcia Hopfield......................................................................................21
3.2. Metoda funciei Liapunov pentru reele neuronale privite ca sisteme cu
mai multe stri de echilibru............................................................................21
3.3. Funcia Liapunov n studiul memoriilor asociative bidirecionale ........24
3.4. Funcia Liapunov pentru reele neuronale competitive Cohen Grossberg........................................................................................................25
3.5. Funcia Liapunov pentru reele neuronale celulare ................................26
Capitolul 4 - Prezena ntrzierii n reele neuronale i fenomene induse de
aceasta.................................................................................................................29
4.1. Funcii Liapunov i metode intrare/ieire (tip Popov) pentru reele

neuronale cu ntrziere................................................................................... 29
4.1.1.
Comportament aproape liniar pentru reele neuronale de tip
Hopfield afectate de ntrzieri ................................................................... 29
4.1.2.
Criterii de stabilitate pentru reele neuronale celulare cu
ntrzieri 33
4.1.3.
Rezultate de stabilitate pentru reele neuronale competitive cu
ntrzieri 36
4.2. Metode de comparaie pentru studiul reelelor neuronale cu ntrzieri. 37
4.2.1. Comportament de tip gradient pentru reele neuronale tip Hopfield
cu ntrzieri ................................................................................................ 37
Capitolul 5 Concluzii generale ....................................................................... 42
Bibliografie (extras)........................................................................................... 47

Introducere
O direcie important n domeniul reelelor neuronale artificiale
(RNA) o constituie abordarea acestora ca sisteme dinamice i studiul stabilitii
lor, sau mai general, studiul comportamentului lor calitativ. Importana acestei
abordri este subliniat n diferite cri de referin n domeniul reelelor
neuronale artificiale [Kos92, Hay94, DeW95] unde se arat c o RNA
funcioneaz bine dac evoluia ei tinde ctre echilibrele semnificative pentru
aplicaia pentru care a fost proiectat; aceast cerin implic proprietatea de
stabilitate a mulimii de echilibru a reelei neuronale. Att din modelarea
sistemelor i reelelor neuronale naturale (biologice) ct i din aplicaiile
reelelor neuronale artificiale rezult structuri care nu implic stabilitatea i
convergena de-a lungul proprietilor acestora. Rezult deci c studiul
stabilitii, a comportamentului dinamic al reelelor neuronale, este atractiv,
necesar i deosebit de important. Deoarece structurile de reele neuronale
artificiale sunt variate, studiile de stabilitate sunt de asemenea variate.
Proprietile de comportament dinamic sunt verificate pe modelul
matematic. Reelele neuronale artificiale sunt sisteme dinamice neliniare, iar
caracterul sectorial al funciilor de activare, n general funcii sigmoidale, face
posibil i adecvat utilizarea metodelor teoriei stabilitii absolute: funcia
Liapunov i inegalitatea Popov n domeniul frecvenei.
Reelele neuronale sunt sisteme cu mai multe stri de echilibru.
Aceast proprietate (existena a mai multor echilibre) garanteaz performanele
de calcul ale reelelor neuronale n rezolvarea problemelor. Vom da dou
exemple sugestive pentru susinerea ideii: 1) cazul reelelor neuronale utilizate
pentru clasificare [Nol94, Nol95], unde echilibrele sistemului reprezint
vectorii prototip care caracterizeaz diferitele clase de forme i 2) cazul
utilizrii reelelor neuronale ca optimizator, unde punctele de echilibru vor
reprezenta optimul cutat.
Teza de doctorat, cu titlul PROBLEME CALITATIVE N
DINAMICA REELELOR NEURONALE, se nscrie n aceast arie de
preocupri i i propune studiul teoretic, validat prin exemple i simulri
numerice, al comportamentului dinamic al sistemelor neuronale neliniare. Am
considerat important i deosebit de util, din punct de vedere practic, studiul

fenomenelor induse de prezena ntrzierilor n dinamica reelelor neuronale, de

aceea un capitol al tezei este rezervat acestei problematici. Modelele analizate
cuprind clasa sistemelor neuronale neliniare continue cu funcii de activare de
tip sectorial i clasa sistemelor neuronale discrete.

Structura tezei

Dan02a, Dan02b] i a fost impus de observarea prezenei ntrzierilor n

transmiterea semnalului att la sistemele biologice (ntre intrarea i ieirea unei
celule nervoase ct i ntre dou celule) ct i n cazul implementrii hardware
a reelelor neuronale artificiale datorit, de exemplu a ntrzierii inerente de
reacie sau a timpului finit de comutare a amplificatoarelor operaionale.
Capitolul 5 cuprinde consideraii generale asupra rezultatelor, a
coninutului de originalitate i a metodelor de analiz folosite.

Coninutul tezei de doctorat a fost structurat n patru capitole,

capitolul cinci cuprinznd concluziile generale i evidenierea contribuiilor
originale ale lucrrii.
Capitolul 1 - Tipuri i modele dinamice de reele neuronale descrie
gradual i succint caracteristicile de baz ale reelelor neuronale artificiale:
neuronul artificial, funcia de activare, topologii i tipuri de reele neuronale
artificiale, legi de nvare. Apoi se continu cu prezentarea modelelor de
neuroni artificiali i a unor reele neuronale artificiale complexe, validate de
practic.
Capitolul 2 - Elemente de teoria stabilitii n sens Liapunov i
sisteme cu mai multe stri de echilibru are ca scop prezentarea elementelor
teoretice de baz ale metodei Liapunov, un instrument puternic n domeniul
teoriei stabilitii absolute. Raionamentele expuse anterior sunt un argument
suficient pentru a justifica introducerea n acest al doilea capitol i a noiunilor
i rezultatelor teoretice privind dinamica sistemelor cu mai multe echilibre.
Capitolul 3 - Funcii Lipunov pentru reele neuronale are ca scop
obinerea unor condiii suficiente pentru un comportament calitativ bun al
sistemelor neuronale artificiale, n sensul celor prezentate n Introducere,
instrumentul de baz n studiile efectuate fiind metoda funciei Liapunov. De
remarcat c n acest capitol reelele neuronale sunt abordate din perspective
diferite: n cadrul de lucru al Teoriei calitative a sistemelor dinamice neliniare,
al Teoriei calitative a sistemelor cu mai multe echilibre, al Teoriei calitative a
sistemelor mari.
Capitolul 4 - Prezena ntrzierilor n reele neuronale artificiale i
fenomene induse de aceasta este pe deplin justificat de necesitatea obinerii
unor condiii pentru un comportament calitativ dezirabil n cazul dinamicilor
afectate de ntrzieri ale reelelor neuronale. Aceast abordare este relativ
recent n domeniu [Bel93, Gop94, Cao96, Dri98, Dan01a, Dan01b, Dan01c,
4

Capitolul 1 Tipuri i modele dinamice de reele neuronale

Reelele neuronale artificiale sunt dispozitive de calcul din clasa
mainilor inteligente. Acestea au aprut din ideea modelrii sistemului nervos
central n sperana obinerii unor performane de calcul care s permit
rezolvarea mai simpl a unor sarcini cognitive i senzoriale, n comparaie cu
clasicele calculatoare cu procesoare cu prelucrare secvenial.

inhibitoare pentru neuron. Tot ca intrare este adugat un termen de polarizare

(n englez, bias) care exprim starea iniial a neuronului. Pentru o tratare
unitar a ponderilor i a polarizrii, cea din urm se consider a fi ponderea
unei intrri cu valoarea +1 i se modific similar celorlalte ponderi.
m

y = f (net ) = f bias + wi xi = f wi xi
i =1

i =0

(1.1)

1.1. Caracteristici de baz ale reelelor neuronale

1.1.2. Funcii de activare
1.1.1. Neuronul artificial
Neuronul reprezint unitatea structural i funcional a sistemului nervos.
Asemntor creierului biologic, structura reelelor neuronale artificiale (RNA)
cuprinde un numr mare de elemente simple de procesare neliniare (neuroni
artificiali) care opereaz n paralel. n elaborarea semnalului de ieire, aceste
elemente de procesare folosesc doar informaia disponibil local n reea. Ca i
neuronul biologic, neuronul artificial (Fig.1.1) poate primi la un moment dat
unul sau mai multe semnale de intrare xi i poate furniza un singur semnal de
ieire y. Sursa semnalelor de intrare poate fi mediul extern pentru neuronii
cmpului de intrare, sau ieirile altor neuroni (n cazul cel mai general) pentru
neuronii cmpurilor ascunse sau de ieire. Fiecare semnal de intrare este
ponderat cu o valoare wi care arat importana respectivei intrri n elaborarea
semnalului de ieire al neuronului. Aceste ponderi pot avea valori pozitive,
numindu-se ponderi excitatoare, sau pot avea valori negative, aciunea lor fiind
wm

xm
xm-1

M
x1
x0 = +1

wm-1

net

w1
bias
w0

Funciile de activare ale neuronului artificial au rolul de a restrnge

domeniul de variaie al ieirii acestuia la un domeniu prespecificat. n literatura
de specialitate, pentru funcia de activare a neuronului cele mai utilizate sunt
urmtoarele: funcia prag, funcia ramp, funcia sigmoidal i funcia Gauss.
- Funcia prag restrnge domeniul de ieire al neuronului la dou valori: {0,
+1} pentru o funcie prag binar, sau {-1, +1} n cazul funciei prag bipolare.
Matematic, n cazul general, funcia prag are expresia:
, x p
f ( x) =
(1.2)
, x < p
- Funcia ramp bipolar este o funcie continu care prezint puncte angulare,
puncte n care derivata are un salt. Valorile de saturaie sunt simetrice fa de
origine. Expresia funciei ramp bipolar este:

1, x 1

f ( x) = x , x < 1
(1.3)

1
,
x

- Funcia sigmoidal este o funcie mrginit, monoton i nedescresctoare

care furnizeaz un rspuns gradat, neliniar, ntr-un interval prespecificat.
Funcia sigmoidal este utilizat att n domeniul reelelor neuronale, ct i n
alte domenii: statistic, chimie, sociologie. n domeniul reelelor neuronale
artificiale des utilizat este funcia sigmoidal bipolar care reprezint
versiunea neted a funciei ramp bipolar. Exemple de funcii sigmoidale
bipolare sunt

Fig. 1.1. Reprezentarea schematic a neuronului artificial

6

f (x ) = tanh ( x) =

1.1.4. Tipuri de reele neuronale

e x ex
e x + ex

1 e x
x
= tanh
f (x ) =
1 + ex
2

(1.4)

2x
tan 1

acestea avnd domeniul de valori intervalul (-1, 1).
- Funcia Gauss este o funcie radial neliniar (simetric fa de origine) cu
valoarea dispersiei v > 0. Funcia Gauss este utilizat n reelele neuronale
probabilistice, sau n reelele neuronale n care dispersia este predefinit
[Spe90]. n al doilea caz, funcia de activare are expresia,
f (x ) =

f ( x) = exp x 2 , > 0

(1.5)

unde x reprezint media, iar dispersia predefinit.

1.1.3 Topologii
Topologia reelelor neuronale vizeaz aspecte privind numrul i
distribuia neuronilor n straturi i a straturilor n ntreaga reea, tipul
conexiunilor i modul (direcia) n care informaia parcurge neuronii reelei.
Neuronii unei reelele neuronale artificiale sunt organizai n straturi.
O reea neuronal poate avea unul sau mai multe straturi (nivele, cmpuri). n
cadrul unui nivel, neuronii sunt similari privind dou aspecte: n primul rnd,
semnalele de intrare ale nivelului au aceeai surs i n al doilea rnd, toi
neuronii nivelului au aceeai dinamic de actualizare.
Reelele neuronale pot avea dou tipuri de conexiuni: conexiuni intranivel i conexiuni inter-nivel. Conexiunile intra-nivel reprezint legturi ntre
neuronii aceluiai cmp, iar conexiunile inter-nivel se refer la conexiuni ntre
neuronii unor cmpuri diferite. Este posibil ca ntr-o reea neuronal s coexiste
cele dou tipuri de conexiuni.
Clasificarea reelelor neuronale dup sensul n care informaia
parcurge reeaua cuprinde reele neuronale feedforward i reele feedback.

1.1.4.1. Reele neuronale Instar, Outstar, ADALINE

1.1.4.2. Reele neuronale cu un singur nivel
1.1.4.3. Reele neuronale cu dou nivele
1.1.4.5. Reele neuronale multinivel
1.1.5. Metode de nvare
nvarea presupune codificarea informaiei. Un sistem nva o form
dac acesta codific forma n structura sa. Deci, structura sistemului se
modific n timpul nvrii. n cazul reelelor neuronale, nvarea nseamn
modificarea valorilor ponderilor conexiunilor dintre neuronii reelei n scopul
codificrii informaiei.
Exist dou mari categorii de proceduri pentru instruirea reelelor
neuronale: proceduri pentru nvare supravegheat i proceduri pentru nvare
nesupravegheat.
nvarea supravegheat (supervizat) este o metod care prevede
existena unui profesor extern i/sau o informaie global. Instane exterioare
reelei decid durata epocii de antrenament, numrul de cicluri de antrenament,
frecvena cu care se prezint anumite asociaii pentru a fi nvate i informaii
privind performanele reelei (eroarea ntre rspunsul dorit i rspunsul
obinut). Metodele de nvare supravegheat se mpart n dou categori:
nvare structural i nvare temporal.
nvarea nesupravegheat sau autoorganizarea se bazeaz doar pe
informaia disponibil local i nu presupune existena unui profesor. Reeaua
neuronal primete doar date de intrare pe care le organizeaz. Algoritmii de
nvare nesupravegheat sunt mai puin compleci i mai puin exaci dect cei
corespunztori nvrii supravegheate. nvarea nesupravegheat este mult
mai rapid, putndu-se nva ntr-un singur pas din date afectate de zgomot.
De aceea, nvarea nesupravegheat este folosit n multe medii de mare
vitez, n timp real, cnd nu exist suficient timp, informaie sau precizie de
calcul pentru utilizarea algoritmilor de nvare supravegheat.

1.2. Modele de neuroni artificiali

nz

G ( z 1 ) =

1.2.1. Modele de neuroni artificiali fr reacie

bnz 0 .

xi (t ) = net (t kT ) , k = 0, 1, 2, ...

x1

G1

x2

G2

(1.6)

M
unde T reprezint perioada de eantionare.

xm

(1.8)

i =0

Neuronul artificial cu reacie la nivelul activrii valorile de intrare xi pot

fi valori net obinute la momente anterioare.

dinamic

, cu an p , bnz 0

unde nz i np sunt numrul de zerouri, respectiv numrul de poli, iar

coeficienii ai cu 1 i np i bi cu 1 i nz sunt constani, cu an p 0 i

1.2.2. Modele de neuroni artificiali cu reacie

Sistem liniar

i =0
np

ai z i

Perceptronul McCulloch-Pitts [McC43]

Modelul DahanayakeUpton [Dah95] (perceptronul simplu detept)
Modelul Fukushima

x(t)

bi z i

net(t)

net(t)

y(t)

M
Gm

Fig. 1.3. Modelul perceptronului simplu cu reacie local la nivelul sinapsei

y(t)

Fig. 1.2. Modelul perceptronului simplu cu reacie la nivelul activrii

Modelul perceptronului cu reacie local la nivelul sinapsei a fost propus

de Tsoi i Back [Tso94]. Perceptronul simplu utilizat este o versiune
modificat a modelului McCulloch-Pitts cu prag :
m

y (t ) = f Gi ( z 1 ) xi (t )
i =0

(1.7)

unde xi(t) cu 1 i m sunt valori de intrare, x0 corespunde intrrii de prag (nu

s-a reprezentat n figur), iar notaia combinat, n domeniul timp i frecven,

Valorile de intrare xi(t) cu 1 i m pot fi preluate de la ieirea

perceptronului simplu sau, n cazul unei structuri multi-perceptron simplu pot
fi ieirile unui strat anterior compus din perceptroni simpli. n primul caz,
structura are reacie local la ieire, n cel de-al doilea caz are reacie local la
nivel de sinaps.

Modelul perceptronului simplu cu reacie local la nivelul ieirii

presupune aplicarea la intrarea sistemului liniar att a semnalelor x(t) (care pot
fi intrri externe sau ieirile neuronilor dintr-un nivel anterior) ct i a
semnalelor de ieire ale neuronului de la momente anterioare.
x(t)
Sistem
y(t)
net(t)
liniar
f

dinamic

def

utilizat z i x(t ) = x(t i ) este cea propus de lucrarea [Tso94] n scopul de a

compacta notaia i a reliefa caracteristicile structurii.
Fiecare pondere de valoare constant a fost nlocuit cu o funcie de
transfer liniar Gi(z-1), i = 1, m , cu poli i zerouri, cu forma general (1.8)
10

Fig. 1.4. Modelul perceptronului simplu cu reacie local la ieire

Un exemplu de neuron cu reacie local la nivelul ieirii este modelul FrasconiGori-Soda (Fig. 1.5.) pentru care expresia ieirii este
11

m
y (t ) = f wi xi (t ) + k j y (t j )
j =1

i =1

(1.9)

unde wi i kj sunt ponderi constante. n figur ntrzierea unitar s-a notat cu .

w1

x1

w2

x2

xm

wm

net(t)

y(t)

f
kM

( )

unde indicele i reprezint numrul neuronului n cadrul nivelului, iar Ii stimulul

extern corespunztor.

k1

kj

Fig. 1.5. Modelul perceptronului Frasconi-Gori-Soda

Modelul general de perceptron simplu mbin modelul de perceptron cu

reacie local la nivelul sinapsei cu modelul de perceptron cu reacie local la
ieire. Acest model st la baza reelelor cu reacie local care la nivel global
sunt reele feedforward.
x1

G1

x2

G2

M
xm

1.4. Memorii asociative bidirecionale

Memoriile asociative bidirecionale (BAM) au fost propuse de Kosko
[Kos88] ca o extindere a modelului Hopfield. Spre deosebire de reeaua
Hopfield, o BAM este format din dou cmpuri de neuroni total
interconectate, neexistnd conexiuni ntre neuronii aceluiai cmp. Dinamica
BAM n timp discret este descris de urmtoarele ecuaii:
p

Gm

net(t)

y(t)

xki +1 = wij R j ( y kj ) + I i , i = 1, n
j =1

H(z)

Fig. 1.6. Modelul perceptronului simplu GLRGF

(General Locally Recurrent Globally Feedforward)

1.3. Reele neuronale tip Hopfield

Reeaua Hopfield, [Hop82] este o reea neuronal cu un singur cmp
de neuroni total interconectai, n care informaia parcurge conexiunea dintre
doi neuroni oarecare i i j n ambele direcii, iar ponderile wij (de la neuronul j
la neuronul i) i wji (de la neuronul i la neuronul j) sunt egale adic, matricea
12

conexiunilor W este simetric. Funcia de activare a neuronului este o funcie

neliniar, nedescresctoare i mrginit - n cazul continuu, sau funcia prag
binar - n cazul discret. Funcionarea reelei presupune aplicarea simultan a
formei de intrare tuturor neuronilor. Ieirile acestora vor activa asincron i
aleator neuronii reelei pn cnd se va ajunge la o stare global de echilibru,
stare care va reprezenta ieirea reelei. Modelul Hopfield n forma ntlnit des
n literatur
m
dxi
(1.10)
= a i xi wij f j x j + I i , i = 1, m
dt
1

j
k +1

(1.6)

= wij S i ( x ) + J j ,
i
k

j = 1, p

Funciile de activare (Si i Rj) sunt funcii prag binare sau bipolare.
Funciile de activare prag cu valori binare au urmtoarele expresii:
1,
y kj > V j

(1.7)
R j ( y kj ) = R j ( y kj1 ), y kj = V j

j
yk < V j
0,
Pragurile (Ui i Vj) i intrrile externe (Ii i Jj) se consider arbitrare,
iar matricea W a conexiunilor sinaptice constant.
O BAM este bidirecional stabil dac toate intrrile (reprezentnd
condiii iniiale pentru reea) genereaz traiectorii care converg spre echilibre.
Stabilitatea bidirecional este un echilibru dinamic: acelai semnal
1,
xki > U i

S i ( xki ) = S i ( xki 1 ), xki = U i ,

xki < U i
0,

13

informaional va parcurge, nainte i napoi echilibrul bidirecional. Modul n

care informaia parcurge reeaua pn la atingerea strii de echilibru poate fi
sugerat de urmtoarea schem:
x W y
x WT y
x W y
x WT y
. . .
xj W yj
xj WT yj

echilibru bidirecional

. . .
Un punct de echilibru bidirecional stabil se poate interpreta ca o stare
rezonant.

1.5. Reele neuronale competitive

Modelul reelelor neuronale competitive propus de matematicienii
Cohen i Grossberg [Coh83] are ca punct de inspiraie sistemul biologic vizual.
Din punct de vedere topologic, sistemul neuronal competitiv este o reea
autoasociativ bazat pe conexiuni laterale inhibitoare wij < 0, i j i o singur
conexiune excitatoare wii > 0. Dinamica competitiv a modelului Cohen
Grossberg este descris de ecuaiile
n

(1.8)
x&i = ai ( xi ) bi ( xi ) cij d j ( x j ) , x = [ x1 L xn ] , i = 1, n
j =1

Ecuaiile (1.8) descriu un sistem autoasociativ cu dinamic de activare

aditiv dac funciile ai ( xi ) sunt constante, iar funciile bi ( xi ) sunt lineare.

Dac n (1.8) funciile de amplificare ai ( xi ) sunt lineare i funciile bi ( xi )

1.6. Reele neuronale celulare

Reelele neuronale celulare (RNC) a fost introduse de Chua i colegii
si [Chu88, Chu93a, Chu93b]. n principiu, o RNC este o reea analogic n
care conexiunile unui neuron artificial sunt limitate doar la neuronii din
vecintatea imediat a acestuia, conexiunile fiind bidirecionale. Celulele care
nu sunt conectate direct se pot influena indirect datorit efectului de propagare
a dinamicilor celulelor. O reea neuronal celular este o reea de circuite
identice (celule) distribuite regulat n cmpuri n-dimensionale. Topologia RNC
este foarte variat. Celulele sunt sisteme dinamice cu mai multe intrri i o
ieire. Interconectarea celulelor ine cont de vecintatea acestora definit de o
metric dat. Funcia de activare implementat este aceeai pentru toate
celulele funcia ramp bipolar definit cu relaia (1.2) echivalent cu
expresia (1.9) ntlnit n lucrrile lui Chua.

f ( xi ) =

1
2

(x

+ 1 xi 1 )

(1.9)

La nivelul unei celule intrrile externe se presupun constante pe un

interval de operare. Semnalul total de intrare pentru o celul este rezultatul
nsumrii intrrilor de control ur i a semnalelor de reacie yr, din vecintatea Vr
a celulei, ponderate cu valorile ar, respectiv br i polarizarea constant I (bias).
Ecuaia diferenial care descrie dinamica unei celule C(i, j) este:
dxij
= xij + (ar y r + br u r ) + I
(1.10)
dt
r
yij = f ( xij )
Concluzia acestui prim capitol este c reelele neuronale sunt formate
din mai multe elemente simple de calcul (neuroni artificiali) interconectate,
aceast caracteristic permind procesarea n paralel i codificarea distribuit a
informaiei. Datorit funciilor de activare prezente la nivelul fiecrui neuron
artificial, reelele neuronale artificiale analogice sunt sisteme neliniare.
Existena mai multor caracteristici neliniare, datorate neuronilor artificiali
individuali, conduce la apariia mai multor echilibre.

sunt nelineare dinamica de activare este de tip multiplicativ.

14

15

Capitolul 2 - Elemente de teoria stabilitii n sens Liapunov i

sisteme cu mai multe stri de echilibru

Teorema 2.1 (A. M. Liapunov) Fie sistemul (2.1) i fie V o funcie continu,
derivabil i pozitiv definit ntr-o vecintate

Reelele neuronale sunt sisteme cu mai multe echilibre. n acest caz nu

mai intereseaz numai stabilitatea echilibrelor locale, ci i comportamentul
global al sistemului. Indiferent de aplicaiile crora le sunt destinate,
comportamentul global la reelelor neuronale artificiale, comportament care
garanteaz rezolvarea optim a problemelor pentru care acestea au fost
proiectate (aceasta referindu-se la absena autooscilaiilor sau a unui
comportament haotic), poate fi studiat n cadrul mai larg al teoriei calitative a
sistemelor cu mai multe stri de echilibru. Deoarece n cadrul acestei teorii
instrumentul de baz n verificarea proprietilor globale ale sistemelor este
funcia Liapunov, capitolul 2 prezint:

2.1. Stabilitatea n sens Liapunov pentru sisteme autonome

Stabilitatea n sens Liapunov [Li892] este o teorie a stabilitii
traiectoriilor sistemelor dinamice (n particular a punctelor de echilibru), avnd
metode specifice de rezolvare. La modul general, teoria dezvoltat n jurul
conceptului de stabilitate studiaz influena factorilor perturbatori asupra
micrii sistemelor materiale, prin micare nelegndu-se orice evoluie n
timp a strii. Un alt concept care i aparine lui A.M. Liapunov este acela de
micare (evoluie) de baz, rezultnd imediat i definiia micrii perturbate ca
raportare la micarea de baz.

2.2. Metoda funciei Liapunov

Metoda funciei Liapunov, cunoscut i sub denumirea de metoda a
doua sau metoda direct Liapunov, a fost i este n continuare instrumentul
cel mai general pentru studiul stabilitii soluiilor sistemelor neliniare. Dup
cum se va vedea n acest capitol, exist i alte rezultate de comportament
calitativ care se bazeaz pe proprietile funciilor Liapunov.
Se consider sistemul autonom al micrii perturbate
x& = f (x) , x Rn, f(0) = 0

16

(2.1)

x 0

a originii, cu

proprietatea c V (t)=V(x(t)) este monoton descresctoare pentru orice soluie

x(t) a lui (2.1) cu x(0) < 0 . Atunci soluia nul a (2.1) este stabil (n sens
Liapunov).

Teorema 2.2

Fie sistemul (2.1). Presupunem c exist o funcie V: D

R+, D = x x 0 de clas C1, pozitiv definit, cu proprietatea c derivata

V
f ( x) este negativ definit pe D. Atunci soluia nul a sistemului
x
(2.1) este asimptotic stabil.

sa W ( x) =

Teorema 2.3 Fie sistemul (2.1) i V: Rn R o funcie de clas C1, pozitiv

V
f ( x) < 0 pentru toi x.
definit i radial nemrginit cu derivata W ( x) =
x
Atunci soluia nul a sistemului este global asimptotic stabil.
Definiia 2.10 Numim funcie Liapunov pentru sistemul de ecuaii difereniale
(2.1), o funcie V: D Rn R care ndeplinete urmtoarele condiii:
i) este de clas C1,
V
f ( x) este negativ semidefinit pentru orice
ii) derivata sa W ( x) =
x
xD,
iii) pentru orice x D exist o vecintate U i un R astfel nct pentru
orice x U s avem V(x) ..

Teorema 2.4 (Barbain-Krasovski-La Salle) Fie V: D Rn R o funcie

Liapunov (n sensul Definiiei 2.10) pentru sistemul (2.1) i fie

G = {x W ( x) = 0} mulimea de anulare a derivatei acesteia. Atunci orice

soluie a (2.1), definit pe un interval (t, t), cu proprietatea c pentru t [t0 ,

t), x(t) D, va avea unul din urmtoarele comportamente asimptotice:
17

lim x(t ) = c E

a) lim x(t ) = ,

t t

b) t = i lim d (x(t ), M {}) = 0 , unde M este cea mai larg mulime

t

invariant (n raport cu soluia x() a sistemului (2.1)) coninut n G.

c) O soluie se numete cvasi-convergent dac tinde asimptotic ctre

mulimea de echilibre:
lim d ( x(t ), E ) = 0
t

Corolar 2.1 Dac mulimea D este mrginit, deschis i pozitiv invariant i

dac V este o funcie Liapunov pentru (2.1) pe D i dac M D, atunci M este
un atractor i D este coninut n bazinul de atracie al lui M.
Corolar 2.2 Dac M = {x} , V (x ) = 0 , V (x ) > 0 pentru x ntr-o vecintate a

lui x , atunci x este asimptotic stabil. Dac, n plus, V e radial nemrginit

(adic, V (x ) ( x ) , cu cresctor, continuu, (0) = 0 i lim (r ) = ),

r

atunci x este global asimptotic stabil.

unde d(x, M) definete distana dintre punctul x Rn i mulimea M.

Definiia 2.13 Sistemul (2.2) se numete monostabil dac orice soluie
mrginit este convergent; sistemul este cvasi-monostabil dac orice soluie
mrginit este cvasi-convergent.
Definiia 2.14 Sistemul (2.2) se numete de tip gradient dac orice soluie
este convergent; el este de tip cvasi-gradient dac orice soluie este cvasiconvergent.

Penru mulimea staionar se definesc urmtoarele proprieti [Gel78]:

2.3. Proprietile sistemelor cu mai multe echilibre

Fie sistemul de ecuaii difereniale ordinare

x& = f ( x, t ) , dim x = dim f = n.

(2.2)

unde f : R+ x Rn Rn este continu i local lipschitzian continu n t.

Condiiile asupra lui f garanteaz pe de o parte c, soluiile sunt continue n
raport cu condiiile iniiale i, pe de alt parte, existena unei soluii unice a
(2.2) pentru fiecare condiie iniial n regiunea considerat.
Deoarece conceptul de stabilitate asimptotic global nu este aplicabil
pentru sisteme cu mai multe echilibre, pentru investigarea comportamentului
global al (2.2) n raport cu ntregul set de echilibre vom da urmtoarele definiii
[Leo92]:
Definiia 2.12 a) Orice soluie constant a sistemului (2.2) se numete vector
staionar (sau echilibru). Mulimea E a tuturor vectorilor staionari ai
sistemului (2.2) se numete mulime staionar (de echilibre).
b) O soluie a (2.2) se numete convergent dac tinde asimptotic ctre un
echilibru:
18

Definiia 2.15 a) Mulimea staionar E este uniform stabil dac pentru

orice > 0 exist un () astfel nct pentru orice t0, dac d(x(t0), E ) < ,
atunci d(x(t), E ) < pentru orice t t0.
b) Mulimea staionar E este uniform global stabil dac ea este uniform
Liapunov stabil i sistemul este de tip cvasi-gradient (are asimptotici
globale).
c) Mulimea staionar E este punctual global stabil dac ea este uniform
Liapunov stabil i sistemul este de tip gradient.

De menionat c, pentru noiunile prezentate anterior, n literatur mai

exist i ali termeni. Astfel, noiunea de convergen definete o proprietate a
soluiei i a fost introdus de Hirsch [Hir88]. Noiunea de monostabilitate a
fost introdus de Kalman n 1957, [Kal57] i poate fi ntlnit uneori sub
denumirea de mutabilitate strict [Pop79], iar cvasi-monostabilitatea este
denumit de acelai autor mutabilitate, iar de alii dihotomie [Gel78].
Pentru sistemele monostabile (cvasi-monostabile) se poate evidenia
un fel de dihotomie, n sensul c soluiile acestora sunt ori nemrginite, ori tind
ctre un echilibru (sau ctre mulimea de echilibru); n oricare caz sunt ns
19

excluse autooscilaiile periodice sau aproape periodice. Comportamentul de tip

cvasi-gradient se mai numete uneori asimptoticism global. Trebuie remarcat
de asemenea c, spre deosebire de convergen i cvasi-convergen - care sunt
proprieti ale soluiilor, monostabilitatea i comportamentul de tip gradient
sunt proprieti ale sistemului.
Proprietile definite anterior pot fi investigate cu ajutorul teoriei
Liapunov. De aceea, continum cu prezentarea urmtoarelor rezultate de tip
Liapunov [Gel78, Leo92] pentru sisteme autonome cu mai multe echilibre:
Lema 2.1 Fie sistemul autonom
x& = f ( x) , x Rn

(2.3)

Presupunem c exist o funcie continu V : D Rn R astfel nct:

i)
pentru orice soluie x a (2.3) V(x(t)) este necresctoare;
ii) dac x este o soluie a (2.3), mrginit pe [0, +), de-a lungul creia
V(x(t)) =ct., atunci x este un echilibru (soluie staionar).
n aceste ipoteze, sistemul (2.3) este cvasi-monostabil (dihotomic).
Lema 2.2 Se presupune c exist o funcie Liapunov cu proprietile i) i ii),
definit global, i c V(x) cnd x (V este radial nemrginit).
Atunci sistemul (2.3) este de tip cvasi-gradient.
Lema 2.3 Presupunem ipotezele Lemei 2.2 verificate i mulimea de echilibru
E discret. Atunci sistemul (2.3) este de tip gradient.
Lema 2.4 (Moser) Fie sistemul
x& = f ( x), x Rn

(2.4)

unde f(x) = grad G(x), cu G : Rn R avnd urmtoarele proprieti:

lim G ( x) =
i)
x

ii) numrul punctelor critice este finit.

Atunci soluia ecuaiei (2.4) tinde asimptotic ctre unul din punctele de
echilibru.
20

Capitolul 3 - Funcii Liapunov pentru reele neuronale

3.1. Funcia Hopfield

J. Hopfield [Hop82] a popularizat interpretarea conform creia, n

domeniul reelelor neuronale, funcia Liapunov poate fi o msur a energiei
sistemului fizic. El a artat c funcia E : Rn R avnd expresia
1
E ( x) = x T Ax
2

poate fi considerat o funcie Liapunov util n studiul stabilitii reelelor

neuronale; aceast funcie are semnificaia unei energii.
3.2. Metoda funciei Liapunov pentru reele neuronale privite ca
sisteme cu mai multe stri de echilibru

Dinamica n spaiul strilor a sistemelor fizice reprezentate de reele

neuronale artificiale este dominat de un numr mare, dar finit, de echilibre.
Acestea reprezint soluii, dependente de condiiile iniiale, ale problemelor de
rezolvat. n acest caz nu mai intereseaz numai stabilitatea echilibrelor locale,
ci i comportamentul global al sistemului, comportament care garanteaz
rezolvarea optim a problemelor pentru care acestea au fost proiectate (aceasta
referindu-se la absena autooscilaiilor sau a unui comportament haotic). De
aceea, o direcie important de cercetare este abordarea reelelor neuronale
artificiale n cadrul de lucru mai general al Teoriei calitative a sistemelor cu
mai multe stri de echilibru.
n acest context, plecnd de la noiunile i teoremele prezentate n
Capitolul 2, se va folosi n continuare urmtoarea terminologie:
- dihotomie: toate soluiile mrginite tind ctre mulimea de echilibru;
- asimptoticism global: toate soluiile tind ctre mulimea de echilibru;
- comportament de tip gradient: mulimea punctelor de echilibru este stabil n
sens Liapunov i fiecare soluie tinde asimptotic ctre un punct de echilibru.
n aceast seciune ne-am propus s determinm condiii suficiente
pentru un comportament de tip gradient pentru reele neuronale cu urmtorul
model matematic [Nol94, Nol95]:
21

x& = Ax bk k (ck* x) h

(3.2.1)

unde funciile k() sunt difereniabile, mrginite i de pant restrictiv; n

cazul reelelor neuronale condiia de mrginire este ndeplinit de funciile
neliniare sigmoidale.
Instrumentul utilizat pentru studiul proprietilor calitative ale
sistemelor cu mai multe echilibre este funcia Liapunov. Coeficienii funciei
Liapunov au fost obinui prin rezolvarea unor ecuaii de tip Lurie. Existena
soluiilor pentru astfel de ecuaii a fost asigurat de inegalitatea de tip Popov n
domeniul frecvenei, n care s-au utilizat multiplicatori PI de forma 1+(i)-1
n locul multiplicatorului uzual tip PD, cu expresia 1+(i).

{[

1 + Re I + 1 + (i ) Q T (i ) + T * ( i ) T (i ) 0
1

(3.2.2)

Introducerea multiplicatorului PI n cazul multivariabil (cu mai multe

elemente neliniare) necesit unele restricii de structur ale prii liniare. n
[Ha91] demonstrarea stabilitii se baza pe ipoteza tehnic a decuplrii statice:

c k* A 1b j = 0 , k j. Aceast ipotez nu poate fi impus ns n cazul reelelor

neuronale. Pe de alt parte, n analiza sistemelor cu mai multe echilibre nu mai
este necesar pozitivitatea funciei Liapunov. n acest sens, lucrrile [Nol94,
Nol95] se bazeaz pe un rezultat al lui La Salle [LaS67, LaS68] - funcia
Liapunov generalizat (necresctoare de-a lungul soluiilor, dar nu neaprat de
semn definit). Funcia Liapunov astfel obinut
y

V ( z , y ) = z * Pz 12 ( y y ) * Q (C * A 1 B ) 1 ( y y ) ( f (v) f ( y )) * Q dv
y

este diferit de cele utilizate n mod curent n literatur.

n acest cadru de lucru, dihotomia rezult aproape imediat. Din
mrginirea neliniaritilor obinem mrginirea tuturor soluiilor sistemului i
aceasta ne permite s spunem c sistemul (3.2.1) are asimptotici globale. Dac
se va presupune c echilibrele sunt izolate, ceea ce este o ipotez normal n
descrierea reelelor neuronale, atunci asimptoticismul global va implica
comportamentul de tip gradient, deoarece o traiectorie oarecare nu poate tinde
ctre mulimea de staionar altfel dect tinznd ctre un punct de echilibru.
S-au obinut urmtoarele rezultate:
22

Teorema 3.2.1: Fie sistemul (3.2.1) n urmtoarele ipotezele:

i) det A 0;
ii) perechea (A,B) este controlabil i perechea (C*, A) este observabil;
iii) det C*A-1B = det T(0) 0, unde B - matrice cu coloanele bi, C - matrice
cu coloanele ci.

Dac exist mulimea de parametri k 0, k , k > 0, q k 0, k = 1, m astfel

nct s se verifice condiia Popov (3.2.2) i matricea Q(C*A-1B)-1 s fie
simetric, atunci sistemul (3.2.1) este dihotomic pentru toate funciile neliniare
cu restricie de pant care verific k < k < k , k = 1, m . Dac n plus,
toate echilibrele sunt izolate, atunci fiecare soluie mrginit tinde ctre un
punct de echilibru.
Teorema 3.2.2: Fie sistemul (3.2.1) n ipotezele Teoremei 3.2.1. Presupunem
n plus c sistemul (3.2.1) este minimal stabil, c neliniaritile verific
( ) ~ m m cu ~ ( , ) , iar echilibrele sunt izolate. Atunci
k

fiecare soluie a lui (3.2.1) tinde asimptotic ctre o stare de echilibru.

Se arat n continuare c reelele neuronale Hopfield (aici descrise
prin ecuaii difereniale cu coeficieni - parametri fizici):

dv i
1
1 n

=
vi +
j (v j ) vi Rij + I i , i = 1, n

dt
Ri C i
Ci 1

sunt n ipotezele Teoremei 3.2.2.:

- matricea

1
A = diag
Ci

n
1
+ 1
Ri
1 Rij

este hurwitzian deoarece toi

i =1

parametrii fizici sunt pozitivi;

- notnd C * = I , B = , = diag (1 Ci )i =1 , = 1 Rij

n

i , j =1

, matricea de

transfer devine
n
1

T ( s ) = C ( sI A) B = diag s C i + 1 / Ri + (1 / Rij )

j =1

i =1

23

- funciile neliniare uzuale n cazul reelelor neuronale - funciile sigmoidale,

ndeplinesc condiiile cu k = 0, 0 < k < + ;
n

- alegnd k = C k , q k = 1 / Rk + (1 / Rkj ) inegalitatea n domeniul frecvenei

j =1

se verific dac matricea conexiunilor sinaptice este simetric.

n aceste condiii reelele neuronale Hopfield sunt sisteme de tip
(3.2.1.) i deci prezint un comportament de tip gradient.

3.3. Funcia
bidirecionale

Liapunov

studiul

memoriilor

asociative

Analiza proprietilor de stabilitate pentru memoriile asociative

bidirecionale
p

xki +1 = wij R j ( y kj ) + I i , i = 1, n
j =1

(3.3.1)

y kj+1 = wij S i ( xki ) + J j ,

j = 1, p

cu funciile de activare - funcii prag binare:

~
1,
xki > U i
S i ( x ki ) =
~ , i = 1, n
0,
xki < U i
~
1,
y kj > V j
R j ( y kj ) =
~ , j = 1, p
y kj < V j
0,

(3.3.2)

se bazeaz pe o nou funcie Liapunov, diferit de cele citate n literatur:

n

E k = wij S i ( xki ) R j ( y kj1 ) wij R j ( y kj ) S i ( xki 1 )

i =1 j =1

j =1 i =1

p
n
~
~
( I i U i ) S i ( x ki ) + S i ( xki 1 ) ( J j V j ) R j ( y kj ) + R j ( y kj1 )

Aceast funcie Liapunov de tip energie ine cont de cazul cel mai
general, al actualizrii general asincrone a strii neuronilor, chiar i n ambele
24

cmpuri neuronale simultan. Rezultatul acestei seciuni se bazeaz pe

proprietile funciei Liapunov Ek exprimat de-a lungul soluiilor sistemului:
i) mrginit;
ii) necresctoare de-a lungul soluiilor;
iii) constant n punctele de echilibru i pe ciclurile de perioad 2;
iv) strict descresctoare pn la o valoare mrginit inferior n zero
independent de alegerea lui k i de soluie, mai puin n cazul n care soluia
este un echilibru sau un ciclu de perioad 2.

Teorema 3.3.1: Fie o memorie asociativ bidirecional (BAM) descris de

(3.3.1) cu funciile de activare de tip prag descrise de (3.3.2). Dup un numr
finit de pai, orice soluie a sistemului (3.3.1) ajunge ntr-un punct de echilibru
sau pe un ciclu de perioad 2.
De remarcat c aceast funcie Liapunov poate prescrie cicluri limit
discrete stabile care nu afecteaz funcionalitatea reelei.
Rezultatele obinute au fost ilustrate printr-un exemplu numeric cu
dou discuii de caz, exemplu n care au fost considerate toate tipurile de
tranziii pentru starea neuronilor: sincrone, simplu asincrone, asincrone ntr-un
singur cmp neuronal, general asincrone n dou cmpuri neuronale. n
ambele cazuri a fost obinut aceeai stare de echilibru bidirecional stabil ca i
n cazul tranziiilor sincrone. S-a observat c tranziiile sincrone i general
asincrone n ambele cmpuri simultan grbesc convergena sistemului, n
comparaie cu tranziiile simplu asincrone sau general asincrone ntr-un cmp
neuronal, care ncetinesc convergena.

3.4. Funcia Liapunov pentru reele neuronale competitive Cohen Grossberg

Modelul reelelor neuronale competitive (3.4.1) a fost introdus de
matematicienii M. Cohen i S. Grossberg, [Coh83]. Pentru sistemul neuronal
competitiv, n forma general:
n

x& i = a i ( x i ) bi ( xi ) c ij d j ( x j ) , i = 1, n
j =1

(3.4.1)
25

unde cij

nn

este o matrice simetric, se prezint n acest subcapitol rezultate

de comportament calitativ din literatura de specialitate: articolul cercettorilor

Cohen i Grossberg de introducere al acestor reele neuronale i un studiu
recent (2002) de stabilitate exponenial.
Articolul [Coh83a], Absolute Stability of Global Pattern Formation
and Parallel Memory Storage by Competitive Neural Networks, studiaz
modul n care formele de intrare sunt transformate i memorate n reelele
neuronale competitive. Se determin condiii de dinamic general a acestor
reele pentru convergena traiectoriilor ctre punctele de echilibru,
introducndu-se un nou concept, acela de creare global a formei (global
pattern formation). Se analizeaz apoi pe modelul reelelor neuronale
competitive simetrice de tip multiplicativ stabilitatea absolut a fenomenului de
creare global a formei pentru cazurile funciilor de activare polinomiale i al
funciilor de activare sigmoidale.
n partea a doua se prezint un rezultat de stabilitate exponenial
obinut de cercettorii L. Wang i X. Zou n recenta lucrare [Wan02].
Condiiile suficiente obinute pentru stabilitatea exponenial a soluiei nu
impun condiia de simetrie a matricei conexiunilor, deci rezultatul obinut este
valabil i pentru cazul reelelor neuronale asimetrice cu dinamica descris de
modelul competitiv.

unde j reprezint indexul celulelor dintr-o vecintate N a celulei i, iar ai este un

parametru pozitiv. Funcia de activare neliniar, de tip ramp bipolar, are
expresia (ntlnit n lucrrile lui Chua)
f ( xi ) =

1
2

(x

+ 1 xi 1 )

(3.5.2)

fiind mrginit, cu domeniul de valori [-1, 1], monoton cresctoare i global

lipschitzian cu L = 1, adic satisface o condiie de tipul,
f ( 1 ) f ( 2 )
L
0
(3.5.3)
1 2
din care rezult, deoarece f(0) = 0,
f ( )
L
0

(3.5.4)

Pentru sistemul scris n abateri

z&i (t ) = ai zi (t ) + wij g z j (t )

jN

(3.5.5)

se scriu ecuaiile pentru o celul izolat

not

z&i (t ) = ai z i (t ) + wii g (z i (t ) ) = p (z i (t ), t ), i = 1, m

i pentru sistemul de interconexiuni

not

qij z j (t ), t = wij g z j (t ) , i, j = 1, m ,
m

ji

qi (z (t ), t ) = qij z j (t ), t = wij g z j (t ) , i = 1, m
j =1
j i

3.5. Funcia Liapunov pentru reele neuronale celulare

Comportamentul calitativ al reelelor neuronale celulare se poate
studia apelnd la rezultatele de stabilitate obinute pentru sistemele
interconectate. Ideea de baz [Wil72, il72, Mic74, Vid81] se rezum la
descompunerea sistemelor de ordin mare n subsisteme de ordin redus i
analiza acestora ca sisteme izolate, apoi determinarea unor condiii care s
conserve stabilitatea, condiii impuse structurii de interconexiuni. Toate
abordrile acestei probleme se bazeaz pe proprietile funciei Liapunov.
Se consider o reea neuronal celular cu conexiuni de reacie i cu
modelul de control nul:
x&i (t ) = ai xi (t ) + wij f x j (t ) + I i
jN

26

(3.5.1)

(3.5.6)

j =1
j i

(3.5.7)

Condiiile suficiente pentru stabilitatea exponenial n mare a

echilibrului n origine au fost determinate din verificarea ipotezelor Teoremei
lui Michel [Mic74, Teorema 3], pe baza unei funcii Liapunov de forma
n

V ( z , ) = iVi ( z , ) , i > 0 , i = 1, m , unde Vi sunt funcii Liapunov de tip

i =1

form ptratic plus integrala neliniaritii pentru subsistemele izolate. S-au

obinut:
a
- condiia de amplificare mic wii < i ;
Li

( )

- condiia de pozitivitate a matricei S = s ij

m m

cu elementele:

27

 i ci 4 (ai wii )

s ij = 1
i ci 4 wij + j c j 4 w ji
2

i= j

i j

unde ci 4 = ( i + i Li ) , cu Li = 1 n cazul funciilor de activare uzuale pentru

reelele neuronale celulare.

Capitolul 4 - Prezena ntrzierii n reele neuronale i fenomene

induse de aceasta
Necesitatea modelrii fenomenului de propagare a semnalului la
nivelul sinapselor reelelor neuronale biologice, pe de o parte i viteza finit de
comutare i de transmitere a semnalelor n reelele neuronale artificiale pe de
alt parte, impun introducerea n modelele matematice ale RNA a parametrilor
de ntrziere. Marcus i Westervelt [Mar89] au introdus pentru prima oar o
singur ntrziere n ecuaiile difereniale ale modelului Hopfield i au observat
att numeric ct i experimental existena autooscilaiilor chiar i n cazul
matricei de conexiuni simetrice. Rezultatele au stimulat studiul
comportamentului dinamic al reelelor neuronale artificiale n prezena
ntrzierilor, considerndu-se diferite modele matematice de RNA i variate
tipuri de ntrzieri.
4.1. Funcii Liapunov i metode intrare/ieire (tip Popov) pentru
reele neuronale cu ntrziere
4.1.1.

Comportament aproape liniar pentru reele neuronale de tip

Hopfield afectate de ntrzieri

Se consider modelul reelei Hopfield n prezena ntrzierilor [Mar89,

Gop94, Dri98], dar cu stimuli variabili n timp:
m
dx i
= a i x i (t ) bij f j x j (t ij ) + c i (t ) , i = 1, m
(4.1.1.1)
dt
1

Funciile neliniare fi, sunt funcii sigmoidale (1.4), deci sunt mrginite - cu
domeniul de valori [-1, +1], monoton cresctoare i global lipschitziene, adic
verific inegaliti de tipul (4.1.1.2).
0

f ( 1 ) f ( 2 )
L
1 2

(4.1.1.2)

Comportamentul aproape liniar presupune existena unei soluii

unice de regim permanent de acelai tip cu stimulul i stabilitatea exponenial
a acestei soluii.
Studiul comportamentului RNA cu stimuli variabili n timp este
28

29

necesar i justificat de realitatea mediului variabil pentru reelele neuronale

biologice modelate. Comportamentul aproape liniar al sistemului considerat
a fost verificat pentru termeni foratori periodici i aproape periodici, de aceea
demonstraia s-a bazat pe un rezultat al lui Halanay [Ha67] despre mulimi
invariante pentru cureni n spaiul Banach, n esen un caz special al
teoremei mai generale a lui Kurzweil [Krz67] despre mulimi invariante. S-a
ales ca spaiu al strilor spaiul Hilbert M2 = R2 x L2(-, 0; Rm), unde
= max ij . Norma acestui spaiu este:
i, j

2
x = y + z ( ) d

(4.1.1.3)

unde x = (y, z()) este un element al M2: y Rm, z L2 (-, 0; Rm).

Analiza a utilizat metoda frecvenial Popov, proprietile de
convergen cerute de lema Halanay rezultnd pe baza unei inegalitii n
domeniul frecvenei. S-a obinut urmtorul rezultat:

mic.
Pentru testarea rezultatelor obinute s-a considerat o reea neuronal
tip Hopfield cu doi neuroni, verificnd ipotezele teoremei
x&1 (t ) = 2 x1 (t ) 2 f 1 (x1 (t 11 ) ) 3 f 2 (x 2 (t 12 ) ) + sin(t ) + sin(t )
x& 2 (t ) = 5 x 2 (t ) f 1 (x1 (t 21 ) ) 3 f 2 (x 2 (t 22 ) ) + 2 cos(t )

(4.1.1.6)

cu stimuli periodici c2(t) i aproape periodici c1(t) - Fig. 4.1.1, Fig. 4.1.2.
Simularea a fost realizat pe dou seturi de valori pentru ntrzieri:
0,5 0,4
1 0,8
T1 =
i T2 = 1,4 1,2 , al doilea set cu valori duble fa de
0
,
7
0
,
6

primele, coninnd i valori supraunitare. Funciile de activare neliniare

utilizate sunt funciile tangent hiperbolic din biblioteca MATLAB 2
e t e t
, cu domeniul de valori [-1, 1]

1
=
1 + e 2t
e t + e t
i constantele Lipschitz Li = 1, i =1, 2.

Simulink, f (t ) = tanh(t ) =

Teorema 4.1.1: Considerm sistemul (4.1.1.1) n urmtoarele ipoteze:

i) ai > 0, i = 1, , m;
ii) Funciile neliniare fi() sunt global lipschitziene, verificnd

f i ( 1 ) f i ( 2 )
Li , f i (0) = 0 , i = 1, m
1 2

(4.1.1.4)

iii) Exist constantele i 0, i = 1,, m astfel nct s se ndeplineasc

urmtoarea condiie frecvenial:
L1 +

1
2

[K (i ) + K

(i ) > 0 , > 0

(4.1.1.5)

Fig. 4.1.1 Semnalul

periodic, c1(t)

exogen

aproape Fig. 4.1.2 Semnalul exogen periodic, c2(t)

(asteriscul definete transpusa conjugat a matricii).

iv)

ci (t ) M , i = 1, m , t R.

Atunci exist o soluie mrginit pe ntreaga ax, periodic, respectiv aproape

periodic, dac ci(t) este periodic, respectiv aproape periodic. Mai mult,
aceast soluie este exponenial stabil.
Condiiile suficiente obinute pentru un comportament aproape
liniar al sistemului studiat sunt independente de ntrzieri i nu impun condiia
restrictiv de simetrie a matricei conexiunilor i nici condiia de amplificare
30

Fig. 4.1.3 x1 (t) n prezena stimulilor; T1

Fig. 4.1.4 x2 (t) n prezena stimulilor; T1

31

Din Fig. 4.1.3 - Fig. 4.1.6 se observ c x1(t) i x2(t) sunt aproape periodice (de
acelai tip cu semnalele exogene) i mrginite. Evoluia n timp a sistemului
neforat pentru condiii iniiale nenule [x10 x20] = [3 5] este prezentat n Fig.
4.1.7 - Fig. 4.1.8; se observ convergena exponenial a soluiei ctre
echilibrul n zero. n Fig. 4.1.9 i Fig. 4.1.10 sunt prezentate evoluiile n planul
fazelor pentru sistemul autonom, n cele dou cazuri privind ntrzierile.

4.1.2.
Fig. 4.1.5 x1 (t) n prezena stimulilor; T2

Fig. 4.1. 6 x2 (t) n prezena stimulilor; T2

Criterii de stabilitate pentru reele neuronale celulare cu

ntrzieri

Se consider o reea neuronal celular cu ntrzieri la nivelul

conexiunilor de reacie i cu modelul de control nul:
x& i = a i xi (t ) +

wij f (x j (t j )) + I i ,

i = 1, n

jN

(4.1.2.1)

unde j reprezint indexul celulelor dintr-o vecintate N a celulei i, iar ai este un

parametru pozitiv. Fr a se pierde din generalitate comportamentul calitativ se
va studia pe modelul matematic al sistemului n abareri
z&i (t ) = ai zi (t ) +

Fig. 4.1.7 x1 (t), x2 (t) n condiii iniiale

nenule; T1

Fig. 4.1.9 Planul fazelor, T1

32

Fig. 4.1.8 x1 (t), x2 (t) n condiii iniiale

nenule; T2

Fig. 4.1.10 Planul fazelor, T2

wij g (z j (t j ) ) ,

i = 1, n

(4.1.2.2)

jN

Neliniaritatea sistemului n abateri, g(z), va verifica aceeai condiie Lipschitz

(3.5.3) cu aceeai constant L.
Comportamentul calitativ al reelei este studiat, ca i n seciunea 3.5.,
n cadrul teoriei calitative a sistemelor mari, prin descompunerea sistemului
reprezentat de RNC n celule izolate i studiul stabilitii acestora, apoi
considerarea interconexiunilor, care sunt neliniare, i impunerea aa-numitor
condiii de interconectare pasiv suficiente pentru conservarea stabilitii
exponeniale.
Prima etap, de studiu a unei celule izolate, a fost abordat prin
prisma a dou metode:
1. criteriul frecvenial Popov,
2. metoda funciei Liapunov.
Se consider dinamica unui subsistem izolat cu ntrziere pe calea de
reacie
33

z&i = ai zi (t ) + wii g (zi (t i ) )

yi = z i

(4.1.2.3)

se obine aceeai condiie de amplificare mic wii < ai obinut i cu criteriul

frecvenial Popov i restricia

i funcia de transfer
wii
H i ( j ) =
e j i
ai + j

(4.1.2.4)

1. Criteriul frecvenial Popov

Teorema 4.1.2.1: Fie sistemul (4.1.2.3) cu funcia de transfer (4.1.2.4) n
urmtoarele ipoteze:
a) ai > 0 ;
b) funcia neliniar g() este global lipschitzian, verificnd
g ( 1 ) g ( 2 )
0
1 , g (0) = 0
1 2
Atunci condiia frecvenial Popov
1 + Re [(1 + j ) H i ( j )] > 0

(4.1.2.5)

(4.1.2.6)

2. Metoda funciei Liapunov

Continuarea analizei proprietilor calitative ale reelei neuronale
celulare ca ansamblu de subsisteme interconectate necesit abordarea
stabilitii unei celule izolate cu metoda Liapunov direct.
Fie sistemul (4.1.2.3), se definete funcionala Liapunov Vi pe spaiul
R x L2 (-i, 0; R) astfel:
0

(4.1.2.8)

Pentru determinarea condiiilor asupra sistemului de interconexiuni se

consider n continuare modelul matematic (scris n abateri) al ntregii reele
neuronale (4.1.2.2), pentru care se definete funcionala Liapunov
n

(4.1.2.9)

i =1

Rezultatul este independent de ntrzieri i impune restricia de amplificare

mic.

Vi ( z , ) = 12 i z 2 + i 2 ( )d + g ( ) d

2
2

1
( i + 1) 1 1 wii < i < 1 ( i + 1) 1 + 1 wii
2
ai
ai ai 2

V ( z , ) = iVi ( z, ) , i > 0 , i = 1, n

cu > 0 este ndeplinit i celula izolat are un punct de echilibru care este
asimptotic stabil, dac sistemul verific una dintre condiiile:
i) wii (0, ai) i (0, 1/wii);
ii) wii (-ai, 0) i (-1/wii, +).

(4.1.2.7)

unde i > 0 i i > 0 sunt parametri care se vor alege corespunztor. Din
34

condiia de negativitate a derivatei funcionalei de-a lungul soluiilor sistemului

unde Vi ( z , ) are expresia (4.1.2.7). Se obine urmtorul rezultat:

Teorema 4.1.2.2 Fie sistemul (4.1.2.2) n urmtoarele ipoteze:
i) ai > 0;
ii) funcia neliniar g() este global lipschitzian, verificnd
0

g ( 1 ) g ( 2 )
1 , g (0) = 0
1 2

iii) pentru fiecare subsistem izolat exist o funcional Liapunov Vi : R x L2

(-i, 0; R) i constantele i > 0 i i > 0 astfel nct s fie ndeplinite
condiiile wii < ai i (4.1.2.8);
iv) exist constantele i > 0, i = 1, n astfel nct matricea simetric

( )

B = bij

n n

cu elementele
bii = i i
bij =

j ( j + 1) 2
2
1 n
w ji

4 j =1
a j ( j + 1) j

k ( k + 1) 2
1 n
wki wkj
= b ji

ak ( k + 1) k
4 j =1

s fie pozitiv definit.

Atunci originea este un echilibru exponenial stabil n mare pentru sistemul
(4.1.2.2) considerat.
35

xi (t ) xi* e 5t max sup i ( s ) xi* , i = 1, n

1i n s[ , 0 ]

4.1.3.

(4.1.3.15)

Rezultate de stabilitate pentru reele neuronale competitive cu

ntrzieri

Se prezint rezultatele de stabilitate obinute de L. Wang i X. Zou

[Wan02] pentru reelele neuronale competitive afectate de ntrzieri, fiind o
extindere a rezultatelor paragrafului 3.4.2 la cazul sistemelor cu ntrzieri.
Se consider modelul reelelor neuronale Cohen-Grossberg n
prezena ntrzierilor:
n

x&i (t ) = ai ( xi ) bi ( xi ) cij d j ( x j (t ij )) + J j , i = 1, n
j =1

(4.1.3.1)

O alt abordare n studiul stabilitii reelelor neuronale se bazeaz pe

principiile de comparaie care conduc la inegaliti difereniale i integrale.
Urmtoarea seciune abordeaz studiul comportamentului calitativ al reelelor
neuronale utiliznd metodele de comparaie.

(4.1.3.2)

4.2.1. Comportament de tip gradient pentru reele neuronale tip Hopfield

cu ntrzieri

avnd condiiile iniiale

xi ( s ) = i ( s ) C ([ , 0], R ), s [ ,0], i = 1, n

4.2. Metode de comparaie pentru studiul reelelor neuronale cu

ntrzieri

(S1) Pentru fiecare i = 1, n , di : R R sunt Lipschitz continue cu constanta Li.

Pentru un sistem cu mai multe echilibre, comportamentul de tip

gradient presupune convergena fiecrei soluii ctre un echilibru, aceasta
neexcluznd ns posibilitatea existenei unor echilibre instabile. Pentru a
rezolva tipul de problem pentru care a fost proiectat, o reea neuronal
trebuie s conin un numr mare, dar finit, de echilibre izolate, asimptotic
stabile i fiecare soluie a dinamicii sistemului trebuie s convearg ctre o
stare de echilibru.
n capitolul 3.2 s-au obinut condiii suficiente pentru un
comportament de tip gradient al reelelor neuronale cu modelul matematic

(S2) Pentru fiecare i = 1, n , d i ( x) M i , x R pentru constantele Mi > 0.

x& = Ax bi i (ci* x) h neafectate de ntrzieri, apoi s-au analizat rezultatele

Se obine urmtorul rezultat de stabilitate:

Teorema 4.1.3.3 Se presupun ndeplinite ipotezele (H1) (H2), (S1) (S2) i

obinute pentru cazul reelelor neuronale tip Hopfield.

Scopul acestei seciuni este determinarea unei estimri a ntrzierii
admise pentru conservarea comportamentului de tip gradient la reelele
neuronale tip Hopfield.
Fie ecuaiile standard pentru reele neuronale tip Hopfield

unde = max ij ,1 i , j n .
Pentru stabilirea cadrului de lucru se fac urmtoarele ipoteze:
(H1) Pentru fiecare i = 1, n , ai sunt mrginite, pozitive, local lipschitziene i
0 < i ai (u ) i .
(H2) Pentru fiecare i = 1, n , bi i bi1 sunt local Lipschitz continue.
Funciile de activare sunt sigmoidale, deci ndeplinesc condiiile:

inegalitatea u i (u ) i u 2 , u R , i = 1, n . Dac
n

i i > i cij L j , i = 1, n

(4.1.3.14)

j =1

atunci ecuaia (4.1.3.1) are un punct de echilibru unic x*, i exist o constant
5 > 0 astfel nct orice soluie x(t) a ecuaiei (4.1.3.1) cu condiiile iniiale
(4.1.3.2) verific
36

m
1

m
dxi
= ai xi wij f j ( x j ) + I i ,
dt
1

i = 1, m .

(4.2.1.1)

i modelul [Gop94, Dri98] afectat de ntrzieri la nivelul interconexiunilor:

37

m
dxi
= ai xi (t ) wij f j x j (t j ) + I i , i = 1, m
dt
1

(4.2.1.2)

Se consider c sistemul descris de (4.2.1.1) i fiecare echilibru asimptotic al

su au un comportament de tip gradient, i ne propunem s determinm o
estimare a ntrzierii admise pentru conservarea acestei comportri.
S-a obinut urmtorul rezultat:
Teorema 4.2.1 Fie o reea neuronal recurent descris de (4.2.1.2) n
urmtoarele ipoteze:
a) valorile ponderilor wij sunt astfel nct acestea s descrie o matrice
dublu dominant;
b) funciile neliniare j sunt global lipschitziene cu constantele Lj;

c)

utilizate sunt funciile tangent hiperbolic din biblioteca MATLAB 2

e t e t
1 = t
, avnd domeniul
2t
1+ e
e + e t
de valori [-1, 1] i constantele Lipschitz Li = 1, i = 1, 2, 3. Prezentm rezultatele
simulrii pentru cel de-al doilea caz. Se consider sistemul
x&1 = 6 x1 (t ) 3 f 1 (x1 (t 1 ) ) f 2 (x 2 (t 2 ) )
x& 2 = 5 x 2 (t ) f 1 (x1 (t 1 ) ) 4 f 2 (x 2 (t 2 ) ) 2 f 3 (x3 (t 3 ) )

Simulink, cu expresia f (t ) = tanh(t ) =

x& 2 = 9 x3 (t ) + 2 f 1 (x1 (t 1 ) ) + f 2 (x 2 (t 2 ) ) 3 f 3 (x3 (t 3 ) )

ntrzierea maxim admis pentru conservarea stabilitii asimptotice este

= 0,0038 sec. S-au ales 1 = 0,003 sec., 2 = 0,001 sec., 3 = 0,002 sec.

Starea iniial aleas este x0 = [1 6 3] .

ntrzierile i , i = 1, m verific condiia

max i
i

min (ai )
m
m

1 + Lk max wij L j a j + w jk
1
1
1
1 j

(4.2.1.3)

Atunci reeaua neuronal (4.2.1.2) are un comportament de tip gradient, la fel

ca reeaua neuronal (4.2.1.1).
Metoda de analiz utilizat n acest caz a fost metoda bazat pe
principii de comparaie. Prima condiie, de dubl dominan a matricei
conexiunilor sinaptice, este rezultatul generalizrii inegalitii de rearanjare nr.
368 din lucrarea clasic a lui Hardy, Littlewood i Polya [Har34]. A doua
condiie, impus ntrzierilor care trebuie s fie suficient de mici pentru a
conserva stabilitatea asimptotic, este o consecin direct a lemei tehnice a lui
Halanay [Ha63] util n demonstraia rezultatului principal.

Fig. 4.2.1. Componentele strii pentru sistemul fr ntrzieri

Rezultatul a fost testat pe dou reele neuronale Hopfield cu trei

neuroni: prima avnd matricea conexiunilor W1 simetric i dublu dominant,
cea de-a doua prezentnd o matrice W2 nesimetric i dublu dominant, unde
0
1 0
2 1
3
4 2 . Funciile de activare neliniare
W1 = 1 4 2 , W 2 = 1
0 2 3
2 1 3
38

Fig. 4.2.2. Componentele strii pentru comportament de tip gradient

n prezena ntrzierii admise 1 = 0,003 sec., 2 = 0,001 sec., 3 = 0,002 sec.
39

Se observ c evoluia n timp a strii sistemului prezentnd ntrzieri

admise pentru conservarea comportamentului de tip gradient (Fig. 4.2.2) este
identic cu cea a sistemului fr ntrzieri (Fig. 4.2.1). Figurile 4.2.2, 4.2.3,
4.2.4 i 4.2.5 prezint evoluia strii n prezena unor ntrzieri din ce n ce mai
mari. Se remarc din rezultatele simulrii c proprietatea de dublu dominan a
matricei conexiunilor permite convergena componentelor strii chiar i pentru
ntrzieri de 1000 de ori mai mari dect cele care ndeplinesc condiia (4.2.1.3).
Subliniem c rezultatele bune de convergen obinute nu se bazeaz pe
simetria matricei conexiunilor.
Fig. 4.2.3 Componentele strii pentru ntrzieri 1 = 0,03 sec, 2 = 0,01 sec, 3 = 0,02 sec.

Fig. 4.2.4.Componentele strii pentru ntrzieri 1 = 0,3 sec., 2 = 0,1 sec., 3 = 0,2 sec.

Fig. 4.2.5. Componentele strii pentru ntrzieri 1 = 3 sec., 2 = 1 sec., 3 = 2 sec.

40

41

comportament de tip gradient);

Capitolul 5 Concluzii generale

n teza de doctorat, cu titlul PROBLEME CALITATIVE N

DINAMICA REELELOR NEURONALE, s-a efectuat un studiu teoretic,
validat prin exemple i simulri numerice, al comportamentului dinamic al
sistemelor neuronale neliniare. Nota de originalitate a prezentei lucrri este
dat de studiul reelelor neuronale cu conceptele i instrumentele teoriei
calitative a sistemelor cu mai multe echilibre i ale teoriei calitative a
sistemelor interconectate i de rezultatele obinute pentru reele neuronale
afectate de ntrzieri.

Contribuii originale

Paragraful 3.3 - Funcia Liapunov n studiul stabilitii memoriilor

asociative bidirecionale

abordeaz stabilitatea memoriilor asociative bidirecionale n cazul cel

mai general, n care actualizarea strii neuronilor poate apare n orice
submulime de neuroni i eventual, simultan n ambele cmpuri
neuronale;

funcia Liapunov utilizat, diferit de cele existente n literatur pentru

studiul BAM, este de tip energia semnalului i este aleas astfel nct
rezultatele de stabilitate s includ cazul asincron general al
modificrilor strilor neuronilor n reea;

rezultatul principal se bazeaz pe proprietile modelului i

particularitile funciei de activare care permit determinarea unor
valori de prag ale funciei de activare (de tip prag binar) care s nu
poat fi niciodat atinse; aceasta permite mai departe o caracterizare mai
nuanat a proprietilor funciei Liapunov i a rezultatelor de stabilitate a
reelei care deriv de aici;

alegndu-se acelai exemplu numeric ca n [Kos92, pg. 65] (matricea

conexiunilor W, vectorul care codific forma de intrare i starea iniial a
neuronilor), dar pentru funcii de activare a cror valoare de prag nu poate
fi atins, se identific dou situaii distincte n funcie de momentul
apariiei tranziiei n starea neuronului i se discut fiecare caz n parte;
astfel s-a obinut c pentru condiiile date, indiferent de modul n care
neuronii aleg s-i actualizaze starea la un moment dat, reeaua converge
ctre acelai echilibru;

n alegerea politicii de actualizare a strilor neuronale din exemplele

numerice prezentate ne-am ghidat dup urmtoarea idee plauzibil fizic:
neuronii a cror valoare de actualizare este doar cu o cantitate mic
superioar valorii pragului (ex. yi = 1 > 0,5 = Vi ) vor decide mai greu

Paragraful 3.2 - Metoda funciei Liapunov pentru reele neuronale

privite ca sisteme cu mai multe stri de echilibru

studiul comportamentului calitativ al reelelor neuronale n cadrul de

lucru al teoriei calitative a sistemelor cu mai multe stri de echilibru a
condus la obinerea unui comportament calitativ nou, dezirabil pentru
reelele neuronale: comportamentul de tip gradient;

determinarea funciei Liapunov s-a bazat pe rezolvarea unor ecuaii de tip

Lurie, existena soluiilor acestor ecuaii fiind asigurat de inegalitatea
Popov n domeniul frecvenei; inegalitatea n domeniul frecvenei
utilizat conine multiplicatori de tip PI cu forma 1+(i)-1 n locul
multiplicatorului uzual tip PD, cu expresia 1+(i);

restriciile obinute au condus la impunerea unei condiii de simetrie a

matricei Q(C*A-1B)-1, diferit de ipoteza decuplrii statice ck* A 1b j = 0 ,
k j utilizat n [Ha91];

funcia Lipunov astfel determinat este complet diferit de uzuala funcie

energie a reelelor neuronale;

relaxarea restriciilor impuse sistemului, posibil prin alegerea

corespunztoare a informaiei privind neliniaritile (la noi monotone i
de pant restrictiv), a permis stabilirea unui comportament calitativ nou
al reelelor neuronale analogice studiate (s-au formulat condiii
suficiente att pentru un comportament dihotomic, ct i pentru un

42

rezultatele s-au particularizat pentru cazul funciilor de activare cu

neliniariti mrginite i pentru cazul reelelor neuronale tip Hopfield cu
modelul matematic n forma adecvat implementrii hardware.

modificarea strii lor din pasiv n activ (n sensul c orice sistem tinde
43

ctre o stare de repaus); valorile suficient de deprtate de valoarea de

prag, indiferent de semnul lor, vor conduce la actualizri imediate; s-a
inut cont de ntrzierile de transmitere ale semnalului ntre cele dou
cmpuri de neuroni.
Paragraful 3.5 - Funcia Liapunov n stabilitatea reelelor celulare

abordeaz studiul stabilitii unei reele neuronale celulare n cadrul de

lucru al teoriei calitative a sistemelor interconectate [Wil72, il72,
Mic74, Vid81].

rezultatul obinut este o consecin a Teoremei 3 din [Mic74] adaptat

particularitilor sistemului studiat;

s-au obinut condiii suficiente pentru stabilitatea exponenial a soluiei

sistemului studiat: condiia de amplificare mic wii <

Paragraful 4.1.2 - Criterii de stabilitate pentru reele neuronale celulare

cu ntrzieri

extinde rezultatele paragrafului 3.5 pentru cazul reelelor neuronale

celulare cu ntrzieri;

nscriindu-se n cadrul de lucru al teoriei calitative a sistemelor

interconectate, studiul cuprinde dou etape:
1) determinarea unor condiii suficiente de stabilitate pentru o celul
izolat; s-au utilizat dou abordri: criteriul Popov n domeniul frecvenei
i metoda Liapunov direct, determinndu-se o funcional Liapunov
(diferit de formele clasice gsite n literatur) ataat modelului celulei
izolate; ambele metode au condus la aceleai restricii, independente de
ntrzieri, asupra parametrilor celulei;
2) determinarea unor restricii asupra sistemului de interconexiuni care
s conserve stabilitatea celulelor izolate obinut n prima etap;
utilizndu-se o funcional Liapunov derivat din cea determinat pentru
celula izolat s-au determinat condiii suficiente de stabilitate
exponenial n mare pentru reele celulare afectate de ntrzieri.

ai
, i condiia de
Li

pozitivitate impus matricei S.

Paragraful 4.1.1 - Comportament aproape liniar pentru reele
neuronale de tip Hopfield afectate de ntrzieri

studiaz reelele neuronale tip Hopfield cu stimuli variabili, de tip

periodic i/sau aproape periodic, n prezena ntrzierilor;

s-au obinut condiii suficiente pentru un comportament aproape liniar

al sistemului studiat, n sensul existenei unei soluii unice de regim
permanent de acelai tip cu stimulul i stabilitatea exponenial a acestei
soluii;

analiza s-a bazat pe un rezultat al lui Halanay [Ha67] despre mulimi

invariante pentru cureni n spaiul Banach, un caz special al teoremei
mai generale a lui Kurzweil [Krz67] despre mulimi invariante;

proprietile de convergen cerute de Lema Halanay au fost obinute pe

baza unei inegalitii tip Popov n domeniul frecvenei;

rezultatele sunt independente de ntrzieri i au fost testate pe o reea

neuronal tip Hopfield cu doi neuroni.

44

Paragraful 4.2.1 - Comportament de tip gradient pentru reele

neuronale tip Hopfield cu ntrzieri

continu studiul nceput n paragraful 3.2. - unde s-au determinat condiii

suficiente pentru un comportament de tip gradient al reelelor neuronale,
cu particularizare pentru cazul neliniaritilor mrginite i cazul
reelelor neuronale tip Hopfield;

scopul analizei este de a se determina o estimare a ntrzierii admise

pentru conservarea comportamentului de tip gradient obinut pentru
reelele neuronale tip Hopfield n absena ntrzierilor;

se utilizeaz o nou abordare: metoda bazat pe principii de comparaie,

restriciile viznd att parametrii reelei, ct i ntrzierile;

prima condiie, de dubl dominan a matricei conexiunilor sinaptice,

este rezultatul adaptrii i generalizrii inegalitii de rearanjare No. 368
din lucrarea clasic a lui Hardy, Littlewood i Polya [Har34];

a doua condiie, impus ntrzierilor care trebuie s fie suficient de mici

pentru a conserva stabilitatea asimptotic, este o consecin direct a
45

lemei tehnice a lui Halanay [Ha63] util n demonstraia rezultatului

principal;

Bibliografie (extras)

metoda de comparaie n forma adecvat o gsim aplicat ntr-o lucrare a

lui V.M. Popov, ns pentru un model fr ntrzieri, de form
asemntoare cu cel discutat n paragraful 4.2.1; diferena ntre acesta i
cel studiat de noi este c ultimul este un sistem cu convoluie care include
cazul ntrzierilor - n aceste circumstane condiia de ntrzieri mici
poate fi eliminat.

[Bl93] Blair, J. Stability in a model of delayed neural network, Journal

of Dynamics and Differential Equations, vol. 5, pp. 607-623, 1993.

Autoarea dorete s-i exprime recunotina fa de conductorul

tiinific Prof. dr. ing. Vladimir Rsvan, pentru atenta ndrumare n perioada
de elaborare a tezei de doctorat. Cercetrile i rezultatele prezentate n
aceast tez au fost posibile i datorit competenei i atmosferei de lucru pe
care domnia sa a imprimat-o colectivului pe care-l conduce.
Mulumesc tuturor colegilor din cadrul Departamentului de
Automatic i Mecatronic i din cadrul Facultii de Automatic, Electronic
i Calculatoare din Craiova pentru sugestiile i sprijinul moral acordat pe
parcursul elaborrii tezei.

[Cao96] Cao, Y.J., Q.H. Wu A note on stability of analog neural

networks with time delays, IEEE Transactions on Neural Networks,
vol. 7, pp. 1533-1535, 1996.
[Chu88] Chua, L., L. Yang Cellular neural networks: theory and
applications, IEEE Trans. Circuits and Systems, vol. CAS-35, pp.
1257-1290, 1988.
[Chu93a] Chua, L., T. Roska The CNN paradigm, IEEE Trans. Circuits
and Systems I Fundamental Theory and Applications, vol. 40, pp.
147-156, 1993.
[Chu93b] Chua, L., T. Roska, P. Venetianer The CNN is universal as the
Turing machine, IEEE Trans. Circuits and Systems I Fundamental
Theory and Applications, vol. 40, pp. 289-291, 1993.
[Coh83a] Cohen, M. A., S. Grossberg Absolute stability of pattern
formation and parallel storage by competitive neural networks, IEEE
Trans. Systems, Man, Cybernet., vol. SMC-13, pp. 815-825.
[Coh83b] Cohen, M. A., S. Grossberg Some global properties of binocular
resonances: Disparity metching, filling-in, and figure ground
systhesis, n Figural Synthesis, Ed. T. Caelli and P. Dodwell,
Hillsdale, NJ: Erlbaum Press, 1983.
[Dah95] Dahanayake, B.W., A.R.M. Upton Learning with easy:
Smart neural nets, Proc. of Internat. Conf. on Neural Networks
ICNN95, Australia, 1995.
[Dan98] Danciu, D. Stability of a Bidirectional Associative Memory
System, International Symposium on System Theory, Robotics,
Computers & Process Informatics SINTES 9, pp. 54-59, Craiova,
1998.
[Dan00] Danciu, D., Vl. Rasvan On Popov-type stability criteria for

46

47

neural networks, Electronic Journal on Qualitative Theory of

Differential Equations EJQTDE, Proc. 6th Coll. QTDE 2000, No. 23.
[Dan01a] Danciu, D., Vl. Rasvan Steady State Almost Linear
Behavior of Delayed Hopfield Type Neural Networks, 13 th
International Conference on Control Systems and Computer
Science CSCS13, pp. 210-213, Bucureti, 2001.
[Dan01b] Danciu, D., Vl. Rasvan Stability Criteria for Cellular
Neural Networks, The 11 th International Symposium on
Modeling, Simulation and Systems Identification SIMSIS 11, pp.
211-213, Galati, 2001.
[Dan01c] Danciu, D., Vl. Rasvan Gradient-Like Behaviour for
Hopfield-Type Neural Networks with Delay, The Thrid International
Workshop on Intelligent Control Systems ICS2001, Bucureti, 2001.
[Dan02a] Danciu, D., Time Delays and Oscillations in Neural
Networks, Buletinul tiinific al Universitii Politehnica din
Timioara, Seria Automatic i Calculatoare, vol. 47 (61), pp. 131134, Timioara, 2002.

with transmission delays, Physica D., vol. 76, 344-358, 1994.

[Ha63] Halanay, A. - Ecuaii difereniale. Stabilitate. Oscilaii. ntrzieri.,
Editura Academiei, Bucharest, 1963.
[Ha67] Halanay, A. Invariant manifolds for systems with time lag
Differential and dynamical systems, (Hale & La Salle Eds.), Acad.
Press, New York, pp. 199-213, 1967.
[Ha91] Halanay, A., Vl. Rasvan Absolute stability of feedback systems
with several differentiable non-linearities Int. Journ. Systems Sci.,
vol. 22, no. 10, pp. 1991-1927, 1991.
[Ha93] Halanay, A., Vl. Rasvan - Applications of Liapunov Methods to
Stability, Kluwer Academic, 1993.
[Ha00] Halanay, A., Vl. Rasvan Oscilations in Systems with Periodic
Coefficients and Sector-restricted Nonlinearities. Operator Theory.
Advances and Applications., vol. 117, Birkhauser Verlag, Basel, pp.
141-154, 2000.
[Hal69] Hale, J.K. - Ordinary Differential Equation, New York: WileyInterscience, 1969.

[Dan02b] Danciu, D., Qualitative Behaviour of the Time-Delay

Hopfield-type Neural Network with Periodically Varying Stimuli,
Analele Universitii din Craiova, nr.26, 2002 (sub tipar).

[Hal77] Hale, J.K. - Functional Differential Equations, Springer Verlag,

1977.

[DeW95] DeWilde, Ph. Neural Network Models, Lecture Notes in

Control and Information Sciences, no. 210, Springer-Verlag, 1995.

[Har34] Hardy G.H., J.E. Littlewood, G. Polya - Inequalities, Cambridge

Univ. Press, 1934.

[Dri98] - Driessche van den, P., X. Zou Global attractivity in delayed

Hopfield neural network models, SIAM Journal Appl. Math., vol. 58,
pp. 1878-1890, 1998.

[Hay94] Haykin, S. Neural Networks, a Comprehensive Foundation,

Macmillan, N.Y., 1994.

[Gel68] Gelig, A. Kh. Stability of controlled systems with bounded

nonlinearities, Autom. Remote Control, pp. 1724-1731, 1968.
[Gel78] Gelig, A. Kh., G.A. Leonov, V.A. Yakubovich Stability of
nonlinear systems with non-unique equilibrium state, [n rus]. Nauka
Publ. House, Moscova, 1978.
[Gop94] Gopalsamy, K., X.Z. He Stability in asymmetric Hopfield nets
48

[Hir88] Hirsch, M.W. Stability and convergence in strongly monotone

dynamical systems, J. reine angew. Math., 383, pp. 1-53, 1988.
[Hop82] Hopfield J. J. Neural networks and physical systems with
emergent collective computational abilities, Proc. Nat. Acad. Sci.
U.S.A., vol. 79, pp. 2554-2558, 1982.
[Kal57] Kalman, R.E. Physical and mathematical mechanisms of
instability in nonlinear automatic control systems, Trans. Amer. Soc.
49

Mech. Eng., 79(3), 1957.

[Kos88] Kosko, B. Bidirectional associative memories, IEEE Trans.
Systems, Man, Cybernet., vol. SMC-18, pp.42-60, 1988.
[Kos92] Kosko, B. Neural Networks and Fuzzy Systems, Prentice-Hall
International, (UK) Limited, London, 1992.
[Krz67] Kurzweil, J. Invariant manifolds for flows, Differential and
dynamical systems, [Hale & La Salle Eds.], Acad. Press, New York,
pp. 431-468, 1967.
[Li892] Liapunov, A.M. Problema general a stabilitii micrii, Harkov,
1892.
[LaS67] LaSalle, J.P. An invariance principle in the theory of stability in
Differential Equations and Dynamical Systems, pp. 277-286. Ed. J.K.
Hale si J.P. LaSalle, Academic Press, New York, 1967.
[LaS68] - LaSalle, J.P. Stability Theory for Ordinary Differential
Equations, Journal of Differ. Equations, vol. 4, no. 1, pp. 57-65,
1968.
[Leo92] Leonov, G.A., V. Reitmann, V.B. Smirnova Non-local methods
for pendulum-like feedback systems, Teubner Verlag, Leipzig, 1992.
[Mar89] Marcus, C.M., R.M. Westervelt Stability of analog neural
networks with delay, Phys. Rev. A., vol. 39, pp. 347-359, 1989.
[McC43] McCulloch, W. S., W. Pitts A Logical Calculus of the Ideas
Immanent in Nervous Activity, Bulletin of Mathematical Biophysics,
vol. 5, pp. 115-133, 1943.
[Mic74] Michel A. Stability analysis of interconnected systems, SIAM J.
Control, vol. 12, no. 3, pp. 554-579, 1974.
[Mos67] Moser, J. On nonoscillating networks, Quart. Appl. Math. vol.
25, pp. 1-9, 1967.
[Nol94] Noldus, E., R.,Vingerhoeds, M. Loccufier Stability of analogue
neural classification networks, Int. Journ. Systems Sci., vol. 25, no. 1,
pp. 19-31, 1994.
50

[Nol95] Noldus, E., M. Loccufier An application of Liapunovs method

for the analysis of neural networks, Journ. of Comp. and Appl.
Math., vol. 50, pp. 425-432, 1995.
[Pop79] Popov, V.M. Monotonicity and Mutability, Journal of
Differential Equations, vol. 31, no. 3, pp. 337-358, 1979.
[Pop81] - Popov, V.M. Monotone-Gradient Systems, Journ. of Differ.
Equations, vol. 41, no. 2, pp. 245-261, 1981.
[Rs75] Rsvan, Vl. Stabilitatea absoluta a sistemelor automate cu
ntrziere, Ed. Academiei, Bucuresti, 1975.
[Rs87] Rsvan, Vl. Teoria stabilitii, Ed. tiinific i Enciclopedic,
Bucureti, 1987.
[Rs98] Rsvan, Vl. Dynamical Systems with Several Equilibria and
Natural Liapunov Functions, Archivum mathematicum, tomus 34, no.
1 [Equadiff 9], pp. 207-215, 1998.
[Rs02] Rsvan, Vl. Popov Theories and Qualitative Behaviour of
Dynamic and Control Systems, European Journ. on Control, vol.8,
nr.3, pp. 190-199, 2002.
[il72] iljak, D.D. Stability of large-scale systems, Proc. Fifth World
Congres of IFAC (Session 9, Nonlinear Systems), Paris, 1972.
[Tso94] Tsoi, A.C., Back A.D. Locally Recurrent Globally Feedforward
Networks: A Critical Review of Architectures, IEEE Trans. on
Neural Networks, vol. 5, no. 2, pp. 229-239, 1994.
[Vid81] Vidyasagar, M. Input-Output analyssis of Large Scale
Interconnected Systems, LNCIS, vol. 29, Springer Verlag, 1981.
[Wan02] Wang, L., X. Zou Exponential stability of Cohen-Grossberg
neural networks, Neural Networks, vol. 15, pp. 415-422, 2002.
[Wil72] Willems, J.C. Dissipative dynamical systems I, II, Arch.Rat.
Mech. Anal. vol. 45, pp. 321-393, 1972.

51