You are on page 1of 13

Procesos de Markov

Curso: Procesos Estocasticos


Daniel Galdo Siccha

Introduccion
En muchos procesos de la vida real o
hechos, ocurren en tiempo continuo
(por ejemplo, eventos de enfermedad
de transmisin, las llamadas de
telfonos celulares, los tiempos de fallo
de un componente mecnico, ...). Una
aproximacin de tiempo discreto puede
o no puede ser adecuada.
Conceptos Previos
Un proceso estocstico es una variable
aleatoria que evoluciona a lo largo
tiempo
Un proceso de Markov es un proceso
estocstico cuyo comportamiento futuro
depende slo de la situacin actual, no
en el pasado


Proceso de Markov
Estado del Espacio
Discreto Continuo
Espacio de Parametros (Tiempo)
Discreto
Cadena de Markov
Continuo
Cadena de Markov Proceso de Movimientto
Para tiempos continuos Browmiano
CTMC es similar a DTMC excepto one-step has
no meaning in continuous time so the Markovian
property must hold for all future times instead of just
for one step.

Cadena de Markov Tiempo Continuo (CTMC)
Un proceso estocstico {X(t), t 0} es una cadena
de markov a tiempo continuo si para todo s, t 0 y
enteros no negativos i, j , x(u), 0 u < s,



Y si esta probabilidad depende de s, entonces la
CTMC tiene probabilidades de transicin
estacionarias.

Para todo s.

Definicin Alternativa
La cantidad de tiempo que se gasta en el
estado i antes de hacer una transicin a un
estado diferente se distribuye de manera
exponencial con el parmetro v
i
, y,
Cuando sale del estado i entra al estado j
con probabilidad P
ij
, donde P
ii
= 0 y
entonces,

y
Proceso de Nacimiento y Muerte
0
n+1 n-1 n
1 2
l
1
Si una CTMC tiene estados {0, 1, } y transiciones desde un
estado n puede que pase al estado n-1 o n+1, es llamado un
proceso nacimiento muerte. El ratio de Nacimiento (Muerte)
en el estado n es l
n
(m
n
), asi tenemos
l
o
l
n-1 l
n
m
n
m
n+1 m
1
m
2
Ecuacin de Chapman Kolgomorov
A fin de obtener desde el estado i en el tiempo 0 hasta el
estado j en el tiempo t+s, el proceso debera de estar en algn
estado k para un tiempo t
Donde esta puede derivado de dos conjuntos de expresiones
diferenciales:
Forward
Backward
Limites de Probabilidad
Si
Todos los estados de la CTMC se comunican: Para
cada par i, j, empezando desde el estado i hay una
probabilidad mayor que cero, de estar el en estado
j, y
La cadena es recurrente positiva: Empieza de algun
estado, el tiempo de retorno a el estado es finito,
Por tanto los limites de Probabilidad exiten:
(y cuando los limites de probabilidad existen, la cadena
es llamada ergodica)
Podemos encontrarlos por un metodo tal como p = p P
para un cadena discreta de Makov?

Matriz Generador Infinitesimal (Ratio)
Sea la Matriz R con elementos
(Las filas de R suman 0)
Sea en la expresion de Forward. En Estado
estable:



Esto puede escribirse en una forma matricial como
PR = 0 junto con y resuelve el limite de
probabilidades.
Balance de Ecuaciones
La ecuacion PR = 0 tambien puede ser interpretada
con el balanceo:

El ratio al cual el proceso parte de j es igual al ratio al
cual el proceso entra a j.
Para el proceso Nacer Morir, Estas son las ecuaciones para
el cruce de nivel de sus ecuaciones

Ratio para cruzar desde un estado n hasta un estado n+1 es
igual al Ratio para cruzar desde un estado n+1 a n.
Asi en un estado estable si,

You might also like