UNIVERSIDAD NACIONAL EXPERIMENAL DE GUAYANA

VICERRECTORADO ACADEMICO
PROYECTO DE CARRERA: INGENIERIA INDUSTRIAL
COORDINACION DE PREGRADO
ASIGNATURA: OPERACIONES II
SECCION: 02

CADENA DE MARKOV
Profesor:
D Ambrosio

Integrantes:
Bolvar Ramn C.I. 20.207.090
Garca Amrica C.I.21.236.150
Oliveros Ivn C.I.19.1000

Puerto Ordaz 12 de Enero de 2013

CADENA DE MARKOV

1. Procesos estocsticos.
Un proceso estocstico es una familia de variables aleatorias definida sobre
un espacio de probabilidad. Es decir:

X t : ,

t T

X t X , t

2. Cadenas de Markov.
Una cadena de Markov es una sucesin de ensayos similares u
observaciones en la cual cada ensayo tiene el mismo nmero finito de resultados
posibles y en donde la probabilidad de cada resultado para un ensayo dado
depende slo del resultado del ensayo inmediatamente precedente y no de
cualquier resultado previo.

Una cadena de Markov (CM) es una sucesin de variables aleatorias

tal que:

La frmula anterior es la expresin algebraica de la propiedad de Markov

para T discreto.
Las cadenas de Markov y los procesos de Markov son un tipo especial de
procesos estocsticos que poseen la siguiente propiedad:

Propiedades de Markov: Conocido el estado del proceso en un momento

dado, su comportamiento futuro no depende del pasado. Dicho de otro modo,
dado el presente, el futuro es independiente del pasado.

Evolucin de una cadena de Markov.

Cadenas homogneas: Las probabilidades de transicin (m,n) slo dependen de la
diferencia k=n-m.

Ejemplo Cadena de Markov en Tiempo Discreto

Suponga que en un juego existen 2 jugadores, cada uno de los cuales
dispone inicialmente de 2 monedas. En cada jugada se gana una moneda con
probabilidad o se pierde una moneda con probabilidad . El juego termina
cuando un jugador tiene 4 monedas o se queda con ninguna. Modele como una
Cadena de Markov la situacin descrita.
Desarrollo: El primer caso consiste en identificar la variable aleatoria la cul
debe representar el problema planteado, en este caso la evolucin del juego al
cabo de cada etapa o jugada. Se define la variable aleatoria en tiempo discreto Xn
: Cantidad de monedas que tiene uno de los jugadores (digamos el jugador A) al
cabo de la ensima jugada.
Luego se debe identificar los posibles valores o estados que puede tomar
esta variable aleatoria para una etapa n cualquiera. Sabemos que el jugador A
comienza el juego con 2 monedas y el juego termina cuando pierde todo (y por
tanto el jugador B gana) o cuando gana todo (y por tanto el jugador B pierde). En
consecuencia, los valores posibles para Xn son {0,1,2,3,4}.
A continuacin se debe determinar las probabilidades de transicin (en una
etapa). Por ejemplo, si actualmente el jugador A tiene 2 monedas, la probabilidad
que tenga 3 monedas al cabo de una jugada es (probabilidad de ganar) y la
probabilidad de que tenga 1 moneda es (probabilidad de perder). De esta forma
se identifican las distintas combinaciones o probabilidades de que comenzando en
un estado "i" se pueda pasar a un estado "j" al cabo de una etapa. Notar que si el
jugador A tiene 0 monedas la probabilidad que continue en ese estado es 1 (o
100%) dado que no tiene monedas para seguir jugando. De la misma forma si el
jugador A tiene 4 monedas el jugador B tiene 0 y por tanto la probabilidad de que
el jugador A se mantenga en ese estado es de 1 (o 100%).

Las probabilidades de transicin en una etapa se pueden representar

haciendo uso de un grafo o en forma resumida a travs de la matriz de transicin
de probabilidades.

Cabe destacar que la suma de las probabilidades para cada fila en la matriz de
transicin P es de un 100%. Podemos responder preguntas adicionales cmo por
ejemplo Cul es la probabilidad de que el jugador A tenga 2 monedas al cabo de
2 jugadas?
Haciendo uso del grafo y dado que actualmente el jugador A tiene 2 monedas,
se busca identificar las combinaciones que permitan a este jugador mantener esta
cantidad de monedas al cabo de 2 etapas. Esto se logra ganando la prxima
jugada (con probabilidad ) y perdiendo la jugada que sigue (con probabilidad ).
Tambin se llega al mismo resultado perdiendo la prxima jugada pero luego
ganando en la jugada que sigue. Por tanto la probabilidad de tener 2 monedas al
cabo de 2 etapas es P(X2=2/X0=2) = * + * = .

Ejemplo.
En una cierta regin el tiempo atmosfrico sigue la siguiente secuencia: Un
da se denomina soleado (S) si el sol luce ms de la mitad del da, y se denomina
nublado (N), si lo hace menos. Por experiencia, se sabe que si hay un da
nublado, es igual de probable que el da siguiente sea tambin nublado. Si el da
es soleado hay una probabilidad de 2/3 de que sea tambin soleado.
1. Construye la matriz de transicin T de este proceso.
2. Si hoy est nublado, cul es la probabilidad de que dentro de tres das est
tambin nublado? y de que est soleado?
3. Calcula T5 y T10. Cul es el comportamiento de Tn cuando n ? Cmo se
comporta p(n) cuando n ? Depende el lmite de p(0)?
Solucin:
1) Asumimos que el proceso es markoviamo y que el tiempo slo
depende del da anterior. Se tiene una cadena de Markov con dos
estados: E1 Da nublado N, E2 Da soleado S. La matriz de
transicin es:

2) Empezando los pasos a partir del da actual, se tiene que.

De este modo, si hoy est nublado, dentro de tres das, se tiene que

3. De este modo nos queda.