TECNOLÓGICO NACIONAL DE MÉXICO

Investigación de
Operaciones II

Cadenas de Markov

Actividad CM2

Instrucciones:

 Llena la información en los cuadros y en los espacios disponibles.

 No puedes cortar y pegar. Escribe lo que se pide
 Incluye las referencias en formato APA al final del documento.
 Sube este archivo a plataforma

Cadenas de Markov

Temas
4.5 Probabilidad de transición estacionarias de un solo paso.

4.6 Probabilidad de transición estacionarias de n pasos.

Notas de internet:
http://www.ugr.es/~bioestad/_private/cpfund10.pdf

http://www.bioingenieria.edu.ar/academica/catedras/metestad/Cadenas%20de%20Markov-1.pdf

http://www.unsa.edu.ar/~hibbard/discreta/markov.pdf

http://www.cimat.mx/~jortega/MaterialDidactico/modestoI11/CMarkov1v1.pdf

http://www.dia.fi.upm.es/~ajimenez/Docu_IO/Transparencias/CMTD.pdf

Texto:

Hillier – Liberman. Introducción a la investigación de operaciones, México:Editorial Mc Graw Hill. . Ultima

edicion

Prawda, Juan. Métodos y Modelos de la Investigación de Operaciones (Tomo 1y II), Editorial Limusa.

Shamblin, James E. Investigación de Operaciones, Editorial Mc Graw Hill.

Taha, Hamdy A. Investigación de operaciones: Una introducción. México: Editorial Alfa Omega. 1989.
 TECNOLÓGICO NACIONAL DE MÉXICO

Actividades:

Con material bibliográfico o libros electrónicos.

1. Con un ejemplo, explica en qué consiste la propiedad Markoviana

Una empresa está considerando utilizar Cadenas de Markov para analizar los
cambios en las preferencias de los usuarios por tres marcas distintas de un
determinado producto. El estudio ha arrojado la siguiente estimación de la matriz
de probabilidades de cambiarse de una marca a otra cada mes:

Si en la actualidad la participación de mercado es de 45%, 25% y 30%,

respectivamente. ¿Cuáles serán las participaciones de mercado de cada marca
en dos meses más?

En primer lugar definimos la variable aleatoria que representa la marca que

adquiere un cliente cualquiera en el mes n. Dicha variable aleatoria puede
adoptar los valores 1,2,3 en el mes n=0,1,2,3,..
Adicionalmente conocemos cuál es la distribución inicial y la matriz de
probabilidades de transición en una etapa tal como se observa a continuación:

Luego para conocer la distribución de las participaciones de mercado al cabo de 2

meses (2 etapas) podemos utilizar la fórmula :

Se concluye que las cuotas de mercado (participaciones de mercado) en dos

meses a cambiado de un 45% a un 40.59%; de un 25% a un 33.91% y de un 30%
a un 25.50%, para las marcas 1,2 y 3 respectivamente.
 TECNOLÓGICO NACIONAL DE MÉXICO

2. ¿Qué significado tiene la probabilidad de transición de un paso y como se denota?

Es un sistema que puede estar en uno de algunos estados (enumerados), y que

puede pasar de un estado a otro durante cada instante de acuerdo a
probabilidades determinadas.
Si un sistema de Markov está en estado i, Hay una determinada probabilidad, pij,
de ir a estado j el próximo paso, y pij es llamado la probabilidad de transición.

3. Las probabilidades de transición deben satisfacer dos propiedades. Explica cuáles son.

Propiedad 1

Todas las posibilidades de salir de un estado hacen el evento seguro, esto es, la
suma de las probabilidades de salir de un estado es 1.

Propiedad 2

La probabilidad de que i sea el siguiente evento generado es una probabilidad

condicional: probabilidad de estar en el estado j dado que estaba en el estado
i: P (j | i).

4. Una cadena de Markov está definida por cuatro características. Explica cada una

Característica 1.

Irreductibilidad

 En una cadena de Markov un estado ej se dice que es accesible desde otro

estado ei si la probabilidad de ir desde el estado e i al ej en algún momento
futuro es distinta de cero.
 Un estado ei está comunicado con otro ej si ej es accesible desde ei y ei lo
es desde ej.
 Una cadena de Markov se dice que es irreducible si todos los estados
están comunicados entre sí.

Característica 2.

Absorsorbencia

Un estado ej se dice absorbente si es imposible abandonar dicho estado, es decir

P (Xk= ej | Xk-1= ej) = 1.
 Una cadena de Markov es absorbente si tiene algún estado absorbente.
 Si una cadena de Markov es irreducible y absorbente entonces la
 TECNOLÓGICO NACIONAL DE MÉXICO

probabilidad de caer en alguno de los estados absorbentes tiende a

uno cuando el número de etapas tiende a infinito.

Característica 3.

Regularidad

 Una cadena de Markov se dice que es regular si alguna potencia de la

matriz de transición tiene todos sus elementos positivos (no hay ceros)
 Si una cadena es regular entonces es irreducible y no absorbente.

Característica 4.

Cadenas positivo-recurrentes

Una cadena de Márkov se dice positivo-recurrente si todos sus estados son

positivo-recurrentes. Si la cadena es además irreducible es posible demostrar que
existe un único vector de probabilidad invariante y está dado por:

5. Construye un ejemplo de una cadena de Markov, incluye los estados y la matriz de

transición de un solo paso.

En una Unidad de Cuidados Intensivos en un determinado hospital, cada paciente

es clasificado de acuerdo a un estado crítico, serio o estable. Estas
clasificaciones son actualizadas cada mañana por un médico internista, de
acuerdo a la evaluación experimentada por el paciente. Las probabilidades con
las cuales cada paciente se mueve de un estado a otro se resumen en la tabla
que sigue:

¿Cuál es la probabilidad que un paciente en estado crítico un día jueves esté

estable el día sábado?

Sea la variable aleatoria que indica el estado que se encuentra un paciente

 TECNOLÓGICO NACIONAL DE MÉXICO

cualquiera en el hospital en el día n. Los valores posibles para dicha variable son
C, S y E, representando los estados crítico, serio y estable, respectivamente. Un
grafo que representa dicho proceso estocástico dada la tabla anterior es:

La probabilidad de que un paciente esté en estado crítico el día Jueves y que el

día Sábado esté estable, esta dado por: , es decir, la probabilidad de pasar
del estado crítico al estado estable al cabo de 2 etapas (días).

Notar que de forma equivalente se pueden utilizar las ecuaciones

matriciales :

Se comprueba que la probabilidad de pasar del estado crítico al estado estable al

cabo de 2 etapas es de un 17%.
 TECNOLÓGICO NACIONAL DE MÉXICO

¿Cuál es la probabilidad que un paciente que está en estado estable el lunes

experimente alguna complicación y no esté estable nuevamente el miércoles?

En este caso cambia la distribución inicial respecto al escenario anterior (ahora el

paciente está en estado estable), no obstante, también resulta de nuestro interés
analizar qué sucede al cabo de 2 etapas.

Con color verde se marca la probabilidad de que comenzando en un estado

estable al cabo de 2 días un paciente se encuentre en estado crítico o serio. La
suma de dichas probabilidades es un 66% que da respuesta a la interrogante
anterior.

6. Explica cómo se calculan las probabilidades de transición de n pasos. (Ecuaciones de

Chapman- Kolmogorov)
Se define p(n)ij como la probabilidad de que la cadena esté en el estado E j
después de n pasos, dado que la cadena empezó en el estado E i. Se tiene
que

por la propiedad markoviana se tiene que

Para n ≥ 2, ya que la cadena debe haber pasado por uno de los m posibles
estados en la etapa n − 1.

NOTA: Se tiene la siguiente igualdad, para tres posibles sucesos A, B y C :

P (A ∩ B | C) = P (A | B ∩ C) · P (B | C)
 TECNOLÓGICO NACIONAL DE MÉXICO

Si se sustituye

A → (Xn = j)
B → (Xn−1 = k)
C → (X0 = i)

entonces

Usando la propiedad markoviana nuevamente. La ecuación anterior se

denomina de Chapman-Kolmogorov.

Haciendo n igual a 2, 3,... se obtiene que las matrices con esos elementos
son

Ya que p(2)ik son los elementos de T2 y así sucesivamente. Así.

7. Construye las definiciones siguientes de una cadena de Markov

Estado Accesible: Este estado tiene la característica de que se puede alcanzar

desde otro estado.

Dos estados se comunican si: y entonces diremos que i comunica con j y

se denotará i↔j. La propiedad "↔" es una relación de equivalencia.
 TECNOLÓGICO NACIONAL DE MÉXICO

Cadena Irreducible: se dice irreducible si se cumple cualquiera de las siguientes

condiciones (equivalentes entre sí):
 Desde cualquier estado de E se puede acceder a cualquier otro.
 Todos los estados se comunican entre sí.
 C(x)=E para algún x∈E.
 C(x)=E para todo x∈E.
 El único conjunto cerrado es el total.

Estado Recurrente: En la medida que comenzando en él se tenga la certeza de volver

en algún momento del tiempo sobre sí mismo.

Estado Transitorio: Es la probabilidad de que X n+1 este en el estado j dado que Xn

está en el estado i

Estado Absorbente: Estado cuya única transición posible es volver al mismo estado.
Un estado absorbente constituye una clase final de un único estado.

Período: El periodo de un estado x∈E se define como:

Donde denota el máximo común divisor.

Estado ergódico: Es aquel que es recurrente, no nulo y aperiódico

Cadena ergódica: Si en una cadena de Markov existe alguna potencia positiva de la

matriz de transición cuyas entradas sean estrictamente mayores que cero.

8. ¿Cómo se calculan los tiempos de primera pasada en una cadena de Markov?

Es el tiempo esperado µij hasta que el sistema llega al estado j, desde el estado i.
El tiempo medio de retorno es un caso especial del tiempo medio de primera
pasada, en que i = j.

Sea f(n)ij la probabilidad de que la primera llegada del sistema al estado j desde el
estrado i, se produzca en el paso n-ésimo. Sea fij la probabilidad de que el
sistema llegue alguna vez a j, partiendo de i.
El tiempo medio de primera pasada está dado por:
 TECNOLÓGICO NACIONAL DE MÉXICO

Sí , es decir, si el sistema va a llegar a j, desde i, con

probabilidad 1, entonces se cumple la relación

9. ¿Cómo se calculan las probabilidades de estado estable?

Las probabilidades de estado estable πj satisfacen las ecuaciones de estado

estable

Donde

Son, en total, M+2 ecuaciones con M+1 incógnitas. Una de las primeras M+1
ecuaciones depende de las otras.

Propiedad: Las probabilidades de estado estable se relacionan con los tiempos

medios de retorno de la siguiente manera:

10. La cervecería más importante en la costa oeste (A) ha contratado a un analista de

Investigación de Operaciones para analizar su posición en el mercado. Están preocupados
en especial por su mayor competidor (B). El analista piensa que el cambio de consumo se
puede modelar como una cadena de Markov incluyendo tres estados, los estados A y B
representan a los clientes que beben cerveza producida por las marcas respectivas y el
estado C representa las otras marcas. Los datos se toman cada mes y el analista ha
construido la siguiente matriz de transición de los datos históricos. (Hillier 5ª Ed. Página
588)

A B C
A 0.7 0.2 0.1
B 0.2 0.75 0.05
C 0.1 0.1 0.8
 TECNOLÓGICO NACIONAL DE MÉXICO

¿Cuáles son los porcentajes de mercado en el estado estable para las dos cervecerías
gandes? Desarrolle las fórmulas para el análisis y justifique su respuesta.

PREGUNTAS Y DUDAS

REFERENCIAS

Nombres: Javier Ruiz Palafox

No. Control: V16281626

Dr. Manuel González De La Rosa

Noviembre de 2016