Cadenas de markov

Cadenas de markov

Una cadena de Markov es una herramienta que representa un sistema que varía su estado a lo largo del tiempo, siendo cada cambio una transición del sistema. Estos cambios no están predeterminados, pero sí la probabilidad del próximo estado en función de los anteriores, dicha probabilidad es homogénea a lo largo del tiempo. Un estado se define como una caracterización de la situación en la que se halla el sistema en un instante dado. En este espacio nos ocuparemos de las cadenas de Markov finitas, caracterizadas porque el número de estados de éstas es finito (E1, E2, E3…En)
En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.


Un elemento muy importante en el desarrollo de las cadenas de Markov es la matriz de transición, la cual es la matriz que nos muestra las probabilidades de pasar de un estado a otro o de mantenerse en un mismo estado. Por ejemplo:


Una característica muy importante es que la mariz de transición debe ser cuadrada, es decir debe mostrar la probabilidad de pasar de un estado a cada uno de los otros estados. También es muy importante aclarar que la suma de cada uno de los elementos de cada fila de la matriz debe ser igual a 1.

Para explicar de manera detallada el uso de las cadenas de Markov, tomaremos en cuenta el siguiente ejemplo:

En el mercado de la telefonía celular en Colombia, existen tres operadores: Comcel, Movistar y Tigo. cada uno de estos operadores tiene una proporción de los usuarios totales, dichas proporciones se muetran a continuación:

Comcel: 0,4
Movistar: 0,3
Tigo: 0,3

Este configuración conforma el estado actual, el cual se representa con un vector fila, asi:

Debido a un estudio de mercado que se hizo, se logró obener la siguiente matriz de transición anual:


Para determinar el estado pasado un año, basta con multiplicar la matriz del estado actual por la matriz de transición:


Al efectuar la multiplicación nos que da el siguiente resultado:


Pra deteminar el estado en los siguientes periodos, se multiplica la matriz del estado inmediatamente anterior por la matriz de transición y asi sucesivamente hasta encontrar el estado en el periodo deseado.

Para los sigueintes periodos, estos son los resultados:


La fórmula general par determinar el estado en cierto periodo es:

Donde n es el periodo que se desea determinar, Po es el estado actual y T es la matriz de transición.

Llega un momento en que el estado se estabiliza, es decir, el las proporciones en las que a la largo caerán los estados.



Una cadena de Markov también se puede definir como una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria, es decir, recuerdan el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado.

El análisis de Markov, permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Algo más importante aún, es que permite encontrar el promedio a la larga o las probabilidades de estado estable para cada estado. Con esta información se puede predecir el comportamiento del sistema a través del tiempo.


Cadenas de Markov con Estados Absorbentes

Un estado recurrente es un estado en el cual, una vez que se entra no se puede salir. Es decir tiene una probabilidad de 1 de quedarse en ese estado. Para bosquejar el uso de estos estados en cadenas de markov, nos guiaremos del siguiente ejemplo:

Almacenes juanchi Parts vende partes de automóviles y camiones a empresas que tienen flotas de vehículos. Cuando una mepresa compra, se le dan 3 meses para pagar y si las cuentas no se saldan en ese periodo, Juanchi Part cancela la cuenta, la remite a una cuenta de cobranza y da por terminada las transacciones. Por lo tanto Juanchi Part, clasifica sus cuentas en nuevas, 1 mes de retraso, 2 meses de retraso, 3 meses de retraso, pagadas e incobrables. Se descubrió que:

a) 70% de las cuentas nuevas se pagan.
b) 60% de las cuentas con 1 mes de retraso se liquidan a fin de mes.
c) 50% de las cuentas con 2 meses de retraso se liquidan a fin de mes.
d) 60% de las cuentas con 3 meses de retraso se remiten a una cuenta de cobranza.

Lo primero que debemos hacer es identificar los estados. En este caso los estados son:

Cuentas nuevas
Cuentas de 1 mes de retraso
Cuentas de 2 meses de retraso
Cuentas de 3 meses de retraso
Cuentas pagadas
Cuentas incobrable

De estos estados, podemos clasificar como estados absorbentes a las cuentas incobrables y las cuentas pagadas, ya que una cuenta que psas a uno de estos estados, no puede transitar a cualquier otro estado.

Ahora lo que corresponde es formular la matriz de transición, teniendo en cuenta la información suministrada. La matriz de transición quedaría de la siguiente manera:



Observamos que esta matriz tiene una parte no absorbente, conformada por los estado N, 1R, 2R, 3R, que denotaremos con N y una parte absorbente conformada por los estados I y P, que denotaremos A.

A la larga todos los estados caerán en estados absorbentes, por lo tanto para calcular el estado estable, basta con determinar las probabilidades de cada uno de los estados de caer en los estados absorbentes, esto se hace de la siguiente manera:
Entonces tenemos que la inversa de (I-N) es:
Entonces tenemos que:


Y esta operación es igual a:

y aquí podemos ver la probabilidad de cada uno de las cuentas de llegar a convertirse a la larga, en una cuenta incobrable o una cuenta pagada.

También podemos hallar el tiempo que se necesita para que una cuenta pase de un estado a otro hasta un estado absorbente, estas probabilidades se dan en la matriz inversa de (I-N), por ejemplo el tiempo que demora en pasar una cuenta nueva, en promedio, a ser una cuenta de un mes de retraso, es 0,3 meses, el tiempo para una cuenta de dos meses de retraso pasar a tres meses de retraso es 0,12 meses.

Si queremos saber el tiempo de que demora una cuenta nueva para ser pagada o pase a incobrable es 1+ 0,3+0,12 +0,06 = 1,48 meses.

En general, la dificultad de los problemas con cadenas de markov radican en la formulación de la matriz de transición y en las habilidades que se tengan para las operaciones con matrices, aunque con el manejo de softwares, es mucho más fácil y rápido llegar a las soluciones.


Refrencias bibliográficas
http://www.itescam.edu.mx/principal/sylabus/fpdb/recursos/r55112.PDF