LAS MATRICES ESTOCÁSTICAS O CADENAS DE MARKOV

...

P ( Xn+1 =Xn+1] X0 = X0,……, Xn = Xn) = P ( Xn+1 =Xn+1] Xn = Xn)

Por tanto la propiedad de markov significa que :dado que se conoce la trayectoria del proceso hasta el tiempo “n” la distribución de la variable Xn+1 depende únicamente del ultimo valor observado, esto es Xn y no de los valores anteriores.

Ejemplo gráfico de la dinámica de una cadena de markov:

Supongamos que el proceso empieza en X0, mediante esta ley de probabilidad cuando n=0 se genera al azar el estado del proceso al tiempo 1, a partir de X1 se genera el nuevo estado X2 y a partir de este se genera X3 y así sucesivamente.

[pic 11]

El aspecto importante de este proceso es entonces, esta condición llamada propiedad de markov la cual condicionando de manera sucesiva es equivalente a la siguiente condición. Se pueden escribir como el producto de una distribución de probabilidad inicial, así llamaremos a la distribución de la variable X0 y las posibilidades de pasar de un estado a otro en dos tiempos sucesivos, estos elementos son importantes, y su definición es la siguiente:

Condición equivalente:

P ( Xn+1 =Xn+1 ] X0 = X0 ,……, Xn = Xn) = P( Xn+1 =Xn+1 ] Xn = Xn ) P(X0 = X0, X1= X1,…., Xn+1 =Xn+1 ) [pic 12]

=P(X0 = X0). P (X1= X1] X0 = X0)

….P (Xn+1 =Xn+1] Xn= Xn )

Definición: A la distribución de la variable X0, es decir, {P (X0 =0), P (X0=1),…..} se le llama distribución inicial.

[pic 13]

Definición: A la probabilidad P ( Xn+1 = j] Xn = i) = Pij (n, n+1) se le llama probabilidad de transición del estado “ i” en el tiempo “n” al estado j en el tiempo “n+1”.

A estas probabilidades se les conoce como probabilidades de transición en un paso, en estas probabilidades el estado i es el estado origen y el estado j es el estado destino. Se hará una simplificación mayor, suponiendo que las probabilidades se mantienen constantes para cualquier valor de n en este caso se dice que la cadena es estacionaria u homogénea en el tiempo.

[pic 14]

Las probabilidades de transición (n, n+1) son estacionar en el tiempo si no dependen de n, i , e.[pic 15]

(n, n+1)= (0,1)[pic 16][pic 17]

= (1)[pic 18]

= [pic 19]

La matriz de probabilidades de transición en un paso para una cadena de markov (estacionaria)

- Elementos de una cadena de Markov

- Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la enfermedad).

- Ciclo de Markov (“paso”): periodo de tiempo que sirve de base para examinar las transiciones entre estados (ejemplo, un mes).

- Probabilidades de transición entre estados, en un ciclo (matriz P).

- Distribución inicial del sistema entre los M estados posibles.

- Matrices de Probabilidad de Transición

En las cadenas finitas de orden 1, la forma más cómoda de expresar la ley de probabilidad condicional de la misma es mediante la llamada matriz de probabilidades de transición P, o más sencillamente matriz de la cadena.

Dichas matriz es cuadrada con tantas filas y columnas como estados tiene el sistema, y los elementos de la matriz representan la probabilidad de que el estado próximo sea el correspondiente a la columna si el estado actual es el correspondiente a la fila.

En una cadena homogénea finita con m posibles estados E1, E2,..., Em se puede introducir la notación: = P (Xn = j | Xn−1 = i), donde i, j = 1, 2,..., m. [pic 20]

Si > 0 entonces se dice que el estado Ei puede comunicar con Ej . La comunicación puede ser mutua si también > 0.[pic 21][pic 22]

Para cada Para cada i fijo, la serie de valores { } es una distribución de probabilidad, ya que en cualquier paso puede ocurrir alguno de los sucesos E1, E2,..., Em y son mutuamente excluyentes. Los valores se denominan probabilidades de transición que satisfacen la condición.[pic 23][pic 24]

[pic 25]

Para cada i = 1, 2,..., m. Todos estos valores se combinan formando una matriz de transición T de tamaño m × m, donde:

[pic 26]

Se puede observar que cada fila de la matriz es una distribución de probabilidad, es decir,

[pic 27]

- Cadena Finita De Markov

Caracterizadas porque el número de estados del sistema es finito. Formalmente para definir una cadena de Markov Finita hace falta determinar por los siguientes elementos:

- Un conjunto de estados del sistema.

- La definición de transición.

Los estados son una característica de la situación en que se halla el sistema en un instante dado, dicha caracterización puede ser tanto cuantitativa como cualitativa. Desde un punto de vista práctico probablemente, la mejor definición de que debe entenderse por estado es la respuesta que se daría a la pregunta “¿Cómo están las cosas?”

Formalmente, el estado de un sistema en un instante t es una variable cuyos valores solo pueden pertenecer al conjunto de estados del sistema. El sistema modelado por la cadena, por lo tanto, es una variable que cambia de valor en el tiempo, cambio al que llamamos TRANSICIÓN.

Cadena De Markov Con Estados Absorventes:

- Un estado absorbente es aquel que una vez que se alcanza no pueden abandonarse.

- Cuando un proceso de Markov tienen estados absorbentes, no se calculan probabilidades de estados estables; ya que en algún momento, el proceso termina en alguno de los estados absorbentes. Sin embargo, podría interesar saber la probabilidad de termina en uno de los estados absorbentes.

Ejemplo:

[pic