5. Un juego de lanzamiento de dados utiliza una cuadrícula de cuatro casillas.

Las casillas
están designadas en sentido horario como A, B, C y D con retribuciones monetarias de $4,
2 $2, 2 $6 y $9, respectivamente. Comenzando en la casilla A, lanzamos el dado para
determinar la siguiente casilla a la que nos moveremos en el sentido de las manecillas del
reloj. Por ejemplo, si el dado muestra 2, nos movemos a la casilla C. El juego se repite
utilizando la última casilla como punto inicial.
(a) Exprese el problema como una cadena de Markov.
(b) Determine la ganancia o pérdida esperadas después de lanzar el dado 5 veces.

Partiendo de la posición A, se puede llegar a la B con un 1 o con un 5:

P(A;B) = 2/6

Se puede llegar a la C con un 2 o con un 6:

P(A;C) = 2/6

Se puede llegar a la D con un 3:

P(A;C) = 1/6

O se puede volver a la A con 4:

P(A;A) = 1/6

Por lo tanto, si llamamos "i" a la posición inicial y "j" a la posición final, el

vector de probabilidades de la posición inicial es:

Si razonamos de la misma manera para cada tiro siguiente, obtendremos la matriz

de transición para un tiro partiendo de cualquier casilla:

Por lo tanto, si queremos obtener la probabilidad de llegar a cada casilla en una

cantidad "n" de tiros:
Por último, si quisiérmos saber el monto a obtener según las probabilidades de
caer en cada casilla en una cantidad n de tiros, deberíamos hacer la sumatoria
para cada tiro del producto escalar entre cada vector de probabilidades y el vector
de valores de cada casilla, es decir:

Saludos!