INTRODUCCION

La planeacin e implementacin de proyectos complejos en los negocios,

industrias y gobierno requieren de grandes inversiones, razn por la que es
indispensable realizar estudios preliminares para asegurar su conveniencia de acuerdo
a su eficiencia y ejecucin econmica para proyectos de cualquier tamao. Una
tcnica para ejecutar estudios piloto, con resultados rpidos y a un costo relativamente
bajo, est basado en la modelacin y se conoce como simulacin.

El proceso de elaboracin del modelo involucra un grado de abstraccin y no
necesariamente es una rplica de la realidad; consiste en una descripcin que puede
ser fsica, verbal o abstracta en forma, junto con las reglas de operacin. Ms an
debido a que el modelo es dinmico, su respuesta a diferentes entradas puede ser
usada para estudiar el comportamiento del sistema del cual fue desarrollado.








































LA SIMULACIN

La simulacin ofrece un mtodo para analizar el comportamiento de un
sistema. Aunque los sistemas varan en sus caractersticas y complejidades, la
sntesis de la formacin de modelos, la ciencia de la computacin, y las tcnicas
estadsticas que representa este tipo de simulacin constituye un conjunto til de
mtodos para aprender sobre estas caractersticas y complejidades e imponerles una
estructura. Para comprender las caractersticas tcnicas de este enfoque y aplicarlas a
un problema real, es necesario familiarizarse con los conceptos que describen un
sistema y un modelo.

Un sistema en simulacin no es ms que una coleccin de entradas que pasan
a travs de las fases de cierto proceso, produciendo respuestas. Por ejemplo:




Existen innumerables definiciones de simulacin, sin embargo las mas
aceptadas podran ser:

Simulacin es una tcnica numrica para conducir experimentos en una
computadora digital. Estos experimentos comprenden ciertos tipos de
relaciones matemticas y lgicas, las cuales son necesarias para describir el
comportamiento y la estructura de sistemas complejos del mundo real a travs
de largos periodos de tiempo.
THOMAS H. NAYLOR

Simulacin es el desarrollo de un modelo lgico matemtico de un sistema, de
tal forma que se tiene una imitacin de la operacin de un proceso de la vida
real o de un sistema a travs del tiempo. La simulacin involucra la generacin
de una historia artificial de un sistema, la observacin de esta historia mediante
la manipulacin experimental, nos ayuda a inferir las caractersticas
operacionales de tal sistema.
JERRY BANKS

Simulacin es una tcnica numrica para realizar experimentos en una
computadora digital. estos experimentos involucran ciertos tipos de modelos
MATERIA PRIMA
PRESUPUESTO
INFORMACIN
FACILIDADES
SISTEMA DE
TRANSFORMACIN
(distribucin y asignacin)
PRODUCTO
TERMINADO
SISTEMA DE MANUFACTURA
ENTRADA PROCESO SALIDA EVALUACIN
1. EFICIENCIA
2. COSTOS DETRANSFORMACIN
3.INVENTARIO ENPROCESO
4.TIEMPO DEPROCESO
5.PRODUCCIN/HORA
6.AREA OCUPADA
CLIENTES
SISTEMA DESERVICIO:
SERVIDORES
DISCIPLINA DEL SERVICIO
ESPACIO DISPONIBLE
CLIENTE
SATISFECHO
SISTEMA DE SERVICIO
ENTRADA PROCESO SALIDA EVALUACIN
1. COSTO DEL SISTEMA
2. TIEMPO EN LA COLA
3.TIEMPO EN EL SISTEMA
4.LONGITUD DE COLA
5. OCUPACIN DE LOS SERVIDORES
matemticos y lgicos que describen el comportamiento de sistemas de
negocios, econmicos, sociales, biolgicos, fsicos o qumicos a travs de
largos periodos de tiempo.
H. MAISEL Y G. GNUGNOLI

Para efectos del desarrollo de esta investigacin, la definicin por la que nos
regiremos ser:


Simulacin es el proceso de disear y desarrollar un modelo de un sistema o proceso
real y conducir experimentos con el propsito de entender el comportamiento del
sistema o evaluar varias estrategias (dentro de lmites impuestos por un criterio o
conjunto de criterios) para la operacin del sistema.
ROBERT. SHANNON


Se describe comnmente como un arte, o una ciencia sofisticada, debido a que
la utilidad de los resultados depender de la destreza del grupo que realiza y analiza el
modelo. Actualmente no existe una teora cientfica para garantizar la validez de un
proceso de simulacin antes de que el experimento sea realizado, en su lugar, la
confiabilidad de un modelo es evaluada por la correspondencia de los resultados del
modelo con los obtenidos por otros sistemas comparables con el que se est
examinando.



TIPOS DE SIMULACION


Simulacin Esttica vs. Dinmica

Un modelo de simulacin esttica, se entiende como la representacin de un
sistema para un instante (en el tiempo) en particular o bien para representar un
sistema en el que el tiempo no es importante, por ejemplo la simulacin Montecarlo; en
cambio un modelo de simulacin dinmica representa a un sistema en el que el tiempo
es una variable de inters, como por ejemplo en el sistema de transporte de materiales
dentro de una fbrica, una torre de enfriamiento de una central termoelctrica, etc.


Simulacin Determinista Vs. Estocstica

Si un modelo de simulacin no considera ninguna variable importante,
comportndose de acuerdo con una ley probabilstica, se le llama un modelo de
simulacin determinista. En estos modelos la salida queda determinada una vez que
se especifican los datos y relaciones de entrada al modelo, tomando una cierta
cantidad de tiempo de cmputo para su evaluacin. Sin embargo, muchos sistemas se
modelan tomando en cuenta algn componente aleatorio de entrada, lo que da la
caracterstica de modelo estocstico de simulacin.

Un ejemplo sera un sistema de inventarios de una fbrica, o bien el sistema de
lneas de espera de una fbrica, etc. Estos modelos producen una salida que es en s
misma de carcter aleatorio y sta debe ser tratada nicamente para estimar las
caractersticas reales del modelo, esta es una de las principales desventajas de este
tipo de simulacin.





Simulacin Continua Vs. Discreta

Los modelos de simulacin discretos y continuos, se definen de manera
anloga a los sistemas discretos y continuos respectivamente. Pero debe entenderse
que un modelo discreto de simulacin no siempre se usa para modelar un sistema
discreto. La decisin de utilizar un modelo discreto o continuo para simular un sistema
en particular, depende de los objetivos especficos de estudio. Por ejemplo, un modelo
de flujo de trfico en una supercarretera, puede ser discreto si las caractersticas y
movimientos de los vehculos en forma individual es importante. En cambio si los
vehculos pueden considerarse como un agregado en el flujo de trfico entonces se
puede usar un modelo basado en ecuaciones diferenciales presentes en un modelo
continuo.

Otro ejemplo, Un fabricante de comida para perros, requiere el auxilio de una
compaa consultora con el objeto de construir un modelo de simulacin para su lnea
de fabricacin, la cual produce medio milln de latas al da a una velocidad casi
constante. Debido a que cada una de las latas se represent como una entidad
separada en el modelo, ste resulto ser demasiado detallado y por ende caro para
correrlo, hacindolo poco til. Unos meses ms tarde, se hizo una reformulacin del
modelo, tratando al proceso como un flujo continuo. Este nuevo modelo produjo
resultados precisos y se ejecuto en una fraccin del tiempo necesario por el modelo
original.



ETAPAS PARA REALIZAR UN ESTUDIO DE SIMULACIN

El proceso de simulacin por lo general est constituido por varias etapas
distintas. Sin embargo, no todos los estudios de simulacin contienes todas estas
etapas o siguen el mismo orden expresado aqu. Por lo tanto, podra haber incluso un
traslape considerable entre algunas de estas etapas.

La etapa inicial de cualquier estudio cientfico, entre otros un proyecto de
simulacin, requiere una declaracin explcita de los objetivos del estudio. Esto debe
incluir las preguntas a las que se debe dar respuesta, la hiptesis por probar y las
alternativas a considerar. Sin una comprensin y descripcin claras del problema,
disminuyen mucho las probabilidades de una terminacin y ejecucin exitosas.
Tambin en este paso se atienden cuestiones como los criterios de desempeo,
parmetros del modelo y la identificacin y definicin de las variables de estado. Por
supuesto, es probable que la formulacin inicial del problema experimente muchas
modificaciones a medida que procede el estudio y se aprende ms acerca de la
situacin que este siendo estudiada. Es esencial una enunciacin clara de los
objetivos.

La siguiente etapa es la elaboracin del modelo y la coleccin de datos. La
elaboracin del modelo es probablemente la parte ms difcil y critica de un estudio de
simulacin. Aqu se intenta representar las caractersticas esenciales de los sistemas
en estudio mediante relaciones matemticas o lgicas. Hay algunas reglas
consistentes para guiar a un analista en cmo proceder respecto a este proceso. En
muchas formas, esto tiene mucho de arte como de ciencia, sin embargo, la mayora de
los expertos acuerdan que el mejor mtodo es empezar con un modelo simple y
hacerlo ms detallado y complejo a medida que se aprende ms acerca del sistema.

Una vez elaborado el modelo, se pone en una forma en la que se puede
analizar en la computadora. Esto por lo general tiene que ver con elaborar un
programa de computadora para el modelo. Una de las decisiones clave en ese
momento es la eleccin del lenguaje.

Como se hizo notar antes, los programas de aplicacin especfica requieren
menos programacin que los lenguajes de aplicacin general pero son menos flexibles
y tienden a requerir tiempos ms grandes de ejecucin. En cualquier caso, es
probable que la parte de programacin del estudio sea un proceso tardado, puesto que
los programas de simulacin tienden a ser largos y complejos. Una vez se elabor y
depur el programa, se determina si este est trabajando de manera adecuada. Este
proceso se conoce como el paso de verificacin y, por lo general, es difcil, puesto que
para la mayor parte de las simulaciones, no se tienen resultados con los cuales
comparar el resultado que produce la computadora.

Si estuviramos satisfechos con el programa, ahora se pasa a la etapa de
validacin. Esta es otra parte crtica de un estudio de simulacin. En este paso, se
valida el modelo para determinar si en realidad representa el sistema que est siendo
analizado y si los resultado del modelo son confiables. Al igual que con la etapa de
verificacin, este por lo general, es un proceso difcil. Cada modelo representa un
problema distinto. Sin embargo, hay algunas normas generales a seguir, como las de
Law y Kelton (1991) o Shannon (1979). Si en esta etapa se estuviera satisfecho con el
desempeo del modelo, se puede usar para llevar a cabo experimentos y contestar las
preguntas. Es necesario colectar, procesar y analizar los datos generados en los
experimentos de simulacin. Los resultados se analizan no solo como la solucin del
modelo sino tambin, en trminos de confiabilidad y validez estadsticas. Por ltimo,
despus de procesar y analizar los datos obtenidos, se debe tomar una decisin
acerca de si se llevan a cabo mas experimentos. Todo lo podemos resumir
esquemticamente as:

A) Formulacin del Problema.
B) Recoleccin y Procesamiento de la Informacin Requerida.
C) Formulacin del Modelo Matemtico.
D) Evaluacin de las Caractersticas de la Informacin Procesada.
E) Traducir el modelo a Lenguaje de Cmputo, lo que equivale a realizar una
Formulacin de un Programa de Computadora.
F) Validacin el Modelo de Simulacin
G) Diseo de Experimentos de Simulacin.
H) Anlisis de Resultados y Desarrollar la Simulacin.





VENTAJAS Y DESVENTAJAS DEL USO DE LA SIMULACIN

Aunque la tcnica de simulacin generalmente se ve como un mtodo de
ltimo recurso, recientes avances en las metodologas de simulacin y la gran
disponibilidad de software que actualmente existe en el mercado, han hecho que la
tcnica de simulacin sea una de las herramientas ms ampliamente usadas en el
anlisis de sistemas. Adems de las razones antes mencionadas, Thomas H. Naylor
ha sugerido que un estudio de simulacin es muy recomendable porque presenta las
siguientes ventajas:

A travs de un estudio de simulacin, se puede estudiar el efecto de cambios
internos y externos del sistema, al hacer alteraciones en el modelo del sistema
y observando los efectos de esas alteraciones en el comportamiento del
sistema.
Una observacin detallada del sistema que se est simulando puede conducir
a un mejor entendimiento del sistema y por consiguiente a sugerir estrategias
que mejoren la operacin y eficiencia del sistema.
La tcnica de simulacin puede ser utilizada como un instrumento pedaggico
para ensear a estudiantes habilidades bsicas en anlisis estadsticos,
anlisis terico, etc.
La simulacin de sistemas complejos puede ayudar a entender mejor la
operacin del sistema, a detectar las variables ms importantes que
interactan en el sistema y a entender mejor las interrelaciones entre estas
variables.
La tcnica de simulacin puede ser utilizada para experimentar con nuevas
situaciones, sobre las cuales tiene poca o ninguna informacin. A travs de
esta experimentacin se puede anticipar mejor a posibles resultados no
previstos.
La tcnica de simulacin se puede utilizar tambin para entrenamiento de
personal. En algunas ocasiones se puede tener una buena representacin de
un sistema (como por ejemplo los juegos de negocios), y entonces a travs de
l es posible entrenar y dar experiencia a cierto tipo de personal.
Cuando nuevos elementos son introducidos en un sistema, la simulacin puede
ser usada para anticipar cuellos de botella o algn otro problema que puede
surgir en el comportamiento del sistema.
Los sistemas los cuales son sujetos de investigacin de su comportamiento no
necesitan existir actualmente para ser sujetos de experimentacin basados en
la simulacin. Solo necesitan existir en la mente del diseador.
El tiempo puede ser compresado en los modelos de simulacin. El equivalente
de das, semanas y meses de un sistema real en operacin frecuente pueden
ser simulados en solo segundos, minutos u horas en una computadora. Esto
significa que un largo nmero de alternativas de solucin pueden ser simuladas
y los resultados pueden estar disponibles de forma breve y pueden ser
suficientes para influir en la eleccin de un diseo para un sistema.
En simulacin cada variable puede sostenerse constante excepto algunas cuya
influencia est siendo estudiada. Como resultado el posible efecto de
descontrol de las variables en el comportamiento del sistema necesitan no ser
tomados en cuenta. Como frecuentemente debe ser hecho cuando el
experimento est desarrollado sobre un sistema real.
Es posible reproducir eventos aleatorios idnticos mediante una secuencia de
nmeros aleatorios. Esto hace posible usar las tcnicas de reproduccin de
varianza para mejorar la precisin con la cual las caractersticas del sistema
pueden ser estimadas para dar un valor que refleje el esfuerzo de la
simulacin.

A diferencia de las ventajas mencionadas, la tcnica de simulacin presenta
importantes desventajas, stas son:

Falla al producir resultados exactos. Se supone que un sistema est
compuesto de uno o ms elementos que estn sujetos a un comportamiento al
azar. Cuando una simulacin es desarrollada con un modelo del sistema, los
valores de cada variable son registrados y los promedios de estos valores son
dados en una post-simulacin. Pero el promedio en una muestra de
observacin solo a veces provee un estimado de lo esperado, es decir, una
simulacin solo provee estimados, no resultados exactos.
Fallas al optimizar. La simulacin es usada para contestar preguntas del tipo
Qu pasa si?, pero no de, qu es lo mejor?. En este sentido, la
simulacin no es una tcnica de optimizacin. La simulacin no generar
soluciones, solo evala esas que han sido propuestas.
Largo tiempo de conduccin. Un estudio de simulacin no puede ser conducido
o llevado a cabo en solo un fin de semana. Meses de esfuerzo pueden ser
requeridos para reunir informacin, construir, verificar y validar modelos,
disear experimentos y evaluar e interpretar los resultados.
Costos para proveer capacidad de simulacin. El establecimiento y
mantenimiento de capacidad de simulacin, envuelve tener mejor personal,
software, hardware, entrenamiento y otro tipo de costos.
Abuso de simulacin. Hay muchas facetas para un balanceo y comprensivo
estudio de la simulacin. Ya que una persona debe tener conocimiento de una
gran variedad de reas antes de llegar a ser un practicante de la simulacin.
Este hecho es algunas veces ignorado, sin embargo como resultado, cada
estudio puede incorrectamente ser desarrollado, o podra estar incompleto, o
podra caer en otro tipo de caminos, quiz resultado de una falla del esfuerzo
de la simulacin.

En conclusin la simulacin ofrece poderosas ventajas pero sufre de mayores
desventajas tambin. Afortunadamente muchas de estas desventajas estn
disminuyendo en importancia en el tiempo, gracias a las herramientas que emplean
simulacin, metodologas, desarrollo de computadoras, de software y decrementos en
los costos de los mismos.

Como se puede observar, la simulacin tiene una categora extremadamente
buena, aun ahora en medio de tantas alternativas y sus mritos podran continuar a
travs del tiempo.

reas de Aplicacin de Simulacin

La simulacin es una tcnica que puede ser aplicada a una gran cantidad de
reas, debido a que los avances tecnolgicos y la disponibilidad de software que
existen actualmente, hacen de ella una herramienta muy til. Los siguientes son
algunos ejemplos de las aplicaciones de la simulacin en algunas reas de estudio:
Sistema de colas: con la tcnica de simulacin es posible estudiar y
analizar sistemas de colas cuya representacin matemtica sera
demasiado complicada de analizar. Ejemplos de estos sistemas seran
aquellos donde es posible la llegada al sistema en grupo, la salida de la
cola del sistema, el rehusar entrar al sistema cuando la cola es
excesivamente grande, etc.
Sistema de inventarios: a travs de simulacin se puede analizar ms
fcilmente sistemas de inventarios donde todos sus parmetros (tiempo
de entrega, demanda, costo de llevar inventario, etc.), son estocsticos.
Proyecto de inversin: existen en la prctica una gran cantidad de
proyectos de inversin donde la incertidumbre con respecto a los flujos
de efectivo que el proyecto genera a las tasas de inters, a las tasas e
inflacin, etc., hacen difcil y a veces imposible manejar analticamente
este tipo de problemas. Para este tipo de situaciones el uso de
simulacin es ampliamente recomendado.
Sistemas econmicos: la tcnica de simulacin puede ser utilizada para
evaluar el efecto de cierto tipo de decisiones (devaluacin de la
moneda, el impuesto al valor agregado, etc.), en las dems variables
macroeconmicas como: producto nacional bruto, balanza comercial,
inflacin, oferta monetaria, circulante, etc.
Estados financieros: la expansin y diversificacin de una organizacin
a travs de la adquisicin y establecimiento de nuevas empresas,
repercuten significativamente en su posicin y estructura financiera.
Por consiguiente, el uso de simulacin permite analizar cul de las
estrategias de crecimiento son las que llevaran a la organizacin al
logro de sus objetivos y metas de corto, mediano y largo plazo.
Juegos de Azar: Se pueden hacer predicciones sobre los resultados de
un juego en particular, por ejemplo mlate, tris, etc. donde las variables
involucradas son estocsticas.
La Simulacin tambin es aplicable en:
Problemas industriales.
Problemas econmicos
Problemas conductuales y sociales
Sistemas biomdicos
Sistemas Justo a tiempo
Sistemas de Logstica


Criterios para realizar una buena Simulacin

Se ha definido a la simulacin como el proceso del diseo de un modelo de un
sistema real y la realizacin de experimentos con el mismo, con el propsito de
entender ya sea el comportamiento del sistema o la evaluacin de varias estrategias
que se consideran para la operacin del sistema. Esto implica el establecer ciertos
criterios que debe cumplir toda buena simulacin:

Fcil de entender por parte del usuario.
Dirigido a metas u objetivos.
No d respuestas absurdas.
Fcil de controlar y manipular por parte del usuario.
Completo, en lo referente a asuntos importantes.
Evolutivo, es decir, que debe ser sencillo al principio y volverse ms complejo, de
acuerdo con el usuario.



TEORIA DE LOS JUEGOS

La Teora de Juegos fue creada por Von Neumann y Morgenstern en
su libro clsico The Theory of Games Behavior, publicado en 1944. Otros haban
anticipado algunas ideas.Los economistas Cournot y Edgeworth fueron
particularmente innovadores en el siglo XIX. Otras contribuciones posteriores
mencionadas fueron hechas por los matemticos Borel y Zermelo. El mismo Von
Neumann ya haba puesto los fundamentos en el artculo publicado en 1928. Sin
embargo, no fue hasta que apareci el libro de Von Neumann y Morgenstern que el
mundo comprendi cun potente era el instrumento descubierto para estudiar las
relaciones humanas.
Todava encontramos profesores mayores que nos explican que la Teora de
juegos o sirve para nada porque la vida no es un "Juego de suma cero", o porque se
puede obtener el resultado que uno quiera seleccionando el apropiado "concepto de
solucin cooperativa".
Afortunadamente las cosas han evolucionado con mucha rapidez en los ltimos
veinte aos, y ste y otros libros modernos sobre teora de juegos ya no padecen
algunos de los presupuestos restrictivos que Von Neumann y Morgenstern
consideraron necesarios para progresar. Como resultado, lo que la teora de juegos
prometa en un principio se est empezando a cumplir. En los ltimos aos, sus
repercusiones en la teora econmica slo se pueden calificar de explosivas. Todava
es necesario, sin embargo, saber algo de la corta historia de juegos, aunque slo sea
para entender por qu se usan algunos trminos.
Von Neumann y Morgenstern investigaron dos planteamientos distintos de la
Teora de Juegos. El primero de ellos el planteamiento estratgico o no cooperativo.
Este planteamiento requiere especificar detalladamente lo que los jugadores pueden y
no pueden hacer durante el juego, y despus buscar cada jugador
una estrategia ptima. Lo que es mejor para un jugador depende de lo que los otros
jugadores piensan hacer, y esto a su vez depende de lo que ellos piensan del primer
jugador har. Von Neumann y Morgenstern resolvieron este problema en el caso
particular de juegos con dos jugadores cuyos intereses son diametralmente opuestos.
A estos juegos se les llama estrictamente competitivos, o de suma cero, porque
cualquier ganancia para un jugador siempre se equilibra exactamente por una prdida
correspondiente para el otro jugador. El ajedrez, el backgammon y el pquer son
juegos tratados habitualmente como juegos de suma cero.
La segunda parte del libro de Von Neumann y Morgenstern desarrollaron el
planteamiento coalicional o cooperativo, en el que buscaron describir la
conducta ptima en juegos con muchos jugadores. Puesto que ste es un problema
mucho ms difcil, no es de sorprender que sus resultados fueran mucho menos
precisos que los alcanzados para el caso de suma cero y dos jugadores. En particular,
Von Neumann y Morgenstern abandonaron todo intento de
especificar estrategias ptimas para jugadores individuales. En lugar de ello se
propusieron clasificar los modelos de formacin de coaliciones que son consistentes
con conductas racionales. La negociacin, en cuanto a tal, no jugaban papel alguno en
esta teora. De hecho, hicieron suyo el punto de vista, que haba predominado entre
los economistas al menos desde la poca de Edgeworth, segn el cual los problemas
de negociacin entre dos personas son inherentemente indeterminados.
A principio de los aos cincuenta, en una serie de artculos muy famosa el
matemtico John Nash rompi dos de las barreras que Von Neumann y Morgenstern
se haba auto-impuesto. En el frente no cooperativo, estos parecen haber pensado
que en estrategias la idea de equilibrio, introducida por Cournot en 1832, no era en s
misma una nocin adecuada para construir sobre ella una teora de aqu que se
restringieran a juegos de suma cero-. Sin embargo, la formulacin general de Nash de
la idea de equilibrio hizo ver claramente que una restriccin as es innecesaria. Hoy
da, la nocin de equilibrio de Nash, la cual no es otra cosa que cuando la eleccin
estratgica de cada jugador es la respuesta ptima a las elecciones estratgicas de
los otros jugadores. A Horace y Maurice les fueron aconsejados, por su consultor
especialista en teora de juegos, que usaran un equilibrio de Nash. Es tal vez, el ms
importante de los instrumentos que los especialistas en teora de juegos tienen a
disposicin. Nash tambin hizo contribuciones al planteamiento cooperativo de Von
Neumann y Morgenstern. Nash no acept la idea de que la teora de juegos debe
considerar indeterminados problemas de negociacin entre dos personas y procedi a
ofrecer argumentos para determinarlos. Sus ideas sobre este tema fueron
generalmente incomprendidas y, tal vez como consecuencia de ello, los aos que la
teora de juegos paso en Babia se gastaron principalmente desarrollando el
planteamiento cooperativa de Von Neumann y Morgenstern en direcciones que
finalmente resultaron improductivas.
La historia de la teora de juegos en los ltimos veinte aos est demasiado
repleta de incidentes para ser contada. Algunos nombres, sin embargo, no deben ser
pasados en silencio. El acrstico NASH puede ayudar a quienes son. El propio Nash
tiene la letra N, A por Aumann, S es Shapley y tambin por Selten y H es por
Hansanyi.
Lo que es tal vez ms importante sobre los ltimos veinte aos de teora de
juegos es que los mayores progresos se han dado en la teora no cooperativa.
Es difcil explicar hacia donde se dirige la teora de juegos a una audiencia que
no sabe dnde se encuentra. Estas observaciones, por tanto, son para quienes ya
saben algo de teora de juegos.
Tengo opiniones muy decididas sobre la direccin que la teora de juegos
debera tomar, y es reconfortante ver las cosas parece que se mueven en la direccin
correcta. Es justo, sin embargo, que en algn momento ponga las cartas boca arriba.
As pues tengo que decir que creo que la mayor parte de la literatura sobre
"refinamientos del equilibrio de Nash" ha de ser catalogada junto con las obras de la
escolstica medieval. Para ser incluso ms polmico, quiero aadir que los intentos
por hacer del bayesianismo los fundamentos de la teora de juegos no deben ser
comparados a la construccin de casas sobre arena, sino a la construccin de castillos
en el aire. Visto retrospectivamente, nos parecern realmente muy extraos los
intentos actuales de hacer de la teora bayesiana de la decisin algo ms que un
instrumento analtico conveniente.

Aplicaciones de la teora de juegos
La Teora de Juegos actualmente tiene muchas aplicaciones, sin embargo,
la economa es el principal cliente para las ideas producidas por los especialistas en
Teora de Juego. Entre las disciplinas donde hay aplicacin de la Teora de Juegos
tenemos:
- La economa
No debera sorprender que la Teora de Juegos haya encontrado aplicaciones
directas en economa. Esta triste ciencia se supone que se ocupa de la
distribucin de recursos escasos. Si los recursos son escasos es porque hay ms
gente que los quiere de la que puede llegar a tenerlos. Este panorama proporciona
todos los ingredientes necesarios para un juego. Adems, los economistas
neoclsicos adoptaron el supuesto de que la gente actuar racionalmente en este
juego. En un sentido, por tanto, la economa neoclsica no es sino una rama de la
Teora de Juegos. Los economistas que no se dan cuenta de ello son como el
monsieur Jourdain de Le Bourgeois Gentilhomme, de Moliere, que se sorprendi de
saber que haba estado hablando en prosa durante toda la vida sin saberlo. Sin
embargo, aunque los economistas pueden haber sido desde siempre especialistas
camuflados en Teora de Juegos, no podan progresar por el hecho de no tener
acceso a los instrumentos proporcionados por Von Neumann y Morgenstern. En
consecuencia slo podan analizar juegos particularmente simples. Esto explica por
qu el monopolio y la competencia perfecta se entienden bien, mientras a todas las
dems variedades de competencia imperfecta que se dan entre estos dos extremos
slo ahora se les est empezando a dar el tratamiento detallado que merecen.
La razn por la que el monopolio es simple desde el punto de vista de la Teora
de Juegos es que puede ser tratado como un juego con un nico jugador. La razn por
la que la competencia perfecta es simple, es que el nmero de jugadores, es de hecho
infinito, de manera que cada agente individual no puede tener un efecto
sobre agregados de mercado si l o ella acta individualmente.
- En la ciencia poltica
La Teora de Juegos no ha tenido el mismo impacto en la ciencia poltica que
en economa. Tal vez esto se deba a que la gente conduce menos racionalmente
cuando lo que est en juego son ideas que cuando lo que est en juego es su dinero.
Sin embargo, se ha convertido en un instrumento importante para clarificar la lgica
subyacente de un cierto nmero de problemas ms paradigmticos.
Un ejemplo de Teora de Juegos en la Ciencia Poltica es el siguiente:
La eleccin de programa: Hay dos partidos, los Formalistas y los Idealistas.
Ninguno de los dos se preocupa en absoluto por cuestiones de principio. Slo se
preocupan por el poder y, por tanto, eligen el programa con el programa con el
nico objetivo de maximizar el voto en las prximas elecciones. Los votantes, por otra
parte, slo se preocupan por cuestiones de principio y, por ende carecen por completo
de fidelidad a los partidos. Para simplificar, las opiniones que un votante puede tener
se identifican con los nmeros reales en el intervalo (0. 1), en otras palabras, el
conjunto de valores de x que satisfacen 0 menor igual a x menor igual a 1. Podemos
imaginarnos que este intervalo representa el espectro poltico de izquierda a derecha.
As, alguien con la opinin x = 0, se cree que la sociedad debera estar organizada
como un hormiguero, mientras que alguien en la opinin x = 1 cree que debera estar
organizada como una piscina llena de tiburones.
Cada partido centra su programa en algn punto del espectro poltico y no
puede cambiar su posicin posteriormente. Los votantes votan por el partido que se
encuentra ms cerca de su posicin. Dado que se supone que los votantes se
encuentran distribuidos uniformemente sobre el espectro poltico, es decir, que una
fraccin l de la poblacin sostiene opiniones que se encuentran en cualquier intervalo
de longitud l, es fcil ver cuntos votos conseguir cada partido una vez que han
elegido programa. El secreto est en buscar el votante mediano entre aquellos cuyas
opiniones se encuentran entre los programas de ambos partidos. El votante mediano
se encuentra a medio partido entre las posiciones polticas de los dos partidos. Luego
los que se encuentran a la derecha del mediano votante votarn por un partido, y los
que se encuentran a la izquierda lo harn por el otro.
Supongamos que los partidos bajan al ruedo poltico uno a uno. Los Idealistas
escogen en primer lugar, y luego lo hacen los Formalistas. Dnde debera colocarse
cada uno? Problemas como ste puede ser resueltos por induccin hacia atrs. Para
cada programa posible x, los Idealistas se preguntan qu ocurrira si se colocarn en
x. Si x es menor a , los Formalistas responderan colocndose inmediatamente a la
derecha de x. Entonces los Idealistas recogeran una fraccin x de los votantes y los
Formalistas recogeran 1-x. Por tanto, los Idealistas ganaran menos de la mitad del
voto. Lo mismo ocurre si los Idealistas se sitan en x menor a , excepto que ahora
los Formalistas respondern colocndose inmediatamente a su izquierda. Por tanto, lo
mejor para los Idealistas es colocarse en el centro del espectro poltico. Los
Formalistas tambin se colocarn en x = , y el voto se dividir mitad y mitad.
Este modelo puede tener sentido en la escena poltica americana. Ciertamente
es difcil para muchos europeos encontrar diferencias significativas entre Demcratas
y Republicanos. El modelo, sin embargo, tiene poco parecido con la escena poltica
europea. Deberan los americanos deducir, por tanto, que los partidos polticos
europeos de verdad se toman en serio los principios que hacen suyos? Una
conclusin as seria prematura porque es dudoso que la situacin europea pueda ser
razonablemente analizada con un modelo de dos partidos, y esto es cierto incluso para
un pas como Gran Bretaa en el que slo dos de los partidos consigue un nmero
importante de votos en la mayora de elecciones. Para explorar esta cuestin veamos
como cambiaran las cosas si tuviramos que tomar en consideracin un tercer
partido.
En este modelo el partido Institucionistas escoge programa despus de los
Idealistas y Formalistas. Esto cambia mucho las cosas. Los Idealistas y los
Formalistas ciertamente no se colocarn ahora en el centro del espectro poltico. Si lo
hicieran los Institucionistas se podran colocar inmediatamente a su derecha o a su
izquierda. Entonces recogeran la mitad del voto dejando que los primeros partidos se
dividan la otra mitad. Un razonamiento por induccin hacia atrs, algunas sutilezas
surgen debido al hecho que disponemos de un nmero infinito de opiniones polticas,
lo cual hace ver que los Idealistas y los Formalistas se colocarn en x = y x = ,
dejando que los Institucionalistas adopten la posicin centrista x = , como
se muestra en la Figura anterior parte (b). Los primeros partidos recibirn entonces 3/8
de los votos cada uno, y los Institucionalistas slo recogern .
Pero Por qu querran los Institucionalistas entrar en la arena poltica est
condenados al papel de Cenicienta, con los primeros partidos en el papel de
Hermanas Feas?. Modifiquemos, por tanto, el modelo de manera que los
instuticionistas consideren que vale la pena formar un partido slo si pueden prever
que recibirn ms del 26% de los votos. En este caso los Idealistas se movern un
poco hacia el centro, aunque no lo bastante como para que los Institucionalistas
puedan entrar flanquendolos por la izquierda. Por tanto, slo se movern desde x =
0,25 a x = 0,26. Anlogamente, los Formalistas se movern desde x = 0.75 a x = 0.74.
El resultado ser una eleccin con dos partidos como lo muestra la parte (c) de la
Figura anterior. En esta eleccin los Idealistas y los Formalistas se dividen el voto a
partes iguales y los Institucionalistas se quedan fuera.
Un comentarista poltico ignorante de la amenaza supone la entrada de los
Institucionalistas podra fcilmente malinterpretar las razones por las que los Idealistas
y los Formalistas han elegido sus programas. El comentarista podra incluso llegar a
pensar que cada partido ni siquiera intenta hacerse con el centro por cuestiones de
principio. Pero es slo tras un anlisis estratgico que la conducta de los dos partidos
puede ser evaluada correctamente. Obsrvese, en particular, que su conducta ha sido
determinada por algo que de hecho no lleg a ocurrir. Como Sherlock Holmes
explicaba, a menudo lo importante es que el perro no ladr aquella noche.
- En la biologa
Es imposible igualar el entusiasmo con que los bilogos evolucionistas que
usan la teora de juegos explican de conducta animal. No s si escogen historias poco
delicadas deliberadamente, para dar un poco de sabor a sus relatos con implicaciones
sexuales, o si stos son realmente los mejores ejemplos para ilustrar de qu manera la
teora de juegos es relevante. En cualquier caso, lo que los bilogos dicen sobre el pez
sol es esto.
Hay dos clases de machos en esta especie. El primero es un individuo
regularmente hogareo que necesita siete aos para alcanzar la madurez. Una vez
alcanzada, construye un nido que atrae a las hembras que ponen que ponen huevos.
Cuando los huevos han sido puestos, no slo los fertiliza, sino que defiende la
familia resultante lo mejor que puede mientras, la hembra continua su vida
independientemente. La otra clase de macho es un golfo. Por lo que dicen los
bilogos, es poco ms que un rgano sexual autopropulsado. Este posee ventaja
sobre los machos normales, que consiste en alcanzar la madurez en slo dos aos.
Sin embargo, es incapaz de responsabilizarse por su familia. En lugar de ello, espera
escondido hasta que una hembra ha puesto sus huevos respondiendo a
las seales de un macho normal tenga la oportunidad de hacerlo. Si el golfo
tiene xito, el macho normal defiende una familia que no est relacionada con l en
absoluto y que lleva por el contrario los genes del golfo.
La teora de juegos sirve para explicar por qu las dos clases de machos
pueden coexistir en proporciones fijas. Para que una historia de teora de juegos se
aguante en este contexto, necesitamos una explicacin de cmo los genes se
distribuyeron exactamente en la forma necesaria para asegurar a cada pez
optimizara, dada la mezcla actual en la poblacin de hogareos golfos. No basta con
decir que la Naturaleza, "con las garras y las fauces llenas de sangre", actuar de
forma que slo quienes se adaptan sobreviven. Esta respuesta rehye el problema de
cmo y por qu resulta que a veces adaptarse implica actuar racionalmente. Esta
parece ser una de esas grandes cuestiones que no tienen respuestas fciles.
- En la filosofa
Los especialistas en Teora de Juegos creen que pueden demostrar
formalmente por qu incluso el individuo ms egosta puede descubrir que con
frecuencia, cooperar con sus vecinos en una relacin a largo plazo redundar en su
propio inters ilustrado. Con este fin estudian los equilibrios de juegos con repeticin
juegos que los mismos jugadores juegan una y otra vez-. Pocas cosas han descubierto
en esta rea hasta el presente que hubieran sorprendido a David Hume, quien hace ya
unos doscientos aos articul los mecanismos esenciales. Estas ideas, sin embargo,
estn ahora firmemente basadas en modelos formales. Para avanzar ms, habr que
esperar progresos en el problema de la seleccin de equilibrios en juegos con
mltiples equilibrios. Cuando estos progresos se den, sospecho que la filosofa social
sin teora de juegos ser algo inconcebible y que David Hume ser universalmente
considerado como su verdadero fundador.

La teora de los juegos nos permite de manera abstracta y a travs de la lgica
y matemtica, obtener una aproximacin al comportamiento racional en situaciones de
conflicto. Los individuos si bien pueden comportarse de manera irracional o emocional,
a efectos analticos, los tericos del los juegos suponen un comportamiento racional,
simplemente porque encuentran este presupuesto ms provechoso para la
construccin terica.

Todo juego posee las siguientes caractersticas:

- Jugadores que supuestamente estn tratando de ganar u optimizar los
resultados.
- Transacciones que pueden significar diversas cosas para los diferentes
jugadores segn sus sistemas de valores.
- Un conjunto de reglas de campo adecuadas al juego.
- Condiciones de informacin que determinan la cantidad y calidad del
conocimiento que cada jugador tiene del entorno y de las elecciones hechas
por el otro jugador (jugadores) inmediata o posteriormente.
- El entorno total en el cual se juega, percibido totalmente o no por los jugadores
y la interaccin de movidas enfrentadas, en la cual cada eleccin sucesiva por
parte de un jugador puede instar al otro jugador (jugadores) a modificar las
opciones posteriores.

Asimismo podemos hablar de dos tipos de juegos. Los juegos de suma cero y los
juegos de suma no cero. En los primeros lo que gana A lo pierde B. Cabe destacar
aqu la diferencia entre el resultado y la recompensa. El resultado es ganar, perder o
empatar, mientras que la recompensa est representada por el valor que se le atribuye
cada jugador al resultado. Los juegos de suma no cero son aquellos en los cuales la
suma de las ganancias de los jugadores son distintas a cero. En este tipo de juego hay
espacio para la cooperacin y la no cooperacin. Los juegos de suma no cero de dos
personas pueden jugarse cooperativa o no cooperativamente. En un juego
cooperativo, los jugadores pueden comunicarse entre s directamente e intercambiar
informacin de antemano respecto de sus opciones elegidas. En un juego no
cooperativo, la comunicacin abierta no se permite, pero la eleccin de cada uno se
vuelve obvia para la otra parte despus del partido. Hay sin embargo una ligera
ambigedad en esta terminologa. Aun si un juego es no cooperativo es posible que
los jugadores cooperen tcitamente a travs de comunicaciones inferidas, por las
cuales un jugador interpreta las intenciones del otro por el tipo de elecciones hechas
en una larga serie de jugadas.

Juegos de dos jugadores

Los juegos que ms se estudian en la teora de juegos son aquellos en los que
slo intervienen dos jugadores. La generalizacin de un juego a ms de dos jugadores
suele complicar sustancialmente las cosas debido a la posibilidad de que aparezcan
alianzas y cooperaciones entre los jugadores. En 1944, Von Neumann y Oskar
Morgenstern demostraron que un juego cualquiera con n jugadores y suma no nula se
puede reducir a un juego con n + 1 jugadores y suma nula. El hecho de que en
la Teora de Juegos se estudien bsicamente los juegos de dos jugadores con suma
nula se debe a que stos se pueden generalizar siempre al caso de n+1 jugadores con
suma nula.

Matriz de pagos

Una de las herramientas ms importantes que se utilizan para analizar un juego
es la llamada matriz de pagos (Pay-Off Matrix), que consiste en una tabla de doble
entrada en la cual las estrategias posibles del jugador A figuran en la izquierda y las
del jugador B en la parte superior. Por estrategias se entiende las opciones de juego
posibles. En cada una de las casillas de la tabla figuran las ganancias o prdidas que
obtiene cada jugador segn la estrategia elegida. Dos nmeros, separados por una
barra o una coma, representan dichas ganancias y prdidas para el primero y el
segundo jugador, respectivamente. Por ejemplo:

Jugador B
Jugador A
1 2
1 10/2 -3/5
2 1/-6 4/8

Esta matriz de pagos nos dice que si el jugador A opta por la estrategia 2 y el
jugador B por la 1, el resultado ser que el primero ganar 1 y el segundo perder 6.
En cambio, si el jugador A opta por la 1 y el B por la 2, el primero perder 3 y el
segundo ganar 5. Una manera ms sencilla de representar esta matriz de pagos es la
siguiente:

B1 B2
A1 10,2 -3,5
A2 1,-6 4,8

Aunque tiene la misma lectura que la anterior.

En el caso de que se trate de un juego de suma cero, basta con poner un solo
nmero en cada casilla, ya que lo que gana un jugador lo pierde el otro. Por ejemplo:

B1 B2
A1 9 -3
A2 -2 14

La matriz indica que si el jugador A opta por la primera estrategia y el B por la
segunda, el primero pierde 3 y el segundo gana 3.

Veamos como ejemplo cmo sera la matriz de pagos del conocido juego de
Piedrapapeltijera, en el que los contendientes se juegan 1 en cada partida.

B
A
Piedra Papel Tijera
Piedra 0 -1 1
Papel 1 0 -1
Tijera -1 1 0

En el caso, por ejemplo, en que el jugador A saque papel y el jugador B piedra,
el jugador A gana un euro que pierde el jugador B. Los empates, en los que nadie
gana ni pierde, tienen un cero en cada casilla.

Todo juego siempre ha de tener varias caractersticas:

- Tiene reglas que fijan lo que se puede o no se puede hacer, a quien no las respeta le
espera un castigo.

- En todo juego la estrategia es importante, hay que diferenciar entre buenas y malas
estrategias (el pnico es el peor enemigo, siempre amerita pensar antes de actuar).

- Existe un resultado del juego, una solucin del juego (prdida de los ahorros, venta a
mercado, canje/recompras, aguantar y cobrar cupones)

- La interdependencia estratgica, el resultado depende de las estrategias escogidas
por los jugadores, cuando actuamos no lo hacemos en el vaco sino que estamos
rodeados de personas que son activas y toman decisiones que interactan con las
nuestras produciendo un efecto en nuestra manera de pensar y en nuestras acciones,
(la decisin de canje/recompra de emisiones por parte de los bancos producen x
efecto en cada uno de nosotros).


SOLUCIONES PTIMAS DE LAS TEORIAS DE JUEGOS

Uno de los objetivos fundamentales de la Teora de Juegos es definir las
soluciones ptimas que estn sujetas a las estrategias ganadoras. Cabe destacar que
el resultado del juego depende en su mayora de nuestra suerte, habilidades y sobre
todo de cmo manejemos nuestras estrategias. Para ello es necesario presuponer
que los jugadores cumplen con los dos requisitos siguientes:

1.- Ambos son racionales.
2.- Ambos eligen sus estrategias slo para promover su propio bienestar.

A su vez, debemos tomar en cuenta ciertas reglas de la estrategia que nos
llevaran a alcanzar el resultado deseado:

1.- Mire hacia adelante y razone hacia atrs (Principio de Induccin), un jugador debe
calcular las jugadas del rival y maximizar su resultado.

2.- Si tiene una estrategia dominante, sese. El concepto de dominancia se refiere a
una de las estrategias del jugador sobre todas sus restantes estrategias, no sobre las
de sus rivales, por eso hay que seguirla sin preocuparse de lo que hagan los rivales.
Una estrategia dominante es, al menos, la mejor en determinadas circunstancias y en
ningn caso es peor que las dems. Cul es su estrategia dominante?

3.- Ignore cualquier estrategia dominada y contine ignorndolas a medida que vayan
apareciendo, stas son uniformemente peores que otra estrategia, su rival tambin
evitar las suyas con seguridad. Hay que eliminar estrategias dominadas para
simplificar el juego. Qu movimiento suyo le coloca en una posicin peor que otra?

4.- Una vez agotadas todas las vas simples de buscar estrategias dominantes o de
excluir estrategias dominadas, el siguiente paso es buscar un equilibrio en el juego. En
equilibrio, cada jugador maximiza su resultado dado lo que el oponente ha hecho y
ningn rival consigue ventaja competitiva. Si en un juego hay varios equilibrios hay que
encontrar el ms eficiente.

Se dan juegos en los que el oponente no puede cumplir con estos requisitos,
por ejemplo, cuando uno de los oponentes es la naturaleza, en cuyo caso intervienen
factores aleatorios.

Uno de los criterios ms simples que propone la teora de juegos estndar para
definir una estrategia ganadoras es el llamado criterio minimax, que consiste en que
un jugador elija aquella estrategia que minimice la mxima prdida esperada. No
importa adems que el otro jugador conozca nuestra estrategia, ya que la eleccin es
independiente de este hecho. Veamos con un ejemplo cmo se aplica este criterio.
Supongamos que dos jugadores A y B se enfrentan a un juego con la siguiente matriz
de pagos:

B1 B2 B3
A1 -3 -1 4
A2 3 0 1
A3 3 -1 -4

Cuando el jugador A elige la estrategia 1 la mxima prdida ocurre cuando el
jugador B elige tambin la estrategia 1 y es una prdida de -3, que es la que est
anotada en rojo en la siguiente tabla. Siguiendo este sistema se van anotando las
mximas prdidas en cada una de las estrategias:




B1 B2 B3
A1 -3 -1 4 -3
A2 3 0 1 0
A3 3 -1 -4 -4
3 0 4

Vemos entonces que de todos estos valores, para el jugador A, el mnimo es el
cero, que corresponde a la estrategia 2. A este valor se le llama, en general, el valor
del juego. Cuando este valor es 0, como en este caso, se dice que se trata de un juego
justo. Para el jugador B el mnimo valor tambin es en este caso 0 y se corresponde
con la estrategia 2.

Comportamiento Estratgico




Cuando pensamos estratgicamente no aseguramos el triunfo, sin embargo,
nos ayuda a formular estrategias efectivas, nos permite redisear el juego en un
momento determinado para favorecernos, nos permite prever los resultados de
situaciones estratgicas y nos permite a su vez determinar, que juegos o jugadas no
queremos jugar.

Elementos de un juego

- Estrategias
- Juegos estticos: estrategia=accin
- Juegos dinmicos: estrategia=plan de juego
- Pagos

- Resultados posibles: orden, cantidad, valor esperado, etc.
- Racionalidad
- La teora de juegos asume un comportamiento racional
- Reglas
- Las reglas son perfectamente conocidas antes de jugar
- Conocimiento comn
- Todos los jugadores saben que todos los jugadores son racionales y
conocen perfectamente el juego y todos saben que todos saben esto.

Tipos de Estrategias

- Discretas
- Nmero finito de acciones posibles
- Pares, nones. Piedra, papel, tijera.
- Continuas
- Nmero infinito (o muy grande) de acciones posibles
- Fijar un precio entre 1 y 100 euros
- Puras
- La estrategia consiste en realizar una accin concreta con probabilidad del
100%
- Mostrar un nmero par de dedos
- Mixtas
- La estrategia consiste en decidir una distribucin de probabilidad sobre las
estrategias puras
- Mostrar un nmero par de dedos con probabilidad 0.5 y un nmero impar
con probabilidad 0.5

J uegos Estticos

En este tipo de juegos, cada jugador toma su decisin sin saber la decisin que
est tomando su contrincante (en realidad da lo mismo si las decisiones se toman a la
vez o no; lo importante es que no se conozca la decisin de los oponentes en el
momento de decidir). Como ejemplo de este tipo de juego tenemos:

- Desarrollo de modelos de automvil Desarrollo de modelos de automvil
- Votaciones secretas
- Subastas a sobre cerrado

Equilibrio Nash

Cuando en un juego el jugador A supone que B no va a cambiar de estrategia
y, en consecuencia, opta por no cambiar la suya y, a la vez, el jugador B, cree que A
no cambiar y decide tambin no cambiar la suya, se dice que el juego a alcanzado
un equilibrio Nash. En un juego dado puede no existir ningn equilibrio Nash o existir
uno o incluso varios.

Observemos que las dos estrategias minimax del ejemplo anterior coinciden en
un punto de la tabla (A2-B2) que tiene la caracterstica de ser el mnimo de la fila y
mximo de la columna. Esto no tiene porque suceder siempre (ms adelante veremos
un ejemplo), pero cuando sucede condiciona la estrategia de ambos jugadores. Es
fcil comprobar en la tabla anterior que a ninguno de los dos jugadores le interesa
cambiar la estrategia. Se trata de una situacin de equilibrio Nash, un tipo de situacin
en que el juego alcanza un resultado ptimo, ya que la estrategia minimax de un
jugador coincide con la del otro.

Por definicin, cuando un punto de una matriz cumple que:

1.- Es el mnimo de su fila.
2.- Es el mayor de su columna.

Entonces se dice que es un punto de silla.

Teorema del Minimax

En la Teora de Juegos se distingue entre lo que se llaman estrategias puras y
estrategias mixtas. Las primeras son aquellas en las que un jugador elige siempre la
misma estrategia en todas las partidas. Cuando esto lo hacen ambos jugadores todas
las partidas son iguales. Por el contrario, las estrategias mixtas responden al hecho de
que un jugador cambie su estrategia de una partida a otra siguiendo una secuencia
aleatoria. Por ejemplo, puede decidir su estrategia en funcin del lanzamiento de una
moneda o de unos dados. En 1928, John von Neumann public un artculo en el que
demostraba matemticamente que en todo juego bipersonal de suma cero en el que
sea posible jugar estrategias mixtas adems de las puras, las estrategias minimax de
cada jugador coincidirn siempre en una solucin estable, un punto de silla. Este
enunciado recibe el nombre de Teorema del Minimax.

Una de las primeras aplicaciones de la Teora de Juegos que se llevaron a
cabo en la estrategia militar fue la de la llamada batalla del mar de Bismarck, a finales
de 1942, que enfrent las estrategias del general norteamericano George Kenney y del
contralmirante Kimura Masatomi. El criterio minimax proporcion a esta situacin una
estrategia ganadora a las fuerzas norteamericanas y asent una nueva doctrina en lo
referente a los vuelos de reconocimiento.

Juegos cooperativos

Los juegos que hemos analizado hasta ahora se caracterizan porque los
contendientes no pueden comunicarse entre s para establecer acuerdos previos. Se
dice entonces que se habla de juegos sin transferencia de utilidad o de juegos no
cooperativos. Pero existen otra clase de juegos en que los jugadores pueden
comunicarse entre ellos y establecer determinados pactos antes de empezar el juego.
Estos reciben entonces el nombre de juegos con transferencia de utilidad o juegos
cooperativos. Por ejemplo, imaginemos un grupo de tres amigos A, B y C que deben
repartirse entre ellos 1.000 . La decisin de cmo va a ser el reparto se har por
votacin y mayora simple. Las posibles coaliciones son AB, AC, BC y una cuarta
ABC. Pero las distintas formas de establecer los pagos son infinitas, como por
ejemplo:

A = 33; B = 33; C = 34
A = 70; B = 30; C = 0
A = 25; B= 70; C = 5
Etc.

As, ninguna coalicin es estable. El anlisis en este tipo de juegos es muy
diferente (y bastante ms complicado) del que se lleva a cabo en los juegos no
cooperativos. Aqu se trata de averiguar qu posibilidades hay de formar coaliciones
estables en las que el reparto de ganancias se haga de forma tal que ninguno de los
miembros cooperantes est interesado en romper la coalicin. En la vida prctica este
tipo de anlisis lleva a la propuesta de un arbitraje que haga factible la coalicin
ptima. Una situacin real que requiere este tipo de tcnicas es, por ejemplo, la que se
da en el Parlamento Europeo cuando hay que asignar un presupuesto a repartir entre
todos los miembros de la comunidad, teniendo en cuenta que cada pas tiene
asignado un nmero determinado de parlamentarios con derecho a voto.

La guerra de sexos

La guerra de sexos, ttulo quiz poco afortunado, es un ejemplo clsico en
la Teora de Juegos aplicada a situaciones de la vida cotidiana que nos permite
entender conceptos bsicos y sacar conclusiones de tipo social. El juego est formado
por una pareja hombremujer que debe decidir cmo pasar la tarde del domingo. Las
alternativas que se plantean son ir al ftbol o ir al cine. Las preferencias de l y de
ella son un tpico y por lo tanto muy claras. Lo que ocurre es que a sta preferencia se
aade otra, que priva sobre la anterior y que es la de ir juntos a donde sea, antes que
separarse en una de las pocas tardes de las que disponen para estar juntos. Segn
esto, el orden de preferencias de l sera:

1 Los dos van juntos al ftbol.
2 Los dos van juntos al cine.
3 l va al ftbol y ella al cine.
4 l va al cine y ella al ftbol.

Entonces podemos establecer una matriz de pagos en funcin de estas
preferencias, de manera que 1 signifique el mejor pago y 4 el peor:



Ella ftbol Ella cine
l ftbol 1,2 3,3
l cine 4,4 2,1

La lectura de esta tabla de pagos es sencilla: Si los dos van al ftbol, l va a
donde quiere y est con ella (1 de preferencia), sin embargo ella no va a donde quiere,
pero est con l, lo que ocupa el segundo lugar de sus preferencias. Si l va al ftbol y
ella al cine, cada cual va a donde quiere, pero estn separados, lo que ocupa para
cada uno de ellos el tercer lugar en su orden de preferencias (3,3).

Nos encontramos ante un juego sin repeticin, es decir, que se juega una sola
vez y no se pueden tomar decisiones en funcin de las que ya se han tomado en
juegos anteriores. Es, adems, un juego sin transferencia de utilidad, no cooperativo,
ya que suponemos que no pueden establecerse acuerdos previos, como seran del
tipo que ella le propusiera a l si vienes conmigo al cine te pago la entrada.
La estrategia minimax nos llevara a la siguiente situacin:

Ella ftbol Ella cine
l ftbol 1,2 3,3 3
l cine 4,4 2,1 4
4 3

Las mayores prdidas que sufre l son 3 y 4 y por tanto su minimax es 3. Las
de ella son 4 y 3 y su minimax es tambin 3. Esta situacin ocurre cuando l va al
ftbol y ella al cine, con un pago de 3,3 que no es ni mucho menos el mejor para cada
uno de ellos. Nos encontramos en una situacin en la que la estrategia minimax no
representa un punto de equilibrio de Nash, ya que uno de los jugadores podra
cambiar la estrategia para obtener una mayor ganancia. Cuando l se dirige slo hacia
el estadio, podra cambiar de opinin e ir al cine, con lo que obtendra una mayor
ganancia (an a riesgo de que ambos tomaran la misma decisin y se encontraran con
la prdida mxima).

Haciendo un pequeo esfuerzo de imaginacin, podramos pensar en un
mundo en el que a las mujeres les apasionara el ftbol y a los hombres el cine. El
juego sera exactamente igual que el anterior. Esto quiere decir que se trata de un
juego simtrico. Vamos a realizar ahora una pequea modificacin que lo convertir en
un juego asimtrico. Alteremos el orden de valores de l:

1 Los dos van juntos al ftbol
2 l va al ftbol y ella al cine
3 Los dos van juntos al cine
4 l va al cine y ella al ftbol

Es decir que l prefiere ir slo al ftbol que juntos al cine. La matriz de pagos
queda entonces de la siguiente forma:

Ella ftbol Ella cine
l ftbol 1,2 2,3
l cine 4,4 3,1

Ante esta perspectiva est muy claro que l, independientemente de lo que
elija ella, elegir siempre ir al ftbol, ya que sale ganando en cualquiera de las dos
opciones que tome ella. Y para ella, dadas las circunstancias y sabiendo que l elegir
siempre ir al ftbol, la jugada ms ventajosa es acompaarle a l al partido. Este s es
un punto de silla, un punto de equilibrio Nash, una estrategia a la que siempre
acudirn ambos jugadores. En este caso se dice que existe una dominancia de
opciones, que un jugador posee una estrategia dominante, que es preferida a
cualquier otra estrategia a disposicin de l. Se pueden dar casos en los que cada uno
de los dos jugadores tenga estrategia dominante.

Lo paradjico de la situacin anterior es que la posicin egosta y de
dominacin voy a ir al ftbol contigo o sin ti conduce, en este caso, a la estrategia
ptima para ambos jugadores.


A continuacin desarrollaremos algunos ejemplos ms de los diferentes tipos de
juegos:

En qu mano?

El jugador A esconde una canica en la mano derecha, en la mano izquierda o en el
bolsillo. Mientras que B puede indicar dnde piensa que A esconde la canica, pero
tambin puede rechazar el juego.

Si B acierta, gana y el jugador A deber pagarle $1



Observaciones: A3 es la mejor estrategia para el jugador A, ya que le garantiza ante
cualquier opcin que tome B obtener el mximo valor mnimo de ganancia. Esto es
una estrategia MAX-MIN.

Dilema del prisionero

La polica arresta a dos sospechosos. No hay pruebas suficientes para
condenarlos y, tras haberlos separado, los visita a cada uno y les ofrece el mismo
trato.

Si uno confiesa y su cmplice no, el cmplice ser condenado a la pena total,
diez aos, y el primero ser liberado. Si uno calla y el cmplice confiesa, el primero
recibir esa pena y ser el cmplice quien salga libre. Si ambos permanecen callados,
todo lo que podrn hacer ser encerrarlos durante seis meses por un cargo menor. Si
ambos confiesan, ambos sern condenados a seis aos.



El jugador tiene incentivos para no cooperar a corto plazo; sin embargo, largo
plazo los resultados se optimizan si se coopera mutuamente. De esto se desprenden
que en una situacin de Dilema del Prisionero a largo plazo es recomendable:

No ser envidioso: la referencia de xito propio suele ser el xito de la
contraparte. Esto redunda en envidias y en afn de acrecentar las ventajas
relativas se tiene a la no cooperacin, lo que conduce a ms defeccin y
castigo mutuo.
No ser el primero en no cooperar: Todo nos demuestra que la cooperacin es
rentable en tanto el otro coopere tambin.
Corresponder a la cooperacin y a la defeccin: Practicar la reciprocidad.
No ser demasiado listo: la excesiva complejidad en los patrones de respuesta
suele ser confundida con caos. Si la estrategia que plantea un jugador parece
aleatoria o azarosa, se interpretar como indiferente al accionar del otro, es
decir, que no encontrar incentivo para cooperar.

Juego del Gallina (Duelo por la VIDA

Dos jvenes se arriesgan en una triste picada mortal, estn enfrentados en
lados opuestos en una calle, y las ruedas izquierdas de sus automviles estn sobre la
misma lnea blanca de modo tal que si ninguno se desva, ambos se matan.
Pondremos arbitrariamente un valor de 100 paracada uno ya que ambos pierden lo
ms fuerte que poseen sus VIDAS-.

Si uno sigue y el otro se desva, este ltimo es un Gallina y pierde frente a sus
pares. A este le asignaremos una prdida de (-50).


Si los dos se desvan, cada uno sufre la deshonra y comparten la reputacin de
gallina (-25).

Este es un juego irracional, asimismo hay un contexto que opera sobre los
jugadores y el juego. Los pares adoran la excitacin del juego por lo cual presionarn
para que no se desven. Mientras que los padres, y las novias de los jugadores le
asignarn una valoracin an mayor y, por consiguiente mucho ms negativa.

Juego de las Campanas

En este juego dos personas se encuentran en habitaciones separadas con una
campana en cada pieza. Si uno toca la campana primero recibe 50 unidades de pago
y el otro jugador paga las 50 unidades. Si ambos tocan simultneamente se termina el
juego y ninguno recibe ni da nada. Si ambos esperan 10 minutos, cada uno recibe 100
unidades. Para obtener estas 100 unidades no solo deben los jugadores suponer que
el otro est dispuesto a cooperar sino que deben dar la mayor confianza al otro de su
propio deseo de cooperacin.



Batalla de los sexos

Este juego ilustra que a veces es necesario mostrarse testarudo y no
predispuesto a la cooperacin, lo que equivale a decir, que parecer razonable y flexible
no siempre es lo aconsejable. El juego consiste en una pareja que dispone de una
tarde libre en la cual l prefiere el cine y ella el teatro, y ambos prefieren estar juntos a
estar separados.



Evidentemente, si ella puede convencerlo de que no obstante lo que l haga
ella ir al teatro, incluso mostrando que ya ha comprado las entradas, l no tendr otra
opcin que ser racional y acompaarla al teatro; y viceversa.

Soluciones de Pareto

En el mercado automovilstico disponemos de mltiples vehculos para adquirir.
Cada vehculo dispone de ciertas caractersticas tcnicas y de un precio, este ltimo
normalmente relacionado con su calidad, aunque no siempre es as. Ante una persona
que va a comprar un coche, caben en principio dos posibilidades:

1) Que la persona tenga dinero de sobra, es decir, que desee adquirir el vehculo
de mayor calidad sin tener en cuenta el precio. En este caso estaramos ante
un problema mono objetivo, es decir, el objetivo nico es encontrar el vehculo
de ms prestaciones, por ejemplo un Ferrari.
2) Que la persona tenga un presupuesto ajustado. En este caso, aparte de las
prestaciones tambin considerar el precio. Estamos ante un problema multi-
objetivo (en este caso con 2 objetivos). Ante esta situacin cabe una pregunta.
Cul es el mejor vehculo para comprar?

La respuesta es que no hay un solo vehculo que se considere el mejor. Un
Ferrari ser el quedar mejores prestaciones, pero ser tambin el ms caro (el mejor
en el objetivo prestaciones y el peor en el objetivo precio). Un Seat puede ser el que
menos prestaciones ofrezca, pero el que mejor precio tenga (el peor en el objetivo
prestaciones y el mejor en el objetivo precio). As pues no podemos decir que uno sea
mejor que el otro. Los coches intermedios, como un Mercedes, BMW tendrn valores
intermedios.

As pues un coche, Coche1, se dice que es una solucin Pareto-ptima cuando
no existe otro coche, Coche2, tal que tenga un mejor precio que Coche1 y adems
ofrezca mayores prestaciones.

J uegos Dinmicos

Son juegos donde existe un orden estricto de actuacin y el pensamiento
estratgico ms frecuentes: si hago esto, cmo responder el contrincante? A
dnde me conduce el juego?

Representacin en forma extensiva

- Mediante un rbol de decisin
- Se representa el orden de las jugadas, las posibles acciones de cada jugador
en cada momento de juego y los resultados finales obtenidos
- Partes de un juego dinmico: jugadores, nodo inicial, nodos intermedios, nodo
terminal, acciones, pagos, naturaleza (sucesos aleatorios)

Ejemplo:



Para Resolver un juego dinmico existe una regla de oro que es la
Induccin hacia atrs

- Mirar hacia adelante y pensar hacia atrs
- No tratar de resolver el juego desde el nodo inicial, sino desde el nodo terminal
Induccin hacia atrs (proceso)
- El jugador debe centrar su atencin en un nodo terminal y resolver el resultado
racional del juego a partir de dicho nodo. Esto es sencillo ya que al tratarse de un
nodo terminal el juego finaliza inmediatamente
- A continuacin el jugador debe resolver el resto de nodos terminales de la misma
manera la misma manera
- Luego hay que centrarse en los nodos inmediatamente anteriores y resolverlos,
utilizando para ello la solucin ya conocida de los nodos terminales
- El proceso contina de esta manera hasta alcanzar el nodo inicial.

J uegos Repetidos

Son juegos estticos que se repiten varias veces, la repeticin hace que los
jugadores tengan en cuenta el valor de su reputacin previa. Deben considerar el
efecto de sus acciones presentes sobre las expectativas futuras del adversario.

Amenazas y promesas

- Pasan a formar una parte esencial del juego
- Cuando el juego no se repite es posible proferir amenazas y hacer promesas,
pero su credibilidad es muy problemtica ya que al no haber repeticin no hay
espacio para el castigo y el agradecimiento
- Cuando el juego se repite es posible plantear toda una gama de amenazas y
promesas que se podrn llevar a cabo en funcin del desarrollo del juego

La credibilidad de las Amenazas y promesas se basa en distintos casos, tales
como:
Caso 1. El juego se repite un nmero finito de veces T

- Teorema de Selten: si un juego esttico tiene un equilibrio de Nash y es
repetido un nmero finito de veces T, su solucin es ese mismo equilibrio
de Nash repetido todas y cada una de las T veces
- En otras palabras, cuando hay un final conocido del juego la induccin
hacia atrs descarta la credibilidad de cualquier amenaza o promesa que
pueda formularse

Caso 2. El juego tiene varios equilibrios de Nash

- En estos casos no se cumple el teorema de Selten y es posible utilizar uno
de los equilibrios de Nash como amenaza y otro como promesa.

Caso 3. El juego se repite indefinidamente

- En este caso no hay final conocido del juego y no puede aplicarse la
induccin hacia atrs, con lo que pueden hacerse promesas y amenazas
crebles

Como ejemplo de una Repeticin finita con varios equilibrios de Nash,
podemos suponer que dos empresas que pueden establecer simultneamente tres
estrategias de precios. La estrategia A consiste en fijar precios bajos para competir
agresivamente. La estrategia C consiste en fijar precios altos (cercanos al nivel de
monopolio) para obtener los mximos beneficios conjuntos posibles. La estrategia B
consiste en fijar precios altos como en el caso anterior, pero invirtiendo en publicidad
para tratar de atraer clientes.



Para una Repeticin indefinida, suponemos que el juego se repite infinitas
veces o que lo hace un nmero finito de veces pero no se sabe cundo finaliza, de
manera que en cada periodo existe una probabilidad positiva de que el juego contine.
Analticamente, ambas situaciones son equivalentes. En este caso para poder
comparar bien los pagos es necesario homogeneizarlos con un factor de descuento
apropiado.



Limitaciones de la Teora de los J uegos

1. Multiplicidad de equilibrios
El resultado ms probable no depende de la teora sino de factores
socioculturales difciles de considerar

2. Reglas y pagos
En la realidad es difcil delimitar con tanta precisin las reglas del juego y los
resultados de cada jugador

De hecho, en muchos casos el establecimiento de ambos parmetros es parte
del propio juego competitivo

3. Racionalidad
En juegos complejos no es razonable asumir un nivel tan alto de racionalidad
(ej. Ajedrez).

La teora de juegos no sera objeto de estudio si realmente furamos tan
racionales como la propia teora nos supone.

4. Movimientos anti tericos
Algunas soluciones de equilibrio se basan en razonamientos que incluyen
jugadas que no se razonamientos que incluyen jugadas que no se produciran
racionalmente.





CADENA DE MARKOV

ANDRI MRKOV
Andri Andryevich Mrkov: (14 de junio de 1856 - 20 de julio de
1922) fue un matemtico ruso conocido por sus trabajos en la teora
de los nmeros y la teora de probabilidades.
Mrkov naci en Riazn, Rusia. Antes de los 10 aos su padre, un
funcionario estatal, fue trasladado a San Petersburgo donde Andri entr a estudiar en
un instituto de la ciudad. Desde el principio mostr cierto talento para las matemticas
y cuando se gradu en 1874 ya conoca a varios matemticos de la Universidad de
San Petersburgo, donde ingres tras su graduacin. En la Universidad fue discpulo
de Chebyshov y tras realizar sus tesis de maestra y doctorado, en 1886 accedi como
adjunto a la Academia de Ciencias de San Petersburgo a propuesta del
propio Chebyshov. Diez aos despus Mrkov haba ganado el puesto de acadmico
regular. Desde 1880, tras defender su tesis de maestra, Mrkov imparti clases en la
Universidad y, cuando el propio Chebyshov dej la Universidad tres aos despus, fue
Mrkov quien le sustituy en los cursos de teora de la probabilidad. En 1905, tras 25
aos de actividad acadmica, Mrkov se retir definitivamente de la Universidad,
aunque sigui impartiendo algunos cursos sobre teora de la probabilidad.
A parte de su perfil acadmico, Andri Mrkov fue un convencido activista
poltico. Se opuso a los privilegios de la nobleza zarista y lleg a rechazar las
condecoraciones del propio zar en protesta por algunas decisiones polticas
relacionadas con la Academia de Ciencias. Hasta tal punto lleg su implicacin en la
poltica que lleg a ser conocido con el sobrenombre de "el acadmico militante".
Mrkov arrastr durante toda su vida problemas relacionados con una
malformacin congnita en la rodilla que le llevara varias veces al quirfano y que,
con el tiempo, fue la causa de su muerte cuando el 20 de julio del ao 1922 una de las
muchas operaciones a las que se someti le produjo una infeccin generalizada de la
que no pudo recuperarse.
Aunque Mrkov influy sobre diversos campos de las matemticas, por ejemplo
en sus trabajos sobre fracciones continuas, la historia le recordar principalmente por
sus resultados relacionados con la teora de la probabilidad. En 1887 complet la
prueba que permita generalizar el teorema central del lmite y que ya haba avanzado
Chebyshov. Pero su aportacin ms conocida es otra.
Su trabajo terico en el campo de los procesos en los que estn involucrados
componentes aleatorios (procesos estocsticos) daran fruto en un instrumento
matemtico que actualmente se conoce como cadena de Mrkov: secuencias de
valores de una variable aleatoria en las que el valor de la variable en el futuro depende
del valor de la variable en el presente, pero es independiente de la historia de dicha
variable. Las cadenas de Mrkov, hoy da, se consideran una herramienta esencial en
disciplinas como la economa, la ingeniera, la investigacin de operaciones y muchas
otras.
CADENAS DE MRKOV
Las cadenas de Mrkov son una herramienta para
analizar el comportamiento y el gobierno de determinados
tipos de procesos estocsticos, esto es, procesos que
evolucionan de forma no determinstica a lo largo del
tiempo en torno a un conjunto de estados. Son modelos
probabilsticos que se usan para predecir la evolucin y el
comportamiento a corto y a largo plazo de determinados
sistemas.
Una cadena de Mrkov, por tanto, representa un sistema que vara un estado a
lo largo del tiempo, siendo cada cambio una transicin del sistema. Dichos cambios no
estn predeterminados, aunque s lo est la probabilidad del prximo estado en
funcin de los estados anteriores, probabilidad que es constante a lo largo del tiempo
(sistema homogneo en el tiempo). Eventualmente, es una transicin, el nuevo estado
puede ser el mismo que el anterior y es posible que exista la posibilidad de influir en
las probabilidades de transicin actuando adecuadamente sobre el sistema (decisin).
Los procesos estocsticos, son un conjunto o sucesin de variables aleatorias:
{X(t)CG} definidas en un mismo espacio de probabilidad. Normalmente el
ndice t representa un tiempo y X(t) el estado del proceso estocstico en el instante t.
El proceso puede ser de tiempo discreto o continuo si G es discreto o continuo. Si el
proceso es de tiempo discreto, usamos enteros para representar el ndice: {X1,X2,...}
Como ejemplos de estos procesos estocsticos, podemos decir:

1. Serie mensual de ventas de un producto
2. Estado de una mquina al final de cada semana (funciona/averiada)
3. N de clientes esperando en una cola cada 30 segundos
4. Marca de detergente que compra un consumidor cada vez que hace la compra.
Se supone que existen 7 marcas diferentes
5. N de unidades en almacn al finalizar la semana

ELEMENTOS DE UNA CADENA DE MARKOV

- Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes
(ejemplo: estados de la enfermedad)

- Ciclo de markov (paso) : periodo de tiempo que sirve de base para examinar
las transiciones entre estados (ejemplo, un mes)

- Probabilidades de transicin entre estados, en un ciclo (matriz P)

- Distribucin inicial del sistema entre los M estados posibles

Para el estudio de las cadenas de Mrkov, deben tenerse en cuenta algunos
conceptos claves como los siguientes:
ESTADOS
Los estados son la caracterizacin de la situacin en que se halla el sistema en
un instante dado, de dicha caracterizacin puede ser tanto cuantitativa como
cualitativa.
El estado de un sistema en un instante t es una variable cuyos valores solo
pueden pertenecer al conjunto de estaos en el sistema. El sistema modelizado por la
cadena, por lo tanto, es una variable que cambia con el valor del tiempo, cambio al
que llamamos transicin.
MATRIZ DE TRANSICIN
Es el arreglo numrico donde se condensa las probabilidades de un estado a
otro. Dicha matriz es cuadrada con tantas filas y columnas como estados que tiene el
sistema, y los elementos de matriz representan la probabilidad de que el estado
prximo sea el correspondiente a la columna si el estado actual es el correspondiente
a la fila.
Posee 3 propiedades bsicas:
- La suma de las probabilidades de los estados debe ser igual a 1.
- La matriz de transicin debe ser cuadrada.
- Las probabilidades de transicin deben estar entre 0 y 1.
Al trabajar con cadenas de Markov, a menudo es til pensar la sucesin de
ensayos como experimentos efectuados en cierto sistema fsico, cada resultado
dejando a este sistema en cierto estado.

Por ejemplo, consideremos una sucesin de elecciones polticas en cierto pas: el
sistema podra tomarse como el pas mismo y cada eleccin lo dejara en cierto
estado, es decir en el control del partido ganador. Si slo hay dos partidos polticos
fuertes, llamados A y B, los que por lo regular controlan el gobierno, entonces
podemos decir que el pas se encuentra en el estado A o B si el partido A o B ganara
la eleccin. Cada ensayo (o sea cada eleccin), coloca al pas en uno de los dos
estados A o B. Una sucesin de 10 elecciones podra producir resultados tales como
los siguientes:

A, B, A, A, B, B, B, A, B, B

La primera eleccin en la sucesin deja en el poder al partido A, la segunda fue
ganada por el partido B, y as sucesivamente, hasta que la dcima eleccin la gane el
partido B. Supongamos que las probabilidades de que el partido A o B ganen la
prxima eleccin son determinadas por completo por el partido que est en el poder
ahora. Por ejemplo podramos tener las probabilidades siguientes:

- Si el partido A est en el poder, existe una probabilidad de que el partido A
ganar la prxima eleccin y una probabilidad de de que el partido B gane la
eleccin siguiente.
- Si el partido B est en el poder, hay una probabilidad de 1/3 de que el partido A
gane la eleccin siguiente y una probabilidad de 2/3 que el partido B
permanezca en el poder.

En tal caso, la sucesin de elecciones forman una cadena de Markov, dado que
las probabilidades de los dos resultados de cada eleccin estn determinadas por el
resultado de la eleccin precedente. Lo descrito anteriormente puede representarse
grficamente usando la siguiente red:


La informacin probabilstica que se acaba de dar se puede representar de
manera conveniente por la siguiente matriz:



Esta matriz se denomina matriz de transicin. Los elementos de la matriz de
transicin representan las probabilidades de que en el prximo ensayo el estado del
sistema del partido indicado a la izquierda de la matriz cambie al estado del partido
indicado arriba de la matriz.

Consideremos un proceso de Markov en que el sistema posee n estados
posibles, dados por los nmeros 1, 2, 3,., n. Denotemos P
ij
a la probabilidad de que
el sistema pase al estado j despus de cualquier ensayo en donde su estado era i
antes del ensayo. Los nmeros P
ij
se denominan probabilidades de transicin y la
matriz nxn P = (P
ij
) se conoce como matriz de transicin del sistema.

Observaciones:
1) La suma..... P
i1
+ P
i2
+..+ P
in
= 1. Esta suma representa la probabilidad de que el
sistema pase a uno de los estados 1, 2, ., n dado que empieza en el estado i. Ya
que el sistema ha de estar en uno de estos n estados, la suma de probabilidades debe
ser igual a 1. Esto significa que los elementos en cualquier rengln de la matriz de
transicin deben sumar 1.

2) Cada elemento P
ij
0.

Ejemplo: una cadena de Markov como modelo para el ADN.

Es improbable que una secuencia aleatoria de A,C,G y T sea un buen modelo
para el patrn de nucletidos en una secuencia gnica.

Una cadena de Markov con {A, T, G y C} podra ser una mejor aproximacin a
la realidad: las probabilidades para el nucletido en la posicin j+1 dependen del
nucletido en la posicin j. (Sin embargo, en la realidad las dependencias son ms
complejas)

Si el espacio de estados es S = {A, C, G, T}.
La matriz de transicin P es de 4 x 4:



MATRIZ REGULAR
Es una matriz cuadrada que posee inversa.
ESTADO RECURRENTE
Un estado es recurrente si despus de haber entrado a este estado, el proceso
definitivamente regresa a ese estado. Por consiguiente un estado es recurrente si y
solo si no es transitorio.
En esta clase de estados, habr una distribucin de suma de probabilidades
que al correr del tiempo llegarn a un estado en el cual no sufrir ms modificaciones,
es decir, se llegar a un estado estable.

Para tener una idea ms clara sobre ste concepto, se muestra el siguiente
ejemplo:

Tres laboratorios farmacuticos (A,B y C) que compiten en un principio activo
(mismo conjunto homogneo en la orden de precios de referencia). Hoy sus cuotas de
mercado son 30%, 20% y 50% respectivamente:



Este es un ejemplo de cadena de Markov irreductible y ergdica. Todos los
estados son y estn comunicados entre s, formando una sola clase. Hay solucin de
estado estable (reparto del mercado a largo plazo, independiente de la situacin
inicial).

En principio se debe tener presente a la matriz Po o la actual:


Siendo 0.3 la de A, 0.2 la de B y 0.5 la de C

Al multiplicar la matriz de transicin con la matriz Po se irn generando las
distintas distribuciones al correr el tiempo, como se muestra a continuacin:

Existe otra forma de resolver esta clase de estados, llegando simplemente a la
matriz estable, sin tener que hallar los dems Pn.

Haciendo L=[x y z]
LT=L

nos quedara el siguiente sistema de ecuaciones,

0.8x + 0.15y + 0.13z = x
0.1x + 0.82y + 0.12z = y
0.1x + 0.03 y + 0.75z = z
x + y + z = 1

sta ltima ecuacin se coloca debido a que se debe complicar que la suma de
las probabilidades debes ser exactamente igual a 1.

Al resolver este sistema de ecuaciones por el mtodo que ms le
guste, obtendr los mismos resultados de la matriz estable, es decir:

x=0.4165
y=0.3722
z=0.21131

Por lo que este mtodo es prctico para los resultados a largo plazo.

MATRIZ ERGDICA
Si los estados en una cadena son recurrentes, aperidicos y se comunican
entre s, se dice que la matriz es ergdica. Ejemplo:

ESTADOS ABSORBENTES
Una cadena de Mrkov en la que uno o ms estados es un estado absorbente,
es una cadena de Mrkov absorbente. Se alistan los estados en el siguiente orden:
primero los estados transitorios y luego los estado absorbentes. Suponga que hay s-m
estados transitorios (t1, t2,, ts-m) y m estados absorbentes (a1, a2,, am), se
escribe la matriz de probabilidades de transicin P como sigue:

A diferencia de los estados recurrentes, los estados absorbentes tendrs
sumas de probabilidades que con el correr del tiempo llegarn a ser cero, todo esto
debido a que hay estados que tiene probabilidad 1 y por ende los dems estados
tendern a llegar a esta clase de estados .

Para tener una idea ms clara sobre ste concepto, se muestra el siguiente
ejemplo:

La empresa jurdica Angie Montero, emplea 3 tipos de abogados: subalternos,
superiores y socios. Durante cierto ao el 10% de los subalternos ascienden a
superiores y a un 10% se les pide que abandonen la empresa. Durante un ao
cualquiera un 5% de los superiores ascienden a socios y a un 13% se les pide la
renuncia. Los abogados subalternos deben ascender a superiores antes de llegar a
socios. Los abogados que no se desempean adecuadamente, jams descienden
de categora.

a) Forme la matriz de transicin T
b) Determine si T es regular, absorbente o ninguna de las 2.
c) Calcule la probabilidad de que un abogado subalterno llegue a socio
d) Cunto tiempo deber permanecer en su categora un abogado
subalterno recin contratado?
e) Cunto tiempo deber permanecer en la empresa un abogado
subalterno recin contratado?
f) Calcule la probabilidad de que un abogado superior llegue a socio.

a) Se hace la matriz T y nos queda:


b) Ntese que la parte azul cielo tiene probabilidades iguales a 1, por lo tanto esta es
la parte absorbente de la matriz. Por esta razn es una matriz absorbente.

Ahora se procede a restar la matriz normal de la identidad y se halla la inversa
para ver los tiempos entre estados, para posteriormente esta ltima ser multiplicada
por la matriz absorbente y saber las probabilidades de cambios de estado.


c) Al multiplicar la matriz inversa por la Absorbente se puede hallar dicha probabilidad,
esta es 0.14

d) Al simplemente hallar la matriz inversa se es posible hallar el tiempo en aos que
debera permanecer normalmente un abogado subalterno en su compaa, seran 5
aos.

e) Cuando piden el tiempo que debera permanecer un abogado subalterno pero
durante la empresa sera sumar el tiempo en que se queda como subalterno con el
tiempo en que permanece como superior: esto es, 5+2.77= 7.77 aos.

f) Por ltimo la probabilidad de que pase de subalterno a socio es mostrado en la
ltima matriz, sera 0,28.

EJEMPLOS
Ahora veremos algunos ejemplos para ver cmo funcionan las cadenas de
Mrkov.
CADENAS DE MRKOV ESTADO ESTABLE
La poblacin colombiana cuenta con 3 principales centros de telefona mvil
como lo son: Comcel, Movistar y Tigo.
Los porcentajes actuales que tiene cada operador en el mercado actual son
para Comcel 0.4, para Movistar 0.35 y para Tigo 0.25.
Segn un estudio realizado se obtuvo como en un ao fue el comportamiento
de cada compaa y se arrojo la siguiente informacin: si en la actualidad el usuario es
cliente de Comcel tiene una probabilidad de mantenerse en Comcel del 0.5 de que
esta persona se cambie a Tigo 0.3 y que se pase a movistar de 0.2;si el usuario es
cliente en la actualidad de movistar la probabilidad que permanezca en Movistar es de
0.4 de que se cambie a Tigo de 0.3 y a Comcel de 0.3 y un usuario de Tigo tiene una
probabilidad de permanecer en Tigo de 0.60, de pasar a Comcel 0.2 y de pasarse a
Movistar de 0.2.
Como podemos ver para este ejercicio lo primero que debemos identificar son
los estados y su respectiva probabilidad de transicin:
ESTADOS COMCEL MOVISTAR TIGO
COMCEL 0,5 0,2 0,3
MOVISTAR 0,4 0,3 0,3
TIGO 0,2 0,2 0,6

Con estos datos tenemos la matriz de transicin y tenemos el porcentaje de
participacin en el mercado de cada uno de los operadores y son los siguientes:

Lo que buscamos en este punto el conocer el porcentaje de participacin que
podra obtener cada compaa con el paso del tiempo, es decir que porcentaje de la
poblacin al paso de un ao presentara Comcel, Movistar y Tigo.
Para el clculo de este porcentaje debemos multiplicar la matriz de estado
inicial P0 y la matriz de transicin t.

PERIODO

T

P
0
0,4 0,35 0,25

0,5 0,2 0,3

0,4 0,3 0,3

0,2 0,2 0,6

P
1
0,39 0,235 0,375

0,5 0,2 0,3

0,4 0,3 0,3

0,2 0,2 0,6

P
2
0,364 0,2235 0,4125

0,5 0,2 0,3

0,4 0,3 0,3

0,2 0,2 0,6

P
3
0,3539 0,22235 0,42375


Esto nos indica que en 3 aos P3 los porcentajes de la poblacin colombiana
para Comcel, Movistar y Tigo ser 35,39%, 22,235% y 42,375% respectivamente.
Si continuamos hallando el estado de otros periodos, llegamos a un punto
donde las probabilidad se mantiene y es a esto que llamamos Estado Estable. Para el
clculo de esto podemos tambin usar mtodos como reduccin de ecuaciones o
trabajar con matrices por el mtodo de Gauss Jordan y de esta manera podemos
obtener el Estado estable de cualquier matriz de transicin.
Hallaremos el estado estable del ejercicio anterior por el mtodo de reduccin
de ecuaciones:
1. Obtenemos las ecuaciones por medio de la transpuesta de la matriz de
transicin:

2. Organizando las ecuaciones tenemos:

De esta manera obtenemos el valor de cada una de las variables que
representan los estados de este ejemplo, dando como resultado Comcel (x)=32,95%;
Movistar (y)=22,22%; y Tigo (z)=42,85%.

CADENAS DE MRKOV ESTADOS ABSORBENTES
La Universidad del Atlntico ha estudiado la trayectoria de sus estudiantes en
la universidad y ha descubierto que:
a. 70% de los estudiantes de los ingresos regresaran el ao siguiente como
estudiantes de segundo ao, el 15% volver como estudiante de nuevo ingreso y el
resto no regresara.
b. 75% de los estudiantes de segundo ao volvern el ao siguiente como estudiantes
de tercer ao, 15% volver como estudiante de segundo ao y el resto no regresara.
c. 80% de los estudiantes de tercer ao regresara el ao siguiente como estudiantes
de ltimo ao, 10% volver como estudiante de tercer ao y el resto no regresara.
d. 85% de los estudiantes de ltimo ao se graduaran, 10% volvern como estudiantes
de ltimo ao y el resto no regresara
Se pide:
a. Escriba la matriz de transicin del anterior problema y determine si esa matriz es
regular.
b. Cuntos aos pasara un estudiante de nuevo ingreso?
c. Cul es la probabilidad que se gradu un estudiante de nuevo ingreso?
Para la solucin de este ejercicio debemos identificar los estados:

1er Ao 2do Ao 3er Ao 4to Ao Graduar Retirar
1er Ao 0,15 0,7 0 0 0 0,15
2do Ao 0 0,15 0,75 0 0 0,1
3er Ao 0 0 0,1 0,8 0 0,1
4to Ao 0 0 0 0,1 0,85 0,05
Graduar 0 0 0 0 1 0
Retirar 0 0 0 0 0 1

Ahora pasamos a identificar los estados de transicin y los estados
absorbentes:
1er Ao 2do Ao 3er Ao 4to Ao Graduar Retirar
1er Ao 0,15 0,7 0 0 0 0,15
2do Ao 0 0,15 0,75 0 0 0,1
3er Ao 0 0 0,1 0,8 0 0,1
4to Ao 0 0 0 0,1 0,85 0,05
Graduar 0 0 0 0 1 0
Retirar 0 0 0 0 0 1


ESTADOS NO ABSORBENTES
(TRANSITORIOS)

ESTADOS ABSORBENTES

Ahora para encontrar la solucin de este problema procedemos a restar a la
matriz de no absorbente la matriz de identidad:
IDENTIDAD 1 0 0 0

0 1 0 0

0 0 1 0

0 0 0 1

NO
ABSORBENTE 0,15 0,7 0 0

0 0,15 0,75 0

0 0 0,1 0,8

0 0 0 0,1

I-N 0,85 -0,7 0 0


0 0,85 -0,75 0


0 0 0,9 -0,8


0 0 0 0,9
Al obtener la matriz I-N procedemos a hallar la inversa de esta matriz:
(I-N)
-1
1,176470588 0,96885813 0,80738178 0,71767269

0 1,17647059 0,98039216 0,87145969

0 0 1,11111111 0,98765432

0 0 0 1,11111111

Esta matriz se interpreta de la siguiente manera, los valores que encontramos
son equivalentes a tiempo, es decir el tiempo en el cual un estado transitorio necesita
para pasar el siguiente estado.
Luego multiplicamos la inversa de la matriz (I-N), por la matriz de estados
absorbentes:

ABSORBENTE 0 0,15

0 0,1

0 0,1

0,85 0,05

P=(I-A)
-1
*A

Graduar Retirar

1er Ao 0,61002179 0,38997821

2do Ao 0,74074074 0,25925926

3er Ao 0,83950617 0,16049383

4to Ao 0,94444444 0,05555556

Esta matriz nos muestra las probabilidades que posee cada uno de los estados
transitorios de caer en los estados absorbentes.
Para este ejemplo un estudiante de nuevo ingreso tiene una probabilidad de
61,002179% de graduarse.

PROCESOS DE DECISION MARKOVIANOS

MODELOS PARA PROCESOS DE DECISION MARKOVIANOS

El modelo para los procesos de decisin markovianos considerados en este
captulo se pueden resumir como sigue:

1. Se observa el estado i de una cadena de Markov de tiempo discreto despus de
cada transicin ( ) M i ,..., 1 , 0 =
2. Despus de cada observacin, se selecciona una decisin (accin) k de un
conjunto de k decisiones posibles ( ) k k ,..., 2 , 1 = (Algunas de las k decisiones
pueden no ser relevantes para algunos estados.)
3. Si se elige la decisin k d
i
= en el estado i , se incurre en un costo inmediato que
tiene un valor esperado
ik
C .
4. La decisin k d
i
= en el estado i determina cules sern las probabilidades de
transicin para la siguiente transicin desde el estado i . Denote estas
probabilidades de transicin por ( ) k P
ij
para M j ,..., 1 , 0 =
5. Una especificacin de las decisiones para los estados respectivos ( )
M
d d d ,..., ,
1 0

prescribe una poltica para el proceso de decisin markoviano.
6. El objetivo es encontrar una poltica ptima de acuerdo con algn criterio de costo
que considere tanto los costos inmediatos como los subsecuentes que resulten de
la evolucin futura del proceso. Un criterio comn es minimizar el costo promedio
esperado por unidad de tiempo (a la larga). (En la seccin 21.5 se considera un
criterio alternativo.)

A continuacin se citara un ejemplo para ver como se lleva a cabo el desarrollo
de un proceso de Markov.

Ejemplo prototipo

Un fabricante tiene maquina clave en el ncleo de uno de sus proceso. Debido
a que tiene un uso pesado, la maquina se deteriora con rapidez tanto en calidad como
en la cantidad de produccin que obtienen. Por lo tanto, al final de cada semana, se
realiza una inspeccin exhaustiva cuyo resultado es la clasificacin de las condiciones
de la maquina en uno de cuatro estados posibles:

Estado Condicin
0
1
2
3
Tan buena como nueva
Operable deterioro menor
Operable deterioro mayor
Inoperable produccin de calidad inaceptable

Despus de recolectar datos histricos sobre los resultados de estas
inspecciones, se hace un anlisis estadstico de la evolucin del estado de la mquina
de un mes a otro. La siguiente matriz muestra la frecuencia relativa (probabilidad) de
cada transicin posible del estado en el que se encuentra en un mes (un rengln de la
matriz) al estado en el que se encuentra el siguiente mes (una columna de la matriz).

Estado 0 1 2 3
0 0
8
7

16
1

16
1

1 0
4
3

8
1

8
1

2 0 0
2
1

2
1

3 0 0 0 1

Adems del anlisis estadstico, se ha encontrado que estas probabilidades de
transicin no se afectan por considerar tambin en qu estados se encontraba en
meses anteriores. Esta propiedad de falta de memoria es la propiedad markoviana
descrita en la seccin 16.2. As, para la variable aleatoria
t
X , que es el estado de la
mquina al final del mes t, se ha concluido que el proceso estocstico { } ,... 2 , 1 , 0
'
= t X
t

es una cadena de Markov de tiempo discreto cuya matriz de transicin (de un paso) es
justo la matriz anterior.

Como lo indica el ltimo elemento de esta matriz de transicin, una vez que la
mquina se vuelve inoperable (entra al estado 3), permanece inoperable. En otras
palabras, el estado 3 es un estado absorbente. Dejar la mquina en este estado sera
intolerable ya que esto detendra el proceso de produccin, por lo que la mquina
debe reemplazarse. (La reparacin no es factible en este estado). La nueva mquina
comenzara entonces en el estado 0.

El proceso de reemplazo toma 1 semana de manera que la produccin se
pierde durante este periodo. El costo de la produccin perdida (ganancia perdida) es
de $2.000 y el costo de reemplazar la mquina es de $4.000, de manera que el costo
total en el que se incurre siempre que la mquina actual entra al estado 3 es de
$6.000.

Aun antes de que la mquina llegue al estado 3, puede incurrirse en costos por
producir artculos defectuosos. Los costos esperados por semana por este concepto
son:

Estado Costo esperado debido a artculos defectuosos, $
0
1
2
0
1000
3000

Se han mencionado todos los costos relevantes asociados con una poltica de
mantenimiento (reemplazar la mquina cuando es inoperable, pero no darle
mantenimiento en otros casos). Con esta poltica, la evolucin del estado del sistema
(la sucesin de mquinas) todava es una cadena de Markov, pero ahora con la matriz
de transicin siguiente:

Estado 0 1 2 3
0 0
8
7

16
1

16
1

1 0
4
3

8
1

8
1

2 0 0
2
1

2
1

3 1 0 0 0

Para evaluar esta poltica de mantenimiento, deben considerarse tanto los
costos inmediatos en que se incurre en la semana que sigue (descritos antes). Como
los costos subsecuentes que resultan cuando el sistema evoluciona de este modo.

Una medida de desempeo usada ampliamente para cadenas de Markov es el
costo promedio esperado por unidad de tiempo (a la larga). Para calcular esta medida,
primero se derivan las probabilidades de estado estable
0
t ,
1
t ,
2
t y
3
t para esta
cadena de Markov con la solucin del siguiente sistema de ecuaciones:

3 2 1 0
2 1 0 3
2 1 0 2
1 0 1
3 0
1
,
2
1
8
1
16
1
,
2
1
8
1
16
1
,
4
3
8
7
,
t t t t
t t t t
t t t t
t t t
t t
+ + + =
+ + =
+ + =
+ =
=


La solucin simultnea es
13
2
13
2
,
13
7
,
13
2
3 2 1 0
= = = = t t t t

El costo promedio esperado (a la larga) por semana para esta poltica de
mantenimiento es
. 07 . 1923
13
25000
600 300 100 0
3 2 1 0
= = + + + t t t t

Sin embargo, existen otras polticas de mantenimiento que deben considerarse
y compararse con esta. Por ejemplo, quiz la mquina debiera reemplazarse antes de
llegar al estado 3.


Decisin Estado
Costo
esperado
por producir
artculos
defectuosos,
$
Costo de
mantenimiento,
$
Costo
(ganancia
perdida) por
produccin
perdida, $
Costo total
por
semana, $
1. No hacer nada


2. Reparacin general
3. Reemplazar
0
1
2
2
1, 2, 3
0
1000
3000
0
0
0
0
0
2000
4000
0
0
0
2000
2000
0
1000
3000
4000
6000

Otra alternativa es realizar una reparacin general a un costo de $2000. Esta
opcin no es factible en el estado 3 y no mejora la mquina si est en el estado 0 o el
1, y slo es de inters en el estado 2. En este estado, una reparacin general
regresara a la mquina al estado 1. Se requiere una semana para ello, por lo que otra
consecuencia sera un gasto de $2000 por las ganancias perdidas al no producir.

En resumen, las decisiones posibles despus de cada inspeccin son las
siguientes:

Decisin Accin Estados relevantes
1
2

3
No hacer nada
Reparacin general (el sistema regresa al
estado 1)
Reemplazo (el sistema regresa al estado 0)
0,1,2
2

1,2,3

Para facilitar la consulta, se resume tambin los costos relevantes de cada
decisin para cada estado en el que esa decisin puede ser de inters

Despus de cada inspeccin de la mquina, se elige entre tres decisiones
posibles (no hacer nada, reparacin general o reemplazo). El costo esperado
inmediato que resulta se muestra en la columna de la derecha de la tabla para cada
combinacin relevante de estados y decisiones. Con las cadenas de Markov se
analiz una poltica especfica ( ) ( ) 3 , 1 , 1 , 1 , , ,
3 2 1 0
= d d d d , donde la decisin 1 (no hacer
nada) se toma en los estados 0, 1 y 2 y la decisin 3 (reemplazo) se toma en el estado
3.

El modelo general califica como un proceso de decisin de Markov porque
posee la propiedad markoviana que caracteriza a estos procesos. En particular, dados
el estado y la decisin actuales, cualquier afirmacin probabilstica sobre el futuro del
proceso es por complet independiente de cualquier informacin proporcionada sobre
la historia del proceso. Esta propiedad se cumple aqu ya que 1) se trata de una
cadena de Markov, 2) las nuevas probabilidades de transicin dependen slo del
estado y la decisin actuales y 3) el costo esperado inmediato tambin depende slo
del estado y la decisin actuales.

La descripcin de una poltica implica dos propiedades convenientes (pero
innecesarias) que se supondrn en todo el captulo (con una excepcin). Una
propiedad es que una poltica es estacionaria; es decir, siempre que el sistema se
encuentre en el estado i . La regla para tomar la decisin siempre es la misma sin
importar el valor del tiempo actual t . La segunda propiedad es que una poltica es
determinstica; esto es, siempre que el sistema se encuentre en el estado i , la regla
para tomar la decisin definitivamente selecciona una decisin especfica. (Debido a la
naturaleza del algoritmo involucrado, la siguiente seccin considera polticas
aleatorizadas, donde se usa una distribucin de probabilidad para tomar la decisin.)

Con este marco de referencia general en mente ahora se regresa al ejemplo
prototipo para encontrar una poltica ptima con la enumeracin y comparacin de
todas las polticas relevantes. Al hacer esto, se denotar por R a la poltica especfica
y por ( ) R d
i
a la decisin correspondiente que debe tomarse en el estado i .

Solucin del ejemplo prototipo por enumeracin exhaustiva

Las polticas relevantes para el ejemplo prototipo son las siguientes:

Poltica Descripcin verbal
( ) R d
0
( ) R d
1
( ) R d
2
( ) R d
3

a
R
b
R

c
R
d
R
Reemplazo en el estado 3
Reemplazo en el estado 3, reptacin
general en el estado 2
Reemplazo en los estados 2, 3
Reemplazo en el estado 1, 2, 3
1
1

1
1
1
1

1
3
1
2

3
3
3
3

3
3

Cada poltica da una matriz de transicin diferente, como se muestra enseguida




Estado
a
R

Estado
b
R
0 1 2 3 0 1 2 3
0 0
8
7

16
1

16
1


0 0
8
7

16
1

16
1

1 0
4
3

8
1

8
1


1 0
4
3

8
1

8
1

2 0 0
2
1

2
1


2 0 1 0 0
3 1 0 0 0 3 1 0 0 0


Estado
c
R

Estado
d
R
0 1 2 3 0 1 2 3
0 0
8
7

16
1

16
1


0 0
8
7

16
1

16
1

1 0
4
3

8
1

8
1


1 0 0 0 0
2 1 0 0 0 2 0 1 0 0
3 1 0 0 0 3 1 0 0 0

A partir de la ltima columna de la tabla de los datos de costos, los valores de
ik
C son los siguientes

Decisin
Estado
ik
C (en miles de dlares)
1 2 3
0
1
2
3
0
1
3
-
-
-
4
-
-
6
6
6

Como se indic en la seccin 16.5, se puede calcular el costo promedio
esperado (a largo plazo) por unidad de tiempo, ( ) C E , a partir de la expresin
( ) ,
0

=
=
M
i
i ik
C C E t
Donde ( ) R d k
i
= para cada i , y ( )
M
t t t ,... ,
1 0
representa la distribucin de
estado estable para los estados del sistema segn la poltica R que se evala.
Despus de obtener ( )
M
t t t ,... ,
1 0
segn cada una de las cuatro polticas (esto se
puede hacer con el OR Courseware) el clculo de ( ) C E se resume en la siguiente
tabla.








Poltica
( )
3 2 1 0
, , , t t t t ( ) C E en miles de dlares
a
R
|
.
|

\
|
13
2
,
13
2
,
13
7
,
13
2
( ) ( ) ( ) ( ) | | 1923 $
13
25
6 2 3 2 1 7 0 2
13
1
= = + + +
b
R |
.
|

\
|
21
2
,
21
2
,
7
5
,
21
2
( ) ( ) ( ) ( ) | | imo min 1667 $
21
35
6 2 4 2 1 15 0 2
21
1
= = + + +
c
R |
.
|

\
|
11
1
,
11
1
,
11
7
,
11
2
( ) ( ) ( ) ( ) | | 1727 $
11
19
6 1 6 1 1 7 0 2
11
1
= = + + +
d
R
|
.
|

\
|
32
1
,
32
1
,
16
7
,
2
1
( ) ( ) ( ) ( ) | | 3000 $
32
96
6 1 6 1 6 14 0 16
32
1
= = + + +

As, la poltica ptima es
b
R , es decir, reemplazar la maquina cuando se
encuentre en el estado 3 y hacer una reparacin general cuando se encuentre en el
estado 2. El costo esperado (a la larga) por semana es $1667.

En este pequeo ejemplo, es adecuado usar la enumeracin exhaustiva para
encontrar la poltica ptima, donde slo existen cuatro polticas relevantes. Sin
embargo, muchas aplicaciones tienen tantas polticas que este enfoque no es factible.
Para tales casos, se necesitan algoritmos que puedan encontrar una poltica ptima de
manera eficiente.