PROGRAMACIN DINMICA

Se usa bsicamente en la solucin de los problemas de procesos de

decisin multiestado, sucesin de problemas de decisin inmersos
unos en otros. Existen variables de estado y variables de decisin en
este tipo de problemas. La tcnica de solucin est basada en el
principio de la optimalidad (Bellman y Lee, 1957):
Un plan ptimo tiene la propiedad de que cualquiera que sea el estado
y la decisin inicial , las restantes decisiones deben constituir un plan
ptimo con respecto al estado resultante de la primera decisin.
Existen muchos ejemplos prcticos en los que pueden aplicarse este
tipo de tcnicas.

Tema VI.2 Op

Simulacin y Optimiz

PROGRAMACIN DINMICA
Un estado

Entrada
x

Decisin
d

Transformacin
y=h(x;d)

Salida
y

Retorno
f=f(x,d)

Tema VI.2 Op

Simulacin y Optimiz

PROBLEMA DE DECISIN MULTIESTADOS

PROBLEMA DE VALOR INICIAL

dn
x n 1

d n 1

di
x n 1

xn

n-1

xi

x i 1

f n 1

Estado n

Estado n-1

d1

x3

fi

fn

Tema VI.2 Op

d2

x2

f2

Estado i Estado 2

Simulacin y Optimiz

x1

f1

Estado 1

PROBLEMA DE DECISIN MULTIESTADOS

x x (x , d )
Transicin
f f (x , d )
Retorno
Problema. En una decisin multiestados,calcular las decisiones que
optimice el retorno(coste,beneficio)total f.
Funciones f abordables por programacin dinmica.Funciones
separables.
i

i 1

i 1

i 1

i 1

f f i f i (x i 1 , d i )
n

i 1

i 1

f f i f i (x i 1 , d i )

Problemas de valor inicial

Problemas de valor final
Problemas de valor de contorno

Tema VI.2 Op

Simulacin y Optimiz

RELACIONES DE RECURRENCIA
Problema de un estado
n

i 1

i 1

Minimizar f f i f i (x i 1 , d i )
x i x i (x i 1 , d i )

con

Considerem os el estado final.x1 es conocido. Debemos seleccionar d1 para minimizar f1

El ptimo ser
*

f1 (x 2 ) min[f1 (x 2 , d1 )]
d1

Problema de dos estados

El ptimo ser
*

f 2 (x 3 ) min [f 2 (x 3 , d 2 ) f1 (x 2 , d1 )]
d1 , d 2
En funcin del principio de optmalidad
*

f 2 (x 3 ) min [f 2 (x 3 , d 2 ) f1 (x 2 )]
d2
*

f 2 (x 3 ) min [f 2 (x 3 , d 2 ) f1 ( x 2 (x 3 , d 2 ))]
d2

Tema VI.2 Op

Simulacin y Optimiz

RELACIONES DE RECURRENCIA

Problema de i estados
El ptimo ser
*

f i (x i 1 )

min

[f i (x i 1 , d i ) f i 1 (x i , d i 1 ) f1 (x 2 , d1 )]

d i , d i 1 , d1
En funcin del principio de optimalidad
*

f i (x i 1 ) min [f i (x i 1 , d i ) f i 1 (x i )]
di
*

f i (x i 1 ) min [f i (x i 1 , d i ) f i 1 (x i (x i 1 , d i ))]
di

Tema VI.2 Op

Simulacin y Optimiz

EJEMPLO DINMICO
Minimizar
2

J x 2 (k ) u 2 (k ) x 2 (3)
k 0

sujeto a x(k 1) x (k ) u (k )
Solucin
Ecuacin de recurrenci a
J ( x, k )

x (k ) u (k ) J
2

min

( x( k 1))

u(0), u(1), u(2)

J ( x,3) x 2 (3)
Iteraciones

k 2 J ( x,2) min x 2 ( 2) u 2 (2) x 2 (3) min x 2 (2) u 2 ( 2) ( x( 2) u (2)) 2

u(2)

u(2)

Derivando con respecto a u(2) e igualando a cero resulta

1
u(2) - x (2)
2
3
J ( x,2) x 2 (2)
2

Tema VI.2 Op

k 1 J ( x,1) min x 2 (1) u 2 (1) x 2 (2)

2

u(1)
Derivando con respecto a u(1) e igualando a cero resulta
3
u(1) - x (1)
5
8
J ( x,1) x 2 (1)
5
8

k 0 J ( x,0) min x 2 (0) u 2 (0) x 2 (1)

5

u(0)
Derivando con respecto a u(0) e igualando a cero resulta
8
u(0) - x (0)
13
21 2
J ( x,0)
x (0)
13

Simulacin y Optimiz