1

Curso de Métodos Cuantitativos

Banco Central de Reserva del Perú
Curso de Extensión 2012
Profesor: Ramón García-Cobián Jáuregui
Notas de clases basadas en el texto de E. Cerdá Tena, Optimización Dinámica.

1. Cálculo de Variaciones

Formulación del problema (PCV): Dados los momentos t0<t1en , la función de clase
C2, F: 3, y los estadosa y b en ; se quiere hallar una función de clase C2, x() que
t1

maximice la  F ( x(t ), x (t ), t )dt sujeta a:x(t0) = a y x(t1) = b.

t0

Nótese que si el problema consistiera en minimizar, en vez de maximizar, no haría falta

una nueva teoría, pues la solución que minimiza la integral de F es la que maximiza la
integral de –F.

Ejemplo: Hallar la función real de variable real cuya gráfica tenga longitud mínima
entre las que pasan por dos puntos dados, (a, ) y (b, ), siendo ab. Este problema se
b
formula como: min  1  x (t )2 dt sujeto a: x(a) = x(b) = .
a

Nociones preliminares:
En el conjunto  de las funciones reales de clase C2 definidas en [t0 ,t1] se definen las
operaciones de adición y de multiplicación por escalares así:
1º) Si xy, entonces x + y : [t0, t1] , se define por (x + y) (t):= x(t) + y(t). 2º)
Si x, entonces x : [t0, t1] , se define por (x)(t):= x(t).
Se comprueba fácilmente que , provisto de estas dos operaciones, es un espacio
vectorial real. Ahora bien, en dicho espacio vectorial se define una norma así: x:=
max {|x(t)|: t[t0, t1]}.
Ejemplos: Si t0 = 1 y t1 = 5, entonces para x(t) = t2, será x = max {t2 : t [1, 5]} =
25; y si y(t) = 1 + t – t2/4, se tendrá y = max {|1 + t – t2/4| : t [1, 5]} = 2.

Dada una norma en un espacio vectorial, ella induce una métrica en él, i. e., una función
de distancia entre elementos del espacio, como se indica a continuación. Si x y y son
elementos de , entonces la distancia entre ellos será d(x, y):= x - y. Así, para las
funciones del ejemplo sería d(x, y) = max{|t2 – (1 + t – t2/4)|: t[1, 5]} = 25.
Teniendo ya una métrica el espacio vectorial, en él puede definirse la bola abierta de
centro x y de radio r como B(x, r):= {z : d(x, z) <r}.
En el contexto de optimización, se distingue entre máximo global y máximo local. El
primero es el que lleva a su máximo valor posible a la integral de la función objetivo; el
segundo es uno tal que en alguna bola abierta centrada en él, ningún otro elemento lleva
a la integral de la función objetivo a un valor mayor que el que alcanza con el máximo
 2

t1

local. Así, x* de  es un máximo global del PCV si yde ,  F ( x * (t ), x * (t ), t )dt 

t0
t1

 F ( y(t ), y (t ), t )dt si es que y(t0) = a = x*(t0) y(t1) = b = x*(t1).

t0

Pero, una x de  es un máximo local del PCV si r> 0 tal que y de B(x, r), se tiene
t1 t1

que  F ( x(t ), x(t ), t )dt   F ( y(t ), y (t ), t )dt si es que y(t0) = a = x(t0) y(t1) = b = x(t1).
t0 t0

Ecuación de Euler como condición necesaria de primer orden:

Teorema: Una función x de  es un máximo local del PCV sólo si satisface a la
d
siguiente ecuación diferencial, llamada de Euler: 0 = Fx ( x(t ), x (t ), t ) - Fx ( x(t ), x (t ), t )
dt
F F dF
en [t0, t1]. En esta ecuación Fx := , Fx := y , derivada total de F, es igual a
x x dt
Fx ( x(t ), x (t ), t ) x  Fx ( x(t ), x (t ), t ) x  Ft ( x, x, t ) .

Ejemplo:
b
Para el PCV de la página anterior, min  1  x (t )2 dt sujeto a: x(a) = x(b) = , vemos
a
b
que, ya que él equivale a: max   1  x (t )2 dt sujeto a: x(a) = x(b) =  , se tendrá :
a

 x
F ( x(t ), x (t ), t ) =  1  x (t ) 2 , por lo que Fx = 0 y Fx  .
(1  x 2 )
Entonces, la ecuación de Euler es: 0 = ( 1  x (t ) 2 )-3/2 x , i. e., 0 = x , ya que el otro factor
es distinto de 0. Las soluciones de esa ecuación diferencial son todas las que se obtienen
dando valores arbitrarios a los parámetros h y k en x(t) = h + kt. Entre ellas, las
condiciones extremas exigen que  = h + ak = h + kb, de donde sólo queda que k =
(- )/(b - a) h =  - a ( - )/(b - a). Luego, si el problema tuviera solución, ella
habría de ser la función x (t) =  - a (- )/(b - a) + (( - )/(b - a)) t.

2
Otro ejemplo: Se pide max  (12tx  x 2 )dt sujeto a: x(0) = 2 x(2) = 12.
0

d
La ecuación de Euler resulta ser: 0 = -12 t- ( 2 x ) = -12t + 2 x , i. e., x = 6t. Entonces,
dt
integrando, se obtienen todas las extremales (así se llaman las soluciones de la ecuación
de Euler). Ellas son dadas por x(t) = t3 + ht + k. Las condiciones extremas exigen que 2
= k 12 = 8 + 2h +k, de donde, h = 1 k = 2, por lo que la única candidata a solución es
la función x (t) = t3 + t +2.

Nota: Para problemas de minimización, la ecuación de Euler es la misma, como

fácilmente puede comprobar el estudiante diligente.
 3

Casos especiales de la ecuación de Euler:

1º) En la función F no aparece x:
d
Como Fx = 0, se obtiene que 0 = Fx , lo que equivale a Fx = h, siendo h una constante
dt
arbitraria.
1
Ejemplo: max  (t 2  x 2 )dt sujeto a: x(0) = 1 x(1) = 2.
0
La ecuación de Euler es: -2 x = h , de donde x(t) = -ht/2 + k, que con las condiciones
extremas da: 1 = x(0) = k  2 = x(1) = -h/2 + k. De esto resulta que h = -2 k = 1, por lo
que la única posible solución es x(t) = t + 1.

2º) En la función F no aparece x :

Como Fx = 0, se obtiene que 0 = Fx , que es una ecuación algebraica que no depende de
constantes arbitrarias, por lo que difícilmente se satisfarán las condiciones extremas.

Ejemplo:
1
Se pide min  (t  x 2 )3 dt sujeto a: x(0) = x(1) = , con  y  dados.
0

La ecuación de Euler es: 0 = Fx = 3 (-t + x2) 2x, de dondet,x(t) = 0 x(t) =  t . Hay

cuatro casos posibles: (i)  = 0 =  ; entonces la única posible solución continua sería
x(t) = 0 t ; (ii)  = 0  = 1; entonces la única posible solución continua sería x(t) =
tt ; (iii)  = 0  = -1; entonces la única posible solución
continua sería x(t) = - t ,t . En cualquier otro caso, no habría solución al problema
planteado.

3º) En la función F no aparece t:

d
Como F no depende de t, F  Fx x  Fx x , y, como según la ecuación de Euler,
dt
d d d d
Fx = Fx , se obtiene F  ( Fx ) x  Fx x = ( Fx x ) , de lo cual se sigue que ha de
dt dt dt dt
ser constante la expresión F - Fx x .
1
Ejemplo: Se pide max  (2  3xx 2 )dt sujeto a: x(0) = 0  x(1) = 1.
0

H
Entonces, (2 – 3x x 2 ) - (-6x x ) x = h, de donde xx 2  H (cte.). Así, pues, x  , de
x
3
donde  x dx =  ( H t  K ) , que con las
H dt ; ahora, de esto se sigue que x3/2 =
2
condiciones extremas dan: K = 0 H = 4/9. Por lo tanto, la única posible solución sería
la función x(t) = t2/3.

Condición de Legendre como condición necesaria de 2º orden para optimalidad:

Teorema: Una función x* de  es un máximo local del PCV sólo si Fxx ( x * (t ), t ) 0, t
de [t0, t1]. Además, una función x* de  es un mínimo local del PCV sólo si
Fxx ( x * (t ), t ) 0, t de [t0, t1].
 4

1
Ejemplo: Dado el problema de opt  ( x 2  x 2  2 xet )dt sujeto a: x(0) = 0 x(1) = 1/2 ,
0

la ecuación de Euler es 0 = (2x + 2et) – d(2 x )/dt , que equivale a: x  x  et , cuya
t
solución general es x(t) = A et + B e-t + et . Las condiciones extremas dan como única
2
e t
posible solución a la función x(t) = (et  et )  et . Como Fxx = 2, sólo se
2(1  e) 2
cumple la condición de Legendre necesaria para un mínimo local. Así, no hay solución
para el problema si se trata de maximizar, pero quizá sí la haya para el problema de
minimizar.

Condiciones de transversalidad

El PCV planteado es uno de momentos inicial y final dados así como de estados inicial
y final también dados. Además de éste, hay otros tipos de problemas, a saber:
a) problema de estado final libre pero estado inicial y momentos inicial y final dados;
b) problema de estado y momento finales libres pero estado y momento iniciales dados;
c) problema de momento final libre pero estado final y momento y estado iniciales
dados;
d) problema de estado y momentos iniciales parcialmente determinados por cierta
ecuación dada: 0 = g(t, x), con estado y momento iniciales dados.

En todos estos casos siguen vigentes las condiciones necesarias dadas por la ecuación
de Euler y la condición de Legendre, pero aparece una nueva condición necesaria, a
saber, la llamada condición de transversalidad que se abreviará por Ŧ. Para enunciarla,
se requiere definir el vector de ortogonalidad:v:= (F - xFx , Fx ) . Ahora bien, el
enunciado general de la condición Ŧ es el siguiente. En el punto terminal (t1*, x(t1*)) de
una curva óptima, x*(), el vector de ortogonalidad, v, ha de ser perpendicular (u
ortogonal) a cualquier dirección admisible1 desde el punto terminal.

Veamos qué se sigue de esto en cada uno de los casos antes mencionados.
Caso (a): Como la única dirección admisible es la vertical, el vha de ser horizontal, por
lo cual su segundo componente ha de ser nulo, i. e., Ŧ es: 0 = Fx ( x * (t1 ), x * (t1 ), t1 ) .
Caso (b): Como toda dirección desde el punto terminal (t1, x*(t1)) es dirección admisible
puesto que son libres el momento y el estado finales, entonces el vha de ser el vector
nulo. i. e., Ŧ es:
0 = F ( x * (t1 ), x * (t1 ), t1 ) - x (t1 ) Fx ( x * (t1 ), x * (t1 ), t1 )  0 = Fx ( x * (t1 ), x * (t1 ), t1 ) .
Ha de notarse que esto equivale a:
F ( x * (t1 ), x * (t1 ), t1 ) = 0  0 = Fx ( x * (t1 ), x * (t1 ), t1 ) .
Caso (c): como en este caso la única dirección admisible desde un punto terminal es la
horizontal, el v ha de ser vertical, por lo cual su primer componente habrá de anularse
en el punto terminal, i. e., Ŧ es: 0 = F ( x * (t1 ), x * (t1 ), t1 ) - x (t1 ) Fx ( x * (t1 ), x * (t1 ), t1 ) .
Caso (d): Comoen este caso la única dirección admisible desde el punto terminal es la
de la recta tangente en dicho punto a la gráfica de la función 0 = g (t, x), se deduce que

1
Se llama dirección admisible desde el punto terminal a cualquier recta tangente a una curva que parta
desde dicho punto terminal y satisfaga las condiciones finales dadas durante un lapso positivo.
 5

el vector v habrá de ser paralelo al gradiente de la función g en el punto terminal, i. e.,

Ŧ es: gradg (t1 ,x*(t1)) // (F - xFx , Fx ) en (t1 , x*(t1))2.
Ha de notarse que incluso en el PCV se cumple el enunciado general de la condición de
Ŧ, pues, no habiendo ninguna dirección admisible en el punto terminal, el vector de
ortogonalidad en dicho punto es absolutamente libre de tomar cualesquiera valores, ya
que no está obligado a ser perpendicular a ninguna dirección en particular.

Ejemplos
2
1) Se pide optimizar  (tx  x 2 )dt sujeto a: x (0) = 0. Entonces, la ecuación de Euler
0

d
es: 0 = (t  2 x ) , de donde se sigue que ha de ser constante la expresión t  2x .
dt
Esta ecuación se resuelve fácilmente dando como solución general x (t) = -t2/4 +
kt/2 + h. La condición inicial da por resultado que 0 = h. Así, sólo quedan como
posibles soluciones las funciones de la forma x (t) = -t2/4 + kt/2. Veamos lo
referente a la condición de Legendre: como Fxx (en t = 2) = 2  0, se ve que sólo
puede haber mínimos locales. Finalmente, la condición de Ŧ exige que 0 = Fx (en t
= 2) = (t  2 x ) |t = 2 = 2 + 2(-1 + k/2) = k, por lo que la única posible solución es
x*(t) = -t2/4.
1
2) Se pide optimizar  ( x 2  x 2 )dt sujeto a: x(0) = 0 x(1)  1.
0

d
La ecuación de Euler es: 0 = 2 x  (2 x )  0  x  x , de donde se sigue que las
dt
extremales del problema son dadas por x(t) = Aet + Be-t, que con la condición inicial
da 0 = A + B, por lo que las extremales se reducen a x(t) = A(et-e-t). Además, ya que
x(1) 1, ha de ser A(e-e-1) 1, de lo que se sigue que A> 0. La condición de
Legendre: Fxx = 2  0, de donde se sigue que sólo puede haber mínimos locales.
Ahora, supongamos, momentáneamente, que x(1) > 1; entonces la condición de Ŧ
implicaría que 0 = Fx |t = 1 = 2x (1) = 2 A(e- 1/e), que es imposible ya que A ha de ser
positivo como se estableció cinco líneas más arriba.
De todo esto concluimos que x(1) = 1, i. e., A = e /(e2-1), y que la única posible
e
solución es x* (t) = 2 (e t  e  t ) .
e 1
t1

3) Se pide optimizar  ( x 2  10tx)dt sujeto a: x(0) = 1 t1> 0.

0

d
La ecuación de Euler: 0 = 10t  (2 x )  10t  2 x por lo que las extremales son
dt
5
dadas por x  5t 2 / 2  h  x(t )  t 3  ht  k . Con la condición inicial se obtiene
6
5
que las extremales se reducen a x(t) = t 3  ht  1 .
6

g g
2
Recuérdese que el gradiente de una función g (t, x) := ( , )
t x
 6

La condición de Legendre: Fxx = 2  0, por lo que sólo puede haber mínimos

locales. La condición de Ŧ: 0 = ( F  xFx ) |pto. term. 0 = Fx |pto. term.. Así,se obtiene
5 2 5 3 5 2
que 2( t1  h ) = 0  0  ( x 2  10tx  2 x 2 )  10t1 ( t1  ht1  1)  ( t1  h) 2 .
2 6 2
Finalmente, de estas dos últimas condiciones se obtiene que t1 = (3/5)1/3h =
 5 3 2/3
( ) , por lo que la única posible solución es x (t) = (5/6) t3 – (5/2)(3/5)2/3t + 1,
2 5
con t1 = (3/5)1/3.

t1

4) Se pide optimizar  (3x 2  x)dt sujeto a: x (0) = 0 x (t1) = 5.

0

d
La ecuación de Euler: 0 = 1 - (6 x ) = 1 - 6x , por lo que las extremales son dadas
dt
1 t2
por x  t  h  x(t )   ht  k . Ahora, con la condición inicial sale que k = 0.
6 12
La condición de Legendre: Fxx  6  0 , por lo que sólo puede haber mínimo local.
2
t1
La condición terminal: 5 = x (t1) =  ht1 .
12
La condición de Ŧ: 0 = ( F  xFx ) |pto. term.= ( x  3x 2 ) |.= 5 – 3 (t1/6 + h)2.
De estas dosúltimas condiciones se obtiene que t1 = 60 h = 0, por lo que la única
posible solución es x (t) = t2/12.

5) Encontrar, si existe, la senda más corta desde el punto (0, 1) hasta la recta de
ecuación: x = 3t. El problema puede ponerse en la forma típica del cáculo de
t1

variaciones: min  1  x 2 dt sujeto a: x (0) = 1 x (t1) – 3t1 = 0.

0

d x x
La ecuación de Euler: 0 = ( ) , de donde resulta: constante, por lo
dt 1  x 2
1  x 2
que queda x = h, es decir, x = h t + k, y con la condición inicial se obtiene k = 1.
1
La condición de Legendre: Fxx  > 0, por lo que sólo puede haber
(1  x 2 )3 / 2
mínimos locales. De la condición terminal se obtiene h t1 + 1 = 3 t1. (i)La
condición de Ŧ : v (pto. term.) // grad (pto. term.), donde  (t , x) := - 3 t + x.
F  xFx 1
Esto es: - 3 = ( ) |pto. term. , i. e., h = x (t1 )  
Fx 3
(ii)lo que con (i) da quet1 = 3/10. Entonces, la única posible solución es la función x
(t) = 1 – t /3 con t1 = 3/10.

Condiciones suficientes para óptimos del PCV

Han de considerarse algunas variantes del problema típico del Cálculo de Variaciones.
La diferencia entre ellas consiste en la condición final solamente. Así, los problemas
que han de ocuparnos ahora son:
 7

t1

PCV1:max  F ( x, x , t )dt sujeto a: x (t0) = ax (t1) = b ;

t0
t1

PCV2:max  F ( x, x , t )dt sujeto a: x (t0) = ax (t1) b ;

t0
t1

PCV3:max  F ( x, x , t )dt sujeto a: x (t0) = ax (t1) libre.

t0

Para todos estos problemas vale la siguiente condición suficiente.

Teorema: Si en cualquiera de los PCVi , con i  {1, 2, 3}, la función F es cóncava en (
x , x ) y x* () satisface la condición de Ŧ, la ecuación de Euler y las condiciones
extremas; entonces x*() es un máximo global.

Nota:Si en vez de maximizar se quisiera minimizar, entonces la concavidad en ( x , x )

de la función F ha de sustituirse por la convexidad en ( x , x ) para garantizar que se
tiene un mínimo global .

1
Ejemplo: Se quiere min  ( x 2  x 2 )dt sujeto a: x (0) = 1x (1) libre.
0
La función F es convexa en ( x , x ) pues su matriz hessiana correspondiente a esas
F Fxx  2 0
variables es positivo-definida, ya que  xx   , matriz todos cuyos
 Fxx Fxx  0 2
autovalores son positivos. Así, la posible solución hallada mediante la ecuación de
Euler, la condición de Ŧ y la condición inicial, a saber x*(t) = (1 + e2)-1 (et+ e2-t), es un
mínimo global.

Extensiones del Cálculo de Variaciones:

1) Funcional objetivo más general: El

t1

problema ahora es el PCV:max(  F ( x, x , t )dt + S (x (t1))) sujeto a: x (t0) = a, en

t0

donde son datos los momentos t0 y t1 así como las funciones F(, ,) y S() .

Teorema: Una función x() es un máximo local del problema PCV sólo si satisface la
d
ecuación de Euler: 0 = Fx  Fx , la condición de Legendre: Fxx  0 , la condición
dt
inicial y la nueva condición de Ŧ : 0 = ( Fx  S ( x(t )) )|pto. term..

Demostración:
 8


t1
d
Como
dt
S ( x(t ))  S ( x(t )) x (t ) , se tiene que  S ( x) xdt  S ( x(t ))  S ( x(a)) .
t0
1

t1

Entonces, la funcional objetivo es  ( F ( x, x , t )  S ( x) x )dt  S (a ) . Y como maximizar

t0

una función equivale (en términos de soluciones) a maximizar dicha función sumada
con una constante cualquiera, el problema puede formularse como el de
t1

max  ( F ( x, x, t )  S ( x) x )dt sujeto a: x (t0) = a.

t0

d d
Para éste, la ecuación de Euler es: 0 = Fx  S ( x) x  ( Fx  S ( x)) = Fx  Fx . La
dt dt
2 
condición de Legendre: 0  2 ( F  S ( x) x )  ( Fx  S ( x))  Fxx .
x x

La condicición de Ŧ : 0  ( F ( x, x, t )  S ( x) x ) |pto. term.= ( Fx  S (x) )|pto. term..
x

Teorema: Si F es cóncava en ( x , x ) y S() es cóncava, entonces cualquier función x ()
que satisfaga la ecuación de Euler, la condición de Legendre, la condición de Ŧ y las
condiciones extremas es un máximo global.

Nota: Si se quisiera minimizar, en vez de concavidad en ( x , x ) para la función F, habría

de exigirse convexidad en ( x , x ); además, para la función S() también habría que
exigirse convexidad en lugar de concavidad.
1
Ejemplo: Se pide min (  ( x 2  x 2 )dt  x(1)2 ) sujeto a: x (0) = 1.
0
La ecuación de Euler: x  x = 0, de donde x (t) = A et+ Be-t.De la condición inicial sale
que 1 = A + B, por lo que x(t) = Aet + (1 - A) e-t.
La condición de Legendre: Fxx  2  0 , por lo que sólo puede haber mínimos locales.
La condición de Ŧ : 0 = (2 x  2 x) |pto. term. = 2 ( x (1)  x(1) ) = 2 Ae, de donde A = 0 B =
1. Entonces, la única posible solución es x (t) = e-t.Como la función S(s) = x2 es convexa
y la F es ( x , x )-convexa, se satisfacen las condiciones suficientes para que la función x
(t) = e-tsea un mínimo global.

2) Espacio de estados multidimensional:

Ahora la variable x es vectorial de dimensión n, i. e., que xn.
t1

El problema:max  F ( x1 (t ),..., xn (t ), x1 (t ),..., xn (t ), t )dt sujeto a: x (t0) = ax1(t1) =

t0

b1 … xk (t1) = bk con xk+1(t1), …, xn(t1) libres.

d
Se tienen n ecuaciones de Euler: 0  Fxi  Fx i i  n .Hay también n – k condiciones
dt
de Ŧ : 0  Fx i ( pto.term.)i  k .La condición de Legendre consiste en que sea negativo-
semidefinida la matriz hessiana Fxx en ( x , x ). La condición suficiente es que F sea ( x , x
)-cóncava para todo momento t.
 9

1
Ejemplo: Se pide min  ( x1  x22  2 x1 )dt sujeto a: x (0) = (1, 0) x (1) = (3/2, 1).
2

Las ecuaciones de Euler: 0 = 2 - 2 x1  0 = 0 - 2 x2 , de donde: x1(t) = t2/2 + At + Bx2(t)

= Ct + D.
De las condiciones extremas se sigue: A = 0 B = 1 C = 1 D = 0. Así, la única
candidata a mínimo local es la función vectorial (x1(t), x2(t)) = (t2/2 + 1, t).
2 0
La condición de Legendre: Fxx =   es positivo-definida, por lo cual sólo puede
0 2
haber mínimos locales.
Para ver si se cumplen las condiciones suficientes hay que examinar la convexidad de F
0 0 0 0 
0 0 0 0 
en ( x , x ): H xx    que es positivo-semidefinida, y por ende, sí se cumple
0 0 2 0 
 
0 0 0 2 
la suficiencia pudiendo afirmarse que la función antes hallada sí es un mínimo global.

3) Derivadas de orden superior en la funcional objetivo:

t1

Ahora el problema es: max  F ( x, x , x,..., x ( n ) , t )dt sujeto a:

t0

x(t0 )  a  x (t0 )  a  ...  x ( n 1) (t0 )  a n 1  x(t1 )  b  x (t1 )  b1  ...  x ( n 1) (t1 )  b n 1
1

d d2 dn
La ecuación de Euler-Poisson es: 0 = Fx  Fx  2 Fx  ...  (1) n n Fx( n ) .
dt dt dt

1
Ejemplo: Se quiere min  x2 dt sujeto a: x(0) = 0 = x(1) x (0)  a  x (1)  b .
0

d d2 d2
La ecuación de Euler-Poisson es: 0 = Fx  Fx  2 Fx = 0 – 0 + 2 (2 x) = 2 x(4).
dt dt dt
De esto se sigue que x(t) = ht3/6 + kt2/2 + lt + m.
Las condiciones extremas dan: m = 0 l = ah = 6 (a + b) k = -2 (b + 2a), luego x(t) =
(a + b) t3 – (b + 2a) t2 + at es la única posible solución. Además se verifica fácilmente
que se cumplen las condiciones de Legendre y la de concavidad.

Interpretación económica:

Se considera un modelo de gestión de reservas. En un momento dado, t0 , la empresa

posee una cantidad dada, x0 , de reservas de cierto producto. Por almacenamiento se
pagan S/. c diariamente por unidad del producto.
En cada momentot de un lapso dado, [t0, t1], la tasa de venta es deq(t) unidades diarias
del producto. Esto genera un beneficio de S/. (q (t)) por día, siendo () una función
dada. Se quiere hallar la manera de ir vendiendo a fin de maximizar las ganancias en el
horizonte temporal dado. Esto es:
 10

t1

max  ( (q(t ))  cx(t )) dt sujeto a: x  q  x(t0 )  x0  x(t1 )  0 .

t0
t1

Esto equivale a hallar una x* ()que maximice  ( ( x (t ))  cx(t ))dt sujeto a:

t0

x(t 0 )  x0  x(t1 )  0 .
Se asume que () es estrictamente cóncava y que después del momento t1 el producto
es nulo.
d d d
Entonces, la ecuación de Euler es: 0 = Fx  Fx = -c +  (q ) , i. e. ,c =  (q ) =
dt dt dt
d
(  q)(t ). Como c es constante, se sigue que ct + h = (q(t)). Puesto que ()< 0,
dt
()-1, por lo cual ()-1(ct + h) = q(t) = - x (t ) , de donde x (t) = k +
t1 t

  () (ct  h)dt  x0  x(t0 )  k  0 , de donde k = x0x(t) = x0-  () (ct  h)dt .
1 1

t0 t0

1 1
Si,por ejemplo,(q) = q , entonces (q) =  () 1 ( z )  , luego
2 q 4z 2
t0
1  1 
t t
1
t () (ct  h)dt  t 4(ct  h)2 dt  4c  ct  h  con lo que
1

0 0 t
1 1 1 1 1 1
x(t )  x0  (  )  0  x(t1 )  x0  (  ) de donde sale el
4c ct  h ct0  h 4c ct1  h ct0  h
valor de h . Como Fxx  ( x ) < 0, puede haber máximo local.F es ( x , x )-cóncava, así
que sí hay máximo global.

El modelo de crecimiento de Ramsey

Siendo k el capital per cápita; c, el consumo per cápita; u(), la función de utilidad del
consumo, y [0, T] el horizonte temporal, se quiere hallar la senda temporal del capital
per cápita que maximice la utilidad acumulada durante el lapso de 0 aT, sujetándose a la
ley dinámica :f (k) = c + k + k, siendo los valores inicial y final de k: k0 y kT .
Se asume que las funciones u() y f () son estrictamente cóncavas y crecientes.
El problema puede ponerse en el marco del Cálculo de Variaciones expresando c en
T
términos de k y k como sigue: max  u( f (k )  k  k)dt sujeto a: k(0) = k0 y k(0) = kT .
0

d d d
La ecuación de Euler: 0 = Fk  Fk  u(c)( f (k )   )  u(c) , y como u (c) =
dt dt dt
 u(c)
u() c , se obtiene: c  ( f (k )   ) .Esta ecuación y la que se obtiene de la ley
u(c)
dinámica: k  f (k )  k  c , forman un sistema de dos ecuaciones diferenciales no
lineales.
Se obtiene un equilibrio, (k*, c*), del sistema imponiendo las condiciones de nulidad de
las velocidades de cambio k y c . Así, k* = (f)-1() y c* = f (k*) - k*.
Puede comprobarse que, debido a las asunciones hechas, este equilibrio es uno del tipo
de ensilladura. En efecto, la matriz jacobiana del sistema evaluada en el equilibrio es:
 11

 f (k *)    1
J* =  u(c*)   . Ya que su traza es J*11 = 0 y su determinanteJ*21< 0 , se
  f (k *) 0 
 u (c*) 
deduce que los autovalores de J* son de signos opuestos, por lo que el equilibrio
correspondiente ha de ser una ensilladura.

Caso de horizonte temporal infinito


Considérese el problema de max  F ( x, x, t )dt sujeto a la condición inicial x(0) = a y tal
0

vez a una condición final asintótica: b = limtx(t).

Como el integrando es una función dada, podría ser que la integral impropia no fuese
convergente. Por tal motivo, en muchas aplicaciones se agrega la condición de que
F ( x, x, t )  G ( x, x, t ) e-t, siendo G una función acotada y  un positivo dado, i. e., que
M tal que ( x, x, t ), M  G( x, x, t ) . En tal caso, la integral impropia sí que converge,
  
pues  G ( x, x, t )e  t dt   G ( x, x , t ) e  t dt  M  e  t dt 

.
M

e 
 t 0
 
M
0 0 0

Para este problema siguen vigentes la ecuación de Euler y la condición de Legendre,

pero ahora la condición de Ŧ toma una forma algo diferente. Así, caso de haber una
condición terminal asintótica b = limtx(t), la condición de Ŧ es ( F  xFx )|t =  = 0; y
para el caso en que no hay condición terminal, Ŧ es: ( F  xFx )|t =  = 0 = Fx |t =  .

Ejemplo
En el modelo de crecimiento de Ramsey con horizonte temporal infinito:

max  u (c)e t dt sujeto a: f (k) = c + k + kk(0) = k0k() = k , la condición de Ŧ es:
0

0 = limt( F  kFk ) = limte-t(u(c(t)) + k (t) u(c(t))).

Si no se exigiera que k ()  k , se tendría, además, la condición: 0 = limt( Fk ) =
limte-t(u(c(t)) (-1).

2.Control Óptimo

Formulación de Bolza
t1

PCOB:max(  F ( x, u , t )dt  S ( x(t1 )) ) sujeto a: x  f ( x, u, t )  x(t0 )  a  u(t )  t t .

t0

En la función objetivo se halla una evaluación de la dinámica mediante la integral y

también hay otra evaluación del estado terminal, mediante la función S.
Los datos del problema son: los momentos inicial y final, t0 y t1; las funciones F, S y f;
el estado iniciala y la colección de conjuntos de valores admisibles para la variable de
control, {t : t[t0 , t1]}. A la variable x, fácilmente reconocible por ser aquella cuya
derivada temporal aparece en la ley dinámica x  f ( x, u, t ) , se la llama variable de
 12

estado, así como a la u se la llama variable de control. Si no se especifica cuál es la

familia de los t , entenderemos que todos ellos son , es decir, que cualquier valor
numérico es admisible para la variable de control en cualquier momento.

Es de notarse que en este problema hay una jerarquización natural entre las variables de
estado y de control, siendo la principal esta última, pues para cada forma específica que
ella asuma, en condiciones bastante generales, hay sólo una forma funcional para la
variable de estado correspondiente, ya que, entonces, la ley dinámica se habría
convertido en una ecuación diferencial en la variable de control. Teniendo en cuenta que
los términos “causa” y “efecto” son de muy discutible precisión, parece preferible
interpretar a las variables de control y de estado como “estímulo” y “respuesta”,
respectivamente.

Formulación de Mayer
PCOM :maxS(x (t1)) sujeto a x  f ( x, u, t )  x(t0 )  a  u(t )  t t .
Resulta evidente que es esta formulación un caso particular de la de Bolza y que
corresponde al caso en que en ésta se da la función nula en el papel de la F.
Que la de Bolza sea representable como la de Mayer es algo que se muestra a
continuación.
Defínanse las variables x1 y x2 así: x1 := x x2 := F(x1,u, t) con x2(t0) = 0. Entonces, el
t1

problema puede formularse como: max  x2 (t ) dt  max x 2 (t ) tt10 = maxx2 (t1) sujeto a:
t0

x1  f ( x1 , u , t )
, donde S(x1,x2) := x2.
x2  F ( x1 , u , t )

Formulación de Lagrange
t1

PCOL :max  F ( x, u , t )dt sujeto a: x  f ( x, u, t )  x(t0 )  a  u(t )  t t .

t0

Resulta evidente que es esta formulación un caso particular de la de Bolza

correspondiente al caso en que es nula la función S.
Que la de Bolza sea representable como la de Lagrange es algo que se muestra a
continuación.
t1 1 t
d
Ya que S(x(t1)) - S(x(t0)) =  S ( x(t )) dt   S ( x) xdt , se obtiene como funcional
t0
dt t0
t1

objetivo:  ( F ( x, f ( x, u, t ), t )dt  S ( x) f ( x, u, t )) dt , puesto que maximizar una función

t0

cualquiera equivale, en términos de soluciones, a maximizar dicha función sumada de

una constante cualquiera.
Por lo tanto, las tres formulaciones son equivalentes entre sí.

Condiciones necesarias para que una u*(), con su respuesta x*(), den un máximo local
del problema PCOL
1) Ha de haber una función *(), llamada covariable de estado, tal quet, sea
 * (t )   H x ( x*, u*, t )   * (t1 )  0  x * (t )  f ( x*, u*, t )  x * (t0 )  a , en donde
la función H, llamada hamiltoniana¸se define como H (x, u, ,t) := F(x, u, t) +
 13

f(x, u, t).Las ecuaciones diferenciales x  f ( x, u, t ) y  * (t )   H x ( x*, u*, t ) se

conocen como las ecuaciones canónicas.
2) t  [t0 , t1], u*(t) ha de ser un máximo global de H(x*(t), , *(t), t). Ésta
condición se conoce como principio del máximo de Pontriaguin.

1
Ejemplo: max  ( x  u )dt sujeto a: x  1  u 2  x(0)  1 .
0

Entonces la hamiltoniana es: x + u + ()(1 – u2) y las ecuaciones canónicas son:

x  1  u 2     H x  1 . De esta última, con (1) = 0, se obtiene *(t) = 1 – t.
Como la función H es cóncava en u, el principio del máximo implica que
 1
0= H  1  2u , por lo que u*(t) = .
u 2(1  t )
1
Entonces, la ley dinámica es: x  1  con x(0) = 1, de donde sale:
4(1  t ) 2
1 1
x * (t )  t   dt  t   k , que con x (0) = 1, da k = 5/4.
4(1  t ) 2
4(1  t )
1 5
Así, x *(t) = t   . Si hay solución, ella estaría dada por u*() y x*() .
4(1  t ) 4

Condición general de transversalidad Ŧ

Definiendo el vector de ortogonalidad, v:= (H, -), se tiene como condición necesaria
para óptimo local el que dicho vector evaluado en el punto terminal sea perpendicular u
ortogonal a toda dirección admisible3 en dicho punto terminal.
Para el problema planteado como PCOL , no hay sino una dirección admisible, a saber,
la vertical; luego, el v evaluado en el punto terminal debe ser horizontal, esto es, que su
segundo componente se anule: 0 =  (t1).

Ejemplos
5
1) max  (ux  u 2  x 2 )dt sujeto a: x  x  u  x(1)  2 .
1

Entonces, H = ux – u2 –x2 + ()(x + u)     H x  u  2 x     (5)  0 .

Como H es u-cóncava, del principio del máximo se sigue: 0 = Hu = x – 2u -.
Por lo tanto, u = (½)(x + ). Si esta expresión se lleva a las ecuaciones canónicas
resulta: x  3x/2 + /2    3x/2 - 3/2 con x(1) = 2 (5) = 0. De la primera de
las dos ecuaciones diferenciales se obtiene = 2 x  3x. (i) De

esto se sigue que  = 2x  3x . Reemplazando en la segunda sale: x  3x  0 , por
lo que x(t) = Ae3 t + Be-3 t que con la condición inicial da: 2 = Ae3 + B e-3.
Ahora, llevando la expresión de x(t) a la (i), sale:  = 2 x  3x = 2A3e3 t –
2B3e-3 t – 3A e3 t – 3Be-3 t y con la condición 0 = (5) salen los valores de las

3
La definición de dirección admisible es la misma que la que se usó en Cálculo de Variaciones.
 14

constantes A y B. Finalmente, la única candidata a ser control óptimo es: u (t) =

½ (x(t) + (t)) = A (3 - 1) e3 t – B (3 + 1) e-3 t.
1
2) Se pide min  xdt sujeto a: x  u  x(0)  1  u(t )  t : [-1, 1].
0

Entonces, H = -x + u    H x  1 con  (1) = 0. Resulta: *(t) = t – 1. El

principio del máximo exige maximizar (- x(t) + *(t) u) sujeto a: u[-1, 1] y,
como ya se tiene que *(t) = t – 1 0, se sigue que u*(t) = -1, t de [0, 1].
Finalmente, de la primera ecuación canónica con su condición inicial se sigue
que x*(t) = 1 – t ,t de [0, 1].
1
3) Se quiere min (  u 2 dt  x(1) 2 ) sujeto a: x  x  u  x(o)  1 .
0
Se reconoce la función S (x) = x2, por lo que
d
S ( x(t ))  S ( x(t )) x (t )  2 x(t )( x(t )  u (t )) . Así, como
dt
1
d
0 dt S ( x(t ))dt  S ( x(1))  S ( x(0))  x(1)  1 , se sigue que el problema equivale,
2

1
en lo que toca a soluciones, al de min  (u 2  2 x( x  u )) dt sujeto a las mismas
0

condiciones del original. Entonces, H = u2 + 2x2 + 2xu + ()(x+u). Las

ecuaciones canónicas: x  x  u     H x  4 x  2u   .Como H es u-
convexa, el principio del máximo (en verdaddelmínimo) implica que 0 = Hu =
2u + 2x +, de donde, u = -x -/2, lo que llevado a las ecuaciones canónicas da
1
el sistema dinámico en x y : x       2 x . (&) De
2
aquí, por eliminación, sale: x  x  0 , que, con la condición inicial da:
x(t )  Aet  Be t  1  A  B . Llevando esto a la primera ecuación de (&)sale:
 (t )  2 Aet  2Be t  0   (1)  2 Ae  2Be 1 .Entonces, A = (e2 + 1)-1 B =
e 2  t  et
e /(e + 1), de lo que se sigue x * (t )  (e  1) (e  e)   * (t )  2 2
2 2 2 1 t
.
e 1
Finalmente, resulta que la única candidata a control óptimo es la función u*(t) =
 2e 2 t
e .
e2  1
2
4) Se pide max  (2 x  3u  u 2 )dt sujeto a: x  x  u  x(0)  5  t, t  [0, 2].
0

Entonces, H = 2 x  3u  u 2  ( )( x  u )     H x  2     (2)  0 . De estas

dos últimas sale:  * (t )  2(e2 t  1) .Como H es u-cóncava, parecería oportuno
intentar la aplicación del principio de Pontriaguin mediante 0 = Hu, lo que daría
como único máximo global de H, vista sólo como función de la variable de
control, queu = (½) ((t) - 3). Sin embargo, la dificultad radica en que algunos
de tales valores deu podrían no caer en el intervalo [0, 2]. En efecto, 0 (½) ( -
3)  2 ssi 0  ( - 3)  4 ssi 3  7 ssi 2e2/9 et 2e2/5. Esto equivale a: ½1
:= 2 – ln 4.5 t 2 –ln 2.5 =: 2 1.05. Entonces, sólo para t [1 ,2] puede
 15

usarse la igualdad 0 = Hu como expresión del principio de Pontriaguin. Fuera de

ese intervalo el valor de u*(t) tiene que ser 0 ó 2. Esto se ilustra en la siguiente

gráfica. Para t [0, 1], de la

gráfica de ((t) - 3) u – u (que en esencia es la H vista como función sólo de u),
2

se sigue que u*(t) = 2. Para t [2 , 2], de la gráfica de ((t) - 3) u – u2,se sigue
 2, t  [0, 1 ]
1
que u*(t) = 0. En suma, u*(t) =  ( * (t )  3), si t  [ 1 , 2 ] .Si se quisiera
2 t  [ 2 ,2]
 0,
calcular la respuesta, x*(), a esta función de control, habría que proceder en tres
etapas. 1º) para t  [0, 1 ] , de x  x  2  x(0)  5 , se sigue que x*(t) = 7et – 2;
2º) para t  [ 1 , 2 ] , de x  x  ( (t )  3) / 2  e2 t  5 / 2  x(1 )  7e 1  2 , se
sigue: x*(t) = Bet– (e2-t )/2 + 5/2, en donde B sale de la condición “inicial” en 1;
e2 5
3º), para t  [ 2 ,2] , de x  x  0  x( 2 )  Be 2  e 2  , se sigue quex*(t) =
2 2
Cet en dondeC sale de la condición “inicial” en 2.
Todo esto porque en general se quiere que la respuesta sea una función continua.

Interpretación económica
t1

Para el PCOL de max  F ( x, u , t )dt sujeto a: x  f ( x, u, t )  x(t0 )  a  u(t )  t t ,se

t0

define la “función valor”, V*, como aquella que a cada estado y momento inicial
posibles, (z, t´), asigna el valor máximo que puede alcanzarse con el subproblema que se
inicia en t´ desde el estado z, esto es,
V*: ×[t0 , t1] ,
t1

(z, t´) max  F ( x, u, )dt sujeto a x  f ( x, u, )  x(t )  z .

t
 16

Así, V* (a, t0) dará el máximo valor alcanzable en el problema original. Sea (t) :=

V * ( z , t ) , i.e., la sensibilidad de la función valor respecto a cambios en t del estado
z
“inicial”; es lo que suele llamarseprecio sombra del capital.
Sea que x (t) represente el acopio de capital de la empresa, siendo el inicial a en el
momento t0. Que sea u(t) la tasa de producción decidida y que sea F (x(t), u(t), t) la tasa
de beneficio instantánea medida en soles por día. El cambio temporal en el acopio del
capital, x , depende del nivel de éste, x (t), de la decisión de la empresa, u(t), y del
momento actual, t : x (t )  f ( x(t ), u (t ), t ) .
A partir de un momento t del horizonte temporal en el que el nivel del capital es x(t) y la
decisión empresarial es u(t), considérese un breve lapso dt. Entonces, Hdt = Fdt + fdt =
F dt +  x dt = Fdt + dx. Aquí, F dt es la contribución directa en soles a la función
objetivo desde t hasta t + dt, si el estado en t era x(t) y la decisión fue u (t). Por otra
parte, dx es el valor en soles del incremento en el nivel de acopio de capital; es la
contribución indirecta a la función de valor. Luego, H dt es la contribución total a la
función de valor durante el lapso dt. Así, se ve que lo que ha de maximizarse en cada
momento t es H, y no sólo F, lo cual muestra cuán razonable resulta ser el principio del
máximo.
La condición    H x da: -d = Fxdt +  (fxdt), que dice que en la senda óptima ha de
igualarse la caída del precio sombra del capital y el ingreso marginal de invertir ese
capital, que es la suma de las contribuciones marginales directa e indirecta.

Condiciones suficientes de optimalidad

Para el problema PCOL se tiene el siguiente teorema debido a Mangasarian.

Teorema (de Mangasarian): Si F y f son funciones (x, u)-cóncavas y, caso que f(x, u, t)
no sea lineal en (x, u), la covariable de estado, *(), que sale junto a u*() y x*() de las
ecuaciones canónicas y del principio del máximo, es innegativa; entonces u*() es el
control óptimo.

Notas:
1)La premisa de este teorema puede formularse así:
(F y f son funciones (x, u)-cóncavas t)  (f(x, u, t) no es lineal en (x, u) *(t)  0).
También puede adoptar la forma:
(F y f son funciones (x, u)-cóncavas)  (f(x, u, t) es lineal en (x, u) *(t)  0).

2) Si se tratara de minimizar la funcional objetivo, entonces la (x,u)-concavidad de F y f

habría de reemplazarse por la correspondiente (x,u)-convexidad.

1
Ejemplo: En max  ( x  u )dt sujeto a: x  1  u 2  x(0)  1 , se ve que F y f son (x, u)-cóncavas y como f(x,
0

u, t) no es (x, u)-lineal, debe tenerse que *() sea innegativa para que se cumplan las
condiciones suficientes de Mangasarian. Como H = x + u + ()(1 – u2), la segunda
ecuación canónica es    H x  1 con (1) = 0 y, por la condición de Ŧ: *(1) = 0, se
 17

sigue que *(t) = 1 – t, que en [0, 1] es  0. Luego, el control óptimo es la u* (t) =

1 1
 , que sale del principio del máximo: 0 = Hu.
2 * (t ) 2(1  t )

5
Ejemplo: En max  (ux  u 2  x 2 )dt sujeto a: x  x  u  x(1)  2 , se ve que
1

0 0 
f ( x, u , t )  x  u es (x, u)-cóncava, pues es lineal, por lo que su hessiana   es
0 0 
negativo-semidefinida.
 2 1 
La función F ( x, u , t ) tiene hessiana en (x, u):   , que es negativo-semidefinida,
 1  2
pues sus menores principales valen -2 y 3. Como f ( x, u , t ) es ( x, u ) -lineal, no hay nada
que exigir a la función *(). Luego, se cumplen las condiciones suficientes de
Mangasarian, por lo que el control u*() que salga con x*() y *() será óptimo (Ver el
ejem. 1 de la pag. 14).
1
Ejemplo: En el problema de min(  u 2 dt  x(1) 2 ) sujeto a: x  x  u  x(0)  1 ,ya se sabe
0
que puede adoptarse la formulación de Lagrange, puesto que por serS(x) = x2, se tiene
1
d d
que S ( x(t ))  S ( x(t )) x (t )  2 x(t )( x(t )  u (t )) .Además, ya que  S ( x(t ))dt = S(x(1))
dt 0
dt
– S(x(0)) = x(1) – 1, y que la constante 1 en la funcional objetivo, como sumando ó
2

sustraendo no afecta a los óptimos del problema; resulta equivalente pedir: max
1

 (u  2 x( x  u )) dt sujeto a: x  x  u  x(0)  1 . Ahora resulta que F es (x, u)-

2

 4 2
convexa, pues su hessiana   tiene menores principales 4 y 4; además, f , por ser
 2 2
lineal en (x, u), es convexa. Igual que antes, la condición: “si f no es lineal en (x, u),
entonces *() 0” se cumple trivialmente ya que f sí es lineal. Valen, pues, las
 2e 2 t
condiciones suficientes de Mangasarian, por lo que la función u*(t) = 2 e , del
e 1
ejemplo 3 de la página 14, es óptimo.

Hay otra condición suficiente para máximo global en el PCOL debida aArrow.

Teorema (de Arrow): Para el problema de PCOL defínase la función hamiltoniana

derivada, H0, mediante:H0 : ××[t0, t1] ,
(x, , t) max H ( x, u,  , t ) para ut .
Entonces, si H ( x, *, t ) es x- cóncava, se sigue que la u*() que sale de las ecuaciones
0

canónicas y del principio del máximo es el control óptimo.

Nota: En un problema de minimización, ha de reemplazarse la x- concavidad de

H0(x, , t) por la x- convexidad para tener una condición suficiente.
 18

1
Ejemplo: Se pide max  ( x  u )dt sujeto a: x  1  u 2  x(0)  1 .
0

1
Resulta que H0(x, ,t) = x +  + , que es x- cóncava (pues es x- lineal), por lo que se
4
1
cumplen las condiciones suficientes de Arrow, y así, el controlu* (t) = ya
2(1  t )
hallado en la página 18, es óptimo.

Extensiones del control Óptimo

Pueden darse diversos tipos de condiciones terminales como las siguientes.

a) Momento y estado finales dados: t1 y b = x(t1) son datos. La única modificación

con respecto al caso ya considerado consiste en que no hay que usar la condición
de Ŧ sino que ahora entra en cambio la condición terminal: b = x(t1). Esto vale
también para la minimización. Ejemplo: Se pide
1
max   u 2 dt sujeto a: x  x  u  x(0)  1  x(1)  0. Entonces, la hamiltoniana
0

es H =  u 2  ( )( x  u ) y la segunda ecuación canónica es:    H x   , de

donde  (t )  Aet . El principio del máximo: 0 = Hu , pues H es u- cóncava y t
A
= , t. Luego, 0 = -2 u + , de donde u = e  t . La primera ecuación canónica
2
A t A
es ahora: x  x  e , cuya solución general es: x(t )  Be t  e  t . Las
2 4
A
condiciones extremas dan: 1 = x (0) = B – A/4  0 = x(1) = Be - . De aquí se
4e
4e2 1
deduce que A = B .
1 e 2
1  e2
et  e 2  t 4e2 t 2e2 t
Luego, x*(t) =   * (t )   u * (t )  . Se ve fácilmente que
1  e2 1  e2 1  e2
se cumplen las condiciones de suficiencia de Mangasarian, por lo que u*() es el
control óptimo (¡a pesar de que *(t) < 0, t !).

b) Momento final dado y estado final inferiormente acotado: x (t1) b.

Lo mismo que en el caso (a), la antigua condición de Ŧ se sustituye por esta
nueva: 0 =  (t1 )( x(t1 )  b) .
1
Ejemplo: Se pide max   u 2 dt sujeto a: x  x  u  x(0)  1  x(1)  3.
0

Igual que líneas arriba, se obtiene  (t )  Aet  u(t )   (t ) / 2  Aet / 2 

A
x(t )  Be t  e  t . La condición de Ŧ : 0 = (1) (x(1) - 3) = (A/e) (Be – A/4e -3).
4
Si A = 0, entonces de la condición inicial para x se sigue que B = 1, con lo que
Be – 3 < 0 que contradiría la restricción x(1)  3 . Por lo tanto, Atiene que ser
 19

diferente de 0, por lo que Be – A /4e = 3, que con 1 = B – A/4, da A = 4e (3 -

e)/(e2 - 1) B = (3e - 1)/(e2 - 1).

c) Momento y estado finales libres.

En este caso la condición de Ŧ es: *(t1) = 0 = H(x*(t1), u*(t1), *(t1), t1).
t1

Ejemplo: Se quiere max  (u  tx  u 2 )dt sujeto a: x  2u  1  x(0)  0 .

0

Entonces, la hamiltoniana es H = -u2+ u – tx+ () (2u + 1) y la segunda ecuación

canónica:   t , da  (t )  t 2 / 2  h . De la primera parte de la condición de Ŧ se
tiene que 0 = t12/2 + h, de donde h = -t12/2. Entonces,  (t )  t 2 / 2  t12 / 2 .Como
H es u-cóncava, el principio del máximo lleva a 0 = Hu = -2u + 1 + 2, de
donde, u(t) = (t) + ½ = t2/2 – t12/2 + ½. La primera ecuación
canónica es: x  t  t1  2 , de donde x(t) = t /3 + (2 – t12) t pues 0 = x (0).
2 2 3

Además, la segunda parte de la condición de Ŧ es: 0 = H ( x(t1 ), u(t1 ),  (t1 ), t1 ) , de

donde, como x(t1 )  t13 / 3  (2  t12 )t1   (t1 )  0  u (t1 )  1 / 2 , se obtiene que
0 = (2/3) t1 4 - 2 t1 2 + ¼.Esto da dos posibles valores para el momento final, a
saber, t1  0.36 ó t1 1.69. Así, quedan dos posibles controles óptimos: u*(t) =
0.43 + t2/2 y u*(t) = -0.93 + t2/2. En el primer caso se trata de una función u*
definida en el intervalo [0, 0.36], y, en el segundo caso, de una función definida
en [0, 1.69].

d) Momento final libre y estado final dado: x (t1) = b.

En este caso la condición de Ŧ es: 0 = H ( x(t1 ), u(t1 ),  (t1 ), t1 ) , estando el valor de
t1 por determinarse.
t1

Ejemplo: Se pide min  (t 2  u 2 )dt sujeto a x  u  x(0)  4  x(t1 )  5 , con t1

0
por determinarse.
La hamiltoniana es: H  t 2  u 2  ( )(u) .La segunda ecuación canónica es:
   H x  0 , de donde (t) = A. Como H es estrictamente convexa en u, el
principio del máximo implica que 0 = Hu = 2u + , de donde u(t) = -A/2. De la
primera ecuación canónica x  u = -A/2 con su condición inicial se obtiene que x
(t) = -At/2 + 4. La condición de Ŧ: 0 = H ( x(t1 ), u(t1 ),  (t1 ), t1 ) = t12 + (-A/2)2 + (A)
(-A/2), luego, t12= A2/4. La condición terminal es: 5 = x (t1) = -At1/2 + 4. De estas
dos últimas ecuaciones salen t1 = 1 A = -2. Por lo tanto, la única candidata que
queda a ser control óptimo es u*(t) = 1 en el intervalo [0, 1].

Hamiltoniana de “valor presente”ó de “valor corriente”

T
Para el problema de max  G( x, u, t )e t dt sujeto a: x  f ( x, u, t )  x(0)  a , se
0
- t
tiene que H = Ge + f. Defínase la variable :=e t. Entonces resulta ser H =
 20

G e- t + e-tf = e- t(G + f) =: e- t , donde se define := G + f. Esta función
se llama hamiltoniana de valor corriente.

Las ecuaciones canónicas pueden expresarse en términos de esta nueva

hamiltoniana como sigue. La primera: x  f  H    ; y la segunda,  = -x +
, pues e- t (  - ) =  e- t - e- t =  = -Hx = - e- tx.

Principio del máximo: t, u*(t) ha de ser máximo global de H (x*(t), , *(t), t).
Pero H (x*(t), u, *(t), t) H (x*(t), u, *(t), t) ssi (x*(t), u, *(t), t) 
(x*(t), u, *(t), t), de donde se sigue que el principio del máximo en términos de
la hamiltoniana de valor corriente es así: t, u*(t) ha de ser máximo global de 
(x*(t), , *(t), t).

En suma, las condiciones necesarias para ser control óptimo, en términos de la

hamiltoniana de valor corriente son: x    = -x +  el principio del
máximo como se lo enuncia en el párrafo anterior.
2
Ejemplo: Se quiere min  e t (u 2  ( x  1) 2 )dt , con  positivo, sujeto a:
0
x  2 x  3u  x(0)  5 .
Entonces, = u2+ (x - 1)2 + () (2x – 3u).La segunda ecuación canónica es:  =
-x +  = - (2 (x - 1) + 2 ) + . El principio del máximo, dada la convexidad
estricta de  respecto a u es: 0 = u = 2u - 3, de donde, u = 3/2.
Entonces, reemplazando u por 3/2 en la primera canónica se obtiene un sistema
9
x  2 x  
dinámico lineal en xy : 2
  (2   )  2 x  2
Si de la primera se despeja  y luego se la deriva respecto a t para reemplazar en
la segunda, se obtiene una ecuación diferencial de segundo orden en x cuya
solución permitirá luego hallar  y u. Esta última será el control óptimo pues se
cumplen las condiciones de suficiencia de Mangasarian.

Caso de horizonte temporal infinito


Se considera el problema con una integral  e  t F ( x, u, t )dt . La condición
t0

terminal puede variar, y para cada una de diversas posibilidades se da la

condición de Ŧ.
a) Si se impone la condición b = limt x(t), entonces la condición de Ŧ es:
0 = limt [H]t.
b) Si el estado final es libre, entonces la condición de Ŧ es: 0 = limt [H]t
0 = limt(t).
c) Si la condición terminal es que blimt x(t), entonces la condición de Ŧ es:
0 = limt(t) (x(t) – b).

Problema de tiempo mínimo

 21

Se trata, no de hallar la senda más corta, sino la de más breve recorrido. Así, se
pretende minT sujeto a: x  f ( x, u, t )  x(0)  a  x(T )  b  u(t )  t , con T
libre.
T T
Como T = 1dt , la funcional objetivo es 1dt .
0 0

Ejemplo: Se pide minT sujeto a: x  x  u  x(0)  5  x(T )  11  t  [-1, 1].

Entonces, la hamiltoniana es H = 1 + ()(x + u) y la segunda canónica es:
   , de donde, (t) = A e-t. Como H es (x-u)-lineal, el principio del mínimo
 1,   0
permite concluir que u*(t) =  .
 1,   0
La condición de Ŧ: 0 = Hpto.term. = 1 + (T) (x(T) + u(T)) = 1 + Ae-T(11 + u (T)),
 eT
de donde sale: A = , que en cualquier caso resulta ser negativo, pues
11  u (T )
u(T)  {1, -1}. Luego, (t) < 0, t, por lo que u*(t) = 1, t.
La primera ecuación canónica es, entonces, x  x  1, lo que, con las
condiciones extremas para x da x*(t) = Bet – 1 con 5 = B – 1. Luego, x*(t) = 6et
– 1. Ahora, como 11 = 6 eT – 1, resulta T = ln 2.
Ya que F(x, u, t) = 1, entonces F es (x, u)-convexa; similarmente, f(x, u, t), que
es igual a x + u, también es (x, u)-convexa y además (x, u)-lineal; por lo tanto, se
cumplen las condiciones de suficiencia de Mangasarian, y el control óptimo es
u*(t) = 1, t siendo su respuesta la x*(t) = 6 et – 1 y T = ln 2.

Control óptimo con restricciones

T
a) Restricciones de igualdad: Se quiere max  F ( x, u1 , u2 , t )dt sujeto a:
0
x  f ( x, u, t )  x(0)  a  h( x, u, t )  0 y condiciones extremas al final y al inicio
del proceso. Entonces, hay que maximizarHcomo función de u sujeto a h = 0.
Para ello hay que considerar la función lagrangianaL:=H- h.Entonces las
0 = Lu1  Fu1  f u1 - h u1
condiciones necesarias de primer orden son: 0  Lu 2  Fu 2  fu 2  hu 2 que con
x  f  h  0
las condiciones extremas llevan a la solución.
1
Ejemplo: Se quiere max  (2 x 2  2u 2  2v 2 )dt sujeto a:
0

x   x  4(u  v)  x  (u  v)  1  x ( 0)  1 .

Entonces, la lagrangiana es L = 2x2 -2u2-2v2+()(-x-4u-4v) -(x – u – v-1).

 22

0  L u  - 4u - 4       Lx  4 x    
Así, las condiciones necesarias son:
0  Lv  4v  4    x  L   x  4(u  v)
,junto con:x = (u + v) +1  x(0) = 1. Ahora bien, como u + v = x – 1, se sigue que
x   x  4( x  1) , i. e., x  5x  4 con x (0) = 1.
Entonces, x*(t) = Ae-5t + 4/5  1 = x(0) = A + 4/5, por lo que A = 1/5 con lo que x*(t)
1 4
= e  5t  . De las dos primeras se sigue que u = v, por lo cual, de u + v = x – 1
5 5
1 1
sale que u*(t) = v*(t) = - ( x * (t )  1)  (e  5t  1) . Finalmente, la covariable de
2 10
estado sale de     4 x   , con =4u + 4  (de la primera), por lo que
1 1
    4 x  4u  4 , de donde: *(t) = Be5t +  e  5t , que con la condición
25 50
de Ŧ: *(1) = 0, da el valor de B.
T
b) Restricciones integrales: Se quiere max  F ( x, u, t )dt sujeto a: x  f ( x, u, t ) 
0
T

 G( x, u, t )dt  K , constante dada, y las condiciones extremas.

0
Al precio de introducir una nueva variable de estado, este problema se reformula
t
como uno sin restricciones: y(t) :=  G( x( ), u ( ), )d , de donde y (t ) 
0
T
G ( x(t ), u (t ), t ) . Ahora, el problema es el de max  F ( x, u, t )dt sujeto a:
0
x  f ( x, u, t )
con y(0) = 0 y(T) = K.
y  G ( x, u , t )

Ejemplo: Hallar la curva desde (0, a) hasta (1, b) de longitud dada l, que maximice
1
el área encerrada por ella y por el eje de abscisas. Entonces, se trata de max  xdt
0
1
sujeto a: l = 
0
1  u 2 dt  x  u  x(0)  a  x (1)  b .

t
Pongamos y  1  u 2 , que sale de y(t) := 
0
1  u 2 dt . Ahora, el problema es el de

1
x  u x(0)  a y (0)  0
max  x(t )dt sujeto a: con  .
0
y  1  u 2
x(1)  b y (1)  l
 23

1   H x  1
2   H y  0
Entonces, la hamiltoniana es: H = x + 1u + 2(1+u2)  y el
x  u
y  1  u 2
2 u
principio del máximo exige que 0 = Hu = 1 + . De todo ello sale: 1 = A –
1  u2
Bu tA
t2 = B, por lo que 0 = A – t + que da u*(t) = . Ahora,
1 u 2
B  (t  A) 2
2

como x * (t )  u * (t ) , de las condiciones extremas salen los valores de las

t
constantes B y C, pues x*(t) =  u * ( )d  C .
0

T
x  f ( x, u , t )
c) Restricciones de desigualdad: Se quiere max  F ( x, u, t )dt sujeto a:
0
h ( x, u , t )  0
con condiciones extremas.
El principio del máximo implica que t, u*(t) ha de ser máximo global de
H(x*(t), , *(t), t) sujeto a: h(x*(t), , t)  0. Esto puede lograrse con la función
lagrangianaL := F + f - h. Entonces, las condiciones necesarias de primer
orden son las siguientes. 0 = Lu    Lx  x  f  h  0    0  0  h ,
además de la condición de Ŧ y las condiciones extremas.
1
Ejemplo: Se quiere max   u 2 dt sujeto a: x  x  u  x(0)  1  xu  2 .
0

La hamiltoniana es:H = - u2 + ()(x + u) L = -u2 + ()(x + u) - (xu -2). Las

condiciones necesarias son: = 0 = Lu = -2u +  -x x  L  x  u     Lx = - +
x(1) = 0 xu = 2  0 0 0 = (xu - 2).

3. Programación Dinámica

El problema típico de la Programación Dinámica (PD) es el siguiente. Se quiere

N 1
max(  F ( x(k ), u (k ), k )  S ( x( N )) ) sujeto a: x(k+1) = f(x(k), u(k), k) x(0) = au(k)
0

kk{0, 1, …, N-1}. Esta maximización se da entre las diversas sucesiones

finitas (u(0), …, u(N-1)).Los datos del problema son: las funciones F : 3 , S:
, f :3 y los números N, a, así como la sucesión de subconjuntos de 
: (0, …, N-1), que dan, para cada momento k, los valores admisibles de la
variable de control u(k).

Para resolver este problema suele usarse la llamada inducción regresiva, que es un
método consistente en convertir un problema de múltiples etapas en varios
problemas de una sola etapa retrocediendo en el tiempo. Para ilustrarlo se da el
siguiente ejemplo.
 24

Ejemplo: Desde una ciudad A se quiere llegar a una ciudad H, no siendo posible
hacerlo en una sola etapa. En la primera etapa se puede llegar a una de las ciudades
B, C y D. En la segunda etapa, partiendo de una cualquiera de estas ciudades, puede
llegarse a una de las ciudades E, F y G. En la tercera etapa, partiendo de una
cualquiera de éstas, puede llegarse a la ciudad H. Se pretende seguir la ruta más
corta, siendo las distancias entre ciudades las que se indican en la siguiente figura.

En la tercera etapa, las rutas más cortas desde E, F y G hasta H son,

respectivamente, EH(3), FH(6) y GH(2).

En la segunda etapa, las rutas más cortas desde B, C y D hasta H son,

respectivamente, BGH(4), CEH(7) y DGH(7).

En la primera etapa, las tres posibles rutas óptimas son ABGH(11), ACEH(15) y
ADGH(12). Luego, la ruta óptima es ABGH de longitud 11.

Propiedad de “causalidad” en la PD

Para dos etapas cualesquiera, j y k, ocurre que si j<k, entonces x(k) sólo depende de
x(j) y de los controles u(j), u(j + 1), …, u(k - 1)

Esto es claro, pues si en j el estado es x(j) y se aplica el control u(j), la ley dinámica
determina el estado x(j+1) = f (x(j), u(j), j); si en j+1 se aplica u(j+1), de nuevo, la
ley dinámica determina el estado x(j+2) = f (x(j+1), u(j+1), j+1), y así sucesivamente
hasta que x(k) resulte determinado por x(k-1) y u(k-1) según f (, , k-1).

Entonces, cada (u(k)) 0N -1 determina la sucesión de estados ocupados por el sistema

en las diversas etapas: (x(k)) 0N . Estas dos sucesiones hacen que la funcional objetivo
alcance un valor denotado por J[x(0), (u(k)) 0N -1 ]. El problema de la PD consiste en
hallar el máximo valor posible, J*(a), usando como instrumento de maximización
todas las posibles sucesiones (u(k)) 0N -1 .

Teorema de Bellman:
 25

Con el algoritmo JN(z) := S(z), …, Jk(z) := max u k ( F ( z , u, k )  J k 1 ( f ( z, u, k ))) , …,

hasta llegar a J0(z), se obtendrá el valor máximo buscado J*(a)como J0(a).Además,
la sucesión (u*(0), …, u*(N-1)) es la que permite alcanzar J0(a) si, y sólo si, para
todo k se cumple que

Jk(x(k)) = max u k ( F ( x(k ), u, k )  J k 1 ( f ( x(k ), u, k ))) =

F ( x(k ), u * (k ), k )  J k 1 ( f ( x(k ), u * (k ), k )) ; es decir, que (u * (k )) 0N 1 es el control
óptimo. La ecuación de arriba se conoce como la ecuación de Bellman.

Principio de optimalidad de Bellman

Si (u * (k )) 0N 1 es un control óptimo del problema de PD y ( x * (k))0N es la

correspondiente respuesta generada por la ley dinámica; entonces
j{1, …, N -1}, (u * (k )) Nj 1 es un control óptimo del problema PDj consistente en
N 1
maxu  F ( x(k ), u (k ), k )  S ( x( N )) sujeto a: x(k+1) = f(x(k), u(k), k) x(j) =x*(j)
k j

u(k) kk{j, …, N-1}.

Ejemplo: Se quiere minu ((u(0) - 2)2 + (u(1) - 4)2 + x(2)) sujeto a: x(0) = 1 x(1) =
3x(0) + u(0) x(2) = x(1) + 2u(1).

Nótese aquí que F( x(0), u (0),0 ) = (u(0) - 2)2, F( x(1), u (1),1 ) = (u(1) - 4)2,
S(x(2)) = x(2), x(1) = f(x(0), u(0), 0) = 3x(0) + u(0) y, finalmente, que
x(2) = f(x(1), u(1), 1) = x(1) + 2u(1).

El algoritmo del teorema de Bellman se construye como sigue.

1º) J2 (z) = S(z) = z.

2º) J1 (z) = minu ((u-4)2 + J2 (f(z, u, 1))) = minu ((u-4)2 + J2 (z + 2 u))) = minu ((u-4)2
+ (z + 2u)) y como (u-4)2 + z + 2u es u- convexa estrictamente, el mínimo global se
obtiene haciendo 0 = 2(u - 4) + 2, i.e., u* = 3, siendo el valor mínimo
correspondiente J1 (z) = (3-4)2 + (z + 23) = 7 + z.

3º) J0 (z) = minu ((u-2)2 + J1 (f(z, u, 0))) = minu ((u-2)2 + J1 (3z + u)) = minu ((u-2)2 +
3z + u + 7) y como (u-2)2 + 3z + u + 7 es estrictamente u- cóncava, el mínimo
global se obtiene haciendo 0 = 2 (u - 2) + 1. i.e., u* = 3/2, y el valor mínimo es
J0 (z) = (3/2 - 2)2 + 3z + 3/2 + 7 = 3z + 35/4.

Así, pues, el mínimo valor de la funcional del problema planteado, J*(1), se obtiene
como igual a J0 (1) = 47/4. Este valor se alcanza con la sucesiónde controles
óptimos: u*(0) = 3/2 y u*(1) = 3, siendo la correspondiente respuesta del sistema:
x*(0) = 1, x*(1) = f (x*(0), u*(0), 0) = 3x*(0) + u*(0) = 31 + 3/2 = 9/2 y,
finalmente, x*(2) = f (x*(1), u*(1), 1) = x* (1) + 2 u*(1) = 9/2 + 23 = 21/2.

Ejercicio: Se pide minu (x(0) u(0) + x(1) u(1) + x(2)2) sujeto a: x (k+1) = x(k)u(k) +
u(k)2x (0) = 2 k = {1, -1, 0}.
 26

Ejemplo: Se quiere repartir una cantidad C de cierto recurso entre N actividades. Si

a la actividad k se asigna una cantidad u, se genera un beneficio de u . Hallar el
reparto óptimo.

Si el estado en la etapa k se define como la cantidad que queda luego de haber

repartido a las actividades anteriores 0, …, k-1; entonces puede plantearse el
N 1
problema como el de maxu  u (k ) sujeto a: x(k  1)  x(k )  u (k )  x(0)  C 
0

x(N )  0  k, k  [0, x(k )] .

Como S(x (N)) = 0, se tiene que JN(z) = S (z) = 0.

Luego, JN-1(z) = maxu z ( u  J N ( f ( z, u, N  1)) ) = maxu z ( u  0) , que da como

máximo global u* (z) = z y como valor máximo JN-1(z) = z.

Ahora, JN-2(z) = maxu z ( u  J N 1 ( f ( z, u, N  2)) ) = maxu z ( u  z  u ) . Como

la función u  z  u es estrictamente u-cóncava, pues su segunda derivada en u
 1 1 1
es negativa, el máximo global sale de 0 = ( u  z  u) = (  ) , por
u 2 u z u
lo que u* = z /2  [0, z]. Así, resulta JN-2(z) = 2z .

De manera enteramente similar, se obtienen JN-3(z) = 3z con máximo global u*(z)

= z /3, y, más generalmente, que JN-m(z) = mz con máximo global u*(z) = z /m.
Finalmente, J*(z) = JN-N(z) = Nz con máximo global u*(z) = z /N. Por lo tanto el
valor máximo de la funcional objetivo del problema planteado es J*(C) = NC y
los controles óptimos, junto con los estados generados por ellos, son u*(0) = C/N,
x*(1) = x*(0) - u*(0) = C - C/N = (1 – 1/N) C, u*(1) = x*(1)/(N - 1) = C/N, x*(2) =
x*(1) - u*(1) = (1 – 2/N) C, u*(2) = x*(2)/(N-2) = C/N, etc.

Descuento en el problema de Control Óptimo de tiempo discreto

N 1
Para el problema: maxu (   k F ( x(k ), u (k ), k )   N S ( x( N )) ) sujeto a:
k 0

x(k  1)  f ( x(k ), u (k ), k )  x (0)  a con los 1, .., N-1 dados; la ecuación de
Bellman también puede obtenerse como: VN ( x( N ))  S ( x( N ))  k {0, …, N -1},
Vk ( x(k ))  maxu( F ( x(k ), u(k ), k )  Vk 1 ( f ( x(k ), u(k ), k )) ).

Ha de notarse que Jk(z) es el valor máximo descontado al período inicial de la

funcional objetivo cuando se empieza en la etapa k en el estado z, mientras que Vk(z)
da ese mismo valor pero sin descontar, i.e. en valor corriente del periodo k.
Obviamente, J0 (a) = V0 (a).
2
Ejemplo: Se pide minu(   k (u (k ) 2  ( x(k )  2k ) 2 )   3 ( x(3)  5) 2 ) con  = 0.9 y
0

sujeto a: x(k  1)  x(k )  (k  1) u (k )  x(0)  0 .

 27

V3 ( z )  ( z  5) 2 .
V2 ( z )  min u (u 2  ( z  4) 2  V3 ( z  3u )) . Como esta función es u-convexa, el
mínimo global sale de: 0 = 2u  2 ( z  3u  5)3 , i.e., u* = 1.48 – 0.3 z.
Así, V2 ( z)  1.1 z2 – 9z + 18.47.
Similarmente, V1 ( z )  min u (u 2  ( z  2) 2  V2 ( z  2u )) =
min u (u 2  ( z  2) 2   (1.1( z  2u ) 2  9( z  2u )  18.47)) . El mínimo global es u* =
1.63 – 0.4 z, por lo que V1 ( z )  1.2 z 2  3.63z  4.42 .
Finalmente, V0 (0)  min u (u 2   V1 (u )) = min u (u 2   (1.2u 2  3.63u  4.42)) . El
mínimo global es u*(0) = 0.65 y V0(0) = 2.73. Además, se obtiene que x*(0) = 0,
u*(0) = 0.65, x*(1) = 0.65, u*(1) = 1.37, x*(2) = 3.39, u*(2) = 0.46 y x*(3) = 4.77.

Programación Dinámica con horizonte temporal infinito

N 1
El problema es el de maximizar J (x0 , (uk ) k 0 ) :=limN   k F ( xk , uk ) sujeto a:
k 0

xk 1  f ( xk , uk ) uk ,k;estando dados  ]0, 1[, las funciones f : 2y F:

2, el conjunto de controles admisibles  y el estado inicial x0.
Ha de notarse que el instrumento de maximización es la sucesión (uk ) k 0 pues de los
valores de x0 y u0 se obtendrá x1= f (x0 ,u0), que con u1 dará x2 = f (x1, u1), etc.
Si se tuviera una sucesión (u *k )k 0 que fuera un máximo global del problema,
entonces al valor máximo alcanzado J (x0 , (u *k )k 0 ) se lo denotará simplemente por
J (x0).
En este problema ha de asumirse que la función F es acotada, esto es, que M tal
que (x , u), F (x , u)M. De este modo desaparecen las dudas sobre la
convergencia de la serie de la funcional objetivo, pues, como es fácil comprobar,
cualquiera que sea la sucesión (uk ) k 0 , se tendrá que J (x0 , (uk ) k 0 )M / (1-).
Para buscar una solución del problema planteado puede recordarse el caso de la
Programación Dinámica con horizonte temporal finito en el que se quería maximizar
N 1


k 0
k
F ( xk , uk ) sujeto a la misma ley dinámica y a las mismas restricciones de

arriba. En tal caso, si se designa por Jk(z) al valor máximo del subproblema
correspondiente que empieza desde el estado z en la etapa k, y por Vk (z) := -kJk (z),
el algoritmo de Bellman era: VN (z) = 0, z; y luego Vk (z) = max u (
F ( z, u)  Vk 1 ( f ( z, u)) ).
Ha de notarse aquí que Jk(z) es el valor máximo del subproblema antedicho
expresado en unidades de valor de la etapa inicial 0, mientras que Vk (z) es el
correspondiente valor pero expresado en unidades de valor de la etapa k.
Como se comprueba fácilmente, resulta que V0 (z) = J0 (z).
Ahora bien, para poder generalizar más fácilmente en el caso de horizonte temporal
infinito, conviene cambiar un poquito la notación definiendo las funciones
Vk* := VN-kk. Así, se obtienen consecutivamente del algoritmo de Bellman las
funciones V*0 , V*1, …, V*N , siendo esta última el valor máximo buscado de la
funcional objetivo, es decir, J0 (z).
 28

Como puede intuirse, cuando el horizonte temporal es infinito, que el problema

empiece en la etapa 0 ó en cualquier otra etapa, k, poco importa siempre que el
estado inicial sea el mismo, ya que en cualquiera de estos casos hay el mismo
horizonte temporal: desde 0 hasta  en el primer caso, y desde k hasta  en el
segundo. Luego, J0 (z) = Jk(z) y la ecuación de Bellmanes:
V*(z) = maxu ( F ( z, u )  V * ( f ( z, u )) ).
Esta ecuación sugiere definir un operador funcional como sigue.
Cualquiera que sea la función W: , se define el resultado de operarla por T
como la función T(W):, que a cada z de , le asigna por imagen
T(W)(z) := maxu ( F ( z , u )  W ( f ( z , u )) ). Conviene, además definir las
iteraciones del operador T mediante: T0(W):= W, T1(W):= T(W), T2(W):= T(T(W)),
…, Tk+1(W):= T(Tk(W)), etc. Entonces, se demuestran los dos siguientes lemas que
han de permitir resolver el problema por aproximaciones sucesivas cuando no con
toda exactitud.

Lema 1: Cualesquiera sean las funciones W y W´, si WW´, (i.e. z, W(z)W´(z)),
entonces k, Tk(W)(z)Tk(W’)(z), es decir, que las iteraciones del operador
preservan el eventual orden de las funciones.

Esto se expresa como que el operador T es monótono.

Lema 2: Si se define la función constante e:  por e(z) := 1 z, entonces r de 

y para toda función W, se tiene que k, Tk(W+re)(x) = Tk(W)(x) + k r.

Esta propiedad suele referirse diciendo que el operador T descuenta.

Finalmente, se obtienen dos fundamentales teoremas para el problema planteado.

Teorema 1: Cualquiera sea la función W, el limkTk(W)(z) = J (z), z .

Teorema 2: La función de valor máximo, J, es el único punto fijo del operador T, es

decir, que J = T(J), esto es, que J(z) = maxu ( F ( z, u )   J ( f ( z, u )) ), z .

Según el primer teorema, puede iniciarse un proceso iterativo desde cualquier

función a la que repetidamente se le aplicará el operador T, de modo que cada vez se
obtendrá una función más y más aproximada a la solución buscada, esto es, la
función J.
Según el segundo teorema, la solución es única y por satisfacer a la ecuación de
Bellman, podrá ser posible en ciertos casos conjeturar la forma de ella, con lo que, al
imponer la satisfacción de dicha ecuación, se podrá determinar con toda precisión
cuál es la función solución. Esto se ilustra con el siguiente ejemplo.


Ejemplo: Se quiere max c (.)   t ln c(t ) sujeto a: kt 1  (kt )  ct  ct  [0, (kt ) ] , t
t 0

estando dado el valor inicial k0, así como las constantes positivas menores que 1,  y
. Se busca la función de valor máximo, J (k), para cualquier estado inicial k.
Aplicandoel proceso iterativo del teorema 1, se puede partir de una función
cualquiera, por ejemplo, la función nula V0(k) = 0, k. A ésta se la aplicará el
 29

operador T obteniéndose la función V1 (k) = max{ ln c  V0 (k   c) : 0  c  k  } =

max{ ln c : 0  c  k  } =  ln k , ya que el único máximo global del lado derecho es
k. A continuación, volviendo a aplicar el operador a la función V1 se obtendrá la
función V2(k) = max{ ln c  V1 (k   c) : 0  c  k  } = max{
ln c   ln( k   c) : 0  c  k  } =  (1+) ln k – (1+) ln (1+) + ln, ya
que el único máximo global del lado derecho es c = k/(1+) que  [0, k].
Observando las formas de estas dos funciones obtenidas, V0 y V1, puede notarse que
ellas coinciden en ser una constante por ln k más otra constante. Lo único diferente
entre ellas son los valores de las constantes. Luego, es razonable conjeturar que la
forma definitiva de la función J buscada es también así, es decir, que J(k) = Aln k +
B, donde A y B son constantes por determinar.
Como la función J ha de satisfacer la ecuación de Bellman, de esto han de seguirse
los valores de A y B: Aln k + B= max {ln c + (A ln (k-c) + B) : 0  c  k  }.
Resolviendo este pequeño problema de maximización, resulta que el único máximo
global es c = (1+A)-1k, con lo cual el lado derecho es igual a:
(+A) ln k + B + Aln (A) – (1+A) ln (1+A). Igualando ambos miembros, el
derecho y el izquierdo, salen los valores de las constantes: A = /(1-) y B=/(1-
). Así, la
 
función de valor máximo será: J(k) = ln k  ln(  )  ln( 1   ) .
1   1  