TFM (Mster de Estadstica Aplicada) Estela Cardoso San Milln 1

FUNDAMENTOS DEL DISEO EXPERIMENTAL

PTIMO

1.1. La ecuacin de regresin.

La ecuacin
y
j
=(x
j
, )+
j
, j=1,... , N
se presenta como la generalizacin de la
teora de regresin , donde
y
1,...
, y
N son resultados experimentales,
(x , )
es una
funcin dada con vector parmetro desconocido
=(
1,...
,
m
)
T
,

1,...
,
N son variables
aleatorias, correspondiendo al valor de observacin,
x
1,...
, x
N son condiciones experimentales,
perteneciendo al conjunto

usualmente llamado la regin de diseo.

Vamos a recordar algunas hiptesis bsicas:

Insesgadas:
E
j
=0( j =1,... , N)
. Esto quiere decir que
Ey
j
=(x
j
, )
. (Es decir, el
modelo es libre de un error sistemtico)
Incorreladas:
E
i

j
=0(i j )
.
Homogeneidad de la varianza:
E
j
2

2
>0( j =1,... , N).

Linealidad de parametrizacin:
(x , )=
T
f ( x) , donde f (x)=( f
1
( x) ,... , f
m
(x))
T
, f
i
(x), i=1,... , m

Las funciones
{ f
i
( x)}
(i=1)
m
son continuas y linealmente independientes sobre X.
X es un conjunto fijado, el cual puede ser considerado como un espacio topolgico
compacto.

Como es usual en la teora de las matemticas, estas conjeturas proporcionan resultados
observables para ser obtenidos y corresponden a algunas extensiones de caractersticas de
experimentos reales. Algunas conjeturas pueden ser dbiles.

El principal propsito del experimento es estimar un vector de parmetros desconocidos, o
probar una hiptesis sobre los valores de los parmetros. Aqu, la exactitud de las conclusiones
estadsticas depende del mtodo de la inferencia estadstica y la eleccin de las condiciones
experimentales
x
1,...
, x
N .

Si todas las conjeturas son asumidas, entonces existe el mtodo (tcnica de los mnimos
cuadrados) el cual proporciona la mayor exactitud, en un sentido de bien definido, estimacin
del vector

de parmetros bajo algunas fijadas condiciones experimentales. As, el problema

general de estimacin y seleccin de condiciones experimentales est dividido en dos
problemas independientes.

1.2. Teorema de Gauss-Markov.

Sea
X =( f
i
( x
j
))
j ,i=1
N m
, X es la matriz de orden N x m.
La ecuacin (1.1) bajo las conjeturas (a) (d) pueden ser representadas como:
Y =X +, dondeY=( y
1,...
, y
N
)
T
,=(
1,...
,
N
)
T
,


E=0, V

=
2
I
, I es la matriz identidad de orden N x N y
V

es la matriz varianza.

Como es usual, decimos que el estimador es insesgado si (

) = , para cualquier
TFM (Mster de Estadstica Aplicada) Estela Cardoso San Milln 2

vector

. Se dice que el estimador es lineal si = , siendo S una matriz de

orden m x N, independiente de Y.

Un estimador insesgado lineal

es llamado el mejor si la matriz

es definido
no positivo por algn estimador

, esto es;

(

) =

= (

)

para cualquier vector

. Aqu, la varianza del escalar

es denotada por la
misma letra que la matriz varianza, as que no las confundamos.
El procedimiento de la tcnica de los mnimos cuadrados es seleccionar algn

tal que

= arg inf

)
Para simplificar, vamos a asumir que la condicin
() det

0 se satisface.

Teorema 1.2.1 (Teorema de Gauss-Markov). El estimador del mtodo de mnimos
cuadrados para el modelo (1.2)-(1.3) bajo la condicin (g) es nicamente determinada,
es de la forma

= (

)
1

,
y es el mejor estimador lineal insesgado. Adems,

=
2
(

)
1
.


1.3. Diseos Experimentales y matrices de Informacin.

El conjunto {
1
, ,

} de elementos en ( aunque algunos de los elementos pueden

coincidir con otros) es llamado un diseo exacto (o discreto) de un experimento de
tamao N. Teniendo en cuenta la posibilidad de que coincidan algunos elementos,
podemos presentar dicho diseo de diferente forma.

Vamos a tomar slo < puntos distintos. Podemos renombrarlos
1
, ,

.
Supongamos que

ocurre

veces entre los puntos {

1
, ,

}, = 1, , .

Vamos a asociar coeficientes de peso

con cada uno de los puntos

, = 1, , .
Una medida de probabilidad discreta, dada por la matriz

= (

), (1.4)

Esto ser llamado diseo exacto normado o diseo de n puntos de tamao N.

La matriz
() = (

=1

es llamada matriz de informacin del diseo .
TFM (Mster de Estadstica Aplicada) Estela Cardoso San Milln 3


Por el tema de Gauss-Markov tenemos

1
()
para la matriz varianza de la estimacin de mnimos cuadrados.

El diseo es una medida discreta de probabilidad, definida por la matriz (1.4), la cual
incluye los puntos del conjunto y los coeficientes de peso bajo algunas restricciones
adicionales. Si estas restricciones son omitidas, el estudio de diseos llega a ser
substancialmente ms fcil.

Vamos a escribir un diseo, concentrado en un nmero finito de puntos, en la forma
(1.4), donde los coeficientes

son nmeros arbitrariamente positivos tales que

= 1. Para un caso general,

() = ()

()()
Es llamada a matriz de informacin del diseo aproximado. Esta matriz asume la forma
(1.7) para diseos, concentrado en un nmero finito de puntos.

Sea el conjunto para todos los diseos aproximados, y el conjunto de matrices de
informacin correspondiente a
= {; = () }.

Sea

el conjunto de diseos aproximados, concentrado en n puntos (con pesos

distintos de cero).
Las propiedades bsicas de las matrices de informacin pueden ser expresadas como un
teorema.

Teorema 1.3.1 ( Propiedades de matrices de informacin)

(i) Alguna matriz de informacin es definida no negativa.
(ii) Si < , entonces det ( ) = 0

.
(iii) El conjunto es convexo.
(iv) Si las condiciones (a)-(e) se satisfacen, el conjunto es cerrado y acotado,
es decir, compacto en

, donde = (+1)/2.
(v) Para algn diseo , existe un diseo

, donde
(+1)
2
+ 1, tal
que (

) = ().

La prueba de este teorema puede ser encontrado en Karlin y Studden (1966, Captulo X)

De acuerdo a la propiedad (v), es suficiente considerar slo diseos aproximados con un
soporte finito. As, son considerados los diseos experimentales que no son expresados
de otra manera.





TFM (Mster de Estadstica Aplicada) Estela Cardoso San Milln 4

1.4. Criterios de Optimizacin.
Llamamos al diseo no singular si det ( ) 0. Tales diseos existen por la
conjetura (e). Vamos a considerar slo el caso de estimacin del conjunto entero de
parmetros
1
, ,

. Aqu, slo los diseos no singulares son de inters. La versin

del teorema de Gauss-Markov visto en la seccin 1.2 es vlida para ellos.

Tpicamente, no hay diseo

tal que la matriz

1
(

)
1
(),
es definida no positiva, donde es un diseo arbitrario. Adems, algunas funciones de
matrices de informacin, tomando un sentido estricto estadstico, son usadas para los
criterios de optimizacin.
Consideramos algunos de estos criterios.

1.4.1 D-Criterio.

El D-criterio es de la forma det ( ) sup

,
Si los errores se distribuyen normalmente, este criterio corresponde al requisito para
reducir al mnimo el volumen de la confianza elipsoide con un nivel arbitrario de
confianza fijado para los estimadores de mnimos cuadrados. ste elipsoide es de la
forma
{

; (

1
(

) }, (1.6)
donde c es una constante (dependiendo slo del nivel de confianza).

1.4.2 G-Criterio.

Sea (, ) =

()
1
()().
El criterio de G-optimizacin es de la forma max

(, ) inf

.
Veamos que el diseo discreto normado ,
(, ) =

()) ;
El G-criterio tiene el sentido minimax, que significa la reduccin al mnimo de la
varianza de mxima prediccin.

1.4.3. MV-Criterio.


1
() inf

.
Este criterio es para minimizar la suma de las varianzas del estimador mnimo
cuadrtico

.

1.4.4 c-Criterio.

() = {

() si (())
para otro caso


Donde c es un vector dado,

denota una inversa generalizada para M, y la notacin

rang(() significa que c es una combinacin lineal de filas de la matriz M.
Notemos que la inversa generalizada para la matriz dada A puede ser definida como una
matriz arbitraria con la propiedad

= , y si un sistema = tiene como

TFM (Mster de Estadstica Aplicada) Estela Cardoso San Milln 5

solucin , y esta solucin es de la forma =

.

El sentido estadstico de este criterio consiste en la minimizacin de la varianza de la
mejor lineal estimacin no sesgada para una combinacin lineal dada de los parmetros
del modelo =

.

1.4.5 E- Criterio.

(()) sup

,
donde

() es el autovalor mnimo de la matriz = ().

El criterio E-optimalidad asegura la minimizacin del mximo nivel de confianza del
elipsoide (1.6). Este criterio fue introducido en Ehrenfeld (1995).

Notemos que desde

() = min

=1

,
el E-criterio asegura la reduccin del mximo de las varianzas de las combinaciones
lineales

bajo la restriccin

= 1.

A veces es til considerar clases de criterio. La clase del criterio lineal es la clase de
criterio de la forma

1
() inf

.
donde L es una matriz dada definida no negativa. Particularmente, para L = I y
=

, tenemos el MV-criterio y c-criterio, respectivamente.

La clase de

-criterio, introducido en Kiefer (1974), es de la forma

(

())
1

inf

,
donde 0 . Para = tenemos E-criterio, y para = 1 tenemos MV-criterio.
Notemos que todos los criterios pueden ser representados como
(()) sup

,
o como
(()) inf

,
donde () =
1
(), () es una funcin cncava de la matriz M, y () es una
funcin convexa de la matriz V. Por lo tanto, los mtodos de resolucin
correspondientes a problemas extremos pueden unificarse.












TFM (Mster de Estadstica Aplicada) Estela Cardoso San Milln 6

1.5. Teoremas de Equivalencia.

Los resultados siguientes de Kiefer y Wolfowitz (1960) son de gran importancia en la
teora del diseo experimental ptimo.

Teorema 1.5.1 (teorema de equivalencia de Kiefer-Wolfowitz).
Para el modelo (1.1), un diseo D-ptimo existe bajo las conjeturas (a)-(f) y las
siguientes condiciones son equivalentes:

(i)

es un diseo D-ptimo.
(ii)

es un diseo G-ptimo.
(iii) max

(,

) = .

Adems, todos los diseos D-ptimos tienen la misma matriz de informacin, y la
funcin de varianza de prediccin (,

) alcanzan su mximo para los puntos de

cualquier diseo D-ptimo con suporte finito.

Vale la pena mencionar que la D-eficiencia de un diseo dado con respecto a un diseo
D-ptimo puede ser evaluada por la desigualdad de Kiefer y sin una construccin
explcita de un diseo D-ptimo. Esta desigualdad da como resultado para la D-
eficiencia,
(
det ()
max

det ()
)
1

donde la constante v es definida por
= max
[0,]

()
1
()()
(ver Pukelsheim(1993)).



1.6. Tcnicas Numricas Iterativas.

Si resulta imposible encontrar un diseo ptimo de forma explcita, se puede encontrar
mediante tcnicas numricas.
Los teoremas de equivalencia dan la base para que las tcnicas numricas especiales
sean construidas. Los mtodos de construccin iterativos especiales de diseos D-
ptimos, similares el uno al otro y basados en el teorema de equivalencia de Kiefer-
Wolfowitz, fueron desarrollados originalmente por Fedorov (1972) y Wynn (1970).

Vamos a describir la versin de Fedorov.

Sea

= {; 1}. Sea
0
un diseo no singular,

0
= {
1
, ,

0
;
1
, ,

0
}.
Para = 0,1,

0
++1
= arg max

(,

),

= arg max
[0,1]
det (
+1
()),
Donde
+1
() = (1 )

0
++1
; esto es,
TFM (Mster de Estadstica Aplicada) Estela Cardoso San Milln 7

+1
() =
1
, ,

0
++1
; (1 )
1()
, , (1 )

0
+()
, }.

Puede demostrarse que

tiene la forma explcita

1)
,

= (

0
++1
,

).
Si , la secuencia del diseo

bajo las conjeturas del teorema de Kiefer-

Wolfowitz converge a un diseo D-ptimo.

La principal ventaja de este tipo de algoritmos es que slo los diseos de un punto han
de buscarse en cada paso, por lo que la dimensionalidad del problema experimental
puede ser suficientemente reducida. Desde este punto de vista, en la actualidad es la
principal herramienta de evaluacin numrica de diseos ptimos.



1.7. Modelos de regresin no-lineal.

Consideraremos la funcin de regresin (, ), la cual no puede ser representada en la
forma

().
Sea un compacto en

, un compacto en

. Asumiremos que los resultados

experimentales
1
, ,

pueden representarse en la forma

= (

, ) +

,
donde {

} son variables aleatorias independientes e idnticamente distribuidas, tales

que

= 0,

2
=
2
> 0, (, ) es una funcin conocida de parmetros
desconocidos,

= (
1
, ,

),

, ,
2
es desconocida.

Introducimos tambin las siguientes conjeturas:
(a) La funcin (, ) es continua sobre x .
(b) Las series de diseo {

} convergen dbilmente al diseo , es decir, la relacin

siguiente es vlida para cualquier funcin continua () sobre .
()

() ()()

mientras .
(c) El valor de
[(, ) (,

)]
2
()

para

, desaparece si y solo si
=

.
(d) Las derivadas

, , = 1, , existen y son continuas en x .

(e)

, el verdadero valor del vector parmetro, es un punto interno de y la

matriz (, ) = (, )

(, )(),

donde

(, ) = (
(,)

1
, ,
(,)

, es no singular en =

.

Sea

de la forma

= (

).

donde algunos puntos de

pueden coincidir con

TFM (Mster de Estadstica Aplicada) Estela Cardoso San Milln 8

= arg min

((

, )

)
2
.

=1
(1.9)

Teorema 1.7.1. Si los errores aleatorios obedecen las premisas y los supuestos
anteriores (a) - (c) se cumplen, entonces

con probabilidad 1 para , donde

es definido por la frmula (1.9). Si

adems, los supuestos (d) y (e) se cumplen, entonces para para , la
distribucin del vector aleatorio (

) converge a la distribucin normal

con media 0 y matriz varianza
2

1
(,

).



1.8. Teorema de la Funcin Implcita.

Definicin 1.8.1. Una funcin real de una variable vector ser llamada funcin
analtica real si en algn punto cercano
0
, sta puede extenderse a una serie de
Taylor.

Teorema 1.8.1. (Teorema de la Funcin Implcita). Sea () = (
1
(), ,

())

,
= (, ),

una funcin vectorial real continuamente diferenciable

definida en un entorno U del punto (
(0)
,
(0)
) y
(
(0)
,
(0)
) = 0, det (

(
(0)
,
(0)
))

,=1
0
Entonces existe un entorno V del punto
(0)
tal que en este entorno, est determinada
una funcin vectorial nica continua nica continua () con las propiedades (
(0)
) =

(0)
, y ((), ) , ((), ) = 0.

Adems, la funcin () para satisface las siguientes ecuaciones diferenciales:
((), )
()

((), ), = 1, , , . ,
donde
(, ) = (

(, ))

,=1
,

(, ) = (

(, ))

,=1
.

Si () es una funcin vectorial real analtica, entonces () es tambin una funcin
vectorial real analtica.