anales de psicologa, 1991, 7 (1), 85-104

Estimacion de la precision de un diseo multivariable de medidas repetidas

Jaime Arnau Gras(*)
Angel Blanco Villaseor
Jos Luis Losada Lpez
Universidad de Barcelona

Resumen: Los diseos de investigacin de

medidas repetidas pueden ampliarse a estructuras
ms complejas si introducimos un factor de
clasificacin de los sujetos a fin de controlar su
posible efecto y conseguir una mayor precisin en
la estimacin de los tratamientos.
La teora de
la generalizabilidad asume que hay otras fuentes
de variacin adems de las diferencias
individuales y permite integrar cada una de estas
fuentes de variacin en una estructura global que
admite aplicaciones particulares de la teora estadstica del muestreo.
Palabras clave: Diseos de medidas repetidas;
teora de la generalizabilidad.

Title: Accuracy stimation of a multivariable repeated measures design.

Abstract: In order to control their possible effect
and to obtain greater reliability on the estimation
of treatments, the repeated measures design could
be extended to more complex structures when introduces a classification factgor of the subjects.
Generizability theory assumes that other sources
of variance in addition of the individual differences, permits to integrate each one of tghese
sources of variance in a general structure that admit specific application of the sample statistical
theory.
Key words: Generizability theory; repeated
measures design.

Diseo de investigacin de medidas repetidas: Introduccin

Las tcnicas de anlisis de la variancia (AVAR) han constituido los procedimientos clsicos
para la inferencia de hiptesis en contextos experimentales. Como sabemos estas tcnicas fueron
desarrolladas inicialmente por Fisher (1925), al poner las bases para su aplicacin con el
desarrollo de la teora del muestreo. No obstante las tcnicas analticas elaboradas por Fisher se
aplicaron bsicamente a estudios de una sola variable criterio (variable dependiente), de modo que
cabe sealar que las tcnicas basadas en la comparacin de las variancias se aplican usualmente en
experimentos univariables.
El matemtico estadstico Wilks (1932) destac que los principios del anlisis del AVAR
podan ser fcilmente generalizables a situaciones multivariables. Es decir situaciones donde se
registran simultneamente dos o ms indicadores de la variable dependiente. Aunque los
(*) Direccin: Facultad de Psicologa. Departamento de Metodologa de las Ciencias del Comportamiento. Universi-

dad de Barcelona. 08028 Barcelona (Espaa).

Copyright 1991. Secretariado de Publicaciones e Intercambio Cientfico, Universidad de Murcia, Murcia (Espaa). ISSN: 0212-9728.

- 85 -

86

Jaime Arnau Gras et al.

verdaderos intentos de llevar a cabo dicha generalizacin los encontramos, de hecho, en los
trabajos de Bartlett (1947) y Tukey (1949).
A pesar de que existe una clara analoga entre el Anlisis univariable de la variancia y el
Anlisis multivariable de la variancia (AMVAR) como ha destacado Bock (1975), la aplicacin
de este ltimo anlisis posee claras ventajas, dado que puede inferirse el efecto de los tratamientos
sobre el conjunto de variables dependientes o indicadores considerados o tomados
simultneamente. Desde este punto de vista el AMVAR permite tener en cuenta las posibles interrelaciones entre las distintas variables dependientes. De ah que sea un procedimiento mucho ms
apropiado para el estudio de los fenmenos psicolgicos o variables dado que suelen estar interconexionadas dentro de una amplia red de conductas o patrones conductuales.
Si bien tradicionalmente la estructura multivariable es aquella que, como se ha dicho, tiene en
cuenta una multiplicidad de variables criterio (variables dependientes) de modo que para cada
sujeto se toman ms de una observacin o registro, no obstante tenemos una disposicin de
carcter experimental que si bien no se ajusta de una manera exacta a este esquema puede ser
considerado como multivariable. Nos referimos a los diseos de medidas repetidas, que tienen
como estructura bsica el hecho de que se registra una misma conducta o indicador conductual a
lo largo de una serie de puntos de observacin o intervencin. Estrictamente hablando esta
disposicin experimental no podra ser considerada multivariable, dado que es la misma conducta
que se mide a lo largo de los distintos niveles de la variable dependiente. Debe tenerse en cuenta
que la disposicin multivariable requiere la medida de diferentes indicadores conductuales. No
obstante desde un punto de vista formal el diseo de medidas repetidas puede ser considerado
como una estructura multivariable y ser sometido a los anlisis multivariables tpicos. Dicha
disposicin experimental suele resolverse utilizando la tcnica clsica de la variancia (AVAR)
aunque para ello se requiera el cumplimiento de unas suposiciones altamente restrictivas
(homogeneidad y simetra).
Una clara alternativa de anlisis al AVAR clsico es sin duda el anlisis multivariable de la
variancia que como se ha indicado incorpora en su estructura la posible relacin entre las variables
y por tanto puede ser considerado como una tcnica ms adaptable a la situacin multivariable.
Los diseos de medidas repetidas pueden ampliarse en estructuras ms complejas cuando se
introduce un factor de clasificacin de los sujetos, a fin de controlar su posible efecto y conseguir
una mayor precisin en la estimacin de los tratamientos. De esta forma tenemos los diseos
conocidos por Split-Plot que, si bien inicialmente se aplicaron a la investigacin agrcola, parecen
ser claramente apropiados dentro del mbito psicolgico y clnico.
El diseo Split-Plot suele utilizarse en experimentos de laboratorio para el estudio de dos
factores diferentes. Como afirma Dayton (1970), los esquemas de investigacin que incorporan
esta estrategia son equivalentes a los diseos parcialmente anidados, siendo las referencias
obligadas para un conocimiento exhaustivo de su estructura los trabajos de Cochran y Cox (1957)
y Federer (1955).
Ilustracin mediante un ejemplo
Si, por ejemplo, un investigador desea estudiar el efecto de dos factores de tratamiento A y B a
partir de una determinada muestra debera, en primer lugar, asignar los sujetos, de acuerdo con un
criterio completamente aleatorio, a los distintos niveles de la variable A (o grupos
experimentales). En segundo lugar, aplicar tambin al azar los niveles de la variable B a los
anales de psicologa, 1991, 7(1)

87

Estimacin de la precisin de un diseo multivariable de medidas repetidas

diferentes subgrupos formados dentro de A. Los niveles de la variable A son conocidos por
"tratamientos de plots completos" (whole plot treatments) y, los niveles de la variable B por
"tratamientos subplot" (subplot treatments). Atendiendo, por tanto, a esta estructura de diseo se
tiene una primera variable cuyos valores son asignados al azar a los bloques (en este caso sujetos)
y, una segunda variable cuyos valores o niveles son asignados, tambin al azar, dentro de cada
bloque. Como destaca Fleiss (1986), las comparaciones que implican el factor de plots completos
o factor de bloques suelen ser, por lo general, menos precisas y potentes que las comparaciones
que implican el factor de subplots (tratamientos intra-bloques) o la interaccin entre los dos
factores.
La aplicacin de esta estrategia de investigacin dentro del contexto de experimentacin
clnica, consiste en caracterizar como factor de bloques (whole plot factor) a una variable de
clasificacin en lugar de una variable de tratamiento y, administrar todos los niveles o tratamientos
del factor de subplots a cada uno de los sujetos del experimento (en cuyo caso, puede ser
considerado como un factor intra-sujetos de medidas repetidas). Esta estructura experimental suele
recibir, dentro del contexto metodolgico, el nombre de Diseo Split-plot de medidas repetidas.
Supongamos que nos interesa estudiar el desarrollo escolar de un grupo de nios, a lo largo de
una serie de cursos escolares. Para ello se elige una muestra de nios (clasificados segn el sexo:
cuatro nios y cuatro nias) y se toman puntuaciones de vocabulario a travs de una prueba
escalada (Arnau, 1990). Las puntuaciones escaladas de vocabulario se registran al trmino de los
siguientes aos escolares: 3, 4, 5 y 6 de E.G.B. Los nios han sido categorizados en funcin del
sexo.
Tabla 1: Matriz de datos del diseo.

V
A
R

N
H
E
M
B
R
A

SUJETOS
1
2
3
4
5
6
7
8

CURSO:

3
1
2
2
3

4
2
3
2
4

5
3
4
3
4

6
5
5
5
5

2
2
1
2

4
3
2
3

4
3
4
4

5
3
4
4

De los resultados obtenidos, observamos que la interaccin (plots-subplots; es decir, variable

entre-sujetos por variable intra-sujetos) no es, en este ejemplo, significativa (P < .078). Por esta
razn, interpretaremos por separado los efectos de estos dos componentes o factores.
Si analizamos, en primer lugar, el efecto entre-grupos (plots completos), que en nuestro caso
es la variable sexo, se infiere que no es una variable predictora de las puntuaciones que obtienen
los sujetos en vocabulario. Por otra parte, el efecto debido a la variable curso (sub-plots) resulta
significativa (P < .000). Por lo tanto existe una diferencia significativa entre los distintos cursos y,
en consecuencia, se infiere la efectividad de dicha variable sobre los sujetos.

anales de psicologa, 1991, 7(1)

88

Jaime Arnau Gras et al.

Tabla 2: Cuadro resumen del anlisis de la variancia.

FUENTES DE VARIACION
CONSTANT
PLOTS
WITHIN CELLS
SUB-PLOTS

SUMA DE
CUADRADOS
32.513
12
725
3.262

GL
1
1
6
3

CUADRADOS
MEDIOS
32.513
12
121
1.080

26.907
10

0
759

4.121

Nuestro deseo, a partir de estos supuestos de un diseo multivariable de medidas repetidas y

de estos resultados, es determinar la precisin que conseguiramos en la generalizacin de estos
resultados a otras situaciones similares en las que dispusiramos de un nmero mayor de muestras
para cada uno de los efectos principales y de interaccin de las diversas fuentes de variacin.
Para ello trataremos de determinar las diferentes disposiciones de medida que nos brinda la
teora de la generalizabilidad y ofrecer as un marco ms amplio, con la deteccin de los errores de
medida, que facilite la interpretacin de los resultados encontrados.
Ambos mtodos tienen como comn denominador al anlisis de la variancia, aunque ambos
difieren en la interpretacin de los resultados que corresponden a la estimacin. Lo que en
principio pudiera pensarse que son semejanzas y disimilitudes (Arnau, Blanco y Losada, 1990) no
es otra cosa que la realidad ofrecida en la mayora de los trabajos de investigacin que utilizan una
u otra tcnica (una, 'medidas repetidas', utilizada mayoritariamente en estudios experimentales y la
otra, 'generalizabilidad', en estudios observacionales). Lo que nosotros pretendemos demostrar es
que ambas, dependiendo del diseo de investigacin, son complementarias.
Dado que la teora de la generalizabilidad no es lo suficientemente conocida en contextos de
investigacin experimentales, trataremos ahora de hacer una breve exposicin que nos lleve a
reconocer las semejanzas y disimilitudes entre una y otra tcnica. De esta forma, y en los prrafos
que siguen trataremos de determinar por qu esta solucin es ms adecuada que la psicomtrica al
diseo que presentamos en nuestro ejemplo inicial.
Al final de nuestro recorrido, y una vez que se hayan examinado los diferentes planes de
medida que nos ofrece la teora de la generalizabilidad en la estimacin de la precisin de cada
uno de ellos, llevaremos a cabo uno de los procesos ms deseables en esta precisin: Las
decisiones a tomar en caso de deteccin de errores de medida o lo que es lo mismo la
optimizacin de nuestro diseo para futuras investigaciones. En definitiva, las conclusiones de este
trabajo nos permitirn asegurar la precisin de los resultados a otras muestras diferentes o por el
contrario nos servirn para redisear nuestro estudio con el fin de obtener mejores xitos en
investigaciones futuras.
La decisin final corresponde a la optimizacin de resultados y a la maximizacin de los
diferentes coeficientes de generalizabilidad. Para ello, y basndonos en los trabajos de Woodward
& Joe (1973) y Marcoulides & Goldstein (1990), trataremos de establecer las relaciones costobeneficio en funcin de restricciones (presupuestarias y de otro tipo) del diseo de investigacin,
con el fin de maximizar los coeficientes obtenidos y replanificarlo (si as fuera necesario), ya que
nos permitir determinar el nmero ideal de observaciones a realizar en el diseo inicial de
medidas repetidas.

anales de psicologa, 1991, 7(1)

Estimacin de la precisin de un diseo multivariable de medidas repetidas

89

Objetivos de estimacin de la precisin

La realizacin de este trabajo parte de la idea de considerar a los diseos de investigacin
como una estructura global en la planificacin de investigaciones psicolgicas. Ello nos ha llevado
a considerar que la utilizacin de las tcnicas estadsticas no son parcela exclusiva de
determinadas actuaciones en funcin de los datos que presenta una investigacin determinada.
Ms bien al contrario, pensamos en la complementariedad de las mismas, como es el caso al que
nos referimos.
Basndonos en las recientes incorporaciones que han llevado a cabo los diseadores del
paquete de programas BMDP, en su ltima revisin PC90 (Dixon, Brown, Engelman, & Jennrich,
1990) tratamos de estimular la investigacin psicolgica a travs de su propuesta en el programa
BMDP 8V, que nos presenta la estimacin de los componentes de variancia en los diseos de
investigacin de medidas repetidas. Estos hechos y la creciente utilizacin del diseo en la
evaluacin nos hace pensar en la necesidad que tienen investigadores de otras reas por la
optimizacin de los recursos de investigacin as como en la maximizacin de sus resultados en
funcin de la relacin costo-beneficio. De esta forma, la teora de la generalizabilidad permite
aportar soluciones a estas necesidades y concretar la variabilidad que se produce a medida que
vamos incorporando facetas (o variables, o factores) a nuestro diseo de investigacin. As
determinamos la importancia de cada una de ellas en relacin con las dems a travs de los
componentes de variancia.
El diseo de investigacin de medidas repetidas nos aporta el plan de accin a considerar para
la consecucin de nuestros objetivos. La estimacin de la precisin a travs de la teora de la
generalizabilidad conlleva conocer el efecto de inclusin de nuevas facetas en el diseo, as como
la posibilidad de determinar si la generalizacin de los resultados es precisa en el caso de disponer
de un nmero mayor de muestras en cada uno de los efectos principales y de interaccin. El
programa BMDP 8V nos ayuda a interconexionar ambas cosas, a travs de aplicaciones
particulares de la teora estadstica del muestreo. La aplicacin de todo ello a la evaluacin es uno
de los objetivos que pretendemos desde estas pginas.

Teora de la generalizabilidad: Introduccin

Este ejemplo de aplicacin de la teora de la generalizabilidad viene a ilustrar la ampliacin
que con respecto a un diseo multivariable de medidas repetidas, implica el principio de "simetra
de las facetas (o variables)" de un Plan de Observacin (Cardinet, Tourneur & Allal, 1976).
Suele ser difcil en ciencias del comportamiento encontrar una unidad fsica para medir la
ejecucin de una actividad (exceptuando estudios de percepcin o de tiempos de reaccin). Los
sistemas de medida se basan, fundamentalmente, en la clasificacin de los sujetos respecto a un
comportamiento particular. A travs del anlisis factorial se tiene una garanta de que estos
sistemas de medida, son representativos del conjunto de comportamientos que se pretende
investigar. Se pone a punto una prueba, se estandariza y se eligen aquellas cuestiones que
diferencian mejor la ejecucin de las actividades por parte de los sujetos.
En el ejemplo que proponemos, los individuos (clasificados segn el sexo) aprenden a ejecutar
la actividad en diferentes cursos acadmicos (medidas repetidas en el diseo multivariable). Ahora
bien, dicha solucin psicomtrica encierra ciertos inconvenientes (Cardinet, 1987): En el contexto
escolar no parece correcto recurrir a la clasificacin para construir una escala de medida, ya que el
anales de psicologa, 1991, 7(1)

90

Jaime Arnau Gras et al.

clculo tendra que ser muy exacto. Por ello es preferible utilizar medidas absolutas y no relativas,
dado que su interpretacin es ms directa y ms clara. Tampoco tiene mucho inters que la
situacin de observacin est estandarizada, puesto que el conocimiento del nmero exacto de
problemas de una prueba que es capaz de resolver un individuo en un tiempo fijo y en unas
condiciones particulares no suele aportar mucha informacin. Ms bien interesara estimar
aproximativamente su probabilidad de contestar a otros problemas presentados de forma diferente.
No se trata, pues, de conocer las preguntas ms difciles que diferencian mejor a los individuos, ya
que en tal caso mediramos los lmites del aprendizaje y no las adquisiciones reales. Por ltimo, no
sera un objeto de estudio crear una jerarqua de valor entre los alumnos que servira para
fundamentar una jerarqua social en detrimento de la funcin educativa de la escuela.
Esta es una visin particular desde la teora de la generalizabilidad que ha sido avalada
especialmente por Cardinet (1987) y que ha supuesto importantes consideraciones metodolgicas
en el estudio de la observacin directa del comportamiento a travs de la metodologa
observacional (Blanco, 1989). Estamos, por tanto, de acuerdo con Cardinet (1987) en que este
tipo de evaluacin no debe suponer una competicin entre alumnos, sino una forma de seguir
individualmente la progresin de cada uno de ellos y revelar sus progresos. Ello supone la
comparacin de niveles de ejecucin sucesivos en el curso del aprendizaje (medidas repetidas en
el diseo multivariable que ilustramos) y la distincin entre progreso real y fluctuaciones
aleatorias, debidas por ejemplo a la forma de hacer la pregunta y de contestarla.
Una solucin psicomtrica que integrara la nocin de validez de contenido (necesaria en el
contexto escolar) no nos permitira conocer ms all de la variancia entre los individuos. Se hace
necesario, por tanto, acudir a la teora de la generalizabilidad, que permite conocer la existencia de
fuentes de variancia mltiples para unificar el tratamiento de todos esos casos diferentes. En la
comparacin con un diseo multivariable de medidas repetidas podemos valorar el principio de
simetra de las facetas (o variables) y ver la integracin de la teora de la generalizabilidad en el
mismo.
Cronbach, Gleser, Nanda & Rajaratnam (1972), han desarrollado la teora de la
generalizabilidad, asumiendo que hay otras fuentes de variacin adems de las diferencias
individuales e integrando cada una de estas fuentes de variacin en una estructura global, que
permite aplicaciones particulares de la teora estadstica del muestreo. La teora de la
generalizabilidad reconoce explcitamente las mltiples fuentes de error de medida (individuos,
observadores, sesiones, ocasiones de medida...). Podemos estimar cada una de estas fuentes de
error as como las diferentes interacciones entre ellas. El error de medida no es ms que el efecto
de las fluctuaciones debidas a la eleccin aleatoria de individuos, observadores, sesiones,
ocasiones de medida..., es decir al muestreo de niveles particulares en cada una de las facetas
(variables) del universo de observaciones posibles. Optimizar dicha medida es adaptar nuestro
diseo para reducir al mximo la variancia del muestreo debida a estas facetas.
En la ilustracin que presentamos y en otras situaciones de medida frecuentemente no se trata
de diferenciar individuos, sino ms bien de diferenciar ocasiones de registro, clasificacin segn
sexo, diferentes cursos escolares, observadores, categoras, grupos de individuos, etc. En palabras
de Cardinet, Tourneur & Allal (1976), esto significa asumir el principio de SIMETRA, es decir
que sucesivos objetos de medida pueden ser evaluados dentro de un mismo diseo. Mediante
dicho principio, cada faceta (variable) de un diseo puede ser seleccionada como objeto de
estudio y en cada anlisis de generalizabilidad de esta faceta puede ser considerada como
instrumento de medida o condicin de evaluacin en el estudio de las otras facetas. Esta sera la
diferencia a la solucin psicomtrica que tan slo diferencia individuos.
anales de psicologa, 1991, 7(1)

Estimacin de la precisin de un diseo multivariable de medidas repetidas

91

La generalizabilidad es una teora de los errores multifaceta de una medicin conductual

(Cronbach et al, 1972). El objetivo de la teora es desglosar, en cualquier tipo de medicin, la
variabilidad real de la variabilidad del error. Para que se cumpla, la teora necesita de los
componentes del anlisis de la variancia; las variaciones de las facetas (variables) tales como
individuos, sesiones, ocasiones de medida, observadores, etc. El eje central de la teora de la
generalizabilidad, por tanto, se encuentra en los componentes de variancia, dado que su magnitud
nos aporta informacin sobre las fuentes de error que estn afectando una medicin conductual.
La filosofa bsica que subyace a la teora de la generalizabilidad es que "un investigador se
pregunta acerca de la precisin o fiabilidad de una medicin dado que desea generalizar de
observaciones reales a cualquier tipo de observaciones a las que stas pertenezcan" (Cronbach,
Rajaratnam & Gleser, 1983, p.144). En la investigacin es el universo al que el investigador desea
generalizar. El conjunto de condiciones de medida sobre las que el investigador generaliza es el
universo de generalizacin. Este diferir de acuerdo a los propsitos de la investigacin. De
acuerdo con el principio de SIMETRA, en cada modificacin de un mismo diseo se necesita
definir claramente el universo, especificando las condiciones de medida sobre las que intenta
generalizar.
Los objetos de medida admisibles constituyen la poblacin objeto de estudio y los
instrumentos de medida (las condiciones de evaluacin en terminologa de Cronbach) constituyen
el universo de generalizacin. Los primeros se sitan en el aspecto de la diferenciacin, ya que la
variancia verdadera proviene de las diferencias entre objetos de estudio. Los segundos se sitan en
el aspecto de instrumentacin (o generalizacin), puesto que las condiciones de medida son
como los instrumentos o medios de esta medida. Es decir, estimacin de la variancia verdadera
debida a las diferencias entre los objetos de medida, y estimacin de la variancia de error debida a
la eleccin de los instrumentos utilizados en la medida, respectivamente.
Fundamentos tericos de la estimacin de la precisin
La obra de Cardinet & Tourneur (1985) nos abastece de procedimientos generales de clculo,
aunque otros mtodos alternativos pueden encontrarse en la propia obra de Cronbach et al.
(1972), en Brennan (1983) y en Marcoulides (1989). Basndonos en el trabajo de Cardinet,
Touneur & Allal (1976) se puede en particular situar fcilmente las fuentes de error a controlar, a
partir de un grfico que represente todas las facetas del diseo.
Supongamos por ejemplo que los individuos (I), clasificados segn el sexo (S), han sido
evaluados en 4 cursos (C). De esta forma, se puede construir la Figura 1 (correspondiente al Plan
de Medida 1a /I/S/-/C/), en la que las facetas de los "objetos de estudio" (Individuos y Sexo) estn
representadas mediante lneas horizontales y las facetas de los "instrumentos de medida" (Cursos)
mediante lneas verticales.

anales de psicologa, 1991, 7(1)

92

Jaime Arnau Gras et al.

S
I:S CI:S
CS

Figura 1: Representacin grfica del plan de medida 1a.

Las fuentes de error que afectan a la comparacin de resultados de los individuos clasificados
segn el sexo se sitan en la interseccin (lneas cruzadas) de "objetos de estudio" e "instrumentos
de medida". Se trata de las variancias de interaccin: CS y CI:S, que el anlisis de variancia
permite estimar para todo el conjunto de datos correspondientes a este diseo. A partir de estas
estimaciones se puede comprobar en particular si es o no ms til aumentar el nmero de cursos
escolares.
La Figura 2 (correspondiente al Plan de Medida 5a /C/-/S/I/), en donde los "instrumentos de
medida" son los individuos clasificados segn el sexo, permite a partir de dichas estimaciones
comprobar si es o no ms til aumentar el nmero de individuos.

S
I:S CI:S
CS

Figura 2: Representacin grfica del plan de medida 2a.

anales de psicologa, 1991, 7(1)

Estimacin de la precisin de un diseo multivariable de medidas repetidas

93

Dado el carcter abstracto, la teora estadstica puede aplicarse a cualquiera que fuese el objeto
de estudio y es por ello que la teora de la generalizabilidad constituye una teora general de la
medida (Brennan, 1983, p. 12): "el modelo de medida mejor definido actualmente existente".
La teora de la generalizabilidad trata esencialmente la descomposicin de la variancia
observada en componentes de variancia y obtiene informacin analizando dichos componentes
particularmente en lo que respecta a la contribucin del error en un determinado diseo. El
anlisis de los componentes informa sobre qu facetas contribuyen con ms error, para ser
modificadas posteriormente en los sucesivos diseos. Un ndice global de la variancia de
puntuaciones universo relativa a la variancia del error es el coeficiente de generalizabilidad (E),
que se define como la proporcin de variancia observada que es atribuible a la puntuacin
universo, es decir es la razn entre el valor esperado de la variancia de puntuaciones universo
()y el valor esperado de la variancia de puntuaciones observadas (Ex)

E = / Ex

(1)

o bien dado que Ex = + , donde es la variancia de error relativo

E = / [ + ]

(2)

o bien, dado que Ex = + , donde es la variancia del error absoluto

E = / [ + ]

(3)

Podemos obtener una estimacin del coeficiente de generalizabilidad (E_) a travs de estimaciones
muestrales de los parmetros de la ecuacin anterior

E = / [ + ]

(4)

o bien
E = / [ + ]

(5)

E es sesgado, pero es un estimador consistente de E (Shavelson & Webb, 1981; Shavelson,

Webb & Rowley, 1989).
La diferencia entre y es que la primera no incluye las fuentes de variancia comn a
cada individuo (objeto de medida) mientras que la segunda s. Por tanto, la tendr valores

anales de psicologa, 1991, 7(1)

94

Jaime Arnau Gras et al.

como mnimo iguales a , aunque casi siempre los valores sern ms altos. Es interesante hacer
notar que en un diseo simple, individuos por curso, i / [i + ] es algebraicamente (pero no
conceptualmente) idntico al de Cronbach (Brennan, 1983).
Desarrollo del ejemplo: Planes de Medida
Para ilustrar nuestro anlisis de generalizabilidad utilizaremos un diseo mixto cruzadoanidado correspondiente al plan de observacin C x S (I:S). Un total de ocho individuos,
clasificados segn el sexo, cuatro hembras y cuatro varones, han sido evaluados en una prueba de
vocabulario a lo largo de cuatro cursos escolares. Dicho plan de observacin comprender 3
facetas, una de ellas anidada: los cursos (C, que son 4), el sexo (S, faceta necesariamente fija,
igual a 2) y los individuos (I, un total de 8, anidados en el sexo, y por tanto 4 en cada sexo). Los
valores figuran en una tabla de doble entrada C x S (I:S) que contiene 4 x 2 (8:2) =32 casos.
Presentamos un nico diseo con los cinco planes de medida posibles, dado que al limitar la
faceta sexo (S) nunca sta podr ser slo faceta de generalizacin fija. Cada uno de ellos ha sido
desdoblado en dos, para valorar el impacto que produce la transformacin de la faceta, estimada
aleatoriamente, cursos (C) en faceta finita Nc= 10 para los cuatro primero planes y Nc= 8 para el
quinto de ellos.
En el plan 1 (ver tabla 3), el intento es el de diferenciar a los individuos anidados en la faceta
sexo, ya que ellos constituirn una faceta de diferenciacin. El estudio G evaluar los cuatro
cursos y por tanto en diferentes ocasiones con el fin de estimar la generalizabilidad a travs de los
diferentes cursos. De esta forma, los cursos (C) conformarn la faceta de generalizacin.
En el plan 2 (ver tabla 3), se intenta diferenciar a los individuos (I), pero el investigador tiene
unos objetivos diferentes dado que est interesado en la variacin de los individuos
independientemente de su clasificacin segn el sexo. As, los individuos constituirn el objeto de
estudio, mientras que el sexo y cursos sern las facetas a generalizar.
En el plan 3 (ver tabla 3), se intenta diferenciar la faceta fija sexo (S). Dado que la faceta est
fijada, es evidente que el valor de la variancia de diferenciacin, as como los coeficientes de
generalizabilidad son nulos. Ello viene a demostrar que, en general, las facetas en clasificacin y/o
estratificacin deberan incluirse como facetas de diferenciacin con el fin de determinar si estas
facetas afectan la variancia de los objetos que van a ser diferenciados (Rentz, 1987). Si los
componentes de variancia de estas facetas son pequeos, deben ser eliminadas en los estudios
posteriores de optimizacin (Cardinet, Tourneur, & Allal, 1981). Si el objeto de medida est
estratificado respecto a subpoblaciones fijas, sera lgico realizar anlisis por separado para cada
nivel de la subpoblacin adems del anlisis global.
En el plan 4 (ver tabla 3), los objetos de estudio sern las facetas curso (C) y sexo (S), mientras
que la faceta individuos (I) constituir la generalizacin. En este caso el investigador est
interesado en la variacin de los cursos en los dos niveles de la faceta siempre fija (S), de la que
en todos los planes en que (S) ha sido diferenciacin hemos presupuesto que incluye todas las
posibilidades, que son dos.
En el plan 5 (ver tabla 3), se diferencian los 4 cursos (C), mientras que el objetivo del
investigador es calcular la precisin de la estimacin cuando quiere generalizar al conjunto
aleatorio de individuos clasificados en la faceta fija sexo.

anales de psicologa, 1991, 7(1)

Estimacin de la precisin de un diseo multivariable de medidas repetidas

95

anales de psicologa, 1991, 7(1)

96

Jaime Arnau Gras et al.

Resultados
A continuacin se presentan los componentes de variancia y su contribucin en porcentajes
correspondientes al plan de observacin original C x S (I:S), pero llevando a cabo tres posibilistas
planes de estimacin segn nuestros objetivos (Tablas 4, 5, 6). En los tres planes de estimacin
mixtos no se ha variado la aleatoriedad en la que debern ser seleccionados los individuos ni la
fijacin de la faceta sexo, pero si la variabilidad que podra producir la estimacin aleatoria de los
cursos (C) o la estimacin que se producira en el caso de poder contar con los 8 cursos escolares,
dado que en nuestro ejemplo tan slo hemos tenido en cuenta cuatro de ellos.
Tabla 4: Componentes de variancia y su contribucin en porcentajes, correspondientes al plan de observacin
C*S(I:S), siendo Nc=Ni:s= Infinito, Ns=2

FUENTES DE VARIACION
CURSO (C)
SEXO (S)
CS
I:S (INDIVIDUOS)
CI:S

ESTIMACION COMPONENTES DE
VARIANCIA MIXTA
13.264
-O.0477
556
2.361
2.639

%
7.048
0
295
1.255
1.402

Tabla 5: Componentes de variancia y su contribucin en porcentajes, correspondientes al plan de observacin

C*S(I:S), siendo Nc=10, Ni:s= Infinito, Ns=2

FUENTES DE VARIACION
CURSO (C)
SEXO (S)
CS
I:S (INDIVIDUOS)
CI:S

ESTIMACION COMPONENTES DE
VARIANCIA MIXTA
11.938
-0.0422
500
2.625
2.375

%
6.846
0
287
1.505
1.362

Tabla 6: Componentes de variancia y su contribucin en porcentajes, correspondientes al plan de observacin

C*S(I:S), siendo Nc=8, Ni:s= Infinito, Ns=2

FUENTES DE VARIACION
CURSO (C)
SEXO (S)
CS
I:S (INDIVIDUOS)
CI:S

anales de psicologa, 1991, 7(1)

ESTIMACION COMPONENTES DE
VARIANCIA MIXTA
11.606
0.0408
486
2.691
2.309

%
6.790
0
284
1.574
1.351

Estimacin de la precisin de un diseo multivariable de medidas repetidas

97

El anlisis de los componentes nos aporta informacin sobre el diseo de medida. De hecho, el
objetivo de un anlisis de generalizabilidad se centra ms bien en el anlisis de los componentes
que en los coeficientes de generalizabilidad. En el primer caso (tabla 4) Nc= infinito, se nos ofrece
un componente de los individuos (I:S) relativamente pequeo, lo que no es muy deseable si los
individuos constituyeran la faceta de diferenciacin. Este valor aumenta a medida que disminuye
la estimacin del nmero de cursos escolares, en los otros dos planes de estimacin (tablas 5 y 6),
lo que afectara a la generalizacin de los cursos, en el caso de que la faceta cursos (C) fuera el
instrumento de medida. Es decir, sera ms fcil generalizar a un nmero menor de cursos
escolares.
En cuanto a los dems componentes de variancia, las interacciones de cursos con sexo y de
cursos con individuos son tambin relativamente pequeas, mientras que el componentes cursos
(C) es relativamente grande, en los tres planes de estimacin (tablas 4, 5, 6). Este hecho nos
sugiere que, si los individuos constituyeran en el plan de medida una faceta de generalizacin, en
estudios posteriores podramos reducir el nmero de individuos, sin que por ello reduzcamos la
precisin en la generalizacin. Por el contrario, dado que los cursos (C) contribuyen al error de
una manera significativa, en el caso de que los cursos fueran la faceta de generalizacin en el plan
de medida, necesitaramos aumentar el nmero de los mismos si deseamos un nivel alto de
generalizabilidad. La faceta fija sexo (S) ofrece valores nulos en los tres casos, lgico en cierta
medida, ya que son muy pocos los individuos clasificados en cada nivel de esta faceta. El
resultado es excelente peso no aporta mucha informacin a este diseo puesto que en ningn caso
podr ser considerada sola ella como faceta de generalizacin.
La estimacin de este ltimo componente nos ofrece un valor negativo y, an cuando
algebraicamente es imposible encontrar una suma de cuadrados negativa, es debido a las
fluctuaciones muestrales en la estimacin de los cuadrados medios. En estos casos, tanto
Cronbach et al. (1972) como Cardinet et al. (1981), proponen reemplazar el valor negativo
encontrado por un valor nulo. La modificacin y optimizacin de este diseo, para lograr mayor
precisin en la generalizacin de los diferentes planes de medida es lo que ser considerado a
continuacin.
Los coeficientes absolutos [E] y relativos [E] de los cinco planes de medida, desdoblados
cada uno de ellos en dos, se presentan al final de la tabla 3. Estos coeficientes estiman la
generalizabilidad a travs de las facetas de generalizacin (cursos en el plan 1, sexo y cursos en el
plan 2, cursos e individuos en el plan 3,...) y por ejemplo en el plan 5a, que el coeficiente de
generalizabilidad tiene un valor prximo a la unidad, podra interpretarse como la correlacin
entre el conjunto de 100 puntuaciones y otro conjunto de otras 100 puntuaciones obtenidas en otro
conjunto de 8 individuos, anidados cuatro de ellos en cada uno de los dos niveles de la faceta sexo
(S). La magnitud del coeficiente (que vara de 0 a 1) se interpreta de la misma forma que los
coeficientes de fiabilidad tradicionales.
Se verifica evidentemente que las medidas relativas son ms generalizables que las medidas
absolutas; de hecho su ambicin es menos pretenciosa. En cuanto a la significacin de estos
resultados, podemos comprobar que las generalizabilidades no son buenas en los planes en que los
individuos (I) y sexo (S) constituyen el objeto de estudio (planes 1, 2 y 3), es decir cuando el
instrumento de medida que es la faceta a generalizar son los cursos. Tan solo en el plan 2b en que
se lleva a cabo una estimacin con un mximo de 10 cursos el coeficiente relativo tiende a
acercase a la unidad. Por el contrario, si los individuos constituyen la generalizacin del estudio
(planes 4a y 5a) obtenemos excelentes generalizabilidades en dichas situaciones de medida, ya
sean absolutas ya sean relativas.
anales de psicologa, 1991, 7(1)

98

Jaime Arnau Gras et al.

Tambin ocurre lo mismo si transformamos la faceta de diferenciacin cursos (C) de aleatoria

infinita a aleatoria finita (planes 4b y 5b). Este hecho nos sugiere que los individuos, extrados
aleatoriamente de dicha poblacin, han sido suficientes en esta disposicin de medida.
A destacar, por tanto, que los coeficientes de generalizabilidad se refieren al universo de
generalizacin. Los mayores beneficios de un anlisis de generalizacin se derivan esencialmente
de los resultados obtenidos en esta fase, que permiten llevar a cabo modificaciones en el diseo de
medida y elegir un diseo optimizado (ptimo en el sentido de que se busca una mxima
generalizabilidad dentro de los costos u otras restricciones prcticas o, alternativamente, que se
reduzcan los costos mientras se mantenga un elevado o aceptable nivel de generalizabilidad). A
continuacin ilustramos algunas posibilistas modificaciones al plan de observacin original.
Optimizacin del diseo inicial
La tabla 7 presenta el plan de medida 5a /C/-/S/I/, pero modificando sucesivamente el plan de
observacin original para lograr una optimizacin de cada una de las facetas en combinacin con
las otras facetas y as obtener una precisin en la generalizacin adecuada a este tipo de
investigaciones. El hecho de limitar la poblacin de los cursos (C), fijando la faceta cursos, no
parece tener mayor incidencia en la generalizabilidad, dado que los cursos constituyen la
diferenciacin y no es a ellos a quien tenemos que generalizar. Conseguimos, eso s, una mayor
precisin aumentando el nmero de individuos de 10 a 999, en que el coeficiente de
generalizabilidad valdra la unidad. Ahora bien, los costos de esta modificacin seran altsimos,
ya que no conseguiramos aumentar mucho la precisin, pues en el diseo original el coeficiente
relativo es 0.976. Con Ni =10 el valor sera 0.99, pero el diseo contendra 80 registros; con Ni
=20 el valor sera 0.995, pero el diseo contendra 160 registros. Evidentemente la relacin costo
beneficio es nula, por lo que no sera aconsejable llevar a cabo modificaciones en el diseo
original, ya que en consecuencia aumentaran los costos reales de la investigacin.
Tabla 7: Optimizacin del plan 5a /C/-/S/I/.

FACETAS
C
S
I:S
Erel
Eabs

NIVELES
OBSERVADOS
nc = 4
ns = 2
ni = 4
976
955

NIVELES
ESTIMADOS
Nc= Inf
Ns= 2
Ni= Inf

OPTIMIZACION PLAN
4 4 4 4
2 2 2 2
10 20 50 999
.990 .995 .998 1.00
.982 .991 .996 1.00

El plan de medida 5b /C/-/S/I/ (Tabla 8), exactamente igual que el anterior, pero la estimacin
de la faceta de diferenciacin cursos (C) no ha sido infinita, sino ms realista y por tanto llevando
a cabo una estimacin Nc = 8 que es el nmero de cursos escolares que constituyen nuestra
educacin secundaria. Los diferentes planes de optimizacin nos llevan a idnticos resultados. Si
el valor de precisin en la generalizabilidad relativa es de 0.976 conseguiramos aumentar a 0.99
si dispusiramos de 20 individuos por curso en lugar de los 4 del plan original, pero en
consecuencia necesitaramos 320 observaciones; luego el precio que se paga por esta modificacin

anales de psicologa, 1991, 7(1)

Estimacin de la precisin de un diseo multivariable de medidas repetidas

99

es altsimo y la relacin costo-beneficio nula, pues con 4 individuos por nivel casi conseguimos
los mismos resultados.
Tabla 8: Optimizacin del plan 5b /C/-/S/I/.

FACETAS
C
S
I:S
E-rel
E-abs

NIVELES
OBSERVADOS
nc = 4
ns = 2
ni = 4
976
949

NIVELES
ESTIMADOS
Nc= 8
Ns= 2
Ni= Inf

OPTIMIZACION PLAN
8 8 8 8
2 2 2 2
20 50 75 100
.995 .998 .999 .999
.989 .996 .997 .998

En la optimizacin del plan 1b (tabla 9) /I/S/-/C/ obtenamos un coeficiente de

generalizabilidad relativo moderadamente inferior (aunque no pequeo, 0.846), lo que indica poca
precisin en la generalizacin de los cursos cuando el objeto de medida (puntuacin universo) son
los individuos anidados en la faceta sexo. Podemos apreciar que no es el nmero de individuos el
que hace aumentar las generalizabilidades, pues aumentando de 30 a 999 el valor es idntico. En
este caso, es el nmero de cursos escolares (faceta de generalizacin ) quien logra aumentar la
precisin de 0.846 a 0.97 si hubiramos dispuesto de 8 cursos escolares en lugar de los 4 del plan
original. Evidentemente, las consecuencias son notables y la relacin costo-beneficio bastante
aceptable, dado que esta modificacin, aunque con costos altsimos, permitira una precisa
diferenciacin de los individuos. La prueba ms evidente es la generalizabilidad absoluta del
diseo original con un valor de 0.515.
Tabla 9: Optimizacin del plan 1b /I/S/-/C/.

FACETAS
C
S
I:S
E-rel
E-abs

NIVELES
OBSERVADOS
nc = 4
ns = 2
ni = 4
846
515

NIVELES
ESTIMADOS
Nc= 10
Ns= 2
Ni= Inf

OPTIMIZACION PLAN
8 8 8 4
2 2 2 2
30 100 999 999
.970 .970 .970 .846
.864 .864 .864 .515

Se presentan a continuacin las modificaciones para optimizar al plan 4b (tabla 10) /C/S/-/I/.
Podemos apreciar resultados similares a los anteriores. Aumentar el nmero de individuos ofrece
una relacin costo-beneficio bastante pequea, pues implica tan solo aumentar el nmero de
observaciones de 32 (en el plan original) a 2000 (en el caso Ni = 100), y con unos costos altsimos.
Obtenemos excelentes valores de generalizabilidad considerando 10 cursos escolares y 10
individuos por cada nivel de la faceta sexo (0.961).

anales de psicologa, 1991, 7(1)

100

Jaime Arnau Gras et al.

Tabla 10: Optimizacin del plan 4b /C/S/-/I/.

FACETAS
C
S
I:S
E-rel
E-abs

NIVELES
OBSERVADOS
nc = 4
ns = 2
ni = 4
909
909

NIVELES
ESTIMADOS
Nc= 10
Ns= 2
Ni= Inf

OPTIMIZACION PLAN
10 10 10 10
2 2 2 2
10 50 75 100
.961 .992 .995 .996
.961 .992 .995 .996

Discusin de resultados
Concluimos, por tanto, que no seran suficientes las modificaciones al plan de estimacin (ya
pusimos de manifiesto el elevado componente de variancia de cursos y su alta contribucin al
error, 1.32 y 70.48, respectivamente en el plan de estimacin aleatoriamente infinito) y se
necesitara una revisin de la faceta cursos para plantear con xito investigaciones futuras. En
cuanto a las anidaciones que se presuponen en esta ilustracin, que reducen los costos en el
nmero de niveles de las facetas, determinan una buena precisin y no hacen aumentar el nmero
de niveles que nosotros habamos restringido con la anidacin. El anlisis de generalizabilidad ha
servido de estudio piloto para plantear de nuevo una recogida de datos ms coherente al diseo de
medida.
En consecuencia, el diseo inicial multivariable de medidas repetidas no nos asegura precisin
en los resultados cuando han de generalizarse a un nmero mayor de muestras y, por tanto, o se
eligen nuevos niveles para cada una de las facetas o se aumenta el nmero de los mismos o,
finalmente, rediseamos nuestro estudio en funcin de la informacin suministrada por la teora de
la generalizabilidad.
La ventaja de este tipo de anlisis es la capacidad para disear estudios D ms eficientemente
sobre la base de la informacin aportada por los planes de estimacin y medida. Si tenemos en
cuenta la relacin nivel de precisin-costos, es obvio que podremos disear un estudio D ptimo
(Johnson & Bell, 1985).
Como conclusin general a lo que aqu se ha mostrado, la disimilitud bsica entre el Mtodo
Multivariable y la Teora de la precisin en la estimacin (Generalizabilidad), es que el mtodo
multivariable es aplicado como diseo, por lo tanto se busca el efecto de las variables o
tratamientos. Mientras que la Teora de la Generalizabilidad estudia el alcance de un resultado, ya
que permite adaptar el diseo a los intereses que marca la teora en la que se encuadra el estudio.
Como semejanza bsica encontramos al modelo de la regresin como estructura de anlisis. La
generalizabilidad es un estudio apriorstico que nos permite determinar el nmero de niveles de las
variables que posteriormente permitirn configurar el diseo multivariable. Esto nos simplificar
el desarrollo de este diseo, obteniendo los mismos o mejores resultados que si utilizamos el
diseo clsico cuyo criterio es elegir arbitrariamente las variables.

anales de psicologa, 1991, 7(1)

Estimacin de la precisin de un diseo multivariable de medidas repetidas

101

Optimizacin de resultados y maximizacin del coeficiente G

Aunque es importante obtener buena precisin a travs de los diferentes coeficientes de
generalizabilidad, no siempre basta con la optimizacin de los mismos si se imponen ciertas
condiciones restrictivas al diseo. Estas restricciones nos permitirn evaluar si la precisin total
del diseo se ajusta al presupuesto disponible para llevar a cabo la investigacin. Se nos plantea
ahora el problema de maximizacin del coeficiente de generalizabilidad en funcin de un conjunto
pre-especificado de limitaciones presupuestarias. Por ejemplo, en un diseo cruzado de dos
facetas individuos x cursos (i x c), es bastante sencillo cumplir con las condiciones restrictivas a
medida que se maximiza el coeficiente de generalizabilidad. Para ello, bastara con elegir el mayor
nmero de cursos que maximize el coeficiente de generalizabilidad, sin violar el presupuesto. No
es as cuando se aaden otras facetas al diseo, obteniendo una solucin que es algo ms
complicada.
De acuerdo a esta idea, Woodward & Joe (1973) investigaron el efecto de la precisin cuando
se alteraba el nmero de observaciones de las facetas en diferentes diseos multi-facetas.
Bsicamente, estos autores nos ofrecen la forma de determinar el nmero ptimo de observaciones
a realizar en orden a maximizar el coeficiente de generalizabilidad; ahora bien, siempre que sean
cruzadas y aleatorias todas ellas. En el caso de dos facetas, siendo ni y nj el nmero de
observaciones de las facetas i y j , presentan una frmula cerrada para determinar ni y nj. Sin
embargo, en el caso de tres facetas, siendo ni, nj y nk el nmero de observaciones, presentan una
solucin que requiere resolver las races de un conjunto polinmico de orden seis. Adems,
aunque no consideran otros diseos multi-faceta, los diseos de ms de 3 facetas requieren la
resolucin de las races de los polinomios, que aumentan el orden del polinomio en proporcin al
nmero de facetas de que consta el diseo. Por tanto, no parece una tarea asequible, para muchos
investigadores que no son metodlogos y que han de tomar decisiones, la determinacin del
nmero ptimo de observaciones a realizar en un diseo en que el nmero de facetas es mayor que
2.
Recientemente, Marcoulides & Goldstein (1990) nos ofrecen una solucin alternativa al
trabajo de Woodward & Joe (1973). El procedimiento determina, tambin para facetas cruzadas y
aleatorias, el nmero ptimo de condiciones cuando se imponen limitaciones presupuestarias a un
diseo. De esta forma, se maximiza el coeficiente en funcin de los costes reales de la
investigacin. La eleccin de facetas cruzadas y aleatorias para dicha maximizacin nos
presentara los casos ms desfavorables del diseo, ya que es donde los componentes de variancia
adquieren el mximo de variabilidad. An as, hemos comprobado que las diferencias suelen ser
mnimas y no afecta al nmero ptimo de condiciones que maximiza el coeficiente.
En nuestro caso, disponemos de un diseo de 3 facetas (cursos, individuos, sexo). Es evidente
que para encontrar ese coeficiente de generalizabilidad mximo relativo, sin violar limitaciones
presupuestarias, necesitamos seleccionar un cierto nmero de observaciones para cada faceta. Este
problema de eleccin es similar al que nos presentan Woodward & Joe (1973). Ahora bien,
consideramos que la optimizacin realizada previamente nos ofrece ya ese nmero mximo de
observaciones para cada faceta; no conocemos sin embargo si ese nmero es el ptimo en funcin
de los costes reales de la investigacin. Y esa es la cuestin que vamos a tratar de determinar.
Imaginemos uno de nuestros posibles planes de medida, en el que la faceta cursos constituye la
diferenciacin y las facetas sexo e individuos la instrumentacin. El problema es una optimizacin
no-lineal, en el que la decisin estar referida al nmero de individuos (ni) en funcin de la

anales de psicologa, 1991, 7(1)

102

Jaime Arnau Gras et al.

clasificacin por el sexo (ns). El objetivo de optimizacin es maximizar el coeficiente de

generalizabilidad (E), que se define como

E 2 =

c2
c2 + 2

(6)

donde

ci2

=
2

ni

cs2

ns

2
cis

ni n s

(7)

con la consiguiente limitacin presupuestaria

pni n s p
donde

p = presupuesto para la interaccin individuo-sexo, y

p = presupuesto total disponible en la investigacin.
Se trata de encontrar un conjunto de valores para ni y ns que maximice E. Dado que en la
optimizacin c es una constante, el objetivo es minimizar bajo las restricciones
presupuestarias en las que p ni ns p . Para ello utilizaremos la funcin de Lagrange L (ni, ns, )
= - (p ni ns - p ) diferenciando con respecto a ni, ns y e igualando a cero la expresin
resultante. La minimizacin quedara como sigue:

min F ( ni , n0 , ) =

ci2
ni

cs2
ns

2
cis

ni n s

( pni n s p )

(8)

Diferenciando con respecto a ni, no , e igualando las derivadas a cero obtenemos:

ni =

ns =

ci2 p

cs2 p
cs2 p

ci2 p

(9)

(10)

Teniendo en cuenta los componentes de variancia aleatorios obtenidos en el caso de que

nuestro diseo fuera totalmente cruzado (Tabla 11) e imponiendo limitaciones presupuestarias al
diseo, ya que el costo total de investigacin es de 192.000 ptas. y el costo por individuo
anales de psicologa, 1991, 7(1)

Estimacin de la precisin de un diseo multivariable de medidas repetidas

103

clasificado segn el sexo es de 4.700 ptas en cada interaccin del diseo, maximizaramos el
coeficiente de generalizabilidad contando con 11 individuos en lugar de los 8 con los que se llev
a cabo la investigacin. Ello supondra la mejor relacin costo-beneficio del diseo sin necesidad
de aumentar en gran cuanta el nmero de observaciones. Similares resultados se obtienen en el
caso de considerar a las facetas cursos e individuos en la instrumentacin: aumentando a 10
individuos y manteniendo el mismo nmero de cursos conseguiramos la maximizacin del
coeficiente, tanto en el caso de considerar a la faceta sexo fija como aleatoria. Tambin en este
caso se han limitado los presupuestos (p= 4.700 ptas y p = 192.000 ptas).
Tabla 11: Componentes de variancia aleatorios para el plan C x I x S (C=I=S= Infinito).

FUENTES DE VARIACION
C
S
CS
I
CI
SI
CSI

VARIANCIA
11.458
-972
1.181
-833
417
2.847
2.257

%
6.310
0
650
0
229
1.568
1.243

En definitiva, las conclusiones parecen ser contrarias a las obtenidas previamente en la

optimizacin de los diferentes planes de medida. Qu ha cambiado?.
Bsicamente, no hemos aumentado en precisin, pero hemos establecido el nmero ptimo de
observaciones a realizar disponiendo de 192.000 ptas para llevar a cabo la investigacin y de
4.700 ptas para cada interaccin.
A tenor de los resultados obtenidos en el proceso de optimizacin para llevar a cabo una
diferenciacin con precisin necesitaramos de 8 cursos escolares en lugar de los 4 fijados
inicialmente en el diseo, pero en contrapartida seran 4 aos ms de investigacin y un
presupuesto total multiplicando por 4 (exceptuando gastos de inflacin y de crdito). Los costos
seran altsimos y quizs no se llevara a cabo la investigacin. La maximizacin ajusta el
presupuesto a la relacin costo-beneficio, aunque ello suponga no aumentar en precisin. En todo
caso, el dilema quedara en manos de la toma de decisin del investigador. Es decir, conseguir una
buena precisin en la generalizacin de sus resultados aumentado el nmero de cursos escolares y
manteniendo casi el mismo nmero de individuos (optimizacin) o estimar con menor precisin
manteniendo el mismo nmero de cursos escolares y aumentando tan solo a 10 el nmero total de
individuos en la investigacin pero contando con un presupuesto real de 192.000 ptas
(maximizacin).
Por supuesto, se pueden aadir otras limitaciones adicionales a la maximizacin que hemos
llevado a cabo; por ejemplo, podemos imponer un nmero mximo de cursos y un nmero
mnimo de individuos antes de optimizar la solucin. Tales restricciones adicionales pueden ser
importantes cuando, a pesar de restricciones presupuestarias, el investigador ha de tomar en
consideracin esas otras restricciones del diseo.

anales de psicologa, 1991, 7(1)

104

Jaime Arnau Gras et al.

Referencias
Arnau Gras, J. (1981). Diseos experimentales en psicologa y educacin. Vol. 1. Mxico: Trillas.
Arnau Gras, J. (1990). Diseos experimentales multivariables. Madrid: Alianza Editorial.
Arnau Gras, J., Blanco Villaseor, A., y Losada Lpez, J.L. (1990, Noviembre). Semejanzas y disimilitudes entre el
mtodo multivariable (medidas repetidas) y la teora de estimacin de la precisin (generalizabilidad).
Comunicacin presentada en el VIII Congreso Nacional de Psicologa (Mesa Redonda 'Mtodos y Tcnicas').
Barcelona.
Bartlett, M.S. (1947). Multivariate analysis. Journal of the Royal Statistical Society, 9, 176-197.
Blanco Villaseor, A. (1989). Fiabilidad y generalizacin de la observacin conductual. Anuario de Psicologa, 43 (4), 532.
Bock, R.D. (1975). Multivariate statistical methods in behavioral research. New York: McGraw-Hill.
Brennan, R.L. (1983). Elements of generalizability theory.Iowa City, Ia.: The American College Testing Program.
Cardinet, J., Tourneur, Y., & Allal, L. (1976). The simmetry of generalizability theory: Applications to educational
measurement. Journal of Educational Measurement, 13 (2), 119-135.
Cardinet, J., Tourneur, Y., & Allal, L. (1981). Extension of generalizability theory and its applications in educational
measurement. Journal of Educational Measurement,18 (4), 183-204.
Cardinet, J., & Tourneur, Y. (1985). Assurer la mesure. Berne: Peter Lang.
Cardinet, J. (1987). La construction de tests d'apprentissage selon la thorie de la gnralisabilit (Recherches; 87.107).
Neuchtel: Institut romand de recherches et de documentation pdagogiques.
Cochran, W.G. & Cox, G.M. (1957). Experimental designs. New York: John Wiley (edicin castellana, 1974. Mxico:
Trillas).
Cronbach, L.J., Rajaratnam, N., & Gleser, G.C. (1963). Theory of generalizability: a liberalization of reliability theory.
British Journal of Mathematical and Statistical Psychology, 16, l37-163.
Cronbach, L.J., Gleser, G.C., Nanda, H., & Rajaratnam, N. (1972). The dependability of behavioral measurements: theory
of generalizability for scores and profiles. New York: Wiley.
Dixon, W.J., Brown, M.B., Engelman, L., & Jennrich, R.I. (1990). BMDP Statistical Software Manual. Berkeley, Ca.:
University of California Press.
Dayton, C.M. (1970). The design of educational experiments. New York: McGraw-Hill.
Fisher, R.A. (1925). Statistical methods for research workers (1a ed.). Londres: Oliver and Boyd.
Federer, W.T. (1955). Experimental design, theory and application. New York: Macmillan.
Fleiss, J.L. (1986). The design and analysis of clinical experiments. New York: John Wiley.
Marcoulides, G.A. (1989). The application of generalizability analysis to observational studies. Quality & Quantity: The
International Journal of Methodology, 23(2), 115-127.
Marcoulides, G.A., & Goldstein, Z. (1990). The optimization of generalizability studies with resource constraints.
Educational and Psychological Measurement, 50, 761-768.
Rentz, J.O. (1987). Generalizability Theory: A Comprehensive method for assessing and improving the dependability of
marketing measures. Journal of Marketing Research, 24, 19-28.
Shavelson, R.J., & Webb, N.M. (1981). Generalizability theory: 1973-1980. British Journal of Mathematical and
Statistical Psychology, 34, 133-166.
Shavelson, R.J., Webb, N.M., & Rowley, G.L. (1989). Generalizability Theory. American Psychologist, 44 (6), 922-932.
Tukey, J.W. (1949). Dyadic ANOVA, an analysis of variance for vectors. Human Biology, 21, 65-110.
Wilks, S.S. (1932). Certain generalization in the analysis of variance. Biometrika, 24, 471-494.
Woodward, J.A., & Joe, G.W. (1973). Maximizing the coefficient of generalizability in multi-facet decision studies.
Psychometrika, 38(2), 173-181.

Original recibido: 29-4-91

Aceptado: 7-6-91

anales de psicologa, 1991, 7(1)