5-3 DISEO FACTORIAL DE DOS FACTORES

177

Las observaciones de un experimento factorial pueden describirse con un modelo. Hay varias formas
de escribir el modelo de un experimento factorial. El modelo de los efectos es
i=l, 2, , a
j=l, 2, , b
{
k = 1, 2, , n

Yijk =/l+T+f3j+(Tf3)ij+Cijk

(5-1)

donde /l es el efecto promedio global, T es el efecto del nivel i-simo del factor A de los renglones, f3j es el
efecto del nivelj-simo del factor B de las columnas, (Tf3)ij es el efecto de la interaccin entre T y f3 j, YCjk es
un componente del error aleatorio. Se supone que ambos factores son fijos, y los efectos de los tratamientos se definen como las desviaciones de la media global, por lo que 2:~=1 T = Oy 2:~=1f3 j = O. De manera similar, los efectos de las interacciones son fijos y se definen de tal modo que 2:~=l(Tf3)ij = 2:~=l(Tf3)ij = O.
Puesto que hay n rplicas del experimento, hay abn observaciones en total.
Otro modelo posible de un experimento factorial es el modelo de las medias

= /lij +cijk

Yijk

i.:
{

1,2, , a
] -1, 2, , b
k = 1, 2, , n

donde la media de la celda ij-sima es

/lij

= /l+T +f3j +(Tf3)ij

Thmbin podra usarse un modelo de regresin como en la seccin 5-1. Los modelos de regresin resultan
particularmente tiles cuando uno o ms de los factores del experimento son cuantitativos. En la mayor
parte de este captulo se usar el modelo de los efectos (ecuacin 5-1) con referencia al modelo de regresin en la seccin 5-5.
En el diseo factorial de dos factores, los factores (o tratamientos) de los renglones y las columnas, A
y B, son de igual inters. Especficamente, el inters se encuentra en probar hiptesis acerca d~ la igualdad de los efectos de los tratamientos de los renglones, por ejemplo,

Ha: TI = T2 =...= Ta = O
H 1 : al menos una T :; O

(5-2a)

y de la igualdad de los efectos de los tratamientos de las columnas, por ejemplo,

H a :f31

= f32 =...= f3b = O

H 1 : al menos una f3 j

:;

(5-2b)

Tambin existe inters en determinar si los tratamientos de los renglones y las columnas interactan. Por
lo tanto, tambin querra probarse

Ha: (Tf3)ij

=O

para todas las i, j

H 1:al menos una (Tf3) ij

:;

(5-2c)

A continuacin se indica cmo se prueban estas hiptesis utilizando un anlisis de varianza de dos factores.

5-3.2

Anlisis estadstico del modelo con efectos fijos

Sea que Yi.. denote el total de observaciones bajo el nivel i-simo del factor A, que y J. denote el total de
observaciones bajo el nivelj-simo del factor B, que Yij. denote el total de observaciones de la celda

fi"\'l'

178

CAPTULO 5 INTRODUCCIN A LOS DISEOS FACTORIALES

ij-sima, y que Y... denote el gran total de todas las observaciones. Se definenYi.., Y'.,Yij. YY.. como los promedios correspondientes de los renglones, las columnas, las celdas y el gran promedio. Expresado matemticamente,
b

Yi.. =

LL Yijk

Yi..
Yi.. = bn

i=l, 2, ..., a

! Yijk

y.=-

Yj.
an

j= 1,2, ..., b

j=l k=l

Yj.

.J.

i=l k=l

i = 1, 2,
j= 1, 2,
a

Y..

= LLL
i=l j=l

Y..

Yijk

k~l

(5-3)
,a
,b

Y..

= abn

La suma de cuadrados total corregida puede escribirse como

a

LLL (Yijk _y... )2 = LLL [(Yi.. -Y... )+(Y.

i=l j=l k=l

j.

-Y... )

i=l j=l k=l

+(Y-..lJ - y-ol.. - Y-.J.. + Y-'" )+(Y..lJok - Y- lJ... )]2

a

~
=bnLJ

(-Yi.. - Y..
-)2

+ anLJ
~ (-)2
Yj. - Y..

i=l

(5-4)

j=l

+ nLJ
~ ~ (- _ - . . . - + - )2
LJ Yij. Yi.. Yj. Y..
i=l j=l

LLL (Yijk-YijY
i=l j=l k=l

ya que los seis productos cruzados del lado derecho de la igualdad son cero. Observe que se ha hecho la
particin de la suma de cuadrados total en una suma de cuadrados debida a "los renglones", o factor A
(SSA); una suma de cuadrados debida a "las columnas", o factor B (SSB); una suma de cuadrados debida a
la interaccin entre A y B (SSAB); y una suma de cuadrados debida al error (SSE). Por el ltimo componente del lado derecho de la igualdad de la ecuacin 5-4, se observa que debe haber por lo menos dos rplicas
(n ;:::: 2) para obtener una suma de cuadrados del error.
La ecuacin 5-4 puede escribirse simblicamente como
SST

= SSA +SSB +SS AB +SSE

El nmero de grados de libertad asociado con cada suma de cuadrados es

Efecto
A

B
Interaccin AB
Error
Total

Grados de libertad
a-l
b-l
(a-l)(b-l)
aben -1)
abn-l

(5-5)

5-3 DISEO FACTORIAL DE DOS FACTORES

179

Esta asignacin de los abn - 1 grados de libertad totales a las sumas de cuadrados puede justificarse de la
siguiente manera: los efectos principalesA y B tienen a y b niveles, respectivamente; por lo tanto, tienen a
-1 y b - 1 grados de libertad, como se indica. Los grados de libertad de la interaccin son slo el nmero
de grados de libertad de las celdas (que es ab - 1) menos el nmero de grados de libertad de los dos efectos principales A y B; es decir, ab -1- (a -1) - (b -1) = (a -1 )(b -1). Dentro de cada una de las ab celdas
hay n -1 grados de libertad entre las n rplicas; por lo tanto hay aben -1) grados de libertad para el error.
Observe que la suma del nmero de grados de libertad en el lado derecho de la ecuacin 5-5 es igual al nmero total de grados de libertad.
Cada suma de cuadrados dividida por sus grados de libertad es un cuadrado medio. Los valores esperados de los cuadrados medios son

SS )
A
E(MSA)=E- =a2+
( a-1

bn~ 7:7
.=1

a-1
b

E(MS B )= E(SSB
b-1

)= a 2 +

anL f3~
j=1

b-1
a

= E(

E(MS
AB)

nL L (7:f3)~

SS AB
(a-1)(b-1)

)= a2 + (a-1)(b-1)
.=1 j=1

SSE )
2
E(MSE ) = E ( ab(n-1) = a
Observe que si es verdadera la hiptesis nula de que no hay efectos de los tratamientos de los renglones,
ni de los tratamientos de las columnas, ni interaccin, entonces MSA, MSB, MSAB y MSE son todas estimaciones de aZ. Sin e,mbargo, si hay diferencias entre los efectos de los tratamientos de los renglones, por
ejemplo, entonces MSA ser mayor que MSE De manera similar, si estn presentes efectos de los tratamientos de las columnas o de la interaccin, entonces los cuadrados medios correspondientes sern mayores que MSE' Por lo tanto, para probar la significacin de los dos efectos principales y su interaccin,
simplemente se divide el cuadrado medio correspondiente por el cuadrado medio del error. Los valores
grandes de este cociente implican que los datos no apoyan la hiptesis nula.
Si se supone que el modelo (ecuacin 5-1) es adecuado y que los trminos del error Cijk tienen una distribucin normal e independiente con varianza aZ constante, entonces cada uno de los cocientes de cuadrados medios MSA/MSE, MSB/MS E y MSAB/MSE se distribuyen con;1 F con a - 1, b -1 Y (a - l)(b - 1)
grados de libertad en el numerador, respectivamente, y aben -1) grados de libertad en el denominador, 1 y
la regin crtica sera la cola superior de la distribucin F. El procedimiento de prueba suele resumirse en
una tabla del aulisis de varianza, como se muestra en la tabla 5-3.
En lo que a los clculos se refiere, por lo general se emplea un paquete de software de estadstica para
realizar el anlisis de varianza. Sin embargo, no es complicado obtener frmulas para calcular manual1

La prueba F puede considerarse como una aproximacin de una prueba de aleatorizacin, como se seal anteriormente.

180

CAPTULO 5

Tabla 5-3

INTRODUCCIN A LOS DISEOS FACTORIALES

La tabla del anlisis de varianza para el diseo factorial de dos factores, modelo con efectos fijos

Fuente de
variacin
'ITatamientosA

Suma de
cuadrados

Grados de
libertad

Cuadrado medio
F: = MSA
o

Tratamientos B
Interaccin

b-1

SSB
SSAB

MS = SSB
B b-1
M

(a-1)(b -1)

Error

SSE

aben -1)

Total

SSr

abn-1

_
SSAB
SAB - (a-1)(b-1)

MSE

F: = MSB
o

MSE

F: = MSAB
o

MSE

MS = SSE
E aben -1)

mente las sumas de cuadrados de la ecuacin 5-5. La suma de cuadrados total se calcula como de costumbre con
abn

SST=

y.~

LLL Yijk-b
a n
i~l j~l k~l

Las sumas de cuadrados de los efectos principales son

1 a
SS A bn

=-"f:t i- L

y
SSB

=~
an

y2

j~l

.J.

abn

l..

(5-6)

(5-7)

abn

(5-8)

Es conveniente obtener SSAB en dos pasos. Se calcula primero la suma de cuadrados entre los totales de
las ab celdas, a la que se denomina la suma de cuadrados debida a los "subtotales":
SS Sublotales

ab

=;; L L
,~1

2
y.~
yij. - abn

J~l

Esta suma de cuadrados tambin contiene a SSA y SSB' Por 10 tanto, el segundo paso consiste en calcular
SSAB comO
(5-9)
SS AB = SS Subtotales - SS A - SSB
Puede calcularse SSE por sustraccin como
(5-10)
SSE = SST - SS AB - SS A - SSB
o
SS E

EJEMPLO 5~ 1

= SST -

SS Subtotales

El experimento del diseo de la batera

En la tabla 5-4 se prese1}ta la vida efectiva (en horas) observada en el ejemplo del diseo de la batera que
se describi en la seccin 5-3.1. Los totales de los renglones y las columnas se indican en los mrgenes de
la tabla y los nmeros encerrados en un crculo son los totales de las celdas.

181

5-3 DISEO FACTORIAL DE DOS FACTORES

Tabla 5-4 Datos de la vida (en horas) del experimento del diseo de la batera
Thmperatura ("F)

Tipo de

15

material

1
2
3
Ji.

155
180
188
126
110
160

130
74
150
159
138
168

125

70
34
80
136
106
174
150

@)

1738

40
75
122
115
120
139

@
@
@

20
82
25
58
96
82

1291

YL.

70
58
70
45
104
60

@
@
@

770

998
1300
1501
3799 = Y...

Las sumas de cuadrados se calculan de la siguiente manera:

b

el

SS

= LJLJLJ
~~~
T
i=1 j=1 k=1

Y~-~
gk
b
a n

= (130)2 +(155)2 +(74)2 + ... +(60)2 SS

Materia!

(3799)2
36 = 77,646.97

1 a
2
=_~ 2_~
bn LJ Yi.. abn
1=1

= (3)1(4)[(998)2 +(1300)2 +(1501)2]- (37::)2 = 10,683.72

1

SS
Temperatura

1...
= an LJ Y.j. - abn
2

)=1

= (3)1(4) [(1738)2 +(1291)2 +(770)2]- (37::)2 = 39,118.72

Y.~
LL
Yij. - -b n
a n

SSInteraccin

ab

=-

SSMaterial -

SSTemperatura

;=1 j=1

= [(539)2 +(229)2 + ... +(342)2]- (37::)2

10,683.72

- 39,118.72= 9613.78
y
SS E

= SST -

SS Material - SSTemperatura -

SS Interaccin

= 77,646.97-10,683.72- 39,118.72- 9613.78= 18,230.75

En la tabla 5-5 se muestra el anlisis de varianza. Puesto que F a.a5 , 4, 27 = 2.73, se concluye que hay una interaccin significativa entre los tipos del material y la temperatura. Adems, F a.a5 , 2, 27 = 3.35, por lo que los
efectos principales del tipo de material y la temperatura tambin son significativos. En la tabla 5-5 tambin se muestran los valores P para los estadsticos de la prueba.
Como ayuda para interpretar los resultados de este experimento, es conveniente construir una grfica de las respuestas promedio para cada combinacin de los tratamientos. Esta grfica se muestra en la figura 5-9. El hecho de que las rectas no sean paralelas indica que la interaccin es significativa. En general,
se consigue una vida ms larga con una temperatura baja, independientemente del tipo de material. Al
cambiar de una temperatura baja a una intermedia, la vida de la batera con el material tipo 3 tiene un in-

182

CAPTULO 5 INTRODUCCIN A LOS DISEOS FACTORIALES

Tabla 5-5 Anlisis de varianza de los datos de la vida de la batera

Fuente de
Suma de
Grados de
variacin
cuadrados
libertad
Tipos de material
10,683.72
2
39,118.72
2
Temperatura
Interaccin
4
9,613.78
Error
27
18,230.75
Total
35
77,646.97

Cuadrado
medio
5,341.86
19,559.36
2,403.44
675.21

Valor P
7.91
28.97
3.56

0.0020
0.0001
0.0186

cremento real, mientras que con los materiales tipos 1 y 2 disminuye. Con una temperatura de intermedia
a alta, la vida de la batera disminuye para los materiales tipos 2 y 3 y se mantiene en esencia sin cambio
pra el material tipo 1. El material tipo 3 parece producir los mejores resultados si se quiere una prdida
menor de la vida efectiva cuando la temperatura cambia.

Comparaciones mltiples

Cuando el anlisis de varianza indica que las medias de los renglones o las columnas difieren, por lo general es de inters hacer comparaciones entre las medias individuales de los renglones o las columnas para
descubrir diferencias especficas. Los mtodos de comparaciones mltiples revisados en el captulo 3 son
tiles a este' respecto.
Se ilustra ahora el uso de la prueba de Tukey con los datos de la vida de la batera del ejemplo S-l.
Observe que en este experimento, la interaccin es significativa. Cuando la interaccin es significativa, las
comparaciones entre las medias de uno de los factores (por ejemplo, A ) pueden ser oscurecidas por la interaccinAB. Una forma de abordar esta cuestin consiste en fijar el factor B en un nivel especfico y aplicar la prueba de Tukey a las medias del factorA con ese nivel. Para ilustrar, suponga que en el ejemplo S-l
el inters se encuentra en detectar las diferencias entre las medias de los tres tipos de material. Puesto
que la interaccin es significativa, esta comparacin se hace con un solo nivel de la temperatura, por
ejemplo el nivel 2 (70F). Se supone que la mejor estimacin de la varianza del error es MSE de la tabla del
anlisis de varianza, utilizando el supuesto de que la varianza del error experimental es la misma para todas las combinaciones de tratamientos.

175
150

1';':$125
o

:g

100

e
o.

75

:>

50

ro
-o

Material tipo 3
. . . .----..;;~ Material

tipo 1
Material tipo 2

25

0'-----:'::-----::':-------:-:-::----Temperatura (DFI

Figura 5-9 Grfica tipo de material-temperatura para el ejemplo 5-1.

5-3 DISEO FACTORIAL DE DOS FACTORES

183

Los promedios de los tres tipos de material a 70F dispuestos en orden ascendente son
Y12.
Y22.
Y32.

= 57.25
= 119.75
= 145.75

(material tipo 1)
(material tipo 2)
(material tipo 3)

y
TO. 05

= qo . 05 (3,

27) ~MSE
-11-

= 3.50~67~21
= 45.47
donde qo.05(3, 27) = 3.50 se obtiene por interpolacin en la tabla VIII del apndice. Las comparaciones por
pares dan como resultado

3 vs. 1: .
3 vs. 2:
2 vs. 1:

145.75 - 57.25 = 88.50 > T O.05 = 45.47

145.75 - 119.75 = 26.00 < T O05 = 45.47
119.75 - 57.25 = 62.50 > T O05 = 45.47

Este anlisis indica que con el nivel de temperatura de 70F, la vida media de la batera es la misma
para los materiales tipos 2 y 3, Yque la vida media de la batera para el material tipo 1 es significativamente menor.
Si la interaccin es significativa, el experimentador podra comparar las medias de todas las ah celdas
para determinar cules difieren significativamente. En este anlisis, las diferencias entre las medias de las
celdas incluyen los efectos de la interaccin, as como ambos efectos principales. En el ejemplo 5-1, esto
dara 36 comparaciones entre todos los pares posibles de las nueve medias de las celdas.
Sada de computadora
En la figura 5-10 se presenta la salida de computadora de Design-Expert para los datos de la vida de la batera del ejemplo 5-1. Observe que

SS Modelo

= SS Material + SS Temperatura + SS Interaccin

= 10,683.72+39,118.72+9613.78

= 59,416.22
y que

59,416.22 = 0.7652
77,646.97
Es decir, cerca de 77% de la variabilidad de la vida de la batera es explicada por el material de la placa de
la batera, la temperatura y la interaccin entre el tipo de material y la temperatura. En la salida de computadora se muestran tambin los residuales del modelo ajustado. A continuacin se indica cmo usar estos residuales para verificar la adecuacin del modelo.

~I

CAPTULO 5 INTRODUCCIN A LOS DISEOS FACTORIALES

184

in hours
Response: Life
ANOVA for Selected Factorial Model
Analysis of variance table [Partial sum of squares]
Mean
Sum of
Square
Squares
DF
Source
7427.03
8
59416.22
Model
5341.86
2
10683.72
A
19559.36
2
39118.72
B
2403.44
9613.78
4
AB
675.21
18230.75
27
Residual
0.000
O
Lack of Fit
675.21
18230.75
27
Pure Error
77646.97
35
Cor Total
Std. Dev.
Mean

C.V.
PRESS

25.98
105.53
24.62
32410.22

F
Value

11.00
7.91
28.97
3.56

R-Squared
Adj R-Squared
Pred R-Squared
Adeq Precision

Prob> F

<0.0001

significant

0.0020
<0.0001
0.0186

0.7652
0.6956
0.5826
8.178

Diagnostics Case Statistics

Standard Actual Predicted
Value
Value
Order

Residual

Leverage

Student
Residual

Cook's
Distance

Outlier
t

130.00
74.00
155.00
180.00
150.00
159.00
188.00
126.00
138.00
168.00
110.00
160.00
34.00
80.00
40.00
75.00
136.00
106.00
122.00
115.00
174.00
150.00
120.00
139.00
20.00
82.00
70.00
58.00
25.00
58.00
70.00
45.00
96.00
82.00
104.00
60.00

-4.75
-60.75
20.25
45.25
-5.75
3.25
32.25
-29.75
-6.00
24.00
-34.00
16.00
-23.25
22.75
-17.25
17.75
16.25
-13.75
2.25
-4.75
28.25
4.25
-25.75
-6.75
-37.50
24.50
12.50
0.50
-24.50
8.50
20.50
-4.50
10.50
-3.50
18.50
-25.50

0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250
0.250

-0.211
-2.700
0.900
2.011
-0.256
0.144
1.433
-1.322
-0.267
1.066
-1.511
0.711
-1.033
1.011
-0.767
0.789
0.722
-0.611
0.100
-0.211
1.255
0.189
-1.144
-0.300
-1.666
1.089
0.555
0.022
-1.089
0.378
0.911
-0.200
0.467
-0.156
0.822
-1.133

0.002
0.270
0.030
0.150
0.002
0.001
0.076
0.065
0.003
0.042
0.085
0.019
0.040
0.038
0.022
0.023
0.019
0.014
0.000
0.002
0.058
0.001
0.048
0.003
0.103
0.044
0.011
0.000
0.044
0.005
0.031
0.001
0.008
0.001
0.025
0.048

-0.207
-3.100
0.897
2.140
-0.251
0.142
1.463
-1.341
-0.262
1.069
-1.550
0.704
-1.035
1.011
-0.761
0.783
0.716
-0.604
0.098
-0.207
1.269
0.185
-1.151
-0.295
-1.726
1.093
0.548
0.022
-1.093
0.372
0.908
-0.196
0.460
-0.153
0.817
-1.139

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

134.75
134.75
134.75
134.75
155.75
155.75
155.75
155.75
144.00
144.00
144.00
144.00
57.25
57.25
57.25
57.25
119.75
119.75
119.75
119.75
145.75
145.75
145.75
145.75
57.50
57.50
57.50
57.50
49.50
49.50
49.50
49.50
85.50
85.50
85.50
85.50

Figura 510 Salida de Design-Expert para el ejemplo 5-1.

5-3 DISEO FACTORIAL DE DOS FACTORES

5,3.3

185

Verificacin de la adecuacin del modelo

Antes de adoptar las conclusiones del anlisis de varianza, deber verificarse la adecuacin del modelo
fundamental. Como anteriormente, la herramienta primaria de diagnstico es el anlisis residual. Los
residuales del modelo factorial de dos factores son
(5-11)
y puesto que el valor ajustado Yijk
cin 5-11 queda como

= )lij,

(el promedio de las observaciones de la celda ij-sima), la ecua(5-12)

En la salida de computadora de Design-Expert (figura 5-10) y en la tabla 5-6 se muestran los residuales
de los datos de la vida de la batera del ejemplo 5-1. La grfica de probabilidad normal de estos residuales (figura 5-11) no revela nada particularmente problemtico, aun cuando el residual negativo ms grande (-60.75 con 15F para el material tipo 1) se aparta un poco de los dems. El valor estandarizado de este
residual es -60.751'1675.21 = -2.34, Y es el nico residual cuyo valor absoluto es mayor que 2.
En la figura 5-12 se grafican los residuales contra los valores ajustados Yijk' Esta grfica indica una ligera tendencia de la varianza de los residuales a incrementarse cuando la vida de la batera se incrementa.
En las figuras 5-13 y 5-14 se grafican los residuales contra los tipos del material y la temperatura, respectivamente. Ambas grficas indican una ligera desigualdad de la varianza, con la combinacin del tratamiento 15F y material tipo 1, teniendo posiblemente una varianza mayor que las dems.
En la tabla 5-6 se observa que la celda 15F-material tipo 1 contiene los dos residuales extremos
(-60.75 y 45.25). Estos dos residuales son los principales responsables de la desigualdad de la varianza detectada en las figuras 5-12 a 5-14. Al examinarse nuevamente los datos no se observa ningn problema obvio, tal como un error al registrar los datos, por lo que estas respuestas se aceptan como legtimas. Es
posible que esta combinacin de tratamientos particular produzca una vida de la batera ligeramente ms
errtica que las dems. Sin embargo, el problema no es lo suficientemente grave como para tener un impacto dramtico en el anlisis y las conclusiones.

5,3.4

Estimacin de los parmetros del modelo

Los parmetros del modelo de los efectos para el diseo factorial de dos factores

Yijk

Tabla 5-6

2
3

(5-13)

Residuales del ejemplo 5-1

Temperatura

Tipo de
material
1

= fl + + f3 j +(f3)ij +8 ijk

15
-4.75
-60.75
-5.75
3.25
-6.00
24.00

(OF)

70
20.25
45.25
32.25
-29.75
-34.00
16.00

-23.25
22.75
16.25
-13.75
28.25
4.25

125
-17.25
17.75
2.25
-4.75
-25.75
-6.75

-37.50
24.50
-24.50
8.50
10.50
-3.50

12.50
0.50
20.50
-4.50
18.50
-25.50

186

CAPTULO 5 INTRODUCCIN A LOS DISEOS FACTORIALES

99

ro

oc:

-o
ro

;g
:cro
..c

o.

'"

-o
::R
o

-7.75

-34.25

-60.75

18.75

45.25

Residul

Figura 5-11

Grfica de probabilidad normal de los residuales del ejemplo 5-1.

pueden estimarse por mnimos cuadrados. Puesto que el modelo tiene 1 + a + ab parmetros que deben
estimarse, hay 1 + a + b + ab ecuaciones normales. Al utilizar el mtodo de la seccin 3-9, no es difcil demostrar que las ecuaciones normales son
a

tt:abn{t+bnL tri

+anL~j +n
j=l

i=l

80
60
40
20
~

'"

-20
-40

-60

.,

100

50

Yijk

200

-80

Figura 5-12

Grfica de los residuales contra Yijk para el ejemplo 5-1.

LL
i=l j=l

(rf3)ij

= Y...

(5-14a)