Mtodos para matrices especiales.

Descomposicin de Cholesky
MAT-251

Dr. Alonso Ramrez Manzanares

CIMAT A.C.
e-mail: alram@cimat.mx
web: http://www.cimat.mx/~alram/met_num/

Dr. Joaqun Pea Acevedo

CIMAT A.C.
e-mail: joaquin@cimat.mx

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Ventajas computacionales de las factorizaciones ...

en segundos

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Ventajas computacionales de las factorizaciones ...

en segundos
donde se usan factorizaciones en la vida real? ....

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Ventajas computacionales de las factorizaciones ...

en segundos
donde se usan factorizaciones en la vida real? ....

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Ventajas computacionales de las factorizaciones ...

en segundos
donde se usan factorizaciones en la vida real? ....

Si hacemos una descomposicin ( O(n3)), de tal forma que resolvemos el

sistema Axi=bi para diferentes vectores bi.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Ventajas computacionales de las factorizaciones ...

en segundos
donde se usan factorizaciones en la vida real? ....

Si hacemos una descomposicin ( O(n3)), de tal forma que resolvemos el

sistema Axi=bi para diferentes vectores bi.
Entonces la solucin estar dada por el orden O(n2) en lugar de O(n3).

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Ventajas computacionales de las factorizaciones ...

en segundos
donde se usan factorizaciones en la vida real? ....

Si hacemos una descomposicin ( O(n3)), de tal forma que resolvemos el

sistema Axi=bi para diferentes vectores bi.
Entonces la solucin estar dada por el orden O(n2) en lugar de O(n3).
Para sistemas de tamao, digamos de 1000x1000

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Ventajas computacionales de las factorizaciones ...

en segundos
donde se usan factorizaciones en la vida real? ....

Si hacemos una descomposicin ( O(n3)), de tal forma que resolvemos el

sistema Axi=bi para diferentes vectores bi.
Entonces la solucin estar dada por el orden O(n2) en lugar de O(n3).
Para sistemas de tamao, digamos de 1000x1000
10002 = 1,000,000 = 0.001 * 1,000,000,000 = 0.001 * 1,0003

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices con diagonal estrictamente-dominante

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices con diagonal estrictamente-dominante

La definicin de una matriz cuadrada estrictamente diagonal-dominante es la
siguiente:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices con diagonal estrictamente-dominante

La definicin de una matriz cuadrada estrictamente diagonal-dominante es la
siguiente:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices con diagonal estrictamente-dominante

La definicin de una matriz cuadrada estrictamente diagonal-dominante es la
siguiente:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices con diagonal estrictamente-dominante

La definicin de una matriz cuadrada estrictamente diagonal-dominante es la
siguiente:

Ntese que dada una matriz estrictamente diagonal-dominante, su

transpuesta no tiene por que serlo.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices con diagonal estrictamente-dominante

La definicin de una matriz cuadrada estrictamente diagonal-dominante es la
siguiente:

Ntese que dada una matriz estrictamente diagonal-dominante, su

transpuesta no tiene por que serlo.
Una matriz estrictamente diagonal-dominante tiene inversa. Se puede
aplicar eliminacin Gaussiana sin necesidad de hacer intercambio de
renglones, y los clculos sern estables con respecto a los errores de
redondeo.
Alonso Ramrez Manzanares
Monday, August 31, 15

Mtodos Numricos

31.08.2015

Una matriz estrictamente diagonal-dominante tiene

inversa, demostracin:
Prueba por contradiccin: consideremos que es singular, entonces
consideremos Ax=0, con solucin x = (xi) que no es cero. Sea k un ndice para
el cual 0 < |xk| = max 1jn |xj|.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Una matriz estrictamente diagonal-dominante tiene

inversa, demostracin:
Prueba por contradiccin: consideremos que es singular, entonces
consideremos Ax=0, con solucin x = (xi) que no es cero. Sea k un ndice para
el cual 0 < |xk| = max 1jn |xj|.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definidas positivas

Aqu trabajaremos con aquellas matrices cuadradas y simtricas tales que
xTA x > 0 para todo vector x diferente de 0. Es decir que la matriz de tamao
1x1 (escalar) resultante de la operacin es positiva.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definidas positivas

Aqu trabajaremos con aquellas matrices cuadradas y simtricas tales que
xTA x > 0 para todo vector x diferente de 0.
Ejemplo, una matriz positiva:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definidas positivas

Aqu trabajaremos con aquellas matrices cuadradas y simtricas tales que
xTA x > 0 para todo vector x diferente de 0.
Ejemplo, una matriz positiva:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definidas positivas

Aqu trabajaremos con aquellas matrices cuadradas y simtricas tales que
xTA x > 0 para todo vector x diferente de 0.
Ejemplo, una matriz positiva:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definidas positivas

Aqu trabajaremos con aquellas matrices cuadradas y simtricas tales que
xTA x > 0 para todo vector x diferente de 0.
Ejemplo, una matriz positiva:

A esta forma se le llama forma cuadrtica asociada a la matriz.

Alonso Ramrez Manzanares
Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definidas positivas

Una matriz no positiva pero que es definida positiva

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definidas positivas

Una matriz no positiva pero que es definida positiva

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definidas positivas

Una matriz no positiva pero que es definida positiva

La expresin solo puede ser cero cuando todos los xi son cero.
Alonso Ramrez Manzanares
Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definidas positivas

Las matrices positivas definidas aparecen mucho en problemas de CNyE, por
ejemplo en las matrices de covarianza.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definida positiva

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definida positiva

Propiedades de estas matrices:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definida positiva

Propiedades de estas matrices:
A es no singular.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definida positiva

Propiedades de estas matrices:
A es no singular.
Demostracin por contradiccin: Suponemos singularidad: Ax=0,
para x diferente cero, entonces xTAx =0, lo cual contradice que A es
definida positiva.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definida positiva

Propiedades de estas matrices:
A es no singular.
Demostracin por contradiccin: Suponemos singularidad: Ax=0,
para x diferente cero, entonces xTAx =0, lo cual contradice que A es
definida positiva.
aii > 0 para toda i=1,...,n, por lo tanto la traza es no negativa.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definida positiva

Propiedades de estas matrices:
A es no singular.
Demostracin por contradiccin: Suponemos singularidad: Ax=0,
para x diferente cero, entonces xTAx =0, lo cual contradice que A es
definida positiva.
aii > 0 para toda i=1,...,n, por lo tanto la traza es no negativa.
Demostracin: Para una i cualquiera, definamos x = (xk) por xi = 1 y xj
= 0, si j i. Entonces x 0, por lo que 0 < xTAx = aii.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definida positiva

Propiedades de estas matrices:
A es no singular.
Demostracin por contradiccin: Suponemos singularidad: Ax=0,
para x diferente cero, entonces xTAx =0, lo cual contradice que A es
definida positiva.
aii > 0 para toda i=1,...,n, por lo tanto la traza es no negativa.
Demostracin: Para una i cualquiera, definamos x = (xk) por xi = 1 y xj
= 0, si j i. Entonces x 0, por lo que 0 < xTAx = aii.
max i k,j n |akj| max 1in |aii|

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definida positiva

Propiedades de estas matrices:
A es no singular.
Demostracin por contradiccin: Suponemos singularidad: Ax=0,
para x diferente cero, entonces xTAx =0, lo cual contradice que A es
definida positiva.
aii > 0 para toda i=1,...,n, por lo tanto la traza es no negativa.
Demostracin: Para una i cualquiera, definamos x = (xk) por xi = 1 y xj
= 0, si j i. Entonces x 0, por lo que 0 < xTAx = aii.
max i k,j n |akj| max 1in |aii|
Demostracin: Tarea.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definida positiva

Propiedades de estas matrices:
A es no singular.
Demostracin por contradiccin: Suponemos singularidad: Ax=0,
para x diferente cero, entonces xTAx =0, lo cual contradice que A es
definida positiva.
aii > 0 para toda i=1,...,n, por lo tanto la traza es no negativa.
Demostracin: Para una i cualquiera, definamos x = (xk) por xi = 1 y xj
= 0, si j i. Entonces x 0, por lo que 0 < xTAx = aii.
max i k,j n |akj| max 1in |aii|
Demostracin: Tarea.
aij2 < aiiajj para cada i j

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definida positiva

Propiedades de estas matrices:
A es no singular.
Demostracin por contradiccin: Suponemos singularidad: Ax=0,
para x diferente cero, entonces xTAx =0, lo cual contradice que A es
definida positiva.
aii > 0 para toda i=1,...,n, por lo tanto la traza es no negativa.
Demostracin: Para una i cualquiera, definamos x = (xk) por xi = 1 y xj
= 0, si j i. Entonces x 0, por lo que 0 < xTAx = aii.
max i k,j n |akj| max 1in |aii|
Demostracin: Tarea.
aij2 < aiiajj para cada i j
Demostracin: Tarea.
Alonso Ramrez Manzanares
Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices definida positiva

Propiedades de estas matrices (2):
Se puede aplicar eliminacin Gaussiana si necesidad de intercambio de
renglones.
Se puede factorizar en la forma L LT , donde L es una matriz triangular
inferior con entradas positivas en la diagonal.
Se puede factorizar en la forma LDLT, donde L es una matriz triangular
inferior con unos en la diagonal y D es una matriz diagonal con entradas
positivas.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Descomposicin (factorizacin) de Cholesky

Andr-Louis Cholesky (15 de Octubre de 1875 - 31 de Agosto de 1918).
Se factoriza A = L LT , donde L es una matriz triangular inferior con
entradas positivas en la diagonal.
La descomposicin es nica,

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Descomposicin (factorizacin) de Cholesky

Andr-Louis Cholesky (15 de Octubre de 1875 - 31 de Agosto de 1918).
Se factoriza A = L LT , donde L es una matriz triangular inferior con
entradas positivas en la diagonal.
La descomposicin es nica,

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Descomposicin (factorizacin) de Cholesky

Algoritmo

Alonso Ramrez Manzanares

Monday, August 31, 15

... es simtrica...

Mtodos Numricos

31.08.2015

Descomposicin (factorizacin) de Cholesky

=

Alonso Ramrez Manzanares

Monday, August 31, 15

... es simtrica...

Mtodos Numricos

31.08.2015

Descomposicin (factorizacin) de Cholesky

Es positivo

Alonso Ramrez Manzanares

Monday, August 31, 15

... es simtrica...

Mtodos Numricos

31.08.2015

Descomposicin (factorizacin) de Cholesky

Es positivo

... es simtrica...

De tal manera, que procedemos al clculo columna por columna, y las

entradas de L quedan como:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Descomposicin (factorizacin) de Cholesky

Es positivo

... es simtrica...

De tal manera, que procedemos al clculo columna por columna, y las

entradas de L quedan como:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Descomposicin (factorizacin) de Cholesky

Es positivo

... es simtrica...

De tal manera, que procedemos al clculo columna por columna, y las

entradas de L quedan como:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Descomposicin (factorizacin) de Cholesky

Es positivo

... es simtrica...

De tal manera, que procedemos al clculo columna por columna, y las

entradas de L quedan como:

para i > j
Alonso Ramrez Manzanares
Monday, August 31, 15

Mtodos Numricos

31.08.2015

Descomposicin (factorizacin) de Cholesky

Es positivo

... es simtrica...

De tal manera, que procedemos al clculo columna por columna, y las

entradas de L quedan como:

para i > j
Alonso Ramrez Manzanares
Monday, August 31, 15

Mtodos Numricos

31.08.2015

Una forma alternativa que evita calcular raices

cuadradas

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Una forma alternativa que evita calcular raices

cuadradas

De tal manera que L es una matriz triangular inferior con unos en la diagonal y
D es una matriz diagonal con entradas positivas.
multiplicando las matrices tenemos

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Una forma alternativa que evita calcular raices

cuadradas

De tal manera que L es una matriz triangular inferior con unos en la diagonal y
D es una matriz diagonal con entradas positivas.
multiplicando las matrices tenemos

... es simtrica...

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Una forma alternativa que evita calcular raices cuadradas

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Una forma alternativa que evita calcular raices cuadradas

Quedando las entradas definidas como:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Una forma alternativa que evita calcular raices cuadradas

Quedando las entradas definidas como:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Una forma alternativa que evita calcular raices cuadradas

Quedando las entradas definidas como:

De tal forma que, de nuevo, hacemos el clculo columna por columna.

Alonso Ramrez Manzanares
Monday, August 31, 15

Mtodos Numricos

31.08.2015

Relacin entre las 2 factorizaciones

Las 2 factorizaciones LLT y LDLT (ntese que son diferentes Ls) se relacionan
as:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Relacin entre las 2 factorizaciones

Las 2 factorizaciones LLT y LDLT (ntese que son diferentes Ls) se relacionan
as:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Solucin del SEL dada la factorizacin LLT

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Solucin del SEL dada la factorizacin LLT

Si tenemos Ax=b entonces usamos LLTx=b,
primero hacemos y = LTx y solucionamos Ly=b con sustitucin hacia
adelante, con:

Luego solucionamos para x el sistema LTx = y con sustitucin hacia atrs.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Solucin del SEL dada la factorizacin LLT

Si tenemos Ax=b entonces usamos LLTx=b,
primero hacemos y = LTx y solucionamos Ly=b con sustitucin hacia
adelante, con:

Luego solucionamos para x el sistema LTx = y con sustitucin hacia atrs.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Solucin del SEL dada la factorizacin LDLT

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Solucin del SEL dada la factorizacin LDLT

Si tenemos el sistema A x=b como LDLT x = b haciendo y = DLT x, y
resolviendo para y el SEL Ly=b con sustitucin hacia adelante.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Solucin del SEL dada la factorizacin LDLT

Si tenemos el sistema A x=b como LDLT x = b haciendo y = DLT x, y
resolviendo para y el SEL Ly=b con sustitucin hacia adelante.
Luego usamos z = LTx de tal forma que resolvemos para z el SEL Dz=y. Pero
D es diagonal, por lo que esto es muy fcil:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Solucin del SEL dada la factorizacin LDLT

Si tenemos el sistema A x=b como LDLT x = b haciendo y = DLT x, y
resolviendo para y el SEL Ly=b con sustitucin hacia adelante.
Luego usamos z = LTx de tal forma que resolvemos para z el SEL Dz=y. Pero
D es diagonal, por lo que esto es muy fcil:

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Solucin del SEL dada la factorizacin LDLT

Si tenemos el sistema A x=b como LDLT x = b haciendo y = DLT x, y
resolviendo para y el SEL Ly=b con sustitucin hacia adelante.
Luego usamos z = LTx de tal forma que resolvemos para z el SEL Dz=y. Pero
D es diagonal, por lo que esto es muy fcil:

Finalmente resolvemos LTx = z para x con sustitucin hacia atrs y

TERMINAMOS.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Solucin del SEL dada la factorizacin LDLT

Si tenemos el sistema A x=b como LDLT x = b haciendo y = DLT x, y
resolviendo para y el SEL Ly=b con sustitucin hacia adelante.
Luego usamos z = LTx de tal forma que resolvemos para z el SEL Dz=y. Pero
D es diagonal, por lo que esto es muy fcil:

Finalmente resolvemos LTx = z para x con sustitucin hacia atrs y

TERMINAMOS.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices bandadas
Una matriz de tamao n x n se dice que es bandada si existen los numeros p
y q enteros 1 < p , q < n, tal que aij = 0 para todo p j- i q i - j
p denota el nmero de diagonales arriba de la diagonal principal,
incluyndola.
q denota el nmero de diagonales abajo de la diagonal principal,
incluyndola.
Ejemplo con p = 3 y q = 2.

El numero de diagonales es p+q-1.

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015

Matrices tridiagonales
Un grupo muy famoso son las tridiagonales, es decir con p=q=2

Alonso Ramrez Manzanares

Monday, August 31, 15

Mtodos Numricos

31.08.2015