Ch

t e

I t e

r a

t i v

t h

1
In t h

B
i s t i v g e ; i e v a o p n

s i c
s e c t i o e t h r o d . t i v r , l m n s p o f s , u p r o n i t e r a m u s u p e m f o e q e t h e l i m r o v m G a o u m r o c e d s o n

I t e
, o h r e o n . w d a i s T s e

r a
s t u s t a x t h h

t i v
d r t e d e n e p y o

e
i t e r a u r o t w

M
t i v i t h u e

t h
m a n t o o n t e r m

o
e t h i n o x b o

d
d

s
s l i n t o a t e o w f o a a b h p r p b t a e n s o l v i n i m g a a n d i m a t i o p p p l i n n r o x r o v a e a x i m e d c c u a a r s y t o t i o p r a p n s t e m t h , e x i m h a s Ax = b t i o T a b t i o h n n e , .

It e r a a s a x a c h n m d

e t h u u g

i t i a t a

r o x

c e d e a t i o

r e

r e p i t e r a

t e d n s

i n

e t t e r i n a a

s o

l u .

r o x c y

e s i r e d

e e n

e d

It e r a t e m d i s o

e t h r a o i n i d e m a u l l y r t i o 2 t i v l y i n a b a e 0 0 m e o d a e x

o a

d m n i s

s p s . p n e o r e q n d l 0 . e t h

r e l e , T r o i s n u l y p p h

m i n e o r o p i r e d i n n

s t t h n u n e m

s e f u s o b a l n l s p a t h e c a n d l u e r t o

l t i o o n l w a

i n n f

s o o f o , n o f c o e s p o o w p

l v b s h

i n o n u

g n

l a d a

r g r y

s p v a r y e r e l a s y a m e n a a

a l u t o m r g

r s e e s o o e u v a p

s y r o l v n t l u . F e b

s t e m l e m a n e s u p s t u i r e w a h n

s . s n f o

S r

c h p a u u

s y r t i a s i n s i n t i v t h l

s l g g e e t o

c c u t i a e

e r e n t i v s s i a o u h p r a e , T h c a m n p n d t

t i o s

i t e r a G m a n c h s t o l a r g m , a w a u e t h o

r t i o p r a o

e c e s s a s , s g f o t h t m t h

n r y

e r e a T l v e h i n u

e c e s s a o r t h r o d n e n n p i e d a m f n e r m o

t i o t h r y s s i a t e n n 0 a

r t i o c t i c a

t o a y r s e t h

 .
s o

i t e r a o r t i o i n o i s r e , n e a u n v a

s t e m t r i x e t h c e p r o o r e q b

f o a t i o i n T h

r n

c i e n e r d n q u

A i s d u s

e r e a t e r s g e

e l i m t o t o

t h f

i r e c t d i t e h

r l i e r t o e r y f

l l .

z e r o n

A a t

i s

r e s e n

l e m

s a y e

d e s

s a a h u s t e

e v

i l l r

e s c r i b i n R t h d v a o v a n e r

o If o n g g a e

l y

r e q

u s p a

i r e a l l t i v t h e

t h

a t h p o

t i s

i n

e a c a n d n i n s g n o

c h u f

i t e r a s u t h t h a o e t r d a l l y e n a

t i o b

n e

w a o s o s o

e c c o f

l t i p e d b e

A t i m s y

e c t o w a y e r t d a

 .
t t a a

A i s l y o i n f a s m

r s e , p e b r o m

l i s h e e d

s t e m . m T

t i c o n

s o i s a l l

r t i o o

t r y f t e r t o

A n l v l v e i n g

c c e s s e d

i t e r a f r o m

e t h e g i n

i s i n

Ax = b

, .

s t a

e r

Ax =

Ma
G C i n v i v

t r i x
e n M e r t i b a , l e t o w s y

l i t t i n

s
b n o n a s p o l n o , w s i n r e g u w r i t e l a n T = M r g h m u e t h a l a e c o w T h e h e c a n c i e n i c h t i s r e p t h m i n a t r i x s o m t a e e t i o r e w A i n f o n r m A r i t t e n = C i n t h t h t h e a f o t r m i s M e f o r m e a A = s i l y i s

s t e m h e r e C . , a d ( e . g a s

Ax = i s i a g a

t r i x r ) . s y x + b s t e m

t r i a g . x

r e s e n e n b

r e f e r r e d

ma

t r i x

l i t t i n C

= C

x + C

If

s e t

B = C

M = I C

A a n d c = C

t h ( 1 T v o )

e n x = B i t h a s o r l v e i n R t h e s y s t e m W e t h , w e n e s t a s e t r t o u t w x + c i n i t i a l g u e s s x n

i c h

a y

e c t o

x x

= B B

x x

+ c c

i n

e n

e r a

l x


=


B s t e m n o r m x . If +

c f B i s d e n l e s s o t e s t h a n s o 1 m , e w e v e c t o c l a r i m n o t h r m a t

L o n

e t

x b

e a n x d

s o t h 0 e

l u

t i o c o a = = e n s k

f o

t h n d . +

e i n In

l i n g d ) c ) c m

e a a e e d

s y t r i x ,



r r e s p

x x

x x ( B ( B e r a l , x x x


( B ( B x + c c ) x + ) = B = B ( x ( x


+



x)

= B ( x

x)

x)

a ( 2 a

n ) n

s o

In



x = B

( x

x)

e n

c e


x x = B B B T h u T s i m m A a p s , h e i f B f o t o C t h b a t e r e g u o s e e a 1 < i n g t h s i l y e i n v , t h e n l t

 
( x

x x) o s s e n n R t i a a g o . x x

x h


o o l d r

x s t h a n d f o e r

a t h a t n y

0 n

s k o E

r e s u

r m

 ,
l l y , o d

a t h

l t h e n o u

o ,

u w g h

g e

i n r e q a p p u

r a i r e i m

c t i c e t h a a t i o t

i t t h n

i s e t o

l e s t


e r t i b

. C

t r i x

l e

e n

r o x

s o

I C t h a t

a l l

A t h e

= B e i g

< e n v a l u

1 e s o f B a r e l e s s t h a n 1 i n

T m

h o

i s d u

l a l u

s t s .

c o

i t i o

i m

l i e s

D T h

e e

n c o

i t i o n s t a

n n

. t

e t ( B

, . . . ,

b t h

e e

t h s p

e e

e i g c

e n l

v a

l u r a d

e s i u

o s

f B o

a f B

n .

l e t

( B

m  a  x 

| .

i s

c a

l l e d

t r a

T B s u

h x



r e +

m c t W d f w e n t h

8 f o c o e t i s n r

. 1 i d w e i g b o

. 1 =

L 0 n p v k .

e t , 1 f o r e

b e I f t h

r b i t r a t h t h o w h n a n t e l y e r e

r y s o ( B i n B e a l u )

v e c t o t i o < t h i s r l y n e o i n t n 1 .

r t o

i n ( 1


) , t h

n e n

d a

e n


= n r y a

, . . . .



x i s x i s e o r e m s e a r e

e c e s s a

c i e n

i t i o i l l e n o

x t h r s . e T

P i n

r o d p e p

f . e n e o n

r o v e c t o If

c a d d

s e i a e p g e n

w o d n

h a

e r e B l i z a t

h b l e e n

a i s v

s n b

l i n e y o r s n o d

e a

r l y t h e , B

c a

s c o w e

x , . . . , x

c a

r i t e x

l i n

e n

e i g

e c t o

t x =

i t

f o

l l o w

f r o

( 2

) x

t h


x = B = T h u s x i f a n d o n l y i f |


(


x

+ +


. T x 0 u s h


|

<

f o

r i

, . . . , n


x

x i f

l y

i f

( B

) <

T e l e m o f C

h e n i s

e t s

s i m a r e

l e s t t h J a e d c o

c h i a b i

o g

i c e o n a

o l

f C

i s e n . n

t o t s

l e t C o f

b T

e h e

i a

a n

m s c h

t r i x e m e w

h i t h

s e t h

d i s

i a

g c h

o o

a i c e

e l e m t i o

A.

i t e r a

t i o

c a

l l e d

i t e r a

J
L

a
e t

I t e

r a

t i o

C =

a 0

0 a . . . 0


. . . a 0

!
a a

d M =

0 a


. . .

. .

. 0


. T a a a a h a


u s

s e t B

= C

d c

= C a

B = a a . . a . a 0

a b a n d c = a a

a 0

b . . .

 

a a

 "
0

t h

( i

) s t

i t e r a

t i o

t h

e c t o



i s

c a

l c u

l a

t e d


( 3 ) x

= a

##

   $ &%$ #
a

# 
x

 
+ b

#
j

, . . . , n

T m

h u

e s t If

v b

e c t o e e


x r e d i a o g f B A i s o n

i s s e p a l s h d

u a

s e d r a

i n t e l y . e n t s a n a l l l l y

c a

l c u

l a

t i n


x .

s e q

e n

t l y ,

t h

e s e

t w

e c t o

r s

s t o d

t h

e l e m o i a u l d g o

o b d

f e o

A a s m mi n

r e a a l l n

m a t

u n

c h d i f

l a t h e

r g J

e r a

t h c o b

a i

t h

t i o

- d n

i a s h

g o

o u

a l d

e l e m c o n v

e n e r g

t s , e .

t h W

e e

e n s a y

t r i e s t h a t

i t e r a

| a


|

> j


= %$  1 # '

| a

 #
|

f o

r i

, . . . , n

If p r o

A i s p

i a

l l y

i n

t ,

t h

t r i x B

t h

c o

i t e r a

t i o

i l l

a v

t h

e r t y

 # $

| b

 #
|

 $ #  %$  # '

| a | a

 #
| |



<

f o

r i

, . . . , n

s B = m ( a  x 

  # $
a l l y d o

| b

 #

| <

It c o n

f o v A

l l o w e r g n o r o x f i m t h n n . a e

s , t o

t h t h a

e n e t i v

, s o e c t o

t h l u t o

t t i o t h n

i f o e a a n J

A f a i f

i s Ax =

i a b

g .

i n

t ,

t h

c o

i t e r a

t i o

i l l

l t e r n

c o i e a n p

i t e r a j i a g r o x e m f a e s t e r o n i m w a a n

t i o d

n c m t i o a n

i s

t o = 0

t a

k i f

e C i

t o <

b j ) .

t h S i n

l o w c e C t i o B G

e r i s n w a u ,

t r i a a w i l l s s e

n b w h S

l a

p a e x s m p

a p p

r t

A ( i . e . , a a o t C r m It u t i o n

 #
=

 #

 #

e t t e r o a v u e l d a e l

e c t a l l e r t i o

A t h i s h a e l l y a b

t h

d p

l a

t r i x t o t h i s J a

i n A c h c o b o i

t h

. T s u

e t t e r t i o n v

e , a o n

J d f

c o h C t i o n o

b p i s .

i t e r a e f u c a l l y l l e d

i t e r a c o

s c h e s

i t h t h a n

i c e

e i d

i t e r a

e r g

i t e r a

G
L

a
e t

s s

i d

I t e

r a

t i o

L = a a

0 0

0 0


. . .

)* 
a a

) 
a

0 a 0 0

 D =

a 0

0 a . . .

0 0

"

d U =

0 a 0 . . . 0 0

)
a


a a

) 

0 0 L e t

0 a 0

0 o n

S h

e t C e a v

= D

d M

= U

x b

r b

i t r a

r y

z e r o

e c t o

i n R


C ( D L D W c o e o c a r d i n n a s o t e l v o e f t h x i s l a s t i s g e q i v u a e n x ) x x t i o b y n f o r


= M = U = L x x x x o n e

 


+

+ b b +



+
U c o o x r d i n + b a t e a t a t i m e . T h e r s t






x

1 a

 $,
a


x

 
+ b

T a n

h d

s e c o t h e

n l a

d s t

c o n

r d 2

i n

a c o

t e o

o r d

f i n

x a


t e s 1 o

c a f x


.

s o

l v

e d

f o

i n

t e r m

t h

r s t

c o

r d

i n

t e


x


x



 $ 
a


x

 
+ b

In

e n

e r a

l ,


( 4 ) x

= a

$

##

# 
x

 

 $ # 
a

# 
x

 
+ b

It G o p t h v c o f r o e a

i s u x g J

i n s s

t e r e s t i n S e i d a f o b x. a t e i A o s r e l s o t h

t o

c o t i o a s a n o . u . r d

m n t h s s T i n s

a i s

r e t h a e i d r e

( 3 a

) t c a

a i n

d t h l a

( 4 e

) . l a

d c a e r a

e r e n s e , t h a o n s i m a i t r e n

c e e i n p b

b i s t h l e r o l a

e t w u e t h t h c e s s i n n

e e n g e x a n t t h

t h t h e

J c o

a o

c o r d n r a e o

b i n . m

i a T


r a a r , i n m c o

i t e r a o e n G t i o

t t e r r a i s a n d l c u t h c t u

t e s h f o e r e g

e y S h a

l c u

t e d

i t e r a e p i n c o

t i o r o g t h

e l v o

i t e r a r s

t i o x

i t e r a s f a x

e t e

e c t o f x


a i s


t e d ,

l l y

e c t o o r d



c o



x l a

s t o t h

r e d e

s a n d

m i n

c a

r e p

r r e s p

T c o

h n

r e

m t o

. 1 a

. 2 s o

. l u

I f t i o

A i s d f n o

i a

g o

a b

l l y .

mi n

t ,

t h

e n

t h

s s

e i d

e l

i t e r a

t i o

v e r g e s

Ax =

r o

f .

r j

, . . . , n

l e t

| a

#
=

# 

$

| ,

#
=

 $ # 

| a

# 

| ,

d M

#
=

( | a

#
|

##

#
)

i n

c e

A i s

i a

l l y

i n

t ,

i t | a

f o

l l o w | >

t h

##

#
+ . M

c o

s e q

e n

t l y M

#
<

f o

r j

= M =

, . . . , n m

u <

s 1

#a  x 

i l l

s h

o w

t h

t B


r i n R y

x a n =

. %$ a xd

 
= B

x l e t y | y m /( a  x

<

1 h o o s e k s o t h a t

e t

x b

z e r o

e c t o

x. = | y


|


|


It f o l l o w s f r o m t h e d e n i t i o y a n d h e n c e n = B o f B t h x = a t

( D L ) U x

y = D o f

e a c h

( L y

+ U w e ,

x) e s e e t h a t

r i n

t h

e k

t h

c o

r d

i n

t e s

s i d


y


=

1 a




y

 $,
a


x

$

a ( 5

n )

e n

c e y


a t

| y


|

1 | a


|


y

It

f o

l l o w

f r o

( 5

t h

 
=


x

x T h u s B

. %$ a xe t o

 
e s o

x t h

<

e n

c e

t h

i t e r a

t i o

i l l

c o

e r g

l u

t i o

Ax = b

E
1 .

x
L

e
e t

r c

i s e

A = 1

0 2 1

1 0

, b =

1 1

1 2

, a n d x

0 0

U ( 1 2 . L

s e , 1 e t

J ) 0

c o . ]

i t e r a

t i o

t o

c o

t e


x a


x .

[ T

e x

c t

s o

l u

t i o

i s

x =

A =

1 0 0

1 1 0

1 1 1

, b = 1 2

= , a n d x

1 0 0

U 3 4 . . R L

s e e p e t

J e a

a t

c o E

b x

i t e r a e r c i s e

t i o 1 u

t o s i n g

c o G

m a u

t e S

x e i d ,

x i t e r a ,

x  t i o n

, .

1
x .

s s

e l

A =

1 1

0 1 1

1 0 1 1

1 1 0

, b = 1 1

1 2

2 2

, a n d

x =

0 0

( a ( b ( c )

) ) C ( 1

C C o

a a m

l c u l c u p , 1

l a l a a ) 0

t e t e r e . W y

x x o h

u u r a

s i n s i n n i s

g g s w

J G

a a

c o u

i t e r a S ( a e i d ) a

t i o e l n d

. t i o ) w n . i t h t h e c o r r e c t s o l u t i o n x =

s s t o

i t e r a ( b

e r s c l o

, 1

i c h

s e r ?

i c h

t h

f o

l l o w

i n

t r i c e s ,

i l l

t h

i t e r a

t i o

s c h

e m


x = B x


+ c

c o

e r g

t o

s o

l u

t i o

x = B

x + c

l a

i n

( a ) B = 0 ( b ) B = 0

1 1 0 0 0 0 . 9

1 1

1 1 1 0 0 . 9

1 1 0 . 9

( c ) B = 1 0 0

1 1

0 0

1 2

( d ) B =

1  1

( e ) B = 0

L a n

e t d

x b d e

e n e

t h

s o

l u

t i o

x = B

x + c

e t


x b

r b

i t r a

r y

e c t o

i n R


x = B t h n ( a g u e l a B x


+ c m a g a t r i x . r o u , S n t h h d e n o w o x 4 t h e r r o a z e r o r m m i n

f o 7 . L

r k e t

= A t i o n a n t h n b

0 e

, 1 a w

, . . . . n g t i o t i v e o i v n n e

P s i n

r o v g e u

e l a e x

t h r a

a u c t

t p

i f p s o

i s t r i a

= t s )

x. t h t o e J a c o b b i

e r l u

t r i x n o

i t e r a a 8 . F s h f t e r o r o w

i l l

t h

t i o

s s u

Ax =

i t e r a i t e r a a t

s . m e t h o d b a s e d o n t h e s p l i t t i n g A = C M , C n o n s i n g u l a r ,


x = u a D l b , L , l a M g o c n . x


+ C

w 9 . L

h e t

e r e r


d D n e l y a n b

e n

o L l e t

t e s

t h U b e g

e , a t o n

r e s i d w n o h n

Ax a r . , w ( T d . s L n


.

A = t i o t i v c

e r e

d U h h h t o e t T

a e e r e C c o G x a e s y

r e

e D n S a t

e d Ax =

i n b D

G c a

a n

u b

s s e e

S s o t h x a

e i d l v e B t i o

e l e d

i t e r a i t e r a a p a 1 0 . a L n n d r a e t d d

d y

z e r o t o C s p c o

s c a

s t e m = n u s t a s s b e

s p o h e e s o n

l i t t i n d i n c a l u g s e t i o

A i n t h = t o 1 x = i s

e i d n a

L i s

. c a

e t e r m l l e d t i o r y v n a . )

i n r e l a

c o

r r e s p T t h e

l i t t i n r r e s p B x +

me t e r . x b e n e

e l r b

i t e r a i t r a

e c t o

i n R

+
x =


B t h x a t +

f o

r i

, 1

, . . . .

If B

<

s h

o w


x x 1


x x