D

APPLICAZIONE DI PRECONDIZIONATORI PARALLELI

ALGEBRICI MULTILIVELLO ALLA SIMULAZIONE LES
DI UN FLUSSO TURBOLENTO CONFINATO

Seconda Universit
degli Studi di Napoli
Dipartimento di Ingegneria
Aerospaziale e Meccanica

Andrea Aprovitola (1), Pasqua Dambra (2), Filippo Maria Denaro (1), Daniela di Serafino (3), Salvatore Filippone (4)
(1) (Dipartimento

di Ingegneria. Aerospaziale e Meccanica, Seconda Universit degli Studi di Napoli, Via Roma 29, I-81031 Aversa andrea.aprovitola@unina2.it, denaro@unina.it )
(2) (Istituto di Calcolo e Reti ad Alte Prestazioni, CNR, Via Pietro Castellino 111, I-80131 Napoli, pasqua.dambra@na.icar.cnr.it )
(3) (Dipartimento di Matematica, Seconda Universit degli Studi di Napoli, Via Vivaldi 43, I-81100 Caserta, daniela.diserafino@unina2.it )
(4) (Dipartimento di Ingegneria Meccanica, Universit di Roma Tor Vergata, Viale del Politecnico 1, I-00133, Roma, salvatore.filippone@uniroma2.it )

Obiettivo e focal points del lavoro

Modello LES con schema ai Volumi Finiti

Filtraggio di ordine elevato mediante

Risoluzione efficiente di sistemi lineari sparsi provenienti dallapplicazione di

metodi di proiezione alla simulazione LES di flussi turbolenti confinati su calcolatori paralleli a memoria distribuita
1

1) integrazione delle librerie di software numerico PSBLAS (Parallel Sparse

Basic Linear Algebra Subprograms) e MLD2P4 (Multi-Level Domain Decomposition Parallel Preconditioners Package based on PSBLAS) in un codice
LES ai volumi finiti
2) Analisi delle caratteristiche del sistema lineare algebrico derivante dallapplicazione di un metodo di proiezione alle equazioni di Navier-Stokes
3) Scelta del precondizionatore/metodo di risoluzione pi opportuno del sistema algebrico
4) Analisi della scalabilit ed efficienza del precondizionatore in termini del
numero diterazioni e tempo medio di risoluzione.
Precondizionatori algebrici basati sulla Domain Decomposition (DD)
Si decompone la matrice del sistema lineare in blocchi di righe corrispondenti a sottodomini del dominio di partenza del problema
Si definisce un precondizionatore locale per ciascuna delle sottomatrici
Si costruisce il precondizionatore globale utilizzando quelli locali

(m )
Ax

Campo di predizione

v v
t t

(1)

Continuit

v ndS = 0

(2)

( x )
1

v = 1
F ndS

t
( x ) ( x )

(3)

Campo di correzione

n +1

v = v t

Il vicolo imposto dalla equazione di conservazione della massa (2) imposto risolvendo ad ogni time step lequazione di Poisson:

Quantit di moto

(m)
Ax

1
( x)

(4)

n dS =

( x )

v
dS

( x ) t ( x )

Caratteristiche del sistema derivante dalla discretizzazione dellequazione (4)

Sistema singolare (condizioni al contorno alla Neumann) ma compatibile
Matrice dei coefficientii sparsa con un pattern di sparsit simmetrico
Coefficienti della matrice indipendenti dal passo temporale
5

Soluzione del sistema lineare ottenuta con metodo RGMRES

Precondizionatori utilizzati:
(one level) Restricted Additive Schwarz preconditioner (RAS)
(two level/three level) hybrid Schwarz preconditioner utilizzati con RAS/ILU(0) come
precondizionatore di primo livello

Precondizionatori multilivello algebrici di tipo DD

Il numero diterazioni del sistema precondizionato cresce con il numero di
sottomini. Per ottenere un precondizionatore ottimale necessario utilizzare unapprossimazione del problema di partenza in uno spazio coarse
(coarse level correction)
La correzione costruita con un approccio algebrico (indipendente dalla
geometria del problema) basato su un algoritmo di aggregazione
(smoothed aggregation)

Il costo computazionale di un solver per lequazione di Poisson (4) in un metodo di

proiezione basato sulla decomposizione di Hodge pari al 70% del costo necessario per
un time step dellintera procedura

La risoluzione delle (2), (3) effettuata

sfruttando la decomposizione di Hodge

Tempi medi desecuzione relativo alla soluzione delle (2), (3) :

media su 10 passi temporali

Il modello LES FV riduce il costo computazionale delle NS ma le simulazioni di flussi turbolenti in presenza di pareti solide a Reynolds O(106) richiedono lutilizzo di algoritmi di
soluzione dei sistemi lineari ad elevate prestazioni e lutilizzo di macchine a memoria distribuita, a causa dei passi dintegrazione spazio/temporali molto ridotti
Per la risoluzione dei sistemi lineari derivanti dalla discretizzazione di problemi di CFD
diffusa lapplicazione di metodi di risoluzione di tipo Krylov. Per lefficienza di tali metodi cruciale luso di precondizionatori che ne accelerino la velocit convergenza. In questo lavoro analizzato il comportamento di differenti precondizionatori multilivello implementati nel package MLD2P4.
Interfacciamento del Codice LES con PSBLAS (strutture dati e solver di tipo Krylov) e
MLD2P4 (precondizionatori
1) Inizializzazione ed allocazione delle strutture dati di PSBLAS (contengono le informazioni relative alla matrice del sistema e agli elementi da scambiare tra i processi)
2) Assegnazione strutture dati e distribuzione delle stesse tra i singoli processi
3) Calcolo del campo di predizione, tale campo utilizzato per il calcolo del termine noto
della (4)
4) Risoluzione del sistema lineare derivante dalla discretizzazione della (4) con un metodo
di Krylov associato a differenti precondizionatori multilivello disponibili in ML2DP4

Tempo desecuzione relativo alla soluzione del sistema lineare

derivante dalla (4) su 1 time units (S.O.R. su 1 proc.. t=9 sec)

Mean Velocity Profile Near the Wall

20

LES
DNS
18
16

Simulazione LES di un caso test di turbolenza confinata: flusso in un canale

14

Dimensioni del Dominio di calcolo:

2 2 2

Re =1050

x (streamwise), z (spanwise) : omogeneit del flusso, ovvero grandezze statistiche della turbolenza invarianti per traslazione
6

u+

4 2 4 3

Re = 180

12
10
8
6
4

Condizioni al contorno lungo x e z

Condizioni di non slittamento sulle pareti del canale

Condizione iniziale : Flusso alla Poiseuille su u + Perturbazione su u,v,w
u , v, w = 0

Speedup medio relativo alla soluzione delle (2 (3), media su 10 passi temporali

0.1

Tempo desecuzione relativo alla soluzione del sistema lineare derivante dalla (4) su 1 time units (S.O.R. su 1 proc.. t=8580 sec)

10

100

y+

Referenze
[1] A. Aprovitola, P. DAmbra, F. M. Denaro, D. di Serafino, S. Filippone, Application of Parallel Algebraic Multilevel Domain Decomposition Preconditioners in Large-Eddy Simulations of Wall-bounded Turbulent Flows: First Experiments, (ICAR-CNR Technical Report, RT-ICAR-NA-2007-02, 2007).
[2] A. Aprovitola, F.M. Denaro, On the application of congruent upwind discretizations for large eddy simulations
(Journal of Computational Physics, 194, 2004).

Ly

[3] A. Aprovitola, F.M. Denaro, A non diffusive, divergence free, finite volume-based double projection method on
non staggered grids (International Journal for Numerical Methods in Fluids, 53, 2007).
[4] A. Buttari, P. D'Ambra, D. di Serafino, S. Filippone, Extending PSBLAS to Build Parallel Schwarz Preconditioners, in ,J. Dongarra, K. Madsen, J. Wasniewski, editors, Proceedings of PARA 04 Workshop on State of the Art in
Scientific Computing (Lecture Notes in Computer Science, 3732, 2005).

Lz

[5] A.Buttari, P.D'Ambra, D. di Serafino, S.Filippone, 2LEV-D2P4: a package of high-performance preconditioners

for scientific and engineering applications, (Applicable Algebra for Engineering, Communication and Computing, 18,
2007).
[6] P. D'Ambra, D. di Serafino, S. Filippone, On the development of PSBLAS-based parallel two-level Schwarz preconditioners (Applied Numerical Mathematics, 57, 2007).

u , v, w = 0