Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
APPLIANCE
Danilo De Benedictis danilode@gmail.com
ARCHITETTURA
OLTP:
ON LINE TRANSACTION PROCESSING
OLTP un processo tipico dei sistemi
OPERAZIONALI (es. Conto Corrente Bancario).
Tratta dati correnti, con poca profondit storica.
I processi OLTP eseguono numerose piccole
transazioni, su uno scope di dati limitato.
Sebbene OLTP processi in READ anche grosse moli
di dati, il suo focus sono le WRITE (INS, UPD, DEL).
OLTP: utilizzo di INDICI per ottimizzare lacceso ai
dati su Disco, prima di trasferirli in memoria per il
processing.
OLTP: strutturati in 3 FN (Normalizzazione spinta).
FORME NORMALI
HTTP://IT.WIKIPEDIA.ORG/WIKI/NORMALIZZAZIONE_(INFORMATICA)
Studente
Materia
Voto
0000-000-01
Pietro
Basi di Dati
1 sem, B ; 2 sem, F
0000-000-02
Pietro
Basi di Dati
1 sem, A ; 2 sem, A
0000-000-03
Sara
Basi di Dati
1 sem, B ; 2 sem, A
Matricola
Studente
Materia
Semestre
Voto
0000-000-01
Pietro
Basi di Dati
0000-000-01
Pietro
Basi di Dati
0000-000-02
Pietro
Basi di Dati
0000-000-02
Pietro
Basi di Dati
0000-000-03
Sara
Basi di Dati
0000-000-03
Sara
Basi di Dati
FORME NORMALI
HTTP://IT.WIKIPEDIA.ORG/WIKI/NORMALIZZAZIONE_(INFORMATICA)
id_corso_laurea id_esame
id_studente
voto
data
voto o data
dipendessero
FORME NORMALI
HTTP://IT.WIKIPEDIA.ORG/WIKI/NORMALIZZAZIONE_(INFORMATICA)
OLAP:
ON LINE ANALITICAL PROCESSING
OLAP: un processo che fa parte del DWH.
Tratta dati correnti (quasi up-to-date) + dati
storici.
Focus: pesanti operazioni di READ - piuttosto
che WRITE - anche su tabelle con miliardi di
righe.
Denormalizzazione parziale, per ottimizzare
laccesso ai dati.
Forte (crescente) utilizzo di indici.
FIRST-GENERATION DWH:
Caricati
SECOND-GENERATION DWH:
Piccoli
NETEZZA
Data Warehouse
Appliance
Netezza: parola Urdu che
significa Risultati.
COMPANY TIMELINE
12$ X SHARE
B$
27$ x share
Annual Revenues
APPLIANCE = SEMPLICIT
Lautomatizzazione dei processi interni
allappliance, esonera il cliente dalla
complessa gestione della piattaforma.
Nessun tuning richiesto, come per altri sistemi.
Installazione, upgrade, alta affidabilit,
business continuity sono eseguiti con
semplicit.
X 4 / 2 years
X 2 / 2 years
Componenti OPEN-BLADE:
Bilanciamento,
Disk
Processor
Memory
Facile
NEXT-GENERATION BI
SOLARIS
AIX
TRU64
HP-UX
WINDOWS
LINUX
Database
Server
Storage
SQL
DATA
Red
Brick
CACHE
CACHE
KAIO
Optimizer
Logging
ETL Server
DBA CLI
Source
Systems
3rd Party
Apps
DATA
Lock Mgr
CACHE
DSS Query
FastLoad
Partitioning
Pre-Mat
High Performance
Loader
Views
CACHE
I/O
Raw/Cook
Lock Mgr
I/O
Raid
I/O
Vol
Mgr
Lock Mgr
I/O
APPLIANCE APPROACH
NETEZZA SYSTEM
View (SMP+SPUs)
NETEZZA SYSTEM
ogni nodo :
Symmetric
Multi
Processing
NETEZZA SYSTEM
HOST
Server
SPU
SQL
SNIPPET
NETEZZA SYSTEM
NETEZZA SYSTEM
indipendenti con
Multi-core
CPU
Multi-engine FIELD PROGRAMMABLE GATE ARRAY (FPGA)
GBs di RAM
CPU
ENGINE
NETEZZA SYSTEM
PARSE ENGINE:
ECC
Error
Parse
VISIBILITY ENGINE:
PROJECT ENGINE:
Vertical
Data Filtering:
Solo
RESTRICT ENGINE:
Horizontal
Viene
Data Filtering:
applicata la WHERE.
Solo i record che soddisfano le condizioni, proseguono il
percorso verso gli step successivi
SELECT
STATE, GENDER, AGE, COUNT(*)
FROM
8_BILLION_ROW_TABLE
WHERE
DOB < '01/04/2000
AND
DOB > 31/12/1999
AND
ZIP = 32605
GROUP BY STATE, GENDER, AGE;
SELECT
STATE, GENDER, AGE, COUNT(*)
FROM
8_BILLION_ROW_TABLE
WHERE
DOB < '01/04/2000
AND
DOB > 31/12/1999
AND
ZIP = 32605
GROUP BY STATE, GENDER, AGE;
SELECT
STATE, GENDER, AGE, COUNT(*)
FROM
8_BILLION_ROW_TABLE
WHERE
DOB < '01/04/2000
AND
DOB > 31/12/1999
AND
ZIP = 32605
GROUP BY STATE, GENDER, AGE;
SELECT
STATE, GENDER, AGE, COUNT(*)
FROM
8_BILLION_ROW_TABLE
WHERE
DOB < '01/04/2000
AND
DOB > 31/12/1999
AND
ZIP = 32605
GROUP BY STATE, GENDER, AGE;
SELECT
STATE, GENDER, AGE, COUNT(*)
FROM
8_BILLION_ROW_TABLE
WHERE
DOB < '01/04/2000
AND
DOB > 31/12/1999
AND
ZIP = 32605
GROUP BY STATE, GENDER, AGE;
ALLA FINE:
Alla
NETEZZA SYSTEM
Network Fabric
Tutte
NETEZZA SYSTEM
DISKs
Alta
densit
Alta prestazione
RAID (Alta Afidabilit): Redundant Array of
Indipendent Disks
http://en.wikipedia.org/wiki/RAID
Ogni
NETEZZA SYSTEM
NETEZZA SYSTEM
tra 2 dischi
Alta affidabilit: in caso di fault, laltro disco
continua ad erogare.
Lettura ottimizzata: i dati vengono letti da entrambi
i dischi
Scrittura: prestazioni invariate, potendo scrivere su
entambi i dischi in parallelo
October 12 | Confidential
SPU MIRRORING
108 active
4 hot spares
SPU SELF-HEALING
Active Replication
Automatic Failover
Background Regeneration
I dati della SPU non disponibile vengono rigenerati su una SPU spare
La rigenerazione viene eseguita in background mentre le query
continuano ad essere eseguite
Automatic Fail-back
Una volta che i dati sono stati rigenerati sulla SPU spare, essa viene
riattivata.
Lintera operazione di self-healing completamente automatica e
trasparente allutente.
SELF-HEALING
Client
SOLARIS
AIX
TRU64
HP-UX
WINDOWS
LINUX
Redundant
Everything
ODBC 3.X
JDBC Type 4
SQL/92
Gb
Switch
ETL Server
DBA CLI
Source
Systems
High-speed
Loader/Unloader
Hosts
Fans
Power
Network
Auto Call
Home
Gb
Switch
SPU 1
SPU 2
SPU 3
SPU 4
SPU 5
SPU 6
SPARE
3rd Party
Apps
SELF-HEALING
Client
SOLARIS
AIX
TRU64
HP-UX
WINDOWS
LINUX
Redundant
Everything
ODBC 3.X
JDBC Type 4
SQL/92
Gb
Switch
ETL Server
DBA CLI
Source
Systems
3rd Party
Apps
High Performance
Loader
High-speed
Loader/Unloader
Hosts
Fans
Power
Network
Auto Call
Home
Gb
Switch
SPU 1
SPU 2
SPU 3
SPU 4
SPU 5
SPU 6
Failover:
SPU#2 handles B & D data
Starts Regen Process
Call Home
SPARE
October 12 | Confidential
SELF-HEALING
Client
SOLARIS
AIX
TRU64
HP-UX
WINDOWS
LINUX
Redundant
Everything
ODBC 3.X
JDBC Type 4
SQL/92
Gb
Switch
ETL Server
DBA CLI
Source
Systems
3rd Party
Apps
High Performance
Loader
High-speed
Loader/Unloader
Hosts
Fans
Power
Network
Auto Call
Home
Automatic Regen:
Recreate SPU#2 on SPU#6
Copies Spu5:B to SPU#6
Copies Spu4:D to SPU#6
Bring SPU#6 Online
Gb
Switch
SPU 1
SPU 2
SPU 3
SPU 4
SPU 5
SPU 6
October 12 | Confidential
SELF-HEALING
Client
SOLARIS
AIX
TRU64
HP-UX
WINDOWS
LINUX
ODBC 3.X
JDBC Type 4
SQL/92
Gb
Switch
ETL Server
DBA CLI
Source
Systems
High-speed
Loader/Unloader
SPU 1
Hosts
Fans
Power
Network
Auto Call
Home
SPU 2
Gb
Switch
A
SPARE
B
E
D
SPU 3
SPU 4
SPU 5
SPU 6
3rd Party
Apps
NETEZZA SYSTEM
COMPRESS
ENGINE
Progettata
Agisce
NETEZZA SYSTEM
COMPRESS
ENGINE
In
in un formato compilato
Compressi colonna x colonna
Sostituiti con linstruction set necessario alla
uncompress (decompilazione).
NETEZZA SYSTEM
COMPRESS
ENGINE
In
NETEZZA SYSTEM
COMPRESS ENGINE
NETEZZA SYSTEM
NETEZZA
TWINFIN 6.0.x
ARCHITETTURA
NETEZZA SYSTEM
NETEZZA TWINFIN
Ultima versione: TWINFIN.
Esce in diverse modelli
Single
Netezza Skimmer:
Per
NETEZZA TWINFIN
HOST
KMV:
/nz
/export/home
NETEZZA TWINFIN
/ 2 SPU CHASSIS:
STORAGE
2
ARRAY
/ 4 DISK ENCLOSURES
10 DISK ONLINE
2 DISK SPARE
STORAGE ARRAYS
1 Storage Array =
1 Disk Enclouser =
12 Dischi
Snippet Processing
Array (SPA) =
Dual board:
CPU
Netezza Database Accelerator Card
2 o 4 Disk
Enclousers, a
seconda del
modello.
S-Blade chassis +
Storage Array
In ogni SPA, 2
Dischi sono Spare
entrano in
funzione in caso di
failure di un Disco
nella stessa SPA.
/ incremental backup/restore
(nzbackup/nzrestore)
Unload / reload singola tabella in formato internal
compresso (CREATE EXTERNAL TABLE)
Unload / reload singola tabella in formato text
(CREATE EXTERNAL TABLE)
NETEZZA TWINFIN
NETEZZA TWINFIN
COMPRESS:
new engine CTA2: supporto per String
Old engine CTA1
Upgrade: CTA1->CTA2: CTA2 disabilitata: abilitarla
manualmente.
Use the GROOM TABLE SQL command per convertire la
tabella al formato CTA2 compresso.
Usare CREATE TABLE AS per creare una nuova tabella
da una esistente CTA1.
Reload / restore Netezza user data (applica la
compressione CTA2 a tutti i dati durante il
reload/restore).
NETEZZA TWINFIN12
Connessione...
REFUSI
Company Timeline
Enhanced Product Line
Doubling Performance
First GA Product
Sydney, Washington, DC
& Tokyo Office Openings
London Office
Opening
Framingham HQ
Opening
Company
Founding
2000
2001
Series A
Financing
$8M
2002
2003
Series B
Financing
$25M
Staffing:
62
2004
2005
Series C
Financing
$20M
Series D
Financing
$15M
Staffing:
80
2006
Staffing:
185
2007
Staffing:
200+
ADVANCES IN DW INFRASTRUCTURE:
THE APPLIANCE APPROACH
Client
SOLARIS
AIX
TRU64
HP-UX
WINDOWS
LINUX
ODBC 3.X
JDBC Type 4
SQL-92
SQL-99
Analytics
ETL Server
DBA CLI
Source
Systems
3rd Party
Apps
High Performance
Loader
RDBMS
+
Server
+
Storage
NETEZZA SYSTEM
ECC:
http://en.wikipedia.org/wiki/Hamming_code