h8930 Vplex Metro Oracle Rac WP

White paper
ORACLE RAC (REAL APPLICATION CLUSTERS)

EM CLUSTERS DE LONGA DISTNCIA COM O
EMC VPLEX METRO
Planejamento das prticas recomendadas
Resumo
Este white paper descreve os recursos do EMC VPLEX que so
relevantes em termos de funcionalidade para o Oracle RAC (Real
Application Clusters) e o Oracle Database. Tambm so apresentadas
as prticas recomendadas de configurao do Oracle RAC estendido
para que ele use o EMC VPLEX Metro da maneira ideal.
Setembro de 2011
Copyright 2011 EMC Corporation. Todos os direitos reservados.

A EMC assegura que as informaes apresentadas neste
documento esto corretas na data de publicao. As
informaes esto sujeitas a alteraes sem prvio aviso.
As informaes nesta publicao so fornecidas no "estado em
que se encontram". A EMC Corporation no garante nem
representa qualquer tipo de informao contida nesta publicao
e especificamente se isenta das garantias implcitas de
comercializao ou uso a um propsito especfico.
O uso, a cpia e a distribuio de qualquer software EMC
descrito nesta publicao exigem uma licena de software.
Para obter uma lista mais atualizada de produtos da EMC,
consulte EMC Corporation Trademarks no site
brazil.emc.com.
Nmero da pea h8930.1
Oracle RAC (Real Application Clusters) em clusters de longa distncia

com o EMC VPLEX Metro
ndice
Resumo executivo ................................................................................................... 4
Pblico-alvo ....................................................................................................................... 5
Introduo .............................................................................................................. 6
Viso geral dos produtos e recursos ........................................................................ 6
VPLEX ................................................................................................................................. 6
Ofertas de produtos VPLEX ............................................................................................. 7
Destaques da arquitetura VPLEX .................................................................................... 9
Consistency groups, regras de desanexao e VPLEX Witness ...................................... 11
Oracle Real Application Clusters ....................................................................................... 13
Oracle Automatic Storage Management........................................................................ 13
Oracle RAC em clusters de longa distncia ................................................................... 13
Symmetrix srie VMAX .................................................................................................. 14
Famlias de produtos Symmetrix VMAX TimeFinder ................................................... 15
Symmetrix VMAX Virtual Provisioning ........................................................................... 15
Implementao do VPLEX Metro com o Oracle RAC estendido ................................. 16

Consideraes sobre a implementao do Oracle RAC estendido em um ambiente
VPLEX Metro ..................................................................................................................... 16
Diretrizes de implementao do Oracle RAC estendido e do VPLEX Metro ..................... 16
Proteo do Oracle RAC estendido e VPLEX Metro contra tempo de inatividade
no planejado .............................................................................................................. 18
VPLEX Metro com testes e configuraes do laboratrio do Oracle

RAC estendido....................................................................................................... 23
Configurao e instalao do laboratrio ......................................................................... 23
Ambiente fsico ............................................................................................................ 23
Configurao do armazenamento e planejamento de alocao de dispositivo ............. 25
Configurao do VPLEX Metro ....................................................................................... 28
Configurao do Oracle e host ...................................................................................... 33
Testes de carga de trabalho de banco de dados OLTP ...................................................... 37
Testes de situaes de falha ............................................................................................ 39
Concluso ............................................................................................................. 39
Referncias ........................................................................................................... 40

Resumo executivo
O EMC VPLEX uma tecnologia de federao de armazenamento de classe
empresarial que agrega e gerencia pools de armazenamento conectados por FC
(Fibre Channel) dentro de datacenters e entre eles. O VPLEX, que reside entre os
servidores e o armazenamento FC, apresenta volumes distribudos e locais para
os hosts. A agregao do armazenamento VPLEX permite upgrades e migraes
on-line do armazenamento sem nenhuma mudana para LUNs de host. A
tecnologia de clustering do VPLEX AccessAnywhere permite acesso de
leitura/gravao a volumes distribudos distncia nos locais em que os volumes
tm exatamente a mesma identidade de LUN SCSI. Essa tecnologia permite que os
hipervisores migrem VMs (virtual machines, mquinas virtuais) distncia e
simplifica a implementao do Oracle RAC entre datacenters
A linha de produtos VPLEX inclui o VPLEX Local (federao SAN em local nico),
volumes sncronos distribudos compatveis com o VPLEX Metro com latncia de
ida e volta de at 5 ms, e volumes assncronos distribudos compatveis com o
VPLEX Geo com ciclo de ida e volta de at 50 ms. Este paper destaca o
funcionamento do VPLEX Metro em conjunto com o Oracle RAC em clusters de
longa distncia (Oracle RAC estendido) para simplificar a infraestrutura SAN e
reduzir parte da complexidade do gerenciamento de armazenamento associada a
um modelo de implementao de RAC estendido.
O Oracle RAC permite a implementao transparente de um banco de dados nico
em um cluster de servidores, fornecendo tolerncia a falhas, alta disponibilidade e
dimensionamento. O Oracle RAC em clusters de longa distncia adota um modelo de
implementao no qual os servidores do cluster residem em locais fisicamente
separados. O Oracle RAC em clusters de longa distncia oferece uma forma de
dimensionar o desempenho, utilizar recursos de servidor e armazenamento em
mltiplos locais e, em comparao com as instalaes do Oracle RAC em local nico,
fornece maior resilincia para cenrios de falha em todo o local ou em operaes de
manuteno de datacenters sem tempo de inatividade dos aplicativos.
Principais benefcios do VPLEX Metro em um Oracle RAC estendido:
Disponibilidade contnua do banco de dados por meio de rede, servidor,

armazenamento e falhas no local.
Arquitetura scale-out e total acesso de leitura/gravao ao mesmo banco de

dados nos dois locais (sem hardware ocioso)
Simplificao da implementao do Oracle RAC distncia:

o Os ns de cluster s precisam se conectar ao cluster VPLEX local. No
necessrio haver conexo entre os locais.
o Requisitos simplificados de infraestrutura com implementaes do Oracle
Voting Disk com o uso de volumes distribudos e o VPLEX Witness.
o Consumo reduzido dos ciclos de CPU do n de cluster Oracle e
associao ao espelhamento com base em host. O RAID (Redundant
Array of Independent Disks) fornecido pela VPLEX e os arrays fsicos
subjacentes oferecem essa funo.

o Habilidade de criar consistency groups que protegem vrios bancos de

dados ou arquivos de aplicativos como uma unidade
o Os volumes VPLEX no precisam de tempo de inatividade de aplicativos
nem alteraes de IDs de LUNs durante atualizaes e migraes de
hardware para armazenamento
o Em comparao com o modelo de implementao em um local nico, o
modelo do Oracle RAC permite teste de recuperao de desastres e
validao com base no fato de que ambos is locais podem participar
ativamente da carga de trabalho
O EMC Symmetrix srie VMAX foi usado neste paper como o storage array por
trs dos clusters VPLEX. O EMC Symmetrix srie VMAX apresenta uma extensa
oferta de recursos lderes do setor e funcionalidades para a prxima era de
datacenters virtuais de alta disponibilidade e aplicativos de misso crtica. Com
nveis avanados de proteo e replicao de dados, o sistema Symmetrix VMAX
est na vanguarda da tecnologia empresarial SAN (Storage Area Network). Alm
disso, o Symmetrix srie VMAX com a tecnologia FAST VP otimiza os nveis de
armazenamento de modo transparente, aprimorando o desempenho e poupando
custos sem causar interrupo nos aplicativos do host.
As organizaes de TI esto procurando formas de ampliar os ambientes de
bancos de dados entre datacenters para reduzir ou evitar o tempo de inatividade
planejado e no planejado associado a falhas de hardware, desastres ou mesmo
operaes normais dos datacenters, como migraes e atualizaes de hardware.
Com o EMC VPLEX, essas organizaes podem atingir novos nveis de flexibilidade
nas mudanas da infraestrutura de armazenamento, resilincia a desastres,
colaborao aprimorada e arquitetura escale-out. Por isso, o sistema EMC VPLEX
ideal para ambientes de ltima gerao, junto com a tecnologia Oracle. Os
recursos do EMC VPLEX para federar sistemas de armazenamento e apresentar
dispositivos exclusivos no mundo inteiro sem limitao s fronteiras dos
datacenters fsicos funcionam lado a lado com os recursos do Oracle RAC para
fornecer alta disponibilidade e acesso dimensionvel a banco de dados. A
soluo Oracle RAC com o EMC VPLEX e o Symmetrix srie VMAX SERIES a
escolha ideal para implementar um ambiente de computao em nuvem
altamente confivel, reduzir custos de TI e, ao mesmo tempo, aumentar a
eficincia da infraestrutura.
Pblico-alvo
Este white paper foi criado para administradores de banco de dados Oracle,
administradores de armazenamento e arquitetos de TI responsveis por projetar,
criar, gerenciar e usar ambientes de TI com foco em alta disponibilidade com
bancos de dados Oracle, tecnologias VPLEX e armazenamentos Symmetrix srie
VMAX. Este white paper parte do princpio de que os leitores tm alguma
familiaridade com o Oracle RAC, a tecnologia de banco de dados Oracle, o EMC
VPLEX e o storage array Symmetrix.

Introduo
O Oracle RAC estendido permite dimensionar, utilizar recursos de servidor e
armazenamento em mltiplos locais, alm de oferecer maior resilincia em cenrios de
falha e operaes de manuteno sem tempo de inatividade de aplicativos. Ele permite
que as organizaes eliminem o tempo de inatividade de banco de dados e continuem
o processo de negcio sem interrupes, mesmo em caso de falhas totais no local.
Embora o modelo de implementao do Oracle RAC em cluster estendido permita alta
disponibilidade em um banco de dados nico, a prtica recomendada implementar
uma soluo de recuperao de desastres no caso de distncias maiores, com o uso
de tecnologias como RecoverPoint, SRDF, Oracle Data Guard ou solues
semelhantes. Essas rplicas remotas podem ser teis no caso de falhas de banco de
dados (como excluso por engano de LUN ou file, corrupo de block, etc.) Alm
disso, outra prtica recomendada implementar uma estratgia de backup em fita
ou VTL (Virtual Tape Library, biblioteca de fitas virtuais), com o possvel uso da
tecnologia de clone/snapshot para liberar a produo do processo de backup.
Este white paper apresenta aos leitores a famlia EMC VPLEX, a arquitetura de
cluster do VPLEX Metro, assim como os recursos e funes relevantes para uma
implementao do Oracle RAC estendido. Ele tambm discute a resilincia da
soluo Oracle RAC estendido em vrias situaes de falha. Alm disso, este
white paper apresenta as etapas de provisionamento para o armazenamento do
VPLEX e do Symmetrix srie VMAX na plataforma Oracle RAC estendido, assim
como para a execuo de carga de trabalho OLTP (Online Transaction Processing,
processamento de transaes on-line) em um Oracle RAC estendido de quatro ns
com a tecnologia VPLEX Metro e Symmetrix VMAX.
Viso geral dos produtos e recursos

VPLEX
O EMC VPLEX uma soluo de virtualizao de armazenamento EMC e no EMC,
como mostrado na Figura 1. O armazenamento do VPLEX heterogneo, com
suporte para armazenamento da EMC e arrays comuns de outros fornecedores de
armazenamento, como NetApp, HDS, HP e IBM.
Figura 1. EMC VPLEX Local para federar armazenamento heterogneo

O VPLEX pode ser estendido em datacenters dispersos geograficamente para fornecer

acesso simultneo a dispositivos de armazenamento por meio da criao de volumes
virtuais distribudos do VPLEX. A tecnologia VPLEX permite a movimentao no
disruptiva dos dados e oferece a funcionalidade de gerenciamento de volume.
Devido a esses recursos, o VPLEX fornece um valor diferenciado e exclusivo para
atender a trs necessidades:
A possibilidade de movimentar aplicativos e dados entre vrias infraestruturas

de armazenamento e computao, seja dentro de um mesmo datacenter ou
entre datacenters diferentes.
A possibilidade de criar uma infraestrutura de computao e armazenamento

de alta disponibilidade distribuda geograficamente com resilincia
incomparvel.
A possibilidade de fornecer colaborao de dados eficiente em tempo real

distncia.
Ofertas de produtos VPLEX

A EMC fornece o VPLEX em trs configuraes para atender s necessidades de alta
disponibilidade e mobilidade de dados do cliente, como mostrado na Figura 2:
VPLEX Local
VPLEX Metro
VPLEX Geo (no compatvel com o Oracle RAC atualmente)
Figura 2. Topologias VPLEX

VPLEX Local
O VPLEX Local oferece mobilidade de dados perfeita e no disruptiva, alm da
possibilidade de gerenciar vrios arrays heterogneos a partir de uma interface
nica em um datacenter.
O VPLEX Local permite maior disponibilidade, gerenciamento simplificado e
melhor utilizao em arrays mltiplos.

EMC VPLEX Metro com AccessAnywhere

O VPLEX Metro com o AccessAnywhere oferece acesso em nvel de block ativoativo a dados entre dois locais em distncias sncronas com um ciclo de ida e
volta de at 5 ms.
Veja a seguir dois exemplos do uso do VPLEX Metro e Oracle para mobilidade de
dados e alta disponibilidade.
Mobilidade de dados e aplicativos Sozinho, o hipervisor tem a capacidade
de movimentar mquinas virtuais sem tempo de inatividade de aplicativos
entre servidores fsicos. Combinados com a virtualizao de servidor, os
volumes distribudos do VPLEX permitem que os usurios movimentem e
realoquem, de modo transparente, mquinas virtuais e seus aplicativos e
dados correspondentes distncia. Isso oferece aos usurios a capacidade
exclusiva de realocar, compartilhar e balancear recursos da infraestrutura
entre locais. Este white paper apresenta um exemplo de mobilidade de
migrao em tempo real de mquinas virtuais Oracle com o VPLEX Metro: o
servidor de mquina virtual Oracle para migrao em tempo real x86 com o
EMC VPLEX e o Symmetrix srie VMAX, como mostrado na Figura 3.
Figura 3. Migrao em tempo real de mquinas virtuais Oracle com o VPLEX

Metro
Infraestrutura de alta disponibilidade Reduz o RTO (Recovery Time

Objective, objetivo de tempo de recuperao). A alta disponibilidade garante
um tempo de funcionamento quase contnuo para os aplicativos essenciais e
automatiza o reincio de um aplicativo quando uma falha ocorre, com o
mnimo possvel de interveno humana. Um exemplo do Oracle RAC
estendido com o VPLEX Metro mostrado na Figura 4. Essa soluo o foco
deste white paper.

Figura 4. Oracle RAC estendido com VPLEX Metro

VPLEX Geo com AccessAnywhere
O VPLEX Geo com o AccessAnywhere permite acesso ativo-ativo em nvel de block
aos dados entre dois locais em distncias assncronas com latncia de ciclo de
ida e volta de at 50 ms. No momento, o VPLEX Geo no compatvel com o
Oracle RAC nem com o Oracle RAC estendido e no ser detalhado neste
documento. Para obter mais informaes sobre o VPLEX Geo, visite
http://Powerlink.emc.com, pesquisa de palavra-chave: VPLEX Geo.

Destaques da arquitetura VPLEX1
A famlia VPLEX usa uma arquitetura de clustering exclusiva para ajudar os clientes a
transpor os limites do datacenter e permitir que os servidores em mltiplos
datacenters tenham acesso de leitura/gravao a dispositivos de armazenamento
em block compartilhado. O VPLEX Local possui um s cluster, enquanto o VPLEX
Metro possui dois. Um cluster VPLEX composto por uma, duas ou quatro engines,
como mostrado na Tabela 1. Cada engine do VPLEX fornece capacidade de
processamento, cache e conectividade de SAN/WAN com dois directors redundantes.
Tabela 1. Componentes de hardware VPLEX
Recurso
Descrio
Cluster VPLEX
Uma, duas ou quatro engines
Engine do VPLEX
Contm dois directors, mdulos de gerenciamento, fontes

de alimentao, alimentao de bateria e ventiladores
Director do VPLEX
Contm alguns dos mdulos de I/O, SSD, CPU e RAM
Os detalhes desta seo so baseados no VPLEX verso 5.1 e podem ser diferentes em outras verses. O guia do
produto VPLEX fornece detalhes sobre cada verso especfica.

O VPLEX Local usa armazenamento com gravao no cache e na memria principal

(write through) e confirmado primeiro no armazenamento por trs dos volumes
VPLEX, antes da confirmao no host. Com o armazenamento EMC como o
Symmetrix srie VMAX e srie VNX, no qual a gravao s precisa ser registrada
no cache persistente de armazenamento, o tempo de resposta de gravao do
aplicativo ideal. O VPLEX Metro tambm usa gravao no cache e na memria
principal (write through), mas confirma as gravaes no aplicativo apenas quando
elas so registradas no armazenamento local e no remoto. Em todas as
implementaes VPLEX, as leituras podem se beneficiar do cache VPLEX e, no
VPLEX Metro, os read hits so apresentados a partir do cache do cluster VPLEX.
Estruturas de armazenamento lgicas do VPLEX
O VPLEX encapsula os dispositivos de storage array fsicos tradicionais e aplica
trs camadas de abstrao lgica nos volumes de armazenamento, como
mostrado na Figura 5. Os extents so o mecanismo usado pelo VPLEX para dividir
os volumes de armazenamento. Os extents podem compor todo o volume de
armazenamento subjacente ou parte dele. O EMC VPLEX agrega extents e pode
aplicar a proteo do RAID na camada do dispositivo. Os dispositivos so
construdos com o uso de um ou mais extents, podendo ser combinados em
esquemas de RAID mais complexos e estruturas do dispositivo como desejado. Na
camada superior de armazenamento VPLEX, as estruturas so volumes virtuais.
Os volumes virtuais so criados a partir de dispositivos e herdam o tamanho do
dispositivo subjacente. Os volumes virtuais so os elementos que o VPLEX expe
aos hosts usando suas portas front-end. O acesso aos volumes virtuais
controlado com o uso de exibies de armazenamento, que so semelhantes aos
grupos de provisionamento automtico no EMC Symmetrix ou aos grupos de
armazenamento no EMC CLARiiON. Eles funcionam como contineres lgicos que
determinam o acesso do iniciador do host aos volumes virtuais e s portas frontend do VPLEX.
Figura 5. Estruturas de armazenamento lgicas do EMC VPLEX

10
O VPLEX encapsula os volumes da SAN (Storage Area Network) por meio da

identificao dos dispositivos de armazenamento com seus nomes virtuais. Ele os
empacota em conjuntos de volumes virtuais do VPLEX com configurao definida
por usurio e nveis de proteo e, em seguida, apresenta os volumes virtuais
para os hosts. O VPLEX tem a capacidade de encapsular/desencapsular os
dispositivos de armazenamento existentes (preservando os dados), bem como a
capacidade de dividir e agregar os volumes de armazenamento existentes para
uso em volumes virtuais. Alm disso, o armazenamento virtual apresentado aos
hosts por meio do encapsulamento VPLEX pode ser movido de modo no
disruptivo dentro de storage arrays de back-end e entre eles. recomendado que,
quando o VPLEX encapsula armazenamento como a srie VMAX e a srie VNX, a
proteo do RAID feita no storage array. Isso simplificar o mapeamento entre o
armazenamento e o VPLEX, permitindo o uso de recursos de armazenamento
como a criao de snaps, clones e recuperao adicional de desastres.
Consistency groups, regras de desanexao e VPLEX Witness
Consistency groups
A partir do GeoSynchrony 5.0 para VPLEX Local e VPLEX Metro, os consistency
groups so usados para organizar volumes virtuais, bem como garantir a fidelidade
da ordem de gravao e o comportamento determinstico de continuao do I/O no
caso de uma perda no local ou em uma partio de rede remota. Os consistency
groups renem os volumes para fornecer um conjunto comum de propriedades
para todo o grupo. Alm disso, possvel mover um consistency group de cluster
para outro se necessrio. Os consistency groups so particularmente importantes
para bancos de dados e aplicativos. Todas as LUNs de banco de dados (por
exemplo, dados Oracle, arquivos de registro e controle) exigem a preservao da
fidelidade de leitura e gravao para manter a integridade dos dados.
Consequentemente, devem ser colocadas sempre juntas em um nico consistency
group. Com frequncia, vrios bancos de dados tm dependncias de transao,
por exemplo, quando links de bancos de dados so usados para conectar bancos
de dados ou quando o aplicativo emite transaes para mltiplos bancos de dados
e espera que os bancos de dados sejam consistentes entre si. Nesses casos, o
consistency group deve incluir todas as LUNs que exigem preservao da
dependncia do I/O (fidelidade da ordem de gravao).
No caso do Oracle RAC, apenas o VPLEX Local e o VPLEX Metro so compatveis. O
nico tipo de consistency group fornecido pelo Local e pelo Metro o sncrono, isto
, o consistency group com modo de gravao no cache e na memria principal
(write through). Os consistency groups sncronos so definidos como a seguir:
Consistency groups sncronos Oferecem uma forma prtica de aplicar as
mesmas regras de desanexao e outras propriedades a um grupo de volumes em

uma configurao VPLEX Local ou VPLEX Metro, simplificando a configurao do
sistema e a administrao em sistemas grandes. Os volumes em um grupo
sncrono tm visibilidade local ou global. Os consistency groups sncronos usam
gravao no cache e na memria principal (write through), conhecido como modo
de cache sncrono na interface do usurio VPLEX. Com o VPLEX Metro, eles tm
suporte em clusters separados por at 5 ms de latncia. Isso significa que o
VPLEX Metro envia gravaes para os volumes de armazenamento de back-end e
confirma a gravao no aplicativo assim que os volumes de armazenamento de
back-end em ambos os clusters confirmam a gravao.

11
Regras de desanexao
As regras de desanexao so regras predefinidas que determinam a semntica
de processamento de I/O para um consistency group quando a conectividade com
um cluster remoto perdida, por exemplo, no caso de particionamento de rede ou
falha de cluster remoto. Nessas situaes, at que a comunicao seja
restaurada, a maioria das cargas de trabalho exige conjuntos especficos de
volumes virtuais para continuar o I/O em um cluster e suspender o I/O no outro.
Em uma configurao VPLEX Metro, as regras de desanexao podem representar
um cluster esttico preferido por meio da definio de 2 : winner:cluster-1,
winner:cluster-2 ou No Automatic Winner (o ltimo especifica que no h um
cluster preferido). Quando o sistema implementado sem o VPLEX Witness
(discutido na prxima seo), os I/Os para os dispositivos do consistency group
continuam no cluster preferido e so suspensos no cluster no preferido.
VPLEX Witness
O VPLEX Witness, apresentado com o GeoSynchrony 5.0, um componente
necessrio para as implementaes do Oracle RAC estendido. O VPLEX Witness se
conecta com os dois clusters VPLEX Metro em uma rede IP de gerenciamento.
Reconciliando as prprias observaes com as informaes relatadas
periodicamente pelos clusters, o VPLEX Witness possibilita que os clusters
diferenciem as falhas de partio de rede das falhas de cluster, continuando o I/O
automaticamente nessas situaes no local apropriado. O VPLEX Witness afeta
apenas os volumes virtuais que so membros dos consistency groups sncronos
em uma configurao VPLEX Metro e apenas quando as regras de anexao
indicam o cluster 1 ou o cluster 2 como preferidos para o consistency group. Isso
significa que o VPLEX Witness no afeta consistency groups onde a regra No
Automatic Winner est em vigor.
Sem o VPLEX Witness, se dois clusters VPLEX perderem contato, as regras de
desanexao do consistency group em vigor definem qual cluster continua a
operao e qual suspende o I/O como explicado anteriormente. O uso de regras
de desanexao apenas para controlar qual local o vencedor pode adicionar
uma complexidade desnecessria no caso de uma falha no local, porque talvez
seja necessrio intervir manualmente para retomar o I/O no local sobrevivente. O
VPLEX Witness lida com esse evento dinmica e automaticamente, por isso esse
um requisito absolutamente necessrio para implementaes do Oracle RAC. Ele
possui os seguintes recursos:
Balanceamento automtico de carga entre datacenters
Uso ativo-ativo de ambos os datacenters
Tratamento totalmente automtico na camada de armazenamento
Para que o VPLEX Witness possa distinguir corretamente entre condies de falha,
ele deve ser instalado em um domnio independente de falha a partir de cada
cluster com o uso de interfaces de rede diferentes para cada um. Isso eliminar a
possibilidade de que uma mesma falha afete o cluster e o VPLEX Witness. Por
2
Com base nas opes da GUI (Graphical User Interface, interface grfica do usurio). A CLI (Command Line Interface,
interface de linha de comando) usa termos ligeiramente diferentes para especificar as mesmas regras.

12
exemplo, se dois clusters de uma configurao VPLEX Metro forem

implementados em dois andares diferentes de um mesmo datacenter, implante o
VPLEX Witness em outro andar. Da mesma forma, se os dois clusters de uma
configurao VPLEX Metro forem implementados em dois datacenters diferentes,
implemente o VPLEX Witness em um terceiro datacenter.
Compartimento de cache
Para evitar a perda de dados ou metadados (quando o armazenamento em cache
de write-back usado) em situaes de emergncia, o VPLEX usa um mecanismo
chamado compartimentao de cache para proteger informaes do cache em um
armazenamento local persistente.
Oracle Real Application Clusters

O RAC (Oracle Real Application Clusters) uma opo ao reconhecido Oracle
Database Enterprise Edition. O Oracle RAC um banco de dados de cluster com
uma arquitetura compartilhada de cache que supera as limitaes das
abordagens tradicionais shared-nothing e shared-disk para fornecer solues de
banco de dados altamente dimensionveis e disponveis para todos os
aplicativos de negcios. O Oracle RAC compatvel com os mais populares
aplicativos de negcios de todos os tipos. Isso inclui o OLTP (Online Transaction
Processing, processamento de transaes on-line) e o DSS (Decision Support
System, sistema de suporte a decises).
Oracle Automatic Storage Management
O Oracle ASM (Automatic Storage Management) um file system integrado e
gerenciador de volumes para o banco de dados Oracle. O Oracle ASM reduz a
complexidade do gerenciamento de armazenamento do banco de dados. Alm de
fornecer benefcios em termos de desempenho e confiabilidade, o Oracle ASM
tambm pode aumentar a disponibilidade do banco de dados porque os discos
do ASM podem ser adicionados e removidos on-line. O Oracle ASM balanceia
automaticamente os dados novamente nos discos de um grupo de discos do ASM
aps os discos serem adicionados ou removidos.
O Oracle Database 11g Release 2, o Oracle ASM e o Oracle Clusterware foram
reunidos em um pacote denominado Oracle Grid Infrastructure. Esse pacote
fornece todos os servios de armazenamento e cluster necessrios para execuo
de um banco de dados Oracle RAC. O Oracle ASM tambm foi estendido para
incluir o suporte ao OCR (Oracle Cluster Registry) e os voting files serem inseridos
em grupos de discos do ASM.
Oracle RAC em clusters de longa distncia
O Oracle RAC em clusters de longa distncia um modelo de implementao no
qual os servidores do cluster residem em locais fisicamente separados. O Oracle
RAC em clusters de longa distncia oferece maior disponibilidade do que o Oracle
RAC local. O Oracle RAC em clusters de longa distncia oferece uma recuperao
extremamente rpida de uma falha no local e permite que todos os servidores, em
todos os locais, processem ativamente as transaes como parte de um cluster de
banco de dados nico. Embora essa arquitetura desperte um grande interesse e
tenha sido implementada com xito, essencial entender onde essa arquitetura

13
mais adequada, principalmente no que diz respeito a distncia, latncia e grau de

proteo fornecido por ela. O alto impacto da latncia e, consequentemente, da
distncia cria algumas limitaes prticas quanto ao local em que essa
arquitetura pode ser implementada. Essa arquitetura mais adequada a locais
onde os dois datacenters ficam relativamente prximos e onde os custos de
configurao de canais dedicados diretos entre os locais j foram pagos.
Symmetrix srie VMAX

Baseado na estratgia de armazenamento simples, inteligente e modular, o
Symmetrix srie VMAX incorpora uma nova interconexo Virtual Matrix que
conecta e compartilha recursos entre todos os ns. Isso permite que o storage
array cresa de maneira perfeita e econmica a partir de uma configurao de
nvel bsico, tornando-se o maior sistema de armazenamento do mundo. Ele
oferece os nveis mais altos de desempenho e disponibilidade, apresentando
novos recursos de hardware, como mostrado na Figura 6.
De 2 a 16 director boards
Capacidade de at 2.1 PB
utilizveis
At 128 portas FC FE
At 64 portas FICON FE
At 64 portas GigE/iSCSI FE
At 1 TB de memria
global (512 GB utilizveis)
Figura 6. O Symmetrix srie VMAX

O Symmetrix srie VMAX fornece a mais avanada plataforma scale-out. Ele
possui a capacidade de dimensionar o desempenho do front-end e back-end de
modo incremental com o acrscimo de mdulos de processamento (ns) e
gabinetes de armazenamento. Cada mdulo de processamento fornece
conectividade adicional de back-end, memria e front-end.
O Symmetrix srie VMAX tambm aumenta o tamanho mximo do hyper para
240 GB (64 GB no Symmetrix DMX). Isso facilita o planejamento de
armazenamento e a alocao de dispositivo, principalmente ao usar o Virtual
Provisioning onde o pool de armazenamento thin j est fracionado e os hypers
podem ser facilmente usados.

14
Famlias de produtos Symmetrix VMAX TimeFinder

A famlia EMC TimeFinder de tecnologia de replicao local permite a criao de
mltiplas rplicas no disruptivas baseadas em armazenamento de leitura/gravao
do banco de dados e dados do aplicativo. Isso atende s necessidades de replicao
de dados de uma ampla gama de clientes com velocidade, capacidade de expanso,
utilizao de armazenamento eficiente, e impacto de zero a mnimo sobre os
aplicativos, independentemente do tamanho do banco de dados. O TimeFinder
fornece uma soluo para backup, reinicializao e recuperao de bancos de dados
de produo e aplicativos, mesmo quando eles se distribuem entre mltiplos
Symmetrix VMAX. O TimeFinder est bem integrado com outros produtos EMC, como
o SRDF (Symmetrix Remote Data Facility), e permite a criao de rplicas em um
destino remoto sem interrupo da replicao sncrona e assncrona. Se for
necessria uma restaurao de uma rplica remota, o TimeFinder e o SRDF
restauraro os dados de modo incremental e em paralelo para atingir o nvel mximo
de disponibilidade e proteo. A famlia de produtos TimeFinder permite a criao de
rplicas consistentes com a gravao dependentes por meio do uso da tecnologia de
consistncia EMC, e as rplicas que so vlidas para operaes de
backup/recuperao Oracle, como descrito posteriormente nos casos de uso. Alm
do Timefinder, o Symmetrix srie VMAX apresenta um divisor de gravao
RecoverPoint integrado, que fornece a tecnologia RecoverPoint de proteo de
dados remotos e locais. Informaes detalhadas sobre a integrao do RecoverPoint
3.5 com o Symmetrix srie VMAX podem ser encontradas em http://brazil.emc.com
e em http://Powerlink.EMC.com.
Symmetrix VMAX Virtual Provisioning
Os thin devices Symmetrix so dispositivos lgicos que podem ser usados de
vrias maneiras iguais s usadas tradicionalmente pelo Symmetrix. Ao contrrio
dos dispositivos Symmetrix tradicionais, os thin devices no precisam ter
armazenamento fsico pr-alocado no momento em que o volume criado e
apresentado a um host. Entretanto, em muitos casos, os clientes interessados
somente na facilidade de gerenciamento e no striping amplo do thin-pool optam
por pr-alocar totalmente os thin devices. Voc s pode usar um thin device
quando ele for vinculado a um thin-pool. Mltiplos thin devices podem ser
vinculados a qualquer thin-pool. O thin-pool constitudo de dispositivos
denominados dispositivos de dados que fornecem o armazenamento fsico real
para dar suporte a alocaes do thin device. A tabela 2 apresenta as definies
bsicas sobre o Virtual Provisioning.
Tabela 2. Definies de dispositivos Virtual Provisioning
Dispositivo Descrio
Thin device
Um dispositivo acessvel pelo host no tem armazenamento diretamente associado

a ele.
Dispositivos
de dados
Dispositivos internos que quando colocados em um thin-pool fornecem capacidade

de armazenamento a ser usada por thin devices.
Thin-pool
Um conjunto de dispositivos de dados que fornece capacidade de armazenamento

para thin devices.

15
Implementao do VPLEX Metro com o Oracle RAC estendido

Consideraes sobre a implementao do Oracle RAC estendido em um
ambiente VPLEX Metro
O EMC VPLEX ultrapassa as barreiras fsicas dos datacenters e permite que os
usurios tenham acesso simultneo aos dados em diferentes locais geogrficos.
O Oracle RAC estendido com o VPLEX Metro viabiliza o compartilhamento
transparente de carga de trabalho entre vrios locais que acessam um banco de
dados nico. Ao mesmo tempo, fornece flexibilidade para migrar cargas de
trabalho entre locais antes de eventos planejados como a manuteno de
hardware. Alm disso, no caso de um evento no planejado que cause
interrupo dos servios em um dos datacenters, as conexes do client com falha
podem ser redirecionadas automaticamente com o uso do Oracle TAF (Transparent
Application Failover TAF) para os ns do Oracle RAC em execuo no local
sobrevivente.
Diretrizes de implementao do Oracle RAC estendido e do VPLEX Metro
Os pontos a seguir descrevem algumas das principais diretrizes de implementao.
Implementao do Oracle Clusterware e do VPLEX Witness
Com frequncia, as implementaes do Oracle RAC estendido enfatizam a
implementao de um terceiro local para um dos voting files do Oracle
Clusterware (possvel com base no sistema de arquivos de rede). Para no deixar
dvidas: o uso dos voting disks do Oracle Clusterware ainda necessrio para o
Oracle RAC em clusters de longa distncia com o VPLEX Metro. Entretanto, os
voting disks do cluster residiro em volumes virtuais do VPLEX. Isso garante o
alinhamento do acesso do voting disk Oracle com o comportamento do Oracle
RAC e o comportamento do failover do VPLEX Metro. Com o VPLEX, apenas o
VPLEX Witness que implementado em um domnio de falha independente (o
terceiro local no caso de uma implementao em vrios locais), como descrito na
seo VPLEX Witness anteriormente:
No caso de um particionamento de interconexo Oracle (no de uma falha real

no local e nenhum efeito na interconexo VPLEX), o Oracle Clusterware far a
reconfigurao com base na maioria do n e no acesso ao voting disk.
No caso de um particionamento de interconexo VPLEX (ou de uma falha real no

local), imediatamente o VPLEX permite que o I/O continue em um cluster com
base na orientao do Cluster Witness e nas regras de preferncia no local.
Portanto, os ns de cluster do Oracle tero acesso aos voting disks apenas onde
o VPLEX permite que o I/O continue, e o Oracle Clusterware far a
reconfigurao do cluster apropriadamente. Embora os voting disks ainda sejam
necessrios, eles no precisam ser implementados em um 3o local
independente, j que o VPLEX Witness fornece proteo contra desconexo e
garante o alinhamento do comportamento do Metro e do Oracle Clusterware.
Alm disso, j que o VPLEX Witness controla o acesso aos voting files, um
comportamento consistente e determinstico garantido em implementaes
do Oracle RAC independentes e aplicativos de usurios upstream dependentes.

16
Implementao do Oracle Clusterware

O Oracle Clusterware implementado apenas em volumes distribudos do VPLEX
(no em um terceiro local) como descrito na seo anterior. Com o Oracle
Database 11g Release 2, o Oracle Clusterware foi mesclado ao Oracle ASM para
criar o Oracle Grid Infrastructure. Portanto, o primeiro grupo de discos do ASM
criado no momento da instalao do Oracle Grid Infrastructure.
Quando o Oracle ASM usado para hospedar os arquivos do Oracle

Clusterware (OCR e Voting Files), a partir do Oracle Database 11g Release 2, a
EMC recomenda a criao de um grupo de discos exclusivo apenas para os
arquivos do Oracle Clusterware, por exemplo: +GRID (isto , nenhum contedo
de banco de dados, como arquivos de dados ou registros, ser inserido nesse
local). O grupo de discos +GRID se beneficiar do uso da redundncia Normal
ou Alta. Dessa forma, o Oracle criar mltiplos voting disks, em vez de apenas
um, como no caso em que o grupo de discos +GRID do ASM usava
redundncia externa3). Como nenhum contedo de banco de dados includo,
o tamanho dos dispositivos VPLEX distribudos usados para este grupo de
discos pode ser relativamente pequeno.
A abordagem recomendada quando por trs do VPLEX usado o

armazenamento EMC, como o Symmetrix srie VMAX ou srie VNX, ou quando
usada a proteo VPLEX RAID, definir todos os outros grupos de discos do
ASM com redundncia externa. Isso fornece a proteo adequada para os
membros do ASM, com base no VPLEX ou no RAID do storage array.
Como todos os ns de cluster Oracle exigem acesso a todos os dispositivos do

banco de dados e do Oracle Clusterware, tanto o Oracle Clusterware quanto o
banco de dados Oracle devem usar apenas os volumes distribudos do VPLEX,
independentemente de serem usados o ASM, dispositivos brutos ou um file
system em cluster.
Notas adicionais
Na plataforma de servidor baseada em x86, verifique se as parties esto
alinhadas. O VPLEX requer alinhamento com deslocamento de 4 KB. Entretanto, se
o Symmetrix for usado em alinhamento com deslocamento de 64 KB (128 blocks),
que alinhado nativamente no limite de 4 KB tambm:
No Windows, pode ser usado diskpar ou diskpart. No Linux, pode ser usado
fdisk ou particionado.
Um exemplo de partio de alinhamento com deslocamento de 64 KB usando

fdisk mostrado mais frente na seo: Criar parties em dispositivos
PowerPath.
A partir do Oracle 11g Release 2, o nmero de voting files do Oracle Clusterware determinado automaticamente pelo
nvel de redundncia do ASM. A redundncia Externa, por exemplo, requer um voting disk, a redundncia Normal requer
trs voting disks, e a redundncia Alta requer cinco voting disks.

17
Proteo do Oracle RAC estendido e VPLEX Metro contra tempo de inatividade no

planejado
A combinao do Oracle RAC estendido com o VPLEX Metro fornece maior
disponibilidade e resilincia a muitas situaes de falha e, consequentemente,
aumenta a disponibilidade dos aplicativos e bancos de dados de misso crtica.
Tabela 3 resume a lista de cenrios de falha e as prticas recomendadas que
permitiro que o banco de dados continue as operaes em cada um. Observe
que a lista no abrange o failover para sistemas standby (como o Oracle Data
Guard, RecoverPoint, SRDF, etc.) Os Guias do Produto EMC VPLEX com o
GeoSynchrony 5.0.1 e 5.1 fornecem mais informaes sobre as prticas
recomendadas de conectividade do VPLEX.
Tabela 3. Resumo da resilincia do VPLEX Metro, Oracle RAC e Oracle RAC estendido
Cenrios de falha de resilincia no local e no host
Falha
Servidor nico de banco de

dados Oracle (no RAC)
Falha na porta de HBA

do host
Cada host deve ter mais

do que um caminho nico
para o armazenamento. Uso
de mltiplas portas de HBA
(iniciadores).
Oracle RAC
(no estendido)
Oracle RAC estendido

com VPLEX Metro
Igual ao servidor nico
Uso de software de mltiplos

caminhos (como o EMC
PowerPath) para failover de
caminho automtico e
balanceamento de carga.
A conectividade ideal da SAN
(Storage Area Network) usar
switches redundantes nos
quais as portas de HBA
(iniciadores) se distribuiro.
Falha de hardware do
host
Tempo de inatividade
implcito at o host e o
aplicativo retomarem as
operaes.
O Oracle RAC fornece

resilincia de banco
dados para falhas de N1 (ns com N= ns no
cluster) por meio da
recuperao automtica
da instncia e da
presena de outros ns
de cluster prontos para
conexes de usurio.
Igual ao Oracle RAC
O Oracle TAF
(Transparent Application
Failover) pode ser usado
para permitir o failover
automtico das sesses
em um n de cluster
sobrevivente.

18
Cenrios de falha de resilincia no local e no host

Falha no
local/prdio/laboratrio
aplicativo retomarem as
operaes.
aplicativo retomarem
as operaes.
Com a instalao do
VPLEX Witness e
clusters em domnios
de falha
independentes (como
em outro prdio ou
local), ele se torna
resiliente a falhas no
local, prdio ou
laboratrio.
O cluster VPLEX no
domnio de falha no
afetado pelo desastre
continuar a exibir
I/Os para o aplicativo.
Use o Oracle TAF
(Transparent
Application Failover)
para permitir failover
automtico de
conexo de usurio
nos ns de cluster
sobreviventes.
Cenrios de falhas de resilincia de banco de dados/rede

Falha

Falha da instncia do
banco de dados ou
desconexo de rede
pblica
implcito at que a instncia
seja recuperada ou a rede
pblica reconectada.
Oracle RAC
(no estendido)
O Oracle RAC fornece
resilincia de banco
dados para falhas de
ns N-1 (ns com N=
ns no cluster) por meio
da recuperao
automtica da instncia
e da presena de outros
ns de cluster prontos
para conexes de
usurio.

com VPLEX Metro
Igual ao Oracle RAC
O Oracle TAF pode ser

usado para permitir o
failover automtico das
sesses nos ns de
cluster sobreviventes.
Particionamento de
interconexo do Oracle
RAC
N/D
O Oracle RAC lida com

esta falha de modo
nativo e automtico por
meio da reconfigurao
do cluster.
Igual ao Oracle RAC

19
Cenrios de falhas de resilincia de armazenamento

Falha

Falha de porta front-end A conectividade da SAN deve

incluir mltiplas portas frontend de armazenamento,
preferencialmente nos
directors do Symmetrix. Se
estiver usando o Symmetrix
com mltiplas engines, faa
a conexo com portas em
diferentes engines tambm
para ter proteo ainda
maior.
Falha de drive fsico
Use proteo do RAID

de armazenamento. O
armazenamento do
Symmetrix usa a proteo do
RAID na qual o RAID1 e o
RAID5 protegem da falha de
um disco em um grupo de
RAID, e o RAID6 protege de
falhas de dois discos em um
grupo de RAID. Em ambos os
casos, o aplicativo
continuar a ser executado
sem problemas.
Oracle RAC
(no
estendido/estendido)

com VPLEX Metro
Se um drive comear a
apresentar falhas, o drive hot
spare do Symmetrix copiar
os dados, e o EMC
Enginuity iniciar o Call
Home para informar o
suporte EMC imediatamente.
Componentes do
storage array, inclusive
director board (cache,
I/O)
Os componentes do
Symmetrix so totalmente
redundantes, inclusive o
cache espelhado, que
tambm persistente (usa
compartimentao no caso
de falha de energia
prolongada), fontes de
alimentao e directors
redundantes.
Os dados do Symmetrix so
protegidos pelo padro T10 DIF
(Data Integrity Field) desde que
entram no armazenamento at
sarem dele.

20
Cenrios de falhas de resilincia de armazenamento

Perda de conectividade
com storage array
implcito at que a
conectividade do storage
array seja retomada.
O tempo de inatividade
implcito, a no ser
que o espelhamento
baseado em host (ASM)
seja configurado entre
arrays ou at que a
conectividade do
storage array seja
retomada.
O consistency group
sncrono do VPLEX
Metro continua a
exibir I/Os nos dois
locais, mesmo se um
dos storage arrays
no estiver
disponvel.
O Oracle Clusterware
no toma
conhecimento da
indisponibilidade do
armazenamento, j
que o cluster VPLEX
continua a atender
todos os I/Os.
Cenrios de falhas de resilincia do VPLEX

Falha
Porta front-end

A conectividade da SAN deve
incluir mltiplas portas frontend de armazenamento,
preferencialmente nos
directors do Symmetrix. Se
estiver usando o VPLEX com
mltiplas engines, faa a
conexo com portas em
diferentes engines tambm
para ter proteo ainda
maior.
Oracle RAC
(no
estendido/estendido)

com VPLEX Metro
Use software de mltiplos

caminhos (como PowerPath)
para failover de caminho
automtico e balanceamento
de carga.
A conectividade ideal da SAN
(Storage Area Network) usa
switches redundantes com a
conectividade a mltiplas
portas front-end do VPLEX.
Portas back-end
De forma semelhante s
portas front-end, use
conectividade de switch
redundante com portas backend do VPLEX tambm, j
que elas se conectam com o
storage array.

21
Cenrios de falhas de resilincia do VPLEX

Componentes de
hardware do VPLEX
Partio de
interconexo do VPLEX
Cluster VPLEX
indisponvel
Os componentes do VPLEX
so totalmente redundantes,
inclusive o cache persistente
(usa compartimentao no
caso de falha de energia
prolongada), fontes de
alimentao e directors
redundantes.
N/D
N/D
Se os dois locais ainda

estiverem disponveis no
cluster recomendado do
VPLEX, as regras de
desanexao
determinaro qual cluster
retomar os I/Os e qual
ser suspenso, sem
tempo de inatividade
para o host conectado
com o cluster
sobrevivente.
N/D
N/D
O VPLEX Witness
permitir que o I/O
reinicie no cluster
VPLEX. Os ns do
Oracle RAC conectados
a esse cluster VPLEX
continuaro as
operaes com RTO
(Recovery Time
Objective, objetivo de
tempo de recuperao)
0.
Use o Oracle TAF
(Transparent
Application Failover)
para permitir a
reconexo automtica
do client aos ns do
Oracle RAC conectados
ao cluster VPLEX
sobrevivente
Embora a arquitetura do VPLEX Metro seja projetada para permitir acesso

simultneo a mltiplos locais, a verso atual do produto compatvel com uma
configurao de dois locais separados por uma distncia sncrona com uma
latncia mxima de ida e volta de 5 ms entre os dois locais. Alm disso, possvel
que o Oracle RAC estendido com o VPLEX Metro exija a extenso de uma VLAN
(Virtual Local Area Network) para diferentes datacenters fsicos para facilitar a
conectividade do client com a interconexo do n do Oracle RAC. Tecnologias
como VPLS, da Brocade, e OTV (Overlay Transport Virtualization), da Cisco, podem
ser usadas para esse servio. O livro tcnico EMC VPLEX Architecture and
Deployment: Enabling the Journey to the Private Cloud , disponvel no EMC
Powerlink, fornece mais informaes sobre a configurao do EMC VPLEX Metro.

22
VPLEX Metro com testes e configuraes do laboratrio do

Configurao e instalao do laboratrio
A seo a seguir descreve os componentes e tecnologias usados nos casos de
teste documentados neste paper.
Ambiente fsico
Figura 7 ilustra a arquitetura fsica geral da configurao implementada do Oracle
RAC estendido usada para os testes apresentados neste paper. O Oracle RAC
estendido consistiu em quatro ns do Oracle RAC, dois em cada datacenter
simulado (Local A e Local B).
Figura 7. Configurao do VPLEX Metro para o Oracle RAC estendido

O hardware incluiu a configurao da conectividade Fibre Channel entre os hosts,
os clusters VPLEX e o armazenamento Symmetrix srie VMAX para os switches
redundantes. Em cada local, foi feito o zoneamento dos hosts para as portas
locais front-end do cluster VPLEX e do armazenamento para as portas back-end do
cluster VPLEX. Foi feito o zoneamento dos clusters VPLEX entre si (por meio do
simulador de distncias nesse caso). A interconexo do Oracle RAC entre os locais
usou o mesmo simulador de distncia para emular a mesma sobrecarga de
latncia da interconexo do VPLEX. O simulador de distncia usou dois links de
um GigE com compactao WAN e switches Ciena para mudana de protocolo.
Tabela 4 mostra detalhes de hardware do storage array Symmetrix, hosts e VPLEX.
O hardware inclui dois clusters VPLEX de duas engines na configurao do Metro,
alm da tecnologia Symmetrix srie VMAX de dois clusters de uma engine,
fornecendo armazenamento local para cada cluster VPLEX. Os quatro ns RAC
eram compostos por servidores principais duais Dell 2950 com 16 GB de cache.
Os testes se concentraram em gerar uma carga de trabalho alta de I/O usando o
OAST (Oracle Automated Stress Tool), em vez de usar uma grande quantidade de
RAM para alcanar uma taxa alta de transaes. O VPLEX Witness foi definido e
conectado a cada cluster VPLEX.

23
Tabela 5 mostra o hardware de simulao de distncia. Ele incluiu o Switch Fiber

Ethernet Dell PowerConnect 6224F, que converte a rede IP gigabit em uma rede
Fibre Channel. O gerenciador de rede Ciena CN 2000 fornece um sistema de rede
ptico virtual com inputs de Fibre Channel, FICON ou GbE. Ele compatvel com
compactao de dados e DBA (Dynamic Bandwidth Allocation, alocao dinmica
de largura de banda) para fornecer qualidade de servio em nvel de porta para
conexes do client. O Empirix PacketSphere Network Emulador forneceu uma
emulao de rede controlada para problemas de rede, como latncia de rede para
trfego de rede com velocidade de cabos gigabit full-duplex.
Tabela 4. Ambiente de hardware do Oracle RAC estendido
Hardware
EMC VPLEX Metro
Quantidade Verso e configurao

2
VPLEX Metro com GeoSynchrony 5.0.1
Duas engines e quatro directors em
cada cluster
VPLEX Witness
1
Dell R900 executando uma mquina
virtual VPLEX Witness
Symmetrix srie VMAX
2
Engine nica VMAX com o Enginuity
5875, 112 drives FC de 450 GB e
15.000 rpm usando o Virtual Provisioning
Servidor Dell 2950 (ns RAC) 4
Dois dual-core com 16 GB RAM
Emulex Express (duas portas 4
de HBA usadas por servidor)
Uma das principais diretrizes durante a etapa de conectividade maximizar a
redundncia de hardware usando, por exemplo, dois switches, mais de um HBA,
mltiplos caminhos para failover de caminho dinmico e balanceamento de carga.
Tabela 5. Ambiente de hardware de simulao de distncia
Hardware
Switch Fiber Ethernet Dell
PowerConnect 6224F
Gerenciador de rede Ciena
CN 2000
Emulador de rede Empirix
PacketSphere
Servidor Dell 2950
Quantidade Verso e configurao

1
Suporte para at quatro uplinks Fiber
de 10 gigabits e dois uplinks Ethernet
de cobre padro 10GBase-T
1
Gerenciador de rede Ciena ON-Center
CN 2000 5.0.1
1
Emuladores de rede Empirix Network
Emulador NE XG 1.0B8, 2 1-GbE
4
Dois dual-core com 16 GB RAM
Tabela 6 descreve o software de host usado.

Tabela 6. Software de host
Software
SO do servidor
Verso
Oracle Linux Release 5 Update 4 x86_64
EMC PowerPath
Verso 5.5 para Linux x86_64
Oracle
Oracle Clusterware 11g R2 (11.2.02) e Oracle

Database 11g R2 (11.2.0.2) para Linux x86-64

24
Configurao do armazenamento e planejamento de alocao de dispositivo

Symmetrix VMAX Virtual Provisioning e configurao de dispositivo de
armazenamento
Tabela 7 descreve a configurao do dispositivo Symmetrix VMAX com
armazenamento Virtual Provisioning e layout de volume para o VPLEX Metro com
um ambiente de teste Oracle RAC estendido.
Essa configurao colocou os arquivos de registro e dados Oracle em thin-pools
separados, o que permitiu que cada um deles usasse uma proteo do RAID
distinta. Nessa configurao, os arquivos de dados foram colocados no thin-pool
protegido RAID5, e os redo logs no thin-pool protegido RAID1:
O thin-pool protegido RAID5 do Symmetrix oferece uma boa combinao de

benefcios de proteo, desempenho e utilizao da capacidade para os
arquivos de dados com gravaes otimizadas e paridade de rotao, por isso
uma tima escolha para arquivos de dados. Como em alguns casos o thin-pool
protegido pode oferecer alguma melhoria na disponibilidade e no
desempenho em relao ao RAID5, ele foi usado em arquivos de registros. O
mesmo grupo de discos fsicos foi compartilhado pelos dois thin-pools para
permitir o compartilhamento total dos recursos fsicos.
Foi implementada uma configurao diferente, com foco na simplicidade, em

vez de apenas na otimizao de disponibilidade/desempenho do
armazenamento, com os arquivos de registros e dados compartilhando o
mesmo thin-pool e proteo do RAID (para RAID1, RAID5 ou RAID6).
Mltiplos grupos de discos do ASM foram usados na configurao:
+GRID: como vimos anteriormente na seo Implementao do Oracle

Clusterware, quando o ASM usado para o Oracle Clusterware (a partir do
Oracle Database 11g Release 2), a EMC recomenda a criao de um grupo de
discos exclusivo apenas para o CRS, por exemplo, o +GRID. Essa abordagem
que separa as LUNs do Clusterware do banco de dados til quando h
planos de usar tecnologias de armazenamento como clones ou snapshots
para criar cpias adicionais do banco de dados para realocao, backup e
assim por diante. Essas cpias no incluiro as LUNs do Oracle Clusterware.
Isso tambm til para solues de recuperao de desastres como o
RecoverPoint e o SRDF, j que os grupos de discos do ASM replicados excluem
as LUNs do Oracle Clusterware e so montados em uma pilha do Oracle
Clusterware j configurada no local de destino da recuperao de desastres.
A separao dos grupos de discos do ASM +DATA, +LOG e +FRA permite que a
tecnologia seja usada para descarregar backups da produo. Durante o
processo de backup dinmico, os grupos de discos +DATA e +FRA so
clonados em horrios diferentes. Alm disso, replicaes remotas, como do
RecoverPoint e SRDF, criam nativamente uma rplica reinicivel do banco de
dados. Rplicas reiniciveis no acessam registros de arquivamento durante
falha ou recuperao de instncia, por isso os registros de arquivamento
(grupo de discos +FRA) no precisam fazer parte da replicao.
Os arquivos temporrios geralmente podem ser includos no grupo de discos

+DATA. Um grupo de discos do ASM separado foi usado nos testes com fins de
monitoramento e no uma recomendao especfica para implementaes.

25
Tabela 7. Configurao e atribuio de dispositivos de banco de dados e armazenamento

Thin devices (LUNs)
Grupo de discos
do ASM e
atribuio de
LUNs
Instncia
Grid/ASM do
Oracle RAC
Grupo de discos
do ASM +Grid
Grupo de discos
do ASM +REDO
Banco de
dados:
Nome:
ERPFINDB
Tamanho: 1 TB
Nm LUNs: 38
+DATA: Grupo de
discos do ASM
Vinculao
de thinpools
Redo_Pool
devices
Dispositivos de
dados
5 thin LUNs de
20 GB
(15F:163)
56 RAID1 de
30 GB
Redo_Pool
5 thin LUNs de
20 GB
(164:168)
Data_Pool
25 thin LUNs
de 60 GB
(1A5:1B4)
56 RAID5 de
230 GB (3+1)
(C5:FC)
6 thin LUNs de
50 GB
(17D:182)
+TEMP: Grupo de
discos do ASM
2 thin LUNs de
50 GB
+FRA: Grupo de
discos do ASM
Metadispositivos
VPLEX
Thin
Temp_Pool
56 RAID5 de
60 GB
(3+1)
2 thin LUNs de
2 x 80 GB
(2E5:2E8)
(8D:C4)
VPLEX
VPLEX Log
2 thin LUNs de
50 GB
(2E9:2EA)
Provisionamento do Symmetrix srie VMAX para o sistema VPLEX Metro

As etapas abaixo foram seguidas para provisionar armazenamento do sistema
Symmetrix VMAX para um ambiente de armazenamento virtual VPLEX, o que
praticamente igual a provisionar armazenamento para servidores fsicos ou
virtuais. O processo descrito parte do pressuposto de que esta a primeira vez
que o armazenamento provisionado a partir do Symmetrix VMAX para o sistema
VPLEX Metro. Tambm pressupe que foi feito o zoneamento do VPLEX para
portas front-end do armazenamento Symmetrix VMAX. As aes do Symmetrix
devem ser executadas a partir do host de gerenciamento conectado por meio do

26
gatekeeper ao Symmetrix ou com o uso do client Symmetrix Management

Console. A lista a seguir mostra as atividades de configurao com foco na
interface de linha de comando, embora tambm seja possvel execut-las
facilmente com o uso do Symmetrix Management Console.
Etapa Ao
1
Criar dispositivos Symmetrix nos arrays local e remoto com o uso do Symmetrix
Management Console ou da interface de linha de comando do Solutions Enabler.
2
Criar um grupo de execuo Symmetrix com a execuo da seguinte linha de

comando:
symaccess sid <symm_id> name <group name> type storage devs
create
Por exemplo, o comando:

symaccess sid 191 name VPLEX1_Storage_Group type storage devs
15F:168 create
cria o grupo de armazenamento Storage_Group_Test.

3
Criar um grupo de portas do Symmetrix. O comando:

symaccess sid 191 -name VPLEX1_Port_Group -type port dirport
<Dir>:<Port> create

symaccess sid 191 -name VPLEX1_Port_Group -type port dirport 7E:1
create
cria o grupo de portas Port_Group_Test.

4
Criar um grupo iniciador do Symmetrix, onde os WWNs (World Wide Names,

nomes mundiais) das portas back-end so os iniciadores "host" para o grupo
iniciador do Symmetrix. possvel arquivar a criao do grupo iniciador
Initiator_Group_Test com a execuo do seguinte comando:
symaccess sid 191 name VPLEX1_Initiator_Group type init wwn
<WWN> create

symaccess sid 191 name VPLEX1_Initiator_Group type init wwn
500014426011ee10 create
Criar a exibio do mascaramento do Symmetrix para reunir os grupos de

iniciador, porta e armazenamento:
symaccess sid 191 create view name VPLEX1_View storgrp
VPLEX1_Storage_Group portgrp VPLEX1_Port_Group initgrp
VPLEX1_Initiator_Group
Repetir as etapas de um a cinco para o provisionamento do armazenamento do

segundo sistema VPLEX (VPLEX2) para o segundo VMAX (sid 219)

27
Configurao do VPLEX Metro

Etapas de configurao do cluster do VPLEX Metro
Figura 8 lista as principais tarefas necessrias para a configurao do VPLEX Metro.
Figura 8. Viso geral das tarefas de configurao do VPLEX Metro

Observao: necessrio configurar os dois clusters VPLEX Metro conforme a
descrio. Voc no pode configurar cada um separadamente e depois junt-los.
Configurao da conectividade do cluster do VPLEX Metro
Os dois principais componentes da comunicao entre os locais do VPLEX Metro
so FC e IP. O VPLEX Metro pode usar tanto Fibre Channel quanto Ethernet de 10
gigabits para conectividade entre os directors de cada cluster. A conectividade
entre os servidores de gerenciamento VPLEX de cada cluster feita por meio de

28
um tnel VPN (Virtual Private Network, rede privada virtual) seguro. necessrio
configurar o VPLEX Metro com redes Fibre Channel ou Ethernet de 10 gigabits
completamente independentes e redundantes (dual-fabric) entre os clusters para
a conexo entre os directors. Isso oferece desempenho mximo, isolamento de
falhas, tolerncia a falhas e disponibilidade. Figura 9 um exemplo de
zoneamento de conectividade da WAN entre clusters.
Figura 9. Exemplo de zoneamento de conectividade da WAN entre clusters do VPLEX

Verificao da conectividade do cluster
Para verificar a conectividade da WAN, faa log-in na interface de linha de comando do
VPLEX e execute o seguinte comando:
ll **/hardware/ports/
Um exemplo:
VPlexcli:/> ll **/hardware/ports/
/engines/engine-1-1/directors/director-1-1-A/hardware/ports:
Name
Address
Role
Port Status
-------
------------------
---------
A2-FC00
0x500014426011ee20
wan-com
up
A2-FC01
0x500014426011ee21
wan-com
up
A2-FC02
0x500014426011ee22
wan-com
up
A2-FC03
0x500014426011ee23
wan-com
up
-----------
/engines/engine-1-1/directors/director-1-1-B/hardware/ports:
Name
Address
Role
Port Status
-------
------------------
---------
B2-FC00
0x500014427011ee20
wan-com
up
B2-FC01
0x500014427011ee21
wan-com
up
B2-FC02
0x500014427011ee22
wan-com
up
B2-FC03
0x500014427011ee23
wan-com
up
-----------
/engines/engine-2-1/directors/director-2-1-A/hardware/ports:
Name
Address
Role
Port Status

29
------- ------------------
---------
-----------
A2-FC00
0x5000144260168220
wan-com
up
A2-FC01
0x5000144260168221
wan-com
up
A2-FC02
0x5000144260168222
wan-com
up
A2-FC03
0x5000144260168223
wan-com
up
/engines/engine-2-1/directors/director-2-1-B/hardware/ports:
Name
Address
Role
------- ------------------
Port Status
---------
-----------
B2-FC00
0x5000144270168220
wan-com
up
B2-FC01
0x5000144270168221
wan-com
up
B2-FC02
0x5000144270168222
wan-com
up
B2-FC03
0x5000144270168223
wan-com
up
Para verificar o status do link FC MAN, execute o comando cluster summary.

Um exemplo:
VPlexcli:/> cluster summary
Clusters:
Name
Cluster ID Connected Expelled Operational Status Health State
---------
----------
---------
--------
------------------
------------
cluster-1
true
false
ok
ok
cluster-2
true
false
ok
ok
Islands:
Island ID
Clusters
---------
--------------------
cluster-1, cluster-2
Conectividade do host do VPLEX Metro

Para garantir o nvel mais alto de conectividade e disponibilidade para o Oracle
RAC estendido mesmo durante operaes anormais de conexo dos Oracle RAC
Servers com o EMC VPLEX, cada Oracle RAC Server no modelo de implementao
do Oracle RAC estendido deve ter pelo menos dois HBAs fsicos. E cada HBA deve
estar conectado a portas front-end em directors diferentes no EMC VPLEX. Essa
configurao garante a disponibilidade contnua dos ns do EMC VPLEX, mesmo
se uma das portas front-end do EMC VPLEX estiver off-line para eventos de
manuteno planejada ou interrupes no planejadas.
Quando a configurao de uma engine do VPLEX nica estiver conectada a um n
do Oracle RAC, cada HBA deve ser conectado s portas front-end disponveis nos
directors A e B da engine do VPLEX. A conectividade com as portas front-end do
VPLEX deve consistir, primeiro, na conexo de hosts exclusivos porta 0 de cada
mdulo do I/O que emule os directors de front-end, antes da conexo de hosts
adicionais s portas restantes no mdulo do I/O. Se mltiplas engines do VPLEX
estiverem disponveis, os HBAs dos Oracle RAC Servers devem ser conectados a
engines diferentes.

30
A conectividade das engines do VPLEX aos storage arrays deve seguir as prticas
recomendadas para o array. Uma discusso detalhada sobre as prticas
recomendadas para a conexo do armazenamento de back-end est alm do
escopo deste paper. O livro tcnico EMC VPLEX Architecture and Deployment:
Enabling the Journey to the Private Cloud fornece mais informaes.
Administrao do VPLEX Metro
A administrao do VPLEX Metro que executa o Geosynchrony 5.1 pode ser feita
por meio do EMC Unisphere para VPLEX Management Console. Algumas funes
avanadas adicionais so fornecidas pela interface de linha de comando do
VPLEX. Ao autenticar a interface grfica do usurio segura baseada na Web, o
usurio v vrias opes de configurao na tela, listadas na ordem em que foram
concludas. A ajuda on-line do EMC Unisphere para VPLEX Management Console
fornece mais informaes sobre cada etapa do workflow. A tabela a seguir resume
as etapas que devem ser seguidas desde a deteco dos arrays at o momento
em que o armazenamento fica visvel para o host.
Etapa Ao
1
Detectar o armazenamento disponvel
O VPLEX Metro detecta automaticamente os storage arrays que esto conectados s
portas back-end. Todos os arrays conectados a cada director do cluster esto listados na
exibio Storage Arrays.
Reivindicar volumes de armazenamento

Os volumes de armazenamento devem ser reivindicados antes de serem usados no cluster
(exceto o volume de metadados, que criado a partir de um volume de armazenamento
no reivindicado). Apenas aps ser reivindicado que o volume de armazenamento pode
ser usado para criar extents, dispositivos e, depois disso, volumes virtuais.
Criar extents
Crie extents para os volumes de armazenamento selecionados e especifique a capacidade.
Criar dispositivos a partir de extents

Um dispositivo simples criado a partir de um extent e usa armazenamento em apenas
um cluster.
Criar um volume virtual

Crie um volume virtual usando o dispositivo criado na etapa anterior.
Registre os iniciadores
Quando os iniciadores (hosts que acessam o armazenamento) esto conectados
diretamente ou por meio de um fabric Fibre Channel, o VPLEX Metro os detecta
automaticamente e preenche a exibio Iniciadores. Aps a deteco dos iniciadores,
voc deve registr-los com o VPLEX Metro para que eles possam ser adicionados a uma
exibio do armazenamento e acessar o armazenamento. O registro de um iniciador d
um nome significativo ao nome mundial da porta, que geralmente o nome do servidor
DNS, para permitir que voc identifique o host com facilidade.
Criar uma exibio do armazenamento

Para que o armazenamento fique visvel para um host, primeiro necessrio criar uma
exibio do armazenamento e, em seguida, adicionar volumes virtuais e portas front-end
do VPLEX Metro exibio. Os volumes virtuais s ficam visveis para os hosts quando
esto em uma exibio do armazenamento com os iniciadores e portas associados.

31
Criar um consistency group

Crie um consistency group nos dois sistemas VPLEX e adicione todos os
volumes virtuais atribudos a dispositivos ASM do Oracle RAC, inclusive
dispositivos Grid e ASM para o Oracle Database, que exigem consistncia da
ordem de gravao com o consistency group.
Figura 10 mostra a Ajuda on-line do layout lgico e provisionamento de

armazenamento a partir do EMC VPLEX.
Figura 10. Interface de gerenciamento do EMC Unisphere for VPLEX

A interface de gerenciamento baseada em navegador, ilustrada na Figura 10,
mostra de modo esquemtico os vrios componentes envolvidos no processo. O
armazenamento do EMC VPLEX exposto por meio de uma construo lgica
chamada Storage View (Exibio do armazenamento), que a unio dos objetos
Registered initiators (Iniciadores registrados), VPLEX ports (Portas VPLEX) e
Virtual Volume (Volume virtual). O objeto Registered initiators lista o WWPN
dos iniciadores que precisam de acesso ao armazenamento. No caso de um
ambiente Oracle VM Server, a entidade Registered initiators contm o WWPN
dos HBAs nos Oracle VM Servers conectados ao EMC VPLEX. O objeto VPLEX
ports contm as portas front-end do array VPLEX pelo qual os Registered
initiators acessam os volumes virtuais. O objeto Virtual Volume um conjunto
composto pelos volumes de armazenamento fornecidos ao EMC VPLEX por meio
dos storage arrays de back-end. A imagem ampliada no canto inferior esquerdo da
Figura 10 mostra que um volume virtual criado com base em um Device
(dispositivo), que por sua vez pode ser uma combinao de diferentes
dispositivos construdos sobre uma entidade abstrata chamada Extent
(extenso). A figura tambm mostra que um Extent criado com base no

32
Storage Volume (Volume de armazenamento) exposto ao EMC VPLEX.

Entretanto, para aproveitar tecnologias de replicao baseada em arrays,
mapeamos cada storage device a partir do VMAX (mapeamento um a um) em toda
a sua configurao de passagem (capacidade do dispositivo = capacidade do
extent = capacidade do volume de armazenamento) para o VPLEX, com uma
geometria de dispositivo VPLEX RAID 0 (apenas extent nico). Com isso, os
dispositivos de armazenamento subjacentes no so tocados pelo VPLEX, e a
tecnologia de replicao de LUN de array back-end, como TimeFinder/Clone e
TimeFinder/Snap, continua a funcionar normalmente.
A Figura 10 tambm mostra, no canto inferior direito, uma imagem ampliada com as
sete etapas necessrias para provisionar o armazenamento a partir do EMC VPLEX. O
assistente tem um mecanismo centralizado para provisionar armazenamento para
diferentes membros do cluster, no caso do EMC VPLEX Metro. A primeira etapa no
processo de provisionamento de armazenamento do EMC VPLEX a deteco dos
storage arrays conectados a ele. Essa etapa raramente precisa ser executada, j que
o EMC VPLEX monitora proativamente as alteraes no ambiente de armazenamento.
A segunda etapa do processo a reivindicao do armazenamento exposto ao EMC
VPLEX. O processo de reivindicar o armazenamento cria o Storage Volume do
objeto mostrado na Figura 10. O Assistente de criao de exibio do
armazenamento permite que voc crie uma exibio do armazenamento e adicione
iniciadores, portas e volumes virtuais a ela. Quando todos os componentes tiverem
sido adicionados exibio, ela se tornar ativa automaticamente. Quando a
exibio do armazenamento estiver ativa, os hosts vero o armazenamento e
comearo o I/O para os volumes virtuais. Aps criar uma exibio do
armazenamento, voc s pode adicionar ou remover volumes virtuais por meio da
interface grfica do usurio. Para adicionar ou remover portas e iniciadores, use a
interface de linha de comando. O Guia da interface de linha de comando do EMC
VPLEX fornece informaes completas sobre os comandos do VPLEX Metro.
VPLEX Metro com o VPLEX Witness
O VPLEX Witness instalado como uma mquina virtual fechada implementada
em um domnio de falha separado dos dois clusters VPLEX. Isso evita que uma
falha nica afete os clusters VPLEX e o VPLEX Witness. O VPLEX Witness
conectado a ambos os clusters VPLEX por uma rede IP de gerenciamento.
Conciliando as prprias observaes com as informaes fornecidas
periodicamente pelos clusters, o VPLEX Witness possibilita que os clusters
diferenciem as falhas de partio de rede entre clusters das falhas de clusters,
retomando o I/O automaticamente nessas situaes.
Configurao do Oracle e host
Configurao de software com mltiplos caminhos
Como parte das prticas recomendadas para a conectividade do Oracle RAC Server
com o VPLEX, cada Oracle RAC Server deve ter duas portas HBA, cada uma delas
conectada a um Fibre Channel switch para maior disponibilidade. Nessa
configurao, o host deve usar uma soluo de mltiplos caminhos para manipular
vrios caminhos para o mesmo storage device, com o objetivo de fornecer alta
disponibilidade, balanceamento de carga e migrao em tempo real. Voc pode
instalar o EMC PowerPath for Oracle RAC Server como soluo de mltiplos caminhos
ou usar a soluo de mltiplos caminhos nativa do Linux (device mapper). Para o
Oracle RAC estendido em uma configurao EMC VPLEX Metro, como descrito neste
paper, o EMC PowerPath 5.5 foi instalado nos quatro servidores fsicos.

33
Instalar o rpm do PowerPath em cada host

[root@ RAC NODE 1: licoc039 ]rpm -i EMCpower.LINUX5.5,0.00,00-275.RHEL5.x86_64.rpm
Talvez seja necessrio reinicializar no primeiro acesso aps a instalao do

PowerPath para que o host registre os pseudodispositivos /dev/emcpower.
Instalar uma licena do PowerPath em cada host
[root@ RAC NODE 1: licoc039 ]emcpreg
add <key>
Configurar o PowerPath em cada host

[root@ RAC NODE 1: licoc039 ]
[root@ RAC NODE 1: licoe039 ]
powermt config
powermt display
Pseudo name=emcpowerk
Invista ID=FNM00100600231
Logical device ID=6000144000000010A002636D3C679C6A
state=alive; policy=ADaptive; priority=0; queued-IOs=0
==============================================================================
---------------- Host --------------###
HW Path
I/O Paths
- Stor Interf.
-- I/O Path -
-- Stats ---
Mode
Q-IOs Errors
State
==============================================================================
1 lpfc
sdaq
08
active
alive
2 lpfc
sdbu
00
active
alive
2 lpfc
sdcy
08
active
alive
1 lpfc
sdm
00
active
alive
Corresponder os nomes dos pseudodispositivos do PowerPath nos ns do Oracle

RAC Server
Para fazer a correspondncia entre os nomes dos pseudodispositivos do
PowerPath nos ns do Oracle RAC Server, a EMC recomenda o uso do utilitrio
emcpadm do PowerPath. Esse utilitrio permite exportar o mapeamento de um
host e export-lo para outro. Tambm permite renomear um pseudodispositivo de
cada vez se necessrio.
<source host> emcpadm export_mapping -f <mapping_file_name>
Depois disso, copie o arquivo para os outros hosts. Encerre qualquer aplicativo
que esteja usando dispositivos de armazenamento, desmonte qualquer file
system ou exporte qualquer volume LVM (Logical Volume Management,
gerenciamento de volumes lgicos). Em seguida, execute:
<target host> emcpadm check_mapping [-v] -f <mapping_file_name>
<target host> emcpadm import_mapping -f <mapping_file_name>

34
Criar parties em dispositivos PowerPath

A EMC recomenda expressamente o alinhamento do deslocamento das parties
da plataforma do servidor baseada em x86 para 64 KB quando o Symmetrix for
usado. Se outro storage array for usado, possvel que os requisitos sejam
diferentes, embora o tamanho deva ser sempre alinhado com deslocamento de
4 KB para corresponder ao tamanho de block do VPLEX. Figura 11 mostra o
alinhamento a 64 KB para criar as parties em um dispositivo PowerPath. Basta
iniciar o fdisk como mostrado a seguir e, quando as parties forem criadas,
digitar x para entrar no modo Especialista. Digite p para ver (imprimir) a tabela
de partio atual, inclusive o deslocamento em unidades de block. Digite b para
mudar o deslocamento de qualquer partio. Por exemplo, mova a partio 1 do
deslocamento padro de 32 para 128 blocks. Como cada block tem 512 bytes,
isso significa que 128 x 512 bytes = deslocamento de 64 KB. Se mais de uma
partio for criada na LUN, verifique se o restante das parties est alinhado ou
siga uma etapa semelhante para mudar o deslocamento para um nmero
alinhado a 128 blocks (64 KB).
M
B
R
Reservados Incio
(63 blocks) padro da
Novo incio
da partio
64 K
64 K
Figura 11. Alinhamento da partio ao limite de tamanho de rastreio do

Symmetrix (64 KB)
Neste exemplo, uma partio criada para um dispositivo PowerPath que ser
usado como um dispositivo Oracle ASM.
[root@licoc091 ~]# fdisk /dev/emcpowerd
Command (m for help): n
Command action
e
extended
p
primary partition (1-4)
Partition number (1-4): 1

First cylinder (1-52218, default 1): [ENTER]
Using default value 1
Last cylinder or +size or +sizeM or +sizeK (1-52218, default 52218):
[ENTER]
Command (m for help):
Disk /dev/emcpowerd: 54.7 GB, 54755328000 bytes

64 heads, 32 sectors/track, 52218 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
Device
/dev/emcpowerd1
Boot
Start
1
End
52218
Blocks
53471168
Id System
83 Linux

35
Alinhar parties em um limite de 64 KB (128 blocks).

Command (m for help): x (going into export mode)
p (print partition table)
Note that partition 1 starts at 32 blocks
Expert command (m for help):
Disk /dev/emcpowerk: 64 heads, 32 sectors, 52218 cylinders

Nr AF Hd Sec Cyl Hd Sec Cyl
Start
Size ID
1 00
1
1
0 63 32 1023
32
106942336 83
2 00
0
0
0
0
0
0
0
0 00
3 00
0
0
0
0
0
0
0
0 00
4 00
0
0
0
0
0
0
0
0 00
Expert command (m for help): b (move partition start)
Partition number (1-4): 1
New beginning of data (32-2002943, default 32): 128
Expert command (m for help):
Disk /dev/emcpowerk: 64 heads, 32 sectors, 52218 cylinders

Nr
1
2
3
4
AF
00
00
00
00
Hd Sec
1
1
0
0
0
0
0
0
Cyl
0
0
0
0
Hd Sec Cyl
63 32 1023
0
0
0
0
0
0
0
0
0
Start
128
0
0
0
Size ID
106942336 83
0 00
0 00
0 00
Expert command (m for help): w

The partition table has been altered!
Calling ioctl() to re-read partition table.
Syncing disks.
[root@licoc091 ~]#
Aps a criao das parties, verifique se elas so reconhecidas pelos outros ns.
Talvez seja necessrio executar o comando fdisk em cada n e gravar (w) a
tabela de parties. Como alternativa, examinar o barramento SCSI ou reinicializar
a partir de um dos outros ns tambm atualizar as informaes.
Instalar o Oracle e configurar um banco de dados Oracle RAC
A tabela a seguir resume as etapas que devem ser seguidas para configurar ns
de servidor Oracle para o Oracle Grid Infrastructure e a instalao do banco de
dados ASM, de acordo com o Guia de Instalao do Grid Infrastructure para Linux
do Oracle 11g Release 2 (11.2.0.2) e o Guia de Instalao de Banco de Dados para
Linux do Oracle 11g Release 2 (11.2.0.2). O Guia de Instalao do Oracle RAC
fornece mais detalhes. Os guias detalhados de instalao do Oracle esto
disponveis aqui:
http://www.oracle.com/technetwork/documentation/index.html#database

36
Etapas de alto nvel:

Etapa
Ao
Configurar rede privada de ns do servidor, arquivo /etc/hosts do SO, parmetros do

kernel do SO, bem como editar o arquivo /etc/sysctl.conf.
Criar contas e grupos de usurios do Oracle para instalar e manter o Oracle 11gR2 nos
ns de cada RAC.
Atualizar o Boot Script (/etc/rc.d/rc.local)para definir permisses do Oracle para
dispositivos designados para o Oracle Clusterware e o Oracle ASM.
Configurar o SSH (Secure Shell Protocol) para usurio Oracle em cada n do Oracle RAC.
2
3
4
5
6
7
8
9
10
Definir os limites do shell para usurio Oracle no arquivo /etc/security/limits.conf.

Modificar o arquivo /etc/pam.d/login e o arquivo /etc/profile corretamente.
Instalar qualquer pacote de SO adicional necessrio para a instalao do Oracle.
Instalar o software Oracle 11g Release 2 (11,2.0,2) Database.
Criar grupos de discos adicionais do Oracle ASM para o Oracle Database.
Criar um banco de dados Oracle com o tamanho e os parmetros de inicializao
necessrios para atender aos requisitos de desempenho e carga de trabalho de banco
de dados desejada. Criar grupos de discos adicionais do Oracle ASM para o Oracle
Database.
Testes de carga de trabalho de banco de dados OLTP

Usamos uma carga de trabalho padro de OLTP (Online Transaction Processing,
processamento de transaes on-line), com proporo 70/30 para
leitura/gravao, respectivamente. Isso demonstrou que o cluster do VPLEX Metro
fornece ao Oracle RAC estendido alto desempenho e resilincia de carga de
trabalho distncia metropolitana de 100 km. Como mencionado na seo de
implementao deste paper, o ambiente de teste do Oracle RAC estendido com o
VPLEX Metro consistiu em dois ns locais do Oracle RAC e dois ns remotos do
Oracle RAC. A interconexo por rede remota entre os clusters VPLEX e os ns do
Oracle RAC simulou a distncia metropolitana (ciclo de ida e volta de 5 ms)
usando o Empirix PacketSphere Network Emulator para a latncia da rede. Como
mostrado na Figura 12 e na Figura 13, uma carga de trabalho de 16 drivers foi
usada em cada um dos ns do Oracle RAC. As taxas das transaes da carga de
trabalho OLTP (Online Transaction Processing, processamento de transaes online), que indicam as transaes por minuto, foram gravadas com cargas de
trabalho de um n, dois ns, trs ns ou quatro ns. As cargas de trabalho foram
aumentadas com o acrscimo de cada n para mostrar os benefcios da
capacidade de expanso do Oracle RAC. A taxa de transaes aumentou
proporcionalmente medida que a carga de trabalho aumentou com o acrscimo
de mais ns do Oracle RAC (16, 32, 48 e 64 drivers de carga de trabalho com um,
dois, trs e quatro ns, respectivamente). Aumentos semelhantes da taxa de
transaes foram mostrados na execuo do VPLEX Metro com o Oracle RAC
distncia de 0 km, assim como distncia metropolitana de 100 km. Alm disso,
o VPLEX Metro tem a capacidade de fornecer um alto desempenho com
aproximadamente de 85 a 90% da taxa de transaes para o Oracle RAC
estendido distncia metropolitana de 100 km, em comparao com a linha de
base, atingida distncia de 0 km. O VPLEX Metro tambm tem a capacidade de
atingir 90% do desempenho da carga de trabalho para o Oracle RAC estendido
distncia metropolitana de 50 km ou menos (dados no mostrados). Por isso, o

37
Taxa de transaes
VPLEX Metro fornece ao Oracle RAC resilincia e alto desempenho de I/O para
carga de trabalho OLTP (Online Transaction Processing, processamento de
transaes on-line) quando os dois datacenters esto localizados distncia
metropolitana de 100 km. Tambm foram realizados testes com a distncia de
500 km (ciclo de ida e volta de 5 ms) que demonstraram capacidade de expanso
semelhante, embora com uma taxa de transaes relativamente mais baixa
devido ao aumento da latncia. De um modo geral, a soluo comprovou a
capacidade do VPLEX e do Oracle RAC de aumentar o desempenho de aplicativo e,
ao mesmo tempo, fornecer maior disponibilidade. Como o benchmark do OLTP foi
completamente aleatrio, no foi constatado conflito de acesso de block. Em
implementaes com carga de trabalho reais do cliente, o DBA deve prestar
ateno (como de costume) a um possvel conflito de acesso entre os ns de
cluster, principalmente entre ns remotos, porque um conflito de acesso pode
reduzir a taxa geral de transaes.
25000
Distncia: 0 km (linha de base)
20000
15000
10000
5000
0
1
Nmero de ns do RAC com carga de

trabalho ativa
Figura 12. Taxa de transaes distncia de 0 km
Taxa de transaes
Distncia: 100 km
(ciclo de ida e volta de 1 ms)
25000
20000
15000
10000
5000
0
1
Nmero de ns do RAC com carga de

trabalho ativa
Figura 13. Taxa de transaes distncia de 100 km

38
Testes de situaes de falha

O ambiente foi testado com sucesso em vrios cenrios de falha criados pela
equipe de projetos, pelo E-LabTM (organizao de qualidade e qualificao da
EMC) e com base no plano de teste fornecido pela engenharia do Oracle RAC.
Todos os testes foram concludos com os resultados desejados. E foram
realizados durante a execuo da carga de trabalho (quando aplicvel). Veja a
seguir uma lista de apenas alguns dos testes realizados:
Particionamento da interconexo do Oracle RAC (desconexo) com a

infraestrutura do VPLEX Metro intacta.
Particionamento da interconexo do VPLEX Metro e interconexo do Oracle RAC.
Desconexo nica do sistema de armazenamento sem tempo de inatividade

de aplicativo.
Simulao de falha no local com continuidade da execuo da carga de

trabalho no local sobrevivente.
Perda de conectividade do host para diferentes ns do Oracle RAC sem afetar

o restante do cluster.
Mudanas no rebalanceamento do Oracle ASM, no armazenamento e na

configurao do VPLEX, alm de atualizaes de software.
Concluso
O EMC VPLEX Metro, com o sistema operacional GeoSynchrony, uma tecnologia
corporativa de federao baseada em SAN que agrega e gerencia pools de storage
arrays conectados por Fibre Channel que podem estar localizados em um s
datacenter ou em vrios datacenters separados geograficamente por distncias
metropolitanas. Alm disso, com uma arquitetura exclusiva de scale-up e scaleout, a coerncia de cache distribudo e armazenamento avanado em cache de
dados do EMC VPLEX fornece resilincia de carga de trabalho, compartilhamento
automtico, bem como balanceamento e failover de domnios de armazenamento,
permitindo o acesso local e remoto aos dados com nveis de servio previsveis. O
Oracle RAC estendido distribudo em dois datacenters distncia metropolitana,
com os recursos do EMC VPLEX METRO, fornece topologias de implementao
simplificadas, administrao de armazenamento, atualizao tcnica e
capacidade de expanso de armazenamento no disruptiva. Alm disso, o EMC
VPLEX tem a capacidade de fornecer recursos para o gerenciamento de volumes e
movimentao no disruptiva de dados heterogneos em distncias sncronas,
permitindo que os clientes ofeream servios em nuvem econmicos e dinmicos
distribudos por mltiplos locais fsicos.

39
Referncias
Os documentos a seguir, que fornecem mais informaes sobre o VPLEX e o
Oracle RAC estendido, podem ser encontrados nos sites brazil.emc.com e
docs.oracle.com, assim como no Powerlink:
Notas tcnicas de prticas recomendadas de implementao e planejamento

do EMC VPLEX
Livro tcnico EMC VPLEX Metro Witness Technology and High Availability
Condies para suporte ao cluster estendido do host no EMC VPLEX Metro
Guias de Produtos EMC VPLEX com GeoSynchrony 5.0 e 5.1
http://www.oracle.com/goto/rac
Oracle Database, 11g Release 2 (11.2)
Guia Interativo de referncia rpida do Oracle Database 11g

40

h8930 Vplex Metro Oracle Rac WP

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

h8930 Vplex Metro Oracle Rac WP

Caricato da

Copyright:

Formati disponibili

White paper

ORACLE RAC (REAL APPLICATION CLUSTERS)

Copyright 2011 EMC Corporation. Todos os direitos reservados.

Oracle RAC (Real Application Clusters) em clusters de longa distncia

Implementao do VPLEX Metro com o Oracle RAC estendido ................................. 16

VPLEX Metro com testes e configuraes do laboratrio do Oracle

Oracle RAC (Real Application Clusters) em clusters de longa distncia

Disponibilidade contnua do banco de dados por meio de rede, servidor,

Arquitetura scale-out e total acesso de leitura/gravao ao mesmo banco de

Simplificao da implementao do Oracle RAC distncia:

Oracle RAC (Real Application Clusters) em clusters de longa distncia

o Habilidade de criar consistency groups que protegem vrios bancos de

Oracle RAC (Real Application Clusters) em clusters de longa distncia

Viso geral dos produtos e recursos

Figura 1. EMC VPLEX Local para federar armazenamento heterogneo

Oracle RAC (Real Application Clusters) em clusters de longa distncia

O VPLEX pode ser estendido em datacenters dispersos geograficamente para fornecer

A possibilidade de movimentar aplicativos e dados entre vrias infraestruturas

A possibilidade de criar uma infraestrutura de computao e armazenamento

A possibilidade de fornecer colaborao de dados eficiente em tempo real

Ofertas de produtos VPLEX

VPLEX Geo (no compatvel com o Oracle RAC atualmente)

Figura 2. Topologias VPLEX

Oracle RAC (Real Application Clusters) em clusters de longa distncia

EMC VPLEX Metro com AccessAnywhere

Figura 3. Migrao em tempo real de mquinas virtuais Oracle com o VPLEX

Infraestrutura de alta disponibilidade Reduz o RTO (Recovery Time

Oracle RAC (Real Application Clusters) em clusters de longa distncia

Figura 4. Oracle RAC estendido com VPLEX Metro

http://Powerlink.emc.com, pesquisa de palavra-chave: VPLEX Geo.

Uma, duas ou quatro engines

Contm dois directors, mdulos de gerenciamento, fontes

Contm alguns dos mdulos de I/O, SSD, CPU e RAM

Oracle RAC (Real Application Clusters) em clusters de longa distncia

O VPLEX Local usa armazenamento com gravao no cache e na memria principal

Figura 5. Estruturas de armazenamento lgicas do EMC VPLEX

Oracle RAC (Real Application Clusters) em clusters de longa distncia

O VPLEX encapsula os volumes da SAN (Storage Area Network) por meio da

Consistency groups sncronos Oferecem uma forma prtica de aplicar as

mesmas regras de desanexao e outras propriedades a um grupo de volumes em

Oracle RAC (Real Application Clusters) em clusters de longa distncia

Balanceamento automtico de carga entre datacenters

Uso ativo-ativo de ambos os datacenters

Tratamento totalmente automtico na camada de armazenamento

Oracle RAC (Real Application Clusters) em clusters de longa distncia

exemplo, se dois clusters de uma configurao VPLEX Metro forem

Oracle Real Application Clusters

Oracle RAC (Real Application Clusters) em clusters de longa distncia

mais adequada, principalmente no que diz respeito a distncia, latncia e grau de

Symmetrix srie VMAX

Figura 6. O Symmetrix srie VMAX

Oracle RAC (Real Application Clusters) em clusters de longa distncia

Famlias de produtos Symmetrix VMAX TimeFinder

Um dispositivo acessvel pelo host no tem armazenamento diretamente associado

Dispositivos internos que quando colocados em um thin-pool fornecem capacidade

Um conjunto de dispositivos de dados que fornece capacidade de armazenamento

Oracle RAC (Real Application Clusters) em clusters de longa distncia

Implementao do VPLEX Metro com o Oracle RAC estendido

No caso de um particionamento de interconexo Oracle (no de uma falha real

No caso de um particionamento de interconexo VPLEX (ou de uma falha real no

Oracle RAC (Real Application Clusters) em clusters de longa distncia

Implementao do Oracle Clusterware

Quando o Oracle ASM usado para hospedar os arquivos do Oracle