UNIVERSIDAD CATLICA BOLIVIANA SAN PABLO INGENIERIA EN SISTEMAS

FACEBOOK STORAGE ARQUITECTURA DE COMPUTADORA

ELABORADO POR: LICETH DIANA FLORES ESTRADA DOCENTE: ING. RODRIGO AVILA

Santa Cruz de la Sierra Bolivia 2011

FACEBOOK STORAGE

Subir fotos en Facebook en una de las funcionalidades ms utilizadas por los usuarios, los mismos que a la fecha han subido alrededor de 15 mil millones de fotos en sus lbumes, adicionalmente facebook genera y almacena cuatro imgenes de distintos tamaos por cada foto lo que se traduce en un total de 60 mil millones de fotos y 1.5 PB (Petabytes) de almacenamiento. La tasa actual de crecimiento es de 220 millones de fotos nuevas y 25 TB adicionales de almacenamiento cada semana. Con estos nmeros y con picos de 550 mil fotos entregadas por segundo, la infraestructura de gestin de fotos de facebook se convierte en todo un reto. Esta gigantesca cantidad de informacin supone un gran esfuerzo econmico, por este motivo han cambiado el sistema de almacenamiento actual basado en NetApp por un modelo desarrollado a medida por un antiguo ingeniero de NetApp Jason Sobel, mejorando la relacin coste-efectividad con un sistema de alto rendimiento demominado HAYSTACK, en el cual llevaban dos aos en fase piloto hasta su impantacin hace unos meses. La infraestructura antigua estaba basada en CDN de Akamai y Limelight como cache para reducir el nmero de lecturas en los sistemas fsicos de almacemamiento basados en la tecnologa de NetApp y como servidor http lighttpd. Esquema del Sistema Antiguo de Almacenamiento:

Infraestructura Nueva Haystack

Esta infraestructura integra la entrega y el almacenamiento de las fotos en una sola capa fsica, implementa un servidor de fotos basado en HTTP el cual almacena las fotos en un almacn genrico de objetos (Generic Object Store) llamado Haystack. El principal requerimiento de esta solucin es eliminar cualquier sobrecarga innecesaria de metadatos por cada operacin de lectura de fotos. El Haystack se puede descomponer en las siguientes capas funcionales:

HTTP Server Photo Store Haystack Object Store Filesystem Storage

Esquema de la Nueva Infraestructura:

A continuacin ampliaremos cada una de las capas funcionales empezando desde las ms bajas. Storage Haystack es desplegado sobre blades simples de almacenamiento. La configuracin tpica de cada blade (2U) de almacenamiento es:

2 x quad-core CPUs 16GB 32GB de memoria Controladora RAID con 256MB 512MB de NVRAM cache 12+ 1TB SATA drives

Cada blade de almacenamiento proporciona al rededor de 10TB de espacio utilizable, configurado como un RAID-6 . RAID-6 ofrece una redundancia adecuada y un excelente performance de lectura mientras mantiene bajos los costos de almacenamiento. El bajo performance en escritura es parcialmente mitigado por el NVRAM write-back cache de la controladora RAID. Como la

lectura es mayormente aleatoria, el NVRAM cache es totalmente reservado para escritura. El cache de los discos es deshabilitado para garantizar la consistencia de datos en el caso de un dao o falla elctrica. CONCLUSIONES Facebook ahora estrena un sistema de almacenamiento ms potente y rpido. Haystack es el nombre del nuevo sistema de almacenamiento de imgenes de Facebook Se espera que este nuevo sistema de almacenamiento sea mucho ms rpido y eficiente respecto a la velocidad de visualizacin de imgenes, y tambin al hardware. Haystack es hasta un 50% ms rpido que los sistemas de almacenamiento de imgenes del mercado, y un 50% menos dependiente del hardware