Acercamiento al Big Data
R. Beltrán; K, Lopez; J. Serrano
Articulo Final
UNIVERSIDAD ECCI
Escuela Colombiana de Carreras Industriales
Bogotá / Colombia
2017-1oor
1. Abstract
Aplicar el conjunto de conocimientos
derivados del entendimiento de la
importancia que reviste la clasificación de la
tecnología para una empresa en él escenario
actual de competitividad
2. Introducción
El primer cuestionamiento que posiblemente
llegue a su mente en este momento es ¿Qué
es Big Data y porqué se ha vuelto tan
importante? Pues bien, en términos generales
podríamos referirnos como a la tendencia en
el avance de la tecnología que ha abierto las
puertas hacia un nuevo enfoque de
entendimiento y toma de decisiones, la cual
es utilizada para describir enormes
cantidades de datos (estructurados, no
estructurados y semiestructurados) que
tomaría demasiado tiempo y sería muy
costoso cargarlos a un base de datos
relacional para su análisis. De tal manera que,
el concepto de Big Data aplica para toda
aquella información que no puede ser
procesada o analizada utilizando procesos o
herramientas tradicionales. Sin embargo, Big
Data no se refiere a alguna cantidad en
específico, ya que es usualmente utilizado
cuando se habla en términos de petabytes y
exabytes de datos. Entonces ¿Cuánto es
demasiada información de manera que sea
elegible para ser procesada y analizada
utilizando Big Data? Analicemos
primeramente en términos de bytes:
Gigabyte = 10 = 1,000,000,000
Terabyte = 10 = 1,000,000,000,000
Petabyte = 10 = 1,000,000,000,000,000
Exabyte = 10 = 1,000,000,000,000,000,000
Además del gran volumen de información,
esta existe en una gran variedad de datos que
pueden ser representados de diversas
maneras en todo el mundo, por ejemplo de
dispositivos móviles, audio, video, sistemas
GPS, incontables sensores digitales en
equipos industriales, automóviles, medidores
eléctricos, veletas, anemómetros, etc., los
cuales pueden medir y comunicar el
posicionamiento, movimiento, vibración,
temperatura, humedad y hasta los cambios
químicos que sufre el aire, de tal forma que
las aplicaciones que analizan estos datos
requieren que la velocidad de respuesta sea lo
demasiado rápida para lograr obtener la
información correcta en el momento preciso.
Estas son las características principales de
una oportunidad para Big Data.
Es importante entender que las bases de datos
convencionales son una parte importante y
relevante para una solución analítica. De
hecho, se vuelve mucho más vital cuando se
usa en conjunto con la plataforma de Big
Data. Pensemos en nuestras manos izquierda
y derecha, cada una ofrece fortalezas
individuales para cada tarea en específico.
Por ejemplo, un beisbolista sabe que una de
sus manos es mejor para lanzar la pelota y la
otra para atraparla; puede ser que cada mano
intente hacer la actividad de la otra, mas sin
embargo, el resultado no será el más óptimo.
3. Definición
Big Data es una base de datos no
convencional la cual tiene como función
principal analizar datos que se han vuelto tan
grandes que no se pueden procesar,
almacenar y analizar mediante métodos
convencionales.
Una manera de caracterizar estos datos que se
usan es recurriendo a lo que dicen las 3 V [2]
en referencia a volumen, variedad y
velocidad:
 Volumen: el universo digital sigue
expandiendo sus fronteras y se estima
 que ya hemos superado la barrera del
zetta byte.
 Velocidad: la velocidad a la que
generamos datos es muy elevada, y la
Proliferación de sensores es un buen
ejemplo de ello. Además, los datos en
tráfico –datos de vida efímera, pero
con un alto valor para el negocio–
crecen más deprisa que el resto del
universo digital.
 Variedad: los datos no solo crecen
sino que también cambian su patrón
De crecimiento, a la vez que aumenta
el contenido desestructurado.
Fig. 2 Dimensión de los Datos [3]
A veces también se añade otra V, la de valor.
[2]Extraer valor de toda esta información
marcará la próxima década. El valor lo
podremos encontrar en diferentes formas:
mejoras en el rendimiento del negocio,
nuevas fuentes de segmentación de clientes,
automatización de decisiones tácticas, etc.
Como ya hemos visto, el origen de los datos
para una empresa puede ser diverso.
Por ejemplo [2], le pueden llegar de sus
propios sistemas de información de apoyo a
las ventas o de interacción con sus clientes,
así como estar generados por las máquinas o
sensores incrustados en cualquier tipo de
dispositivo o producto de la empresa. Y no
olvidemos la información que circula por las
redes sociales sobre una determinada
empresa, que sin duda es muy valiosa para
esta.
Pero hay otro origen muy importante de los
datos, representado por las plataformas de
información que varios gobiernos están
abriendo. Estos datos públicos pueden ser
informes, mapas, estadísticas, estudios,
análisis, creados y gestionados por la
administración en todos los ámbitos (sanidad,
2
economía, educación, población, etc.), que
son de gran interés público. [2]
Según una encuesta realizada por IBM
[3]explica que hay cierta confusión en la
definición del Big Data, yaqué a los
encuestados le pidieron que eligiera dos
características de Big Data y no hay una
características que predomine sobre el resto
si no que los encuestados dividieron
opiniones acerca de describir las
características del concepto de Big Data.
Fig. 1 Características del concepto de Big Data [3]
Hay diferentes datos de Big data. El primer
dato a una cantidad mínima de datos
llamados “duros” (números o hechos)
descritos por Alex „Sandy‟ Pentland,
profesor del Instituto Tecnológico de
Massachusetts, de los Estados Unidos, como
“migajas digitales”. [4]Se dice que son
„estructurados‟ porque constituyen
conjuntos de datos de variables que pueden
ser fácilmente etiquetados, categorizados y
organizados (en columnas y filas por
ejemplo) para un análisis sistemático.
Esta contribución a la acumulación masiva de
datos la podemos encontrar en diversas
industrias, las compañías mantienen grandes
cantidades de datos transaccionales,
reuniendo información acerca de sus clientes,
proveedores, operaciones, etc., de la misma
manera sucede con el sector público. En
muchos países se administran enormes bases
de datos que contienen datos de censo de
población, registros médicos, impuestos, etc.,
y si a todo esto le añadimos transacciones
financieras realizadas en línea o por
dispositivos móviles, análisis de redes
sociales (en Twitter son cerca de 12
Terabytes de tweets creados diariamente y
Facebook almacena alrededor de 100
Petabytes de fotos y videos), ubicación
geográfica mediante coordenadas GPS, en
otras palabras, todas aquellas actividades que
la mayoría de nosotros realizamos varias
veces al día con nuestros "Smartphone",
estamos hablando de que se generan
alrededor de 2.5 quintillones de bytes
diariamente en el mundo. [1]
4. Tipo de Información
Muchas organizaciones se enfrentan a la
pregunta sobre ¿qué información es la que se
debe analizar?, sin embargo, el
cuestionamiento debería estar enfocado hacia
¿qué problema es el que se está tratando de
resolver?.[2]
Si bien sabemos que existe una amplia
variedad de tipos de datos a analizar, una
buena clasificación nos ayudaría a entender
mejor su representación, aunque es muy
probable que estas categorías puedan
extenderse con el avance tecnológico.
Tipos de datos por categorías
Los tipos de datos se suelen organizar en 2
categorías principales:
Figura 1. Tipos de datos de Big Data[2]
Tipos de datos por origen
a. Web and Social Media: Incluye
contenido web e información que es
obtenida de las redes sociales como
Facebook, Twitter, LinkedIn, etc,
blogs.
b. MachinetoMachine (M2M): M2M se
refiere a las tecnologías que permiten
conectarse a otros dispositivos. M2M
utiliza dispositivos como sensores o
medidores que capturan algún evento
en particular (velocidad, temperatura,
presión, variables meteorológicas,
variables químicas como la salinidad,
etc.) los cuales transmiten a través de
redes alámbricas, inalámbricas o
híbridas a otras aplicaciones que
traducen estos eventos en
información significativa.
c. Big Transaction Data: Incluye
registros de facturación, en
telecomunicaciones registros
detallados de las llamadas (CDR), etc.
Estos datos transaccionales están
disponibles en formatos tanto
semiestructurados como no
estructurados.
d. Biometrics: Información biométrica
en la que se incluye huellas digitales,
escaneo de la retina, reconocimiento
facial, genética, etc. En el área de
seguridad e inteligencia, los datos
biométricos han sido información
importante para las agencias de
investigación.
e. Human Generated: Las personas
generamos diversas cantidades de
datos como la información que
guarda un call center al establecer una
llamada telefónica, notas de voz,
correos electrónicos, documentos
electrónicos, estudios médicos, etc.
a. Estructurados:
 Creados: datos generados por
nuestros sistemas de una manera
predefinida (registros en tablas,
ficheros XML asociados a un
esquema)
 Provocados: datos creados de manera
indirecta a partir de una acción previa
(valoraciones de restaurantes,
películas, empresas (Yelp,
TripAdvisor, …)
  Dirigido por transacciones: datos que
resultan al finalizar una acción previa
de manera correcta (facturas
autogeneradas al realizar una compra,
recibo de un cajero automático al
realizar una retirada de efectivo, …)
 Compilados: resúmenes de datos de
empresa, servicios públicos de interés
grupal. Entre ellos nos encontramos
con el censo electoral, vehículos
matriculados, viviendas públicas, …)
 Experimentales: datos generados
como parte de pruebas o simulaciones
que permitirán validar si existe una
oportunidad de negocio.
b. No estructurados:
 Capturados: datos creados a partir del
comportamiento de un usuario
(información biométrica de pulseras
de movimiento, aplicaciones de
seguimiento de actividades (carrera,
ciclismo, natación, …), posición
GPS)
 Generados por usuarios: datos que
especifica un usuario (publicaciones
en redes sociales, vídeos
reproducidos en Youtube, búsquedas
en Google, …)
 Multiestructurados o híbridos: Datos
de mercados emergentes
 Ecommerce
 Datos meteorológicos
5. Etapas de Transformación
6. Herramientas para el manejo
del Big Data
a. HADOOP
La popularidad de este ecosistema puede ser
entendido por el hecho de que Hadoop y Big
Data se han utilizado hasta ahora casi como
sinónimos. La biblioteca Hadoop ofrece un
framework que utiliza modelos de
programación simples para el procesamiento
distribuido de un gran conjunto de datos a
través de varias máquinas conectadas. Fue
diseñado para superar fallos y errores en la
4
capa de aplicaciones, proporcionando de este
modo una alta precisión. Hadoop, fue la
plataforma de procesamiento de datos
pionera en Big Data, empezó hace nueve
años, con licencia de código abierto y
utilizada por gigantes de Internet como
Yahoo y Facebook. Hadoop sigue liderando
la revolución de datos masivos pero ya ha
sido desbancada en capacidad y rapidez de
procesamiento en determinadas situaciones
por otras plataformas como Spark. Cloudera
introdujo soporte comercial para las
empresas en 2008, y MapR y Hortonworks se
apuntaron al carro en 2009 y 2011,
respectivamente. Entre los grandes en gestión
de datos, IBM y Pivotal (spinout de EMC)
presentaron sus propias distribuciones de
Hadoop. Microsoft y Teradata ofrecen
también software relacionado y líneas de
apoyo técnico y comercial para la plataforma
Hortonworks. Oracle revende y apoya
Cloudera, mientras que HP, SAP y otros
actúan más con una estrategia de
diversificación, trabajando con varios
proveedores Hadoop al mismo tiempo. [17]
b. MAPREDUCE
MapReduce es un motor computacional que
permite una escalabilidad descomunal a
miles de servidores en un cluster Hadoop.
Literalmente, MapReduce se divide en dos
términos, “Mapa” y “Reducir”. “Mapa” viene
a ser la conversión de un dataset en otro
conjunto de datos al descomponer los datos y
la creación de pares de datos (clave / valor).
La tarea de “reducir” es tomar los datos del
“mapa” y combinar los pares clave / valor en
pares más pequeños. Otro framework
alternativo dentro del ecosistema Hadoop
para aplicaciones de procesamiento de datos
es Apache Tez. 17]
c. GRIDGAIN
Gridgrain es una herramienta que
proporciona métodos dinámicos de
computación y almacenamiento de datos
tales como la agrupación dinámica,
procesamiento MapReduce, ejecución de
cierre distribuido, balanceo de carga,
tolerancia a fallos, mensajería distribuida y
escalabilidad lineal. 17]
d. HPCC
HPCC, siglas de “clustering computacional
de alto rendimiento “, es conocido por ofrecer
un rendimiento superior a Hadoop en
determinados entornos. Esta herramienta está
disponible tanto en versión gratuita y versión
de pago. Tiene un apoyo activo de la
comunidad en todo el mundo. 17]
e. STORM
Apache Storm es una herramienta de código
libre y abierto. Es fácil de usar y puede ser
integrada con cualquier lenguaje de
programación. Ofrece una interfaz fácil y
fiable, permite procesamiento en tiempo real,
similar a lo que Hadoop hace en batch
processing (procesamiento por lotes). Es una
de las herramientas más populares y está
siendo utilizada por empresas como
Flipboard, Groupon, Twitter, Spotify, Yahoo
(Japón), WebMD, Baidu y muchos más.
Además de las anteriores, hay muchas
herramientas de bases de datos /
datawarehouses que facilitan las tareas de
manejo de grandes volúmenes de datos.
Algunas de las más populares son MongoDB,
CouchDB, Cassandra, HBase, Neo4j, Riak,
Hypertable. 17]
f. HANA
La Ley de Moore también se aplica al Big
Data, lo que nos conduce a soluciones más
rápidas, más asequibles, y gracias a ello
procesadores y más memoria. Todo tiende al
análisis de datos en tiempo real. SAP ha sido
el campeón del enfoque in-memory con su
plataforma Hana, pero Microsoft y Oracle
están a punto de introducir opciones en
memoria a sus soluciones de bases de datos.
Proveedores de bases de datos enfocados en
analítica como Actium, HP Vertica, y
Teradata han introducido opciones para
relaciones de alto acceso RAM a disco, junto
con herramientas para colocar datos
específicos en memoria para el análisis ultra-
rápido. 17]
g. SPARK
Apache Spark es un motor de procesamiento
de datos a gran escala rápido y fácil de usar.
Se pueden programar aplicaciones usando
diferentes lenguajes como Java, Scala,
Python o R. Según las aplicaciones puede
llegar a ser 100 veces más rápido que Hadoop
MapReduce en memoria o 10 veces más
rápido en disco. Permite combinar SQL,
streaming y librerías analíticas avanzadas,
MLlib para machine learning, GraphX y
Spark Streaming. Puede funcionar sobre
Hadoop, Mesos, formato standalone, o en
cloud. Permite acceder diversas fuentes de
datos como HDFS, Cassandra, HBase y S3.
17]
h. HIVE
Logo apache hiveApache Hive es una
infraestructura datawarehouse para Hadoop.
Este software facilita la consulta y gestión de
grandes conjuntos de datos que residen en
almacenamiento distribuido. La
funcionalidad principal de Hive es
proporcionar resumenes de datos, consultas y
análisis. Es compatible con el análisis de
grandes conjuntos de datos almacenados en
HDFS de Hadoop, así como en el sistema de
archivos de Amazon S3. Ofrece un
mecanismo para proyectar la estructura sobre
los datos y consultarlos utilizando un
lenguaje similar a SQL llamado HiveQL. [17]
i. KAFKA
Kafka es un sistema de publicación
distribuida. Ha sido diseñado para permitir
que un solo grupo de datos pueda servir como
la columna vertebral para una gran
organización. Un único broker de Kafka
puede manejar cientos de megabytes en
lecturas y escrituras por segundo desde miles
de clientes. Puede ser ampliado de manera
elástica y transparente en modo producción.
Algunas de las empresas que usan Kafka para
el streaming de datos son LinkedIn, Yahoo,
Twitter, Netflix, Square, Spotify, Pinterest,
Uber, Goldman Sachs, Tumblr, Paypal, Box,
Airbnb, Cisco, Mozilla, Foursquare, [17]

j. FLUME
Apache Flume es un servicio distribuido y
fiable para la recogida, agregación, y traslado
de grandes conjuntos de datos de manera
eficiente. Cuenta con una arquitectura simple
y flexible basada en la transmisión de flujos
de datos. [17]

Bibliografía
[1] Ricardo Barranco Fragroso. (2012, junio)
IBM(International Bussiness Machines).
[Online].
http://www.ibm.com/developerworks/ssa/loc
al/im/que-es-big-data/
[2] Jordi Torres i Viñals, "Del cloud
computing al big data," universitat oberta de
catalunya , Barcelona, 2012.
[3] Michael Schroeck, Rebecca Shockley,
Janet Smart, Dolores Romero, and Peter
Tufano, "Analytics: el uso de big data en el
mundo real," IBM Institute for Business
Value, Oxford, Informe ejecutivo 2012.
[4] EDGE. (2012, agosto) Edge organization.
[Online].
http://edge.org/conversation/reinventing-
society-in-the-wake-of-big-data
[5] Hadoop apache. Hadoop. [Online].
http://hadoop.apache.org/

6
[6] apache drill foutation. (2012, septiembre)
wikipedia. [Online].
http://en.wikipedia.org/wiki/Apache_Drill
[7] APPY WEEK. (2014, abril) Appy Week.
[Online]. http://www.appy-
geek.com/Web/ArticleWeb.aspx?regionid=8
&articleid=22290097
[8] pentaho. (2012) pentaho wiki. [Online].
http://infocenter.pentaho.com/help/index.jsp
?topic=%2Fpdi_user_guide%2Ftopic_hadoo
p.html
[9] Cisco, Internet será cuatro veces más
grande en 2016, Artículo Web
http://www.cisco.com/web/ES/about/press/2
012/20120530internetseracuatrovecesmasgr
andeen2016informevinidecisco.Html
[10] Clegg Dai, Big Data: The Data Velocity
Discussion, Artículo Web
http://thinking.netezza.com/blog/bigdatadata
velocitydiscussion
[11] Kobielus James, Big Data Analytics
Helps Researchers Drill Deeper into Multiple
Sclerosis,
Artículo Web
http://thinking.netezza.com/blog/bigdataanal
yticshelpsresearchersdrilldeepermultiplescle
rosis
[12] Aprenda más acerca de Apache Hadoop
en http://hadoop.apache.org/
[13] Zikopolous Paul, Deroos Dirk, Deutsch
Tom, Lapis George, Understanding Big Data:
Analytics for
[14] Enterprise Class Hadoop and Streaming
Data, McGrawHill,
2012

[15] Foster Kevin, Nathan Senthil, Rajan

Deepak, Ballard Chuck, IBM InfoSphere
Streams: Assembling Continuous Insight in
the Information Revolution, IBM RedBooks,
2011
[16]http://www.politicascti.net/index.php?o
ption=com_docman&task=doc_download&
gid=67&Itemid=36&lang=es
[17]http://www.baoss.es/10-herramientas-
para-manejar-big-data-analytics/