AA5-EV1 - VALIDACION DE TECNICAS DE MIGRACION Y HERRAMIENTAS ETCL

PRESENTADO POR:
LAUREANO BLANQUICETT SANJUANELO

SERVICIO NACIONAL DE APRENDIZAJE SENA

PROGRAMA DE FORMACIÓN
ESPECIALIZACIÓN TECNOLÓGICA EN GESTIÓN Y SEGURIDAD DE BASES DE DATOS
 CUADRO COMPARATIVO DE TÉCNICAS EXISTENTE DE MIGRACIÓN DE DATOS
SINCRONIZACIÓN DE IMPORTACIÓN/EXPORTACIÓN DE SENTENCIAS DML PROCEDIMIENTOS
BASE DE DATOS ARCHIVOS (CSV) O XML ETCL
Existen varias técnicas Para las actividades de migración de datos es muy Una posibilidad de los SMBD Esta técnica se basa en el
relacionadas con los común utilizar archivos para el movimiento de los es la utilización de sentencias diseño y construcción de
procesos de migración de datos. Se pueden utilizar diferentes tipos de archivos, DML para generar scripts procedimientos técnicos
datos, a continuación se pero los formatos más usados son los archivos de SQL que permiten realizar para realizar Extracción,
relacionan las más texto, llamados archivos planos, que guardan la migraciones de bases de datos Transformación,
utilizadas en los procesos información sin formato usando solo caracteres. existentes. Limpieza y Cargue de
actuales. Datos (ETCL). Los
Los sistemas de codificación más comunes para En un script SQL se pueden
procedimientos o pasos
Es una técnica muy estos archivos son: ASCII, ISO-8859-1 o Latín-1 y realizar las siguientes tareas:
necesarios para el
utilizada en procesos de Unicode. Copia de seguridad para desarrollo de un
migración de datos, Los archivos de texto pueden tener formato creación de todos los proyecto de migración
consiste en hacer que dos delimitado utilizando coma (,), punto y coma (;) o usuarios, grupos, inicios de de datos utilizando la
bases de datos sean Tabulaciones para delimitar los campos definiendo sesión y permisos. metodología ETCL son:
equivalentes en el mismo de esa forma columnas y filas. También pueden tener Creación o actualización de
tiempo. En todo proceso de
formato de ancho fijo para los campos, que se utiliza código para la migración, se ha de
Se logra mediante la copia para delimitar columnas y filas. implementación de una base proceder a integrar dos o
de datos y metadatos de Un formato de archivo plano muy usado es el de datos.
más sistemas por lo cual
una base de datos origen a “.CSV” (Comma-Separated-Values, en español
una base de datos destino Valores Separados por Coma), donde el delimitador Creación de un entorno de pueden usarse diferentes
técnicas, siendo las más
mediante una herramienta usado es una coma. Muy usado para movimientos de pruebas.
comunes:
tecnológica. Los asistentes datos con hojas de cálculo. Los procesos se orientan al
de sincronización de los uso de las sentencias DML,  Perfilado de datos
SMBD son configurados Otro formato útil para la migración de datos es el para realizar el paso de datos  Limpieza de datos
con las bases de datos “.XML” (eXtensible Marckup Language), que de la base de datos de origen a  Conexión a distintas
origen y la base de datos utiliza un metalenguaje extensible de etiquetas las la base de datos destino, a fuentes de datos
destino, parametrizando la cuales sirven como estándar para intercambio de través de los entornos
ubicación de particiones y información estructurada entre distintas plataformas. administrativos de los SMBD.
métodos de seguridad.

QUÉ SE DEBE TENER EN CUENTA PARA LA ELECCIÓN DEL SOFTWARE DE ETL

 Cualidades que la herramienta ha de presentar:
Adaptabilidad a distintos sistemas operativos y plataformas hardware.
Capacidades de gestión de datos: en cuanto a minería, perfilado y calidad.
Habilidades para monitorizar, gestionar y controlar los procesos de integración de datos: en lo relativo a gestión de errores, recolección
de estadísticas de ejecución, controles de seguridad, etc.
Capacidades SOA.
Capacidades de diseño y entorno de desarrollo: como soporte para test, representaciones gráficas, modelos y flujos de datos y flujos de
datos, etc.
Cualidades de arquitectura e integración referidas al grado de interoperabilidad, compactación y consistencia de los diferentes
componentes que la formen.
Aunque la elección de un software de ETL no es sencilla, su repercusión en el curso del proyecto es decisiva. Una decisión correcta
pasa por la automatización y en base a ella quedan garantizados:
Un aumento en la velocidad de desarrollo del proyecto.
La descentralización del control de la ejecución y de todos los procesos.
Una mayor agilidad en el negocio.
Mayor precisión.
Minimización de errores.

APLICACIÓN DE USO LIBRE

BENETL
Es una herramienta ETL de uso libre, desarrollada entre los años 2007 – 2014, hecha en java y trabaja con base a lenguajes de base de
datos PostgreSQL o MySQL.
Esta herramienta se creó para facilitar el trabajo con archivos TXT, CSV o archivos de fuente de datos XML. Para recuperar los datos
que tendrán que definir un dato de tiempo y una entidad, que está representado por datos a calcular o para mostrar. Todos los objetos
útiles serán creados por Benetl dentro de una base de datos MySQL o PostgreSQL. La aplicación también es capaz de recuperar
automáticamente los datos mediante el uso de diversas tareas planificadas de su sistema.
Mediante el uso de Benetl podrá se ha podido recuperar fácilmente la información de los archivos de datos planos, la organización y el
filtrado de acuerdo con su dato de tiempo y entidad.
Caracteristicas Benetl
Tecnologias:
 Java 7 update 80
  PostgreSQL 9.5.0 (con el apoyo plpgsql)
 MySQL 5.6 con función de OLD_PASSWORD de inicio de sesión de usuario (para controlador suministrado)
 Con Windows (se utiliza "tareas programadas")
 Benetl 4.7 funciona en Linux.
Requerimientos Tecnicos:
 ejecución de Java (JRE) 1.7
 base de datos PostgreSQL 9.5 con soporte plpgsql
 base de datos de MySQL 5.6 con OLD_PASSWORD la función de inicio de sesión de usuario o el controlador oficial de MySQL
(no incluido)
 Probado en sistemas de 64 bits

APLICACIÓN SMBD SELECCIONADO

SQL SERVER INTEGRATION SERVICES:
Microsoft Integration Services es una plataforma para la creación de soluciones empresariales de transformaciones de datos e
integración de datos. Integration Services sirve para resolver complejos problemas empresariales mediante la copia o descarga de
archivos, el envío de mensajes de correo electrónico como respuesta a eventos, la actualización de almacenamientos de datos, la limpieza
y minería de datos, y la administración de objetos y datos de SQL Server. Los paquetes pueden funcionar en solitario o junto con otros
paquetes para hacer frente a las complejas necesidades de la empresa. Integration Services puede extraer y transformar datos de diversos
orígenes como archivos de datos XML, archivos planos y orígenes de datos relacionales y, después, cargar los datos en uno o varios
destinos.
Integration Services contiene un variado conjunto de tareas y transformaciones integradas, herramientas para la creación de paquetes
y el servicio Integration Services para ejecutar y administrar los paquetes. Las herramientas gráficas de Integration Services se pueden
usar para crear soluciones sin escribir una sola línea de código. También se puede programar el amplio modelo de objetos de Integration
Services para crear paquetes mediante programación y codificar tareas personalizadas y otros objetos de paquete.
El SSIS Import/Export Wizard permite mover datos de origen a destino sin modificar los datos del origen y permitiendo hacer
iteraciones y cambios de información antes de llegar al destino dentro de tablas de ETL. Se pueden importar datos de fuentes diferentes
a SQL Server.
Con la herramienta Business Intelligence Development Studio, se pueden realizar tareas de migración fácilmente usando tareas visuales.
Si se desea crear nueva funcionalidad, se pueden crear scripts en c# o VB.
Los paquetes, que son las unidades de almacenamiento de estas tareas de migración se pueden guardar en archivos dtsx o en la base de
datos en formato XML.
Una vez implementado el paquete puede ser depurado.
Caracteristicas SSIS
 Ultima Version: SQL Server 2014 Integration Services
 Requerimientos Técnicos:
 Instalar en un equipo de 64 bits
 Instalar en un servidor dedicado para ETL
 Si requiere las características en tiempo de diseño de Integration Services, también debe instalar Business Intelligence
Development Studio.
 Si necesita las versiones de 32 bits de las herramientas y del motor en tiempo de ejecución de Integration Services para ejecutar
ciertos paquetes en modo de 32 bits, también debe instalar Business Intelligence Development Studio.

ORACLE WAREHOUSE BUILDER:

Es una complete herramienta para todos los aspectos de administración de datos y metadatos. Esta brinda características para asegurar
la calidad de datos, que integran el modelado relacional y multidimensional y que permiten la administración de todo el ciclo de vida
de datos y metadatos
Enterprise ETL Option
La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una opción que puede ser adquirida con Oracle
Warehouse Builder como parte de la edición empresarial del motor de base de datos (Oracle DB Enterprise Edition).
Opciones Avanzadas para Carga de Datos
En grandes implementaciones, más y más procesos se ejecutan en paralelo, agotando los recursos debido a las grandes cantidades de
datos que participan en la carga.
Como parte de la Enterprise ETL Option, Warehouse Builder permite ejecutar cargas de datos usando métodos rápidos y eficientes tales
como el Oracle Data Pump y transportable tablespaces. Esta es una aproximación completamente diferente al movimiento de datos que
se realiza por medio de conjuntos de datos controlados por el motor de base de datos. Los incrementos en velocidad de carga se deben
entonces a la omisión de las capas SQL tradicionales.
Soporte a Dimensiones Lentamente Cambiantes Integrado
 En Warehouse Builder la lógica de dimensiones lentamente cambiantes es diseñada en los metadatos de la dimensión. La dimensión
captura toda la lógica que será aplicada a los datos que se insertan dentro de la misma.
Una vez, los usuarios de negocio han decidido que atributos son importantes, el modelador de datos diseña la dimensión. Con los pasos
de ETL el desarrollador ve esta dimensión como cualquier otra. El siguiente paso es definir cómo efectuar los cambios y actualizaciones
en la dimensión. Warehouse Builder automatiza esto basado en la definición de la dimensión. La combinación entre estos pasos, el
diseño y la estandarización hacen que los procesos relacionados con dimensiones lentamente cambiantes presente un alto desempeño
en su ejecución.
Traza Lineal de Principio a Fin
Los servicios de administración de dependencias (Warehouse Builder Dependency Management ) le permiten prever el efecto que
puedan tener los cambios que se hagan en cualquier lugar de los metadatos del sistema ETL antes de que estos puedan afectarlo y
deterióralo.
Por primera vez, tendrá la posibilidad de administrar los cambios de su sistema de manera proactiva. Como un ejemplo (Figura 3),
usted puede propagar los cambios a través de su sistema haciendo uso el Mapping Editor.
Administración de Configuraciones Avanzadas
Tener que mover sistemas o aplicaciones de un ambiente a otro (por ejemplo de desarrollo a producción) es un problema frecuente.
Con la Enterprise ETL Option de Warehouse Builder, es posible generar un modelo para configurar los ambientes de desarrollo, pruebas
y producción a niveles separados. Para mover los cambios desde el ambiente de desarrollo a producción, el código generado en
desarrollo es modificado en producción solo en áreas específicas. Por ejemplo, la información sobre las conexiones es substituida por
la definida en desarrollo.
VENTAJAS, DESVENTAJAS, TIEMPOS Y COSTO DE LAS HERRAMIENTAS.
Aplicación Requerimientos Ventajas Desventajas Tiempo
técnicos
SQL SERVER  Es un sistema de gestión de base de  Utiliza mucho la memoria RAM 3 semanas.
INTEGRATION SQL Server datos. para las instalaciones y utilización
SERVICES Estándar  Es útil para manejar y obtener datos de software. Semana 1:
de la red de redes.  No se puede utilizar como Análisis de
 Nos permite olvidarnos de los practicas porque se prohíben datos
ficheros que forman la base de datos. muchas cosas, tiene restricciones
 Si trabajamos en una red social nos en lo particular. Semana 2:
permite agregar otros servidores de  La relación, calidad y el precio está Migración y
SQL Server. Por ejemplo, dos muy debajo comparado con oracle. validación de
personas que trabajan con SQL  Tiene muchos bloqueos a nivel de información
Server, uno de ellos se puede página, un tamaño de página fijo y
conectar al servidor de su otro demasiado pequeño, una pésima Semana 3:
compañero y así se puede ver las implementación de los tipos de Optimización
bases de datos del otro compañero datos variables. de proceso
con SQL Server.

ORACLE Oracle Estándar  Oracle es el motor de base de datos  Las versiones más recientes de 3 semanas.
WAREHOUSE objeto-relacional más usado a nivel Oracle son la 11g, 10g, 9g, 8g,
BUILDER mundial. desde el lanzamiento original de la Semana 1:
 Puede ejecutarse en todas las 8 se sucedieron varias versiones Análisis de
plataformas, desde una Pc hasta un con correcciones, hasta alcanzar la datos
supercomputador. estabilidad en la 8.0.3. El motivo
 Oracle soporta todas las funciones de tantos fallos fue, al parecer, la Semana 2:
que se esperan de un servidor "serio": remodelación del sistema de Migración y
un lenguaje de diseño de bases de almacenamiento por causa de la validación de
datos muy completo (PL/SQL) que introducción de extensiones información
permite implementar diseños orientadas a objetos.
"activos", con triggers y  El mayor inconveniente de Oracle Semana 3:
procedimientos almacenados, con es quizás su precio. Incluso las Optimización
licencias de Personal Oracle son de proceso
 una integridad referencial declarativa
bastante potente.
 Permite el uso de particiones para la
mejora de la eficiencia, de replicación
e incluso ciertas versiones admiten la
administración de bases de datos
distribuidas.
 El software del servidor puede
ejecutarse en multitud de sistemas
operativos.
excesivamente caras, en mi
opinión. Otro problema es la
necesidad de ajustes. Un error
frecuente consiste en pensar que
basta instalar el Oracle en un
servidor y enchufar directamente
las aplicaciones clientes. Un
Oracle mal configurado puede ser
desesperantemente lento.

PRECIO LICENCIA SQL SERVER 2014

Ediciones Ideal para... Modelo Disponibilidad Precio
de SQL de de canal de Open
Server 2014 licencia NL
(USD)
Enterprise Rendimiento confiable y completo para satisfacer los requisitos de base de Por núcleo Licencias por $14,256
datos y de Business Intelligence más exigentes. La edición Enterprise volumen,
proporciona los niveles de servicio y rendimiento más altos para las cargas de hosting.
trabajo de nivel 1.
Business Una plataforma amplia que permite a las organizaciones compilar e Servidor + Licencias por $8,908
Intelligence implementar soluciones de BI seguras, escalables y administrables. CAL volumen,
hosting
Standard Funcionalidad de Business Intelligence y administración de datos básica para Por núcleo Licencias por $3,717
cargas de trabajo que no son críticas, con recursos de TI mínimos. volumen,
hosting
Servidor + Licencias por $931
CAL volumen,
hosting,
minorista
(FPP)
Developer Versión completamente funcional de SQL Server que permite a los Por Licencias por $38***
desarrolladores compilar, probar y demostrar aplicaciones con software de usuario volumen,
SQL Server de una manera rentable. minorista
(FPP)

PRECIO LICENCIA ORACLE

BIBLIOGRAFIA.
http://blog.powerdata.es/el-valor-de-la-gestion-de-datos/bid/353132/ETL-t-cnicas-de-migraci-n-y-tipos-de-software
https://platzi.com/blog/que-es-postgresql/
http://www.oracle.com/technology/products/warehouse/11gr1/datasheets/warehouse-builder-11g-etldatasheet.pdf