ESPECIALIZACIÓN GESTIÓN Y SEGURIDAD DE BASE DE DATOS

Actividad AA4-1: Validación Técnicas de migración y herramientas ETL

Presentado por
FRANCISCO JAVIER RAMÍREZ FAJARDO

Instructora
ALEXANDRA MARCELA VILLAMIL LOPEZ

SERVICIO NACIONALDE APRENDIZAJE -SENA

2019
 INTRODUCCIÓN

La información es un activo esencial para cualquier organización y el potencial de su

valor reside en los datos que, en ocasiones, deben migrar para mejorar el desempeño
de una base de datos, actualizar versiones, reducir costes o aplicar políticas de
seguridad. Este proceso consiste en la transferencia de datos de un sistema a otro y
suele tener lugar en momentos de transición provocados por la llegada de una nueva
aplicación, un cambio en el modo o medio de almacenamiento o las necesidades que
impone el mantenimiento de la base de datos corporativa, un nuevo sistemas o de
tecnología. El trasfondo decisional llega revestido de reducción de costes de IT,
consolidación de infraestructuras u optimización de procesos.

Cualquiera de los motivos mencionados previamente ponen a la organización en la

tesitura de migrar los datos del sistema o los sistemas actuales a uno nuevo. Como
parte del proceso de implementación se encontrará la migración, que constituye un
factor fundamental para el éxito del proyecto, por lo que requiere atención prioritaria.

En muchas ocasiones se comete el error de subestimar esta etapa, cuando en realidad

su criticidad se hace evidente desde el principio ya que implica, no sólo al
Departamento de IT, sino a toda la organización: usuarios, supervisores e incluso
alcanza a niveles ejecutivos o posiciones con roles de corte más analítico.

Cuando la migración de datos se lleva a cabo con éxito la empresa se beneficia de:

- Mayor agilidad.

- Actualización máxima.

- Detección de desviaciones, errores, duplicidades e inconsistencias de los datos.

- Reducción del riesgo.

- Aumento de las condiciones de seguridad de la información.

 CONTENIDO

1 MIGRACIÓN DE DATOS ......................................................................................... 4

1.1 METODOLOGÍA DE MIGRACIÓN DE DATOS .................................................. 5

1.2 migración de datos ............................................................................................. 5

1.3 Validación de datos ............................................................................................ 6

1.4 TÉCNICAS EXISTENTES .................................................................................. 8

1.4.1 Software para la sincronización de bases de datos ..................................... 9

1.5 PROCEDIMIENTOS ETCL (EXTRACCIÓN, trANSFORMACIÓN, LIMPIEZA Y

CARGA) ..................................................................................................................... 15

1.5.1 Las etapas de la migración de datos ......................................................... 16

1.5.3 Categorías de herramientas ETL ............................................................... 18

1.5.4 Las mejores herramientas ETL .................................................................. 19

1.5.5 Qué se debe tener en cuenta para la elección del software de ETL .......... 20

1.5.6 Importancia de saber escoger las herramientas ETL ................................. 20

1.5.7 Herramientas ETCL ................................................................................... 22

2 ALCALDIA DE SAN ANTONIO DEL SENA ............................................................ 23

2.1 MIGRACIÓN: SECRETARÍA DE HACIENDA .................................................. 23

2.1.1 Aplicación de uso libre ............................................................................... 23

2.2 APLICACIÓN SMBD SELECCIONADO ........................................................... 24

2.2.1 Sql server integration services ................................................................... 24

2.2.2 Oracle warehouse builder .......................................................................... 26

2.2.3 Opciones Avanzadas para Carga de Datos ............................................... 27

CONCLUSIONES
 1 MIGRACIÓN DE DATOS

La migración de datos es un proceso en el cual se traslada o se mueve información

entre bases de datos. Por ejemplo: en el caso que se necesite pasar de un sistema
gestión de base de datos como Mysql a otro sistema similar como SQL Server. Este
proceso requiere realizar una serie de actividades técnicas para traspasar los datos
almacenados en las base de datos de un sistema a otro

Hay tres opciones principales para llevar a cabo la migración de datos:

Combinar los sistemas de las dos empresas o fuentes en uno nuevo.

Migrar uno de los sistemas al otro.

Mantener la integridad de ambos sistemas, dejándolos intactos, pero creando una

visión común a ambos: un almacén de datos.

1.1 METODOLOGÍA DE MIGRACIÓN DE DATOS

Aunque existen varios enfoques para la migración de

datos una propuesta metodológica fundamentalmente
tendría estos tres procesos o fases que enmarcan
buenas prácticas de migración:

1.2 MIGRACIÓN DE DATOS

La migración de datos es la parte más importante del proceso. Es cuando se realizan

las tareas operativas tales como: instalación de herramientas que se requieran, se
ejecuta el paso de datos y se hacen pruebas antes de la migración y después de la
migración para verificar la consistencia de la información. Algunas actividades técnicas
que se ejecutan en la migración son:
1.3 VALIDACIÓN DE DATOS

En la validación de datos se verifica la información resultante del

proceso de migración de datos, comparándola con los resultados
esperados de acuerdo con los sistemas de datos fuente. De igual
manera se generan los reportes de estadísticas de la migración para
valorar el proceso con base en los resultados y se informa a todos los
usuarios del sistema para una verificación final de la consistencia de
la información. Una de las actividades técnicas que se puede utilizar
es el contador de registros.
1.4 TÉCNICAS EXISTENTES

Existen varias técnicas relacionadas con los procesos de migración de

datos, a continuación se relacionan las más utilizadas en los procesos
actuales.
1.4.1 Software para la sincronización de bases de datos

1.4.1.1 CronSQL
CronSQL es una herramienta para la sincronización de
bases de datos. Permite definir múltiples sincronizaciones
entre diferentes bases de datos de una empresa
facilitando la sincronización de ciertos datos entre varios
programas e incluso entre una páginas web.

CronSQL soporta conexiones a cualquier tipo de base de

datos compatible con OLEDB, e incluso es capaz de
conectar a través de una interfaz desarrollada en PHP
(disponible en el manual de usuario) con bases de datos de servidores web con el
acceso externo restringido.

Aunque la interfaz de CronSQL es visual, intuitiva y sencilla, se requieren

conocimientos básicos en consultas SQL y sobre el modelo de datos de las bases de
datos a sincronizar, para configurar la sincronización. Es por ello que esta es una
herramienta muy adecuada para programadores, desarrolladores de páginas web y
administradores de bases de datos; también para empresas que dispongan de distintas
soluciones de software heterogéneo sin ningún mecanismo de sincronización.

El caso más habitual y para el cual CronSQL fue inicialmente desarrollado, es para
sincronizar el software de gestión de una empresa con la base de datos de la página
web, de modo que los productos dados de alta en el programa de gestión sean
automáticamente llevados a la tienda virtual de la web.

1.4.1.2 SharePlex

Permite transferir datos de Oracle a Oracle con la solución de replicación completa.

SharePlex transfiere datos de forma segura de Oracle a Oracle o la nube y lograr una
variedad de objetivos comerciales – con un único conjunto de herramientas integral
that’s fácil de instalar y usar.

Migre y actualice

Mantiene una copia exacta en tiempo real de los datos

de producción para actualizar y migrar bases de datos
sin riesgos. Mantiene el origen y el destino en
sincronización hasta que se completen las pruebas.
Garantice la disponibilidad

Logra alta disponibilidad y recuperación ante desastres

Intercambie usuarios a un sistema secundario durante
el mantenimiento para mantener los datos de
producción disponibles 24/7.

Aumente la escalabilidad.

Replique datos a una cantidad ilimitada de destinos para

cumplir con las necesidades de la empresa.

Integre los datos

Replica e integra datos en casi tiempo real mientras garantiza

la precisión de datos en vuelo.

Mejore el rendimiento

Delega los informes e implementa el equilibrio de carga para

mejorar el rendimiento de base de datos.

Soporte análisis
Optimice su entorno de informes y mejore el rendimiento de OLTP.

1.4.1.3 SymmetricDS

Es un software de replicación de datos asíncrona que permite subscriptores múltiples y

sincronización bidireccional. Utiliza tecnologías web y de bases de datos para replicar
tablas entre bases de datos relacionales, casi en tiempo real. El software fue diseñado
para escalar a un gran número de bases de datos, trabajar con conexiones de bajo
ancho de banda, y resistir a periodos de inoperatividad de la red.

El software se instala o bien de modo autónomo, como una aplicación web dentro de
servidor de aplicaciones Java, o puede ser incorporado a otra aplicación Java.

Una única instalación de SymmetricDS se denomina un Nodo. Un Nodo es inicializado

mediante un fichero properties, y es configurado insertando datos de configuración en
una serie de tablas de base de datos. A continuación, el Nodo crea triggers de base de
datos en las tablas de aplicación especificadas, de modo que los eventos de base de
datos son capturados para ser entregados a otros Nodos SymmetricDS.

SymmetricDs está escrito en Java 5 y require Java SE Runtime Environment (JRE) o

Java SE Development Kit (JDK) version 5.0 o superior. Soporta la sincronización entre
diferentes plataformas de base de datos, mediante el concepto de dialectos de base de
datos. Un dialecto de base de datos es una capa de abstracción con la cual interactúa
SymmetricDS para aislar la lógica de sincronización de los detalles de implementación
específicos de cada base de datos.
1.4.1.4 SQLShack

SQL Data Sync es un servicio que permite poder sincronizar datos a través de las
múltiples bases de datos SQL de Azure y bases de datos de SQL Server locales.

El concepto básico de sincronización de datos con SQL Data Sync se puede ver en la
siguiente imagen:

SQL Data Sync usa una topología de radios de hub para sincronizar los datos. En el
grupo de sincronización (por ejemplo, Grupo de sincronización 1), una base de datos se
define como la base de datos del concentrador (debe ser una base de datos SQL de
Azure) y el resto de las bases de datos del grupo de sincronización son las bases de
datos de los miembros. La sincronización de datos se muestra solo entre el
concentrador y la base de datos miembro individual.

Las bases de datos de miembros pueden ser bases de datos SQL de Azure, bases de
datos de SQL Server local o instancia de SQL Server en máquinas virtuales de Azure.
La dirección de sincronización de datos (Sync) puede ir en ambas direcciones
(bidireccional) o en una, desde la base de datos central a una base de datos miembro
(Hub to Member) y viceversa, desde una base de datos miembro a la base de datos
hub (Member to Hub)

Para poder sincronizar los datos entre SQL Server local y la base de datos de Azure
(Hub), el agente de sincronización local tiene que instalarse en la máquina local. Este
agente se comunica entre el concentrador y la base de datos de SQL Server local. Para
más información sobre cómo instalar y configurar el Agente de sincronización de datos
de SQL Azure se explica en el artículo Cómo sincronizar la base de datos de Azure y la
base de datos local con SQL Data Sync.
1.5 PROCEDIMIENTOS ETCL (EXTRACCIÓN, TRANSFORMACIÓN, LIMPIEZA Y
CARGA)

Esta técnica se basa en el diseño y construcción de procedimientos técnicos para

realizar Extracción, Transformación, Limpieza y Cargue de Datos (ETCL). Los
procedimientos o pasos necesarios para el desarrollo de un proyecto de migración de
datos utilizando la metodología ETCL son:

En todo proceso de migración, se ha de proceder a integrar dos o más sistemas por

lo cual pueden usarse diferentes técnicas, siendo las más comunes:

 Perfilado de datos: Permite explorar los propios datos, agregando a los de

origen las reglas necesarias. Esta técnica hace posible también el obtener
resultados acerca de duplicidades o errores en los datos.
 Limpieza de datos: Puede llevarse a cabo empleando para ello una herramienta
de Data Quality que ayude a eliminar errores, incorrecciones o duplicidades,
entre otras inconsistencias; y que, al mismo tiempo, enriquezca y homologue los
datos, preparándolos para el sistema de destino.

 Conexión a distintas fuentes de datos: Técnica que precisa de una

herramienta ad hoc que garantice el hacerlo en condiciones de simultaneidad.
Las ventajas que proporciona el usar estas tecnologías se traducen en un aumento de
la precisión, reducción del índice de errores, mayor agilidad y optimización del tiempo;
ya que su automatización evita los procesos manuales, algo que supone su principal
beneficio.

1.5.1 Las etapas de la migración de datos

La migración de datos implica que el sistema origen se va a dejar de utilizar, de otra

forma

se estaría hablando de una sincronización. Por ello, es imprescindible ser meticuloso y

exhaustivo, actuando con el rigor que la operación requiere desde el principio. Una
migración puede incluir odas o sólo alguna de las siguientes etapas:

1.5.1.1 Descubrimiento/análisis de datos

Consiste en evaluar y comprender los datos existentes y, en particular, los que son
requeridos por el nuevo sistema. Para determinar la calidad de los datos orígenes hay
que detectar si existen datos erróneos, si un mismo concepto se encuentra definido
con distintos términos o si faltan datos, ya que todo ello evidenciaría una falta de
calidad. Para poder extraer conclusiones se debe realizar un perfilado de los datos,
analizando cada uno en particular, así como sus interrelaciones. En esta fase es
fundamental:

 Trabajar sobre el total de datos a migrar.

 Obtener la guía experta del propietario del dato.

 Terminar el proceso con una validación al final de la migración.

1.5.2.1 Calidad de los datos

La etapa de calidad puede, convenientemente, aplicarse a un proyecto de migración y

consta de tres fases:

 Limpiar los datos orígenes: eliminando los errores, duplicidades e inconsistencias

previamente detectados.
 Homogenizarlos: garantizar que los mismos conceptos trabajan con una única
clave para asegurar la armonía necesaria.
 Enriquecerlos: completarlos y dotarlos de la adecuación necesaria que garantice
su consistencia, integridad y fiabilidad.

1.5.2.2 Conversión

Esta etapa supone transformar los datos orígenes, adecuándolos al modo en que se
necesitarán en el destino. Es necesario preparar los datos para que sean cargados en
la nueva estructura y para ello habrá que realizar las conversiones necesarias en base
a las reglas de negocio y a la configuración de los sistemas actual y futuro.
1.5.2.3 Mapeo y carga de datos hacia la fuente destino

En esta fase se cargan los datos ya limpios y transformados al nuevo sistema. Este
proceso se puede hacer directamente o empleando áreas intermedias (repositorios)
donde validar y someter a los datos a ciclos de pruebas y simulaciones de carga,
aumentando las garantías de éxito en el momento de ejecutar la carga al destino final.
De esta manera no se pierde productividad pero se gana en agilidad. En cualquier caso,
es fundamental conocer y analizar la infraestructura a utilizar para lograr la migración de
datos, si quiere minimizarse el riesgo en la operación.

1.5.3 Categorías de herramientas ETL

Hay distintas herramientas ETL en el mercado, cada una con sus características
concretas. Sin embargo, a la hora de elegir la herramienta adecuada para nuestra
empresa o proyecto, nos encontramos frente a cuatro distintas categorías principales:

 Herramientas ETL Enterprise. Se trata de productos propietarios, con muchas

funcionalidades incluidas y soporte para conexión con una gran cantidad de
fuentes y suelen ser elegidas por grandes empresas ya que el coste de
adquisición es elevado.
 Herramientas ETL open source. Se trata de herramientas de código libre y de
uso gratuito, lo que permite una mayor accesibilidad para empresas de tamaño
reducido. Al ser productos con un enfoque general, es necesaria a menudo una
personalización para que se adapten a objetivos concretos, lo que requiere
consultoría especializada.
 Herramientas ETL personalizadas. Se trata de herramientas desarrolladas a
medida y de forma específica para una empresa o proyecto en concreto.
Requieren un grande esfuerzo inicial de desarrollo, pero el resultado se ajusta
mejor a los requerimientos.
Herramientas ETL Cloud. La nube nos puede proporcionar todas sus ventajas como
una alta flexibilidad y el pago por uso a la hora de elegir herramientas ETL que se
ofrecen como servicio.

1.5.4 Las mejores herramientas ETL

Si se quiere saber cuáles son las mejores herramientas ETL, una referencia importante
es el Cuadrante Mágico de Gartner, que cada año indica cuáles son los proveedores
leader del mercado, entre los cuales se encuentran:

 Informatica: líder según Gartner. Su suite empresarial de integración de datos

incluye la solución Informatica PowerCenter, una de las más populares. Así
como también Informatica Data Integration.
 IBM: proporciona la suite de soluciones InfoSphere, en la cual destaca su
herramienta DataStage.
 Talend: conocido por su software de integración de código abierto gratuito Open
Studio y por su producto Talend Data Integration.
 SAP: ofrece la herramienta ETL Data Services como parte de SAP BO (Business
Objects)
 SAS: proporciona una solución de integración de datos llamada Data
Management
 Oracle: proporciona la herramienta Oracle Data Integrator, que permite gestionar
procesos de integración de datos en sistemas de inteligencia de negocio.

Otras herramientas también extremadamente potentes son: AWS Glue, Microsoft Azure
Data Factory y Astera Centerprise Data Integrator.

Según una investigación de EY y Nimbus Ninety, el 81% de los directivos toman sus
decisiones más estratégicas con base en la analítica de datos. De allí que los
proveedores de soluciones tecnológicas diseñen herramientas ETL cada vez más
potentes.
1.5.5 Qué se debe tener en cuenta para la elección del software de ETL

Existen muchas herramientas de ETL diferentes, como también hay infinidad de bases
de datos, sistemas y organizaciones distintas. En el momento de seleccionar la que
liderará la migración e integración de datos pueden tomarse en consideración las
recomendaciones de Gartner en cuanto a las cualidades que la herramienta ha de
presentar:

 Adaptabilidad a distintos sistemas operativos y plataformas hardware.

 Capacidades de gestión de datos: en cuanto a minería, perfilado y calidad.
 Habilidades para monitorizar, gestionar y controlar los procesos de integración
de datos: en lo relativo a gestión de errores, recolección de estadísticas de
ejecución, controles de seguridad, etc.
 Capacidades SOA.
 Capacidades de diseño y entorno de desarrollo: como soporte para test,
representaciones gráficas, modelos y flujos de datos y flujos de datos, etc.
 Cualidades de arquitectura e integración referidas al grado de interoperabilidad,
compactación y consistencia de los diferentes componentes que la formen.
Aunque la elección de un software de ETL no es sencilla, su repercusión en el curso del
proyecto es decisiva. Una decisión correcta pasa por la automatización y en base a ella
quedan garantizados:

 Un aumento en la velocidad de desarrollo del proyecto.

 La descentralización del control de la ejecución y de todos los procesos.
 Una mayor agilidad en el negocio.
 Mayor precisión.
 Minimización de errores.

1.5.6 Importancia de saber escoger las herramientas ETL

Un estudio de Bain & Company indica que los negocios con procesos de analítica
optimizados pueden tomar decisiones cinco veces más rápido que la competencia.
Contar, o no, con las herramientas de gestión de datos que mejor se adapten a la
organización puede marcar la diferencia entre su éxito o su fracaso.

En este sentido, elegir las mejores herramientas ETL trae los siguientes beneficios:

 Aumenta la capacidad de tomar decisiones acertadas y a tiempo.

 Filtra todos los datos obtenidos para disponer solo de aquellos con valor y
coherencia.
 Permite obtener datos de todo tipo y provenientes desde cualquier fuente.
 Brinda apoyo automatizado al personal encargado de la gestión de datos.
 Ofrece agilidad al procesar incluso enormes cantidades de datos.
 Convierte a los datos no legibles en información legible, accesible y práctica.

Como se ha visto, todas las categorías de herramientas ETL tienen sus ventajas y
desventajas. Por lo cual es importante tener en cuenta nuestros objetivos y
necesidades, así como los costes y recursos que tenemos a disposición para elegir si
adquirir una solución comercial, adaptar una herramienta open source, o desarrollar
nuestra propia herramienta.

Mediacloud, como empresa certificada, dispone de las últimas tecnologías de Oracle,

Microsoft Azure y VMware para la gestión de datos, big data y business intelligence.
Esto con el fin de impulsar el crecimiento en las organizaciones con procesos ETL y de
otros tipos.
1.5.7 Herramientas ETCL
 2 ALCALDIA DE SAN ANTONIO DEL SENA

2.1 MIGRACIÓN: SECRETARÍA DE HACIENDA

2.1.1 Aplicación de uso libre

Benetl: Es una herramienta ETL de uso libre, desarrollada entre los años 2007 – 2014,
hecha en java y trabaja con base a lenguajes de base de datos PostgreSQL o MySQL.

Esta herramienta se creó para facilitar el trabajo con archivos TXT, CSV o archivos de
fuente de datos XML. Para recuperar los datos que tendrán que definir un dato de
tiempo y una entidad, que está representado por datos a calcular o para mostrar.
Todos los objetos útiles serán creados por Benetl dentro de una base de datos MySQL
o PostgreSQL. La aplicación también es capaz de recuperar automáticamente los datos
mediante el uso de diversas tareas planificadas de su sistema.

Mediante el uso de Benetl podrá se ha podido recuperar fácilmente la información de

los archivos de datos planos, la organización y el filtrado de acuerdo con su dato de
tiempo y entidad.

Caracteristicas Benetl

 Tecnologias:
 Java 7 update 80
 PostgreSQL 9.5.0 (con el apoyo plpgsql)
  MySQL 5.6 con función de OLD_PASSWORD de inicio de sesión de
usuario (para controlador suministrado)
 Con Windows (se utiliza "tareas programadas")
 Benetl 4.7 funciona en Linux.
 Requerimientos Tecnicos:
 ejecución de Java (JRE) 1.7
 base de datos PostgreSQL 9.5 con soporte plpgsql
 base de datos de MySQL 5.6 con OLD_PASSWORD la función de inicio
de sesión de usuario o el controlador oficial de MySQL (no incluido)
 Probado en sistemas de 64 bits
 Ejemplo: Nombre EtlTool… Definir Nombre, Este nombre es también el nombre
de la tabla de PostgreSQL o tabla de MySQL donde se almacenan las líneas de
datos.
Un archivo llamado "EtlTool.bat" se creará en la carpeta de origen de datos.
Debe presionar enter para validar su nombre EtlTool, y luego se pueden guardar
los parámetros.

2.2 APLICACIÓN SMBD SELECCIONADO

2.2.1 Sql server integration services

Microsoft Integration Services es una plataforma para la creación de soluciones

empresariales de transformaciones de datos e integración de datos. Integration
Services sirve para resolver complejos problemas empresariales mediante la copia o
descarga de archivos, el envío de mensajes de correo electrónico como respuesta a
eventos, la actualización de almacenamientos de datos, la limpieza y minería de datos,
y la administración de objetos y datos de SQL Server. Los paquetes pueden funcionar
en solitario o junto con otros paquetes para hacer frente a las complejas necesidades
de la empresa. Integration Services puede extraer y transformar datos de diversos
orígenes como archivos de datos XML, archivos planos y orígenes de datos
relacionales y, después, cargar los datos en uno o varios destinos.

Integration Services contiene un variado conjunto de tareas y transformaciones

integradas, herramientas para la creación de paquetes y el servicio Integration Services
para ejecutar y administrar los paquetes. Las herramientas gráficas de Integration
Services se pueden usar para crear soluciones sin escribir una sola línea de código.
También se puede programar el amplio modelo de objetos de Integration Services para
crear paquetes mediante programación y codificar tareas personalizadas y otros objetos
de paquete.

El SSIS Import/Export Wizard permite mover datos de origen a destino sin modificar los
datos del origen y permitiendo hacer iteraciones y cambios de información antes de
llegar al destino dentro de tablas de ETL. Se pueden importar datos de fuentes
diferentes a SQL Server.

Con la herramienta Business Intelligence Development Studio, se pueden realizar

tareas de migración fácilmente usando tareas visuales. Si se desea crear nueva
funcionalidad, se pueden crear scripts en c# o VB.

Los paquetes, que son las unidades de almacenamiento de estas tareas de migración
se pueden guardar en archivos dtsx o en la base de datos en formato XML.

Una vez implementado el paquete puede ser depurado.

Caracteristicas SSIS

 Ultima Version: SQL Server 2014 Integration Services

 Requerimientos Técnicos:
 Instalar en un equipo de 64 bits
 Instalar en un servidor dedicado para ETL
  Si requiere las características en tiempo de diseño de Integration Services, también debe
instalar Business Intelligence Development Studio.
 Si necesita las versiones de 32 bits de las herramientas y del motor en tiempo de
ejecución de Integration Services para ejecutar ciertos paquetes en modo de 32 bits,
también debe instalar Business Intelligence Development Studio.

2.2.2 Oracle warehouse builder

Es una complete herramienta para todos los aspectos de administración de datos y

metadatos. Esta brinda características para asegurar la calidad de datos, que integran
el modelado relacional y multidimensional y que permiten la administración de todo el
ciclo de vida de datos y metadatos

Enterprise ETL Option

La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una
opción que puede ser adquirida con Oracle Warehouse Builder como parte de la
edición empresarial del motor de base de datos (Oracle DB Enterprise Edition).
2.2.3 Opciones Avanzadas para Carga de Datos

En grandes implementaciones, más y más procesos se ejecutan en paralelo, agotando

los recursos debido a las grandes cantidades de datos que participan en la carga.

Como parte de la Enterprise ETL Option, Warehouse Builder permite ejecutar cargas
de datos usando métodos rápidos y eficientes tales como el Oracle Data Pump y
transportable tablespaces. Esta es una aproximación completamente diferente al
movimiento de datos que se realiza por medio de conjuntos de datos controlados por el
motor de base de datos. Los incrementos en velocidad de carga se deben entonces a
la omisión de las capas SQL tradicionales.

Soporte a Dimensiones Lentamente Cambiantes Integrado

En Warehouse Builder la lógica de dimensiones lentamente cambiantes es diseñada en

los metadatos de la dimensión. La dimensión captura toda la lógica que será aplicada a
los datos que se insertan dentro de la misma.
Una vez, los usuarios de negocio han decidido que atributos son importantes, el
modelador de datos diseña la dimensión. Con los pasos de ETL el desarrollador ve
esta dimensión como cualquier otra. El siguiente paso es definir cómo efectuar los
cambios y actualizaciones en la dimensión. Warehouse Builder automatiza esto basado
en la definición de la dimensión. La combinación entre estos pasos, el diseño y la
estandarización hacen que los procesos relacionados con dimensiones lentamente
cambiantes presente un alto desempeño en su ejecución.

Traza Lineal de Principio a Fin

Los servicios de administración de dependencias (Warehouse Builder Dependency

Management ) le permiten prever el efecto que puedan tener los cambios que se hagan
en cualquier lugar de los metadatos del sistema ETL antes de que estos puedan
afectarlo y deterióralo.
Por primera vez, tendrá la posibilidad de administrar los cambios de su sistema de
manera proactiva. Como un ejemplo (Figura 3), usted puede propagar los cambios a
través de su sistema haciendo uso el Mapping Editor.

Administración de Configuraciones Avanzadas

Tener que mover sistemas o aplicaciones de un ambiente a otro (por ejemplo de

desarrollo a producción) es un problema frecuente.

Con la Enterprise ETL Option de Warehouse Builder, es posible generar un modelo

para configurar los ambientes de desarrollo, pruebas y producción a niveles separados.
Para mover los cambios desde el ambiente de desarrollo a producción, el código
generado en desarrollo es modificado en producción solo en áreas específicas. Por
ejemplo, la información sobre las conexiones es substituida por la definida en
desarrollo.

VENTAJAS, DESVENTAJAS, TIEMPOS Y COSTO DE LAS HERRAMIENTAS.

Técnica Descripción
Es una técnica muy utilizada en procesos de migración de datos,
consiste en hacer que dos bases de datos sean equivalentes en el
mismo tiempo.
Se logra mediante la copia de datos y metadatos de una base de
datos origen a una base de datos destino mediante una herramienta
Sincronización
tecnológica. Los asistentes de sincronización de los SMBD son
de base de
configurados con las bases de datos origen y la base de datos
datos
destino, parametrizando la ubicación de particiones y métodos de
seguridad.

Requerimientos Ventajas Desventajas Tiempo

técnicos
SQL SERVER  Es un sistema de  Utiliza mucho la 3 semanas.
gestión de base memoria RAM para las
SQL Server
INTEGRATION de datos. instalaciones y
Estándar  Es útil para utilización de software. Semana 1:
SERVICES manejar y  No se puede utilizar Análisis de
obtener datos de como practicas porque
la red de redes. se prohíben muchas datos
 Nos permite cosas, tiene
olvidarnos de los restricciones en lo
ficheros que particular. Semana 2:
forman la base de  La relación, calidad y el Migración y
datos. precio está muy debajo
 Si trabajamos en comparado con oracle. validación
una red social  Tiene muchos bloqueos de
nos permite a nivel de página, un
agregar otros tamaño de página fijo y información
servidores de demasiado pequeño,
SQL Server. Por una pésima
ejemplo, dos implementación de los Semana 3:
personas que tipos de datos variables. Optimización
trabajan con SQL
Server, uno de de proceso
ellos se puede
conectar al
servidor de su
otro compañero y
así se puede ver
las bases de
datos del otro
compañero con
SQL Server.
 SQL permite
administrar
permisos a todo.
También permite
que alguien
conecte su SQLO
al nuestro, pero
sin embargo
podemos decirle
que no puede ver
esta base de
datos, pero otro
sí.
ORACLE Oracle Estándar  Oracle es el  Las versiones más 3 semanas.
motor de base de recientes de Oracle son
WAREHOUSE datos objeto- la 11g, 10g, 9g, 8g,
relacional más desde el lanzamiento Semana 1:
BUILDER usado a nivel original de la 8 se
Análisis de
mundial. sucedieron varias
 Puede ejecutarse versiones con datos
en todas las correcciones, hasta
plataformas, alcanzar la estabilidad
desde una Pc en la 8.0.3. El motivo de Semana 2:
hasta un tantos fallos fue, al
Migración y
supercomputador parecer, la
. remodelación del validación
 Oracle soporta sistema de
de
todas las almacenamiento por
funciones que se causa de la introducción información
esperan de un de extensiones
servidor "serio": orientadas a objetos.
 un lenguaje de  El mayor inconveniente Semana 3:
diseño de bases de Oracle es quizás su
Optimización
de datos muy precio. Incluso las
completo licencias de Personal de proceso
(PL/SQL) que Oracle son
permite excesivamente caras,
implementar en mi opinión. Otro
diseños "activos", problema es la
con triggers y necesidad de ajustes.
procedimientos Un error frecuente
almacenados, consiste en pensar que
con una basta instalar el Oracle
integridad en un servidor y
referencial enchufar directamente
declarativa las aplicaciones
bastante potente. clientes. Un Oracle mal
 Permite el uso de configurado puede ser
particiones para desesperantemente
la mejora de la lento.
eficiencia, de  También es elevado el
replicación e coste de la información,
incluso ciertas y sólo últimamente han
versiones comenzado a aparecer
admiten la buenos libros sobre
administración de asuntos técnicos
bases de datos distintos de la simple
distribuidas. instalación y
 El software del administración.
servidor puede
ejecutarse en
multitud de
sistemas
operativos.
 Existe incluso
una versión
personal para
Windows 9x, lo
cual es un punto
a favor para los
desarrolladores
que se llevan
trabajo a casa.
 Oracle es la base
de datos con más
orientación hacía
INTERNET.
PRECIO LICENCIA SQL SERVER 2014

Ediciones Precio de
Modelo de Disponibilidad de
de SQL Ideal para... Open NL
licencia canal
Server 2014 (USD)
Enterprise Rendimiento confiable y Por núcleo** Licencias por $14,256***
completo para satisfacer volumen, hosting
los requisitos de base de
datos y de Business
Intelligence más exigentes.
La edición Enterprise
proporciona los niveles de
servicio y rendimiento más
altos para las cargas de
trabajo de nivel 1.*
Business Una plataforma amplia que Servidor + Licencias por $8,908***
Intelligence permite a las CAL**** volumen, hosting
organizaciones compilar e
implementar soluciones de
BI seguras, escalables y
administrables.
Standard Funcionalidad de Business Por núcleo** Licencias por $3,717***
Intelligence y volumen, hosting
administración de datos
básica para cargas de
trabajo que no son críticas,
con recursos de TI
mínimos.
Servidor
+ Licencias por $931***
CAL****volumen, hosting,
minorista (FPP)
Developer Versión completamente Por usuario Licencias por $38***
funcional de SQL Server volumen,
que permite a los minorista (FPP)
desarrolladores compilar,
probar y demostrar
aplicaciones con software
de SQL Server de una
manera rentable.
PRECIO LICENCIA ORACLE

http://www.oracle.com/us/corporate/pricing/price-lists/business-intelligence-price-list-
071347.pdf
 CONCLUSIONES

 ETL; consiste en extraer los datos desde los sistemas de origen, no relacionales
u otras estructuras diferentes; para convertirlos los datos a un formato
predefinido para iniciar el proceso de transformación para su migración.
 Control de la extracción de los datos y su automatización, disminuyendo el
tiempo empleado en el develamiento de procesos no documentados,
minimizando el margen de error y permitiendo mayor flexibilidad.
 Acceso a diferentes tecnologías, haciendo un uso efectivo del hardware,
software, datos y recursos humanos existentes.
 Se analizan los datos extraídos, de lo que resulta un chequeo que verifica si los
datos cumplen la pauta o estructura que se esperaba. De no ser así los datos
son rechazados.
 Se utilizan para consolidar, migrar y sincronizar bases de datos operativas entre
diferentes sistemas operativos o similares.
 Las ETL, son muy importantes para el manejo de grandes volúmenes de datos
 Dependiendo del tipo, sistema operativo, clase de red y motor de BD; se debe
escoger la herramienta ETL apropiada.
 BIBLIOGRAFIA

https://www.spuch.com/productos/cronsql/cronsql.htm

https://www.quest.com/mx-es/products/shareplex/

https://www.sqlshack.com/es/que-es-la-sincronizacion-de-los-datos-sql/

https://blog.mdcloud.es/herramientas-etl-comparativa-y-principales-categorias/