VALIDACIÓN DE TÉCNICAS DE MIGRACIÓN Y HERRAMIENTAS ETCL

JOSE LUIS HERNANDEZ CUENCA

NOVIEMBRE 2019

SERVICIO NACIONAL DE APRENDIZAJE SENA

CUNDINAMARCA / GIRARDOT
GESTION Y SEGURIDAD DE BASES DE DATOS

1
 Tabla de Contenido

Introduccion ..................................................................................................................... 3
1. Migración de Datos ......................................................................................................... 3
2. Opciones de Migración de Datos .................................................................................... 3
3. Tipos de Migración de Datos........................................................................................... 3
3.1. Migración de Base de Datos ..................................................................................... 3
3.2. Migración de Aplicaciones ....................................................................................... 4
3.3. Migración de Almacenamiento ................................................................................ 4
3.4. Migración en la Nube ............................................................................................... 4
4. Características de Diferentes Técnicas de Migración de Datos ..................................... 5
5. Comparativa de Herramientas ETL ................................................................................. 6
6. Las Mejores Herramientas ETL ...................................................................................... 6
6.1. Informatica................................................................................................................ 7
6.2. IBM ........................................................................................................................... 7
6.3. Talend ....................................................................................................................... 7
6.4. SAP ........................................................................................................................... 7
6.5. SAS ........................................................................................................................... 7
6.6. Oracle........................................................................................................................ 7
6.7. Otras Herramientas ................................................................................................... 7
7. SQL Server Servicios de integración............................................................................... 7
8. Aplicación de Uso Libre .................................................................................................. 8
9. Bitool ............................................................................................................................... 8
10. Software Propietario- PowerCenter ............................................................................... 8
11. Referencias Bibliográficas ............................................................................................. 9

2
 Introducción

La información es el activo mas importante para al Alcaldia de San Antonio del Sena, es por
esto que se debe contemplar que en cualquier momento se deben migrar los datos mediante
las diferente tecnicas que existen para migrar los datos, con el fin de mejorar el desempeño,
actualizar versiones o aplicar nuevas políticas de seguridad. Proceso que consiste en transferir
los datos de un sistema a otro, garantizando la seguridad de la información y su correcto
funcionamiento.

1. Migración de Datos

Transferencia de datos entre diferentes tipos de formatos de archivo, bases de datos y

sistemas de almacenamiento. Sin embargo, la 'transferencia' no es el único aspecto de la
metodología de migración de datos. Si los datos son diversos, el proceso de migración incluye
asignaciones y transformaciones entre los datos de origen y destino. Sobre todo, la calidad
de los datos debe evaluarse antes de la migración para asegurar una implementación exitosa.
La tasa de éxito de cualquier proyecto de migración de datos depende directamente de la
diversidad, el volumen y la calidad de los datos que se transfieren.

2. Opciones de Migración de Datos

 Combinar los sistemas de las dos empresas o fuentes en uno nuevo.

 Migrar uno de los sistemas al otro.
 Mantener la integridad de ambos sistemas, dejándolos intactos, pero creando una
visión común a ambos: Un almacén de datos.

3. Tipos de Migración de Datos

La migración de datos se puede clasificar en cuatro categorías:

3.1. Migración de Base de Datos

Este tipo de migración implica mover datos entre dos motores de bases de datos. Sin
embargo, cuando los datos originales cambian, afectan simultáneamente el idioma o el
protocolo de datos. El cambio también se refleja en la capa de aplicación.

Las circunstancias que demandan este tipo de migración incluyen.

 Cuando el software de base de datos requiere una actualización.

 Para migrar una base de datos a la nube.

3
  En caso de que la organización necesite cambiar los proveedores de bases de datos.
Proveedores de bases de datos.


3.2. Migración de Aplicaciones

Este tipo de migración se produce cuando una organización cambia de una plataforma o
aplicación de proveedor a otra. Cada aplicación tiene un modelo de datos único. Además, las
aplicaciones no son portátiles. Por lo tanto, los sistemas operativos, las configuraciones de
máquinas virtuales y las herramientas de administración de cada aplicación pueden ser
diferentes en el entorno de desarrollo e implementación.

3.3. Migración de Almacenamiento

El proceso trata de mover datos de un sistema de almacenamiento a otro, como un disco duro
o la nube. La necesidad de migración de almacenamiento surge debido a las actualizaciones
tecnológicas. Es fácil implementar funciones de administración de datos como la validación
de datos, la clonación, la reducción de información dañada o antigua, etc. durante este
proceso. Además, la migración del almacenamiento permite un escalado rentable y un
rendimiento más rápido.

3.4. Migración en la Nube

Moverse a la nube garantiza escalabilidad, requiere menos recursos de almacenamiento y es

rentable y, por lo tanto, la migración a la nube se ha convertido en una de las últimas
tendencias en la industria de la gestión de datos. En la migración a la nube, los activos,
aplicaciones o servicios de información completa o parcial de una organización se
implementan en la nube. El firewall de la nube protege los datos migrados.

4
 4. Características de Diferentes Técnicas de Migración de Datos
REQUERIMIENTOS TÉCNICOS PARA
TÉCNICA
SU UTILIZACIÓN
Ø Para cada tabla que se debe
sincronizar debe contener una
columna de clave principal.
Ø En el caso de que sea necesario
cambiar el valor de la clave
principal, hay que eliminar esa
SINCRONIZACIÓN
columna y luego vuelva a crearla
DE BASES DE
con el nuevo valor de la clave
DATOS
principal.
Ø El aislamiento de instantáneas
debe estar habilitado
• Limpieza de las tablas de la Base
de Datos.
• Consolidación de las tablas de la
Base de Datos.
• Mapeado de las tablas de Origen y Se considera uno de los formatos de
Destino.
• Definición de Formato de Origen y hayan diseñado nunca. CSV permite
IMPORTACIÓN/EXP Destino.
ORTACIÓN • Ruta de Saltos de Formato en la
ARCHIVOS Migración.
(CSV) O XML • Definición del Set de Caracteres de
Origen y Destino.
• Comprobación de los
delimitadores de campos.
• Migración de Prueba.
• Evaluación y Comprobación de
Errores.
• Depuración Final.
SENTENCIAS DE
son aquellas utilizadas para insertar,
LENGUAJE DE
borrar, modificar y consultar los
MANIPULACIÓN DE
datos de una base de datos.
DATOS
FACILIDAD PARA LA
VENTAJAS DESVENTAJAS
LIMPIEZA
• Una columna de identidad que no es
una columna con una clave principal,
no se puede usar en las tablas que
deben sincronizarse.
Al estar en diferentes servidores se
• El tipo de datos datetime no se La limpieza de datos
asegura que los datos estén
puede utilizar para una clave principal. puede detectar y
disponibles si se presentara algún
• Las tablas máximas en un grupo de solucionar los
fallo natural o humano. Al estar en
sincronización son de 500. problemas no
multiplex servidores los datos hace
• Las columnas máximas que una resueltos durante la
que al ser consultados se
tabla puede tener en un grupo de integración.
congestionen
sincronización son de 1000.
• El intervalo mínimo de
sincronización es de por lo menos 5
minutos.
exportación más sencillos que se
Ø Es necesario que los datos tengan Llevar a cabo las
representar todos los datos en forma características de codificación para tareas de depuración
de tabla, de forma que se adapta por que puedan ser identificadas en el momento
completo a toda la casuística de correctamente y evitar una oportuno y nunca
tipologías de bases de datos y transformación inadecuada de los después de
especificaciones de cada campo, con caracteres especiales. practicada la carga
independencia de su naturaleza, ya
sea numérico, fecha, texto, etc
Ø Copia de Seguridad: en esta
encontramos la copia de seguridad El almacenamiento
de los usuarios que se encuentren, interno permite
los inicios de sesión, los grupos y realizar
todos los permisos que se hayan transformaciones sin
generado la necesidad de
Ø Creación o actualización de Datos: paralizar la base de
La principal desventajas seria que
aquí se crea o se actualiza el código datos
contiene una gran cantidad de
según sea necesario para la operacionales y el
memoria RAM para la instalación y
implementación de una base de almacén de datos,
utilización del software
datos. también se permite
Ø Creación de entorno de pruebas: almacenar metadatos
En esta parte se hace las pruebas de y sobretodo la
fallo y error para que en el momento facilidad de
de la migración definitiva no se integración de
presente ningún fallo y funcione bien fuentes externas
la base de datos.
5

Se debe determinar entre todas las
fuentes de datos posibles cual es la
más adecuada para cada uno de los
datos requeridos La obtención de
HERRAMIENTAS
los datos tiene dos fases. La
ETCL (EXTRACCIÓN,
obtención de los datos para la
TRANSFORMACIÓN,
imagen inicial y la obtención de los
LIMPIEZA Y CARGA
datos para la actualización. Su
DE DATOS)
clasificación de los datos es: Datos
de estructura, datos
semiestructurados y datos no
estructurados.
5. Comparativa de Herramientas ETL
Si nos preguntamos cuáles herramientas ETL son mejores, quizás deberíamos antes tener
claro para qué nos sirven, ya que cada herramienta tiene sus puntos fuertes que pueden hacer
que encaje con nuestro proyecto (y presupuesto).
6. Las Mejores Herramientas ETL
Si queremos saber cuáles son las mejores herramientas ETL, una referencia importante es el
Cuadrante Mágico de Gartner, que cada año indica cuáles son los proveedores leader del
mercado, entre los cuales se encuentran.
• Control de la extracción de los
datos y su automatización,
disminuyendo el tiempo empleado
en el descubrimiento de procesos no
documentados, minimizando el
margen de error y permitiendo
mayor flexibilidad.
• Acceso a diferentes tecnologías,
haciendo un uso efectivo del
hardware, software, datos y recursos
humanos existentes.
El proceso contempla
• Proporcionar la gestión integrada realizar varias
del Data Warehouse y los Data Marts actividades
existente, integrando la extracción, complejas con el
transformación y carga para la objeto de identificar
construcción del Data Warehouse datos
corporativo y de los Data Marts. • El alto coste inicial que implica. desactualizados,
• El conocimiento de usuario limitada información en
• Uso de la arquitectura de de la mayoría de los productos. blanco o faltantes
metadatos, facilitando la definición • La optimización, que a veces está registros con
de los objetos de negocio y las reglas limitada debido a los métodos de duplicados o
de consolidación. programación genéricos. cualquier tipo de
información que se
• Acceso a una gran variedad de deba eliminar o
fuentes de datos diferentes. limpiar, de tal modo
que se lleven los
• Manejo de excepciones. datos al nuevo
sistema.
• Planificación, logs, interfaces a
schedulers de terceros, que nos
permitiran llevan una gestión de la
planificación de todos los procesos
necesarios para la carga del DW.
• Interfaz independiente de
hardware.
• Soporte en la explotación del Data
Warehouse.
6
6.1. Informatica

Líder según Gartner. Su suite empresarial de integración de datos incluye la

solución Informatica PowerCenter, una de las más populares. Así como también Informatica
Data Integration.

6.2. IBM

Proporciona la suite de soluciones Info Sphere, en la cual destaca su herramienta DataStage

6.3. Talend

Conocido por su software de integración de código abierto gratuito Open Studio y por su
producto Talend Data Integration.

6.4. SAP

Ofrece la herramienta ETL Data Services como parte de SAP BO (Business Objects)

6.5. SAS

Proporciona una solución de integración de datos llamada Data Management

6.6. Oracle

Proporciona la herramienta Oracle Data Integrator, que permite gestionar procesos de

integración de datos en sistemas de inteligencia de negocio.

6.7 Otras Herramientas

También extremadamente potentes son: AWS Glue, Microsoft Azure Data Factory y Astera
Centerprise Data Integrator.

7. SQL Server Servicios de integración

Microsoft Integration Services, es una plataforma para crear soluciones de integración y

transformación de datos a nivel empresarial. Use Integration Services para resolver
problemas comerciales complejos copiando o descargando archivos, cargando almacenes de
datos, limpiando y minando datos, y administrando objetos y datos de SQL Server.
Integration Services puede extraer y transformar datos de una amplia variedad de fuentes,
como archivos de datos XML, archivos planos y fuentes de datos relacionales, y luego cargar
los datos en uno o más destinos. Integration Services incluye un amplio conjunto de tareas y
transformaciones integradas, herramientas gráficas para crear paquetes y la base de datos del
Catálogo de Integration Services, donde almacena, ejecuta y administra paquetes. Puede usar
las herramientas gráficas de Integration Services para crear soluciones sin escribir una sola
línea de código. También puede programar el extenso modelo de objetos de Integration

7
Services para crear paquetes mediante programación y codificar tareas personalizadas y otros
objetos de paquete.

8. Aplicación de uso Libre

Las herramientas ETCL de uso libre se toma Bitool y Sql server 2008, esta última como la
herramienta que se está utilizando en la especialización.

9. Bitool

Es la herramienta mas versátil de conversión y migración de datos de un sistema a otro que

he utilizado en proyectos de datawarehouse.

 Es una herramienta Independiente de la Base de Datos.

 Perfilamiento de Datos.
 Puede ser usada en múltiples tipos de proyectos informáticos.
 No necesita saber programar para realizar completos proyectos de carga.
 Permite programar tareas complejas en procesos: Diarios, Semanales, Mensuales, etc.
 Permite Recursividad entre proyectos, llamadas a procesos y llamas a sistemas o
aplicaciones externos de otros proveedores (DTS, Oracle, Etc) sin perder su
capacidad de WorkFlow.
 Permite realizar complejos escenarios de WorkFlow con intervención de los usuarios.
 Es 100% visual. amigable e intuitivo que reduce notablemente la curva de
aprendizaje.
 Emplea tecnología "Drag & Drop" para crear poderosos proyectos de carga, no
necesita introducir ninguna línea de código.
 Permite conectarse a cualquier motor de Base de Datos sin importar su ubicación
(Internet, Red LAN, Red WAN, etc) ni versión de la BD.
 Conserva la Inversión: Permite reutilizar clases y proyectos.
 Validación de la Calidad de Datos.
 Limpieza de datos.

10. Software Propietario- PowerCenter

Es una plataforma de integración de datos que convierte los datos sin procesar en información
útil para los análisis. Permite escalabilidad para admitir grandes volúmenes de datos con
orígenes diferentes, migración de datos y Data Warehousing empresarial. Promueve la
automatización, la reutilización y la agilidad.

 Se facilita al negocio el autoservicio y se permite distribuir datos oportunos y fiables

al negocio.
 Se facilita el uso de transformaciones pre-integradas, libres de código y de manera
gráfica.
 Da soporte para grid computing, procesamiento distribuido, alta disponibilidad,
balanceo de carga adaptable, particionado dinámico y optimización pushdown.
 Permite el control de la producción mediante codificación con alertas para evitar un
costoso control de daños posterior.
8
  Ofrece datos precisos para conseguir una eficacia operativa, análisis de nueva
generación y aplicaciones centradas en el cliente.
 Permite crear prototipos de manera rápida y validar los resultados de manera ágil e
iterativa.
 Integración de datos desde todo tipo de fuentes origen mediante conectores de alto
rendimiento.
 Auditoria y validación de datos repetible y automatizada en los entornos de
desarrollo, pruebas y producción.
 Permite análisis exhaustivo de datos en formatos XML, JSON, PDF, Microsoft Office
y el Internet de las Cosas.

11. Referencias Bibliográficas

https://blog.bi-geek.com/power-center/

https://blog.mdcloud.es/herramientas-etl-comparativa-y-principales-categorias/

https://blogs.deusto.es/bigdata/herramientas-etl-y-su-relevancia-en-la-cadena-de-valor-del-
dato/

https://www.evaluandoerp.com/la-migracion-datos/

https://blog.powerdata.es/el-valor-de-la-gestion-de-datos/bid/397387/qu-es-la-migraci-n-
de-datos