AA5-Ev1-Validación de técnicas de migración y

herramientas ETCL

JOEL RODELO GORDILLO

ESPECIALIZACIÓN TECNOLÓGICA EN GESTIÓN Y

SEGURIDAD DE BASES DE DATOS (1881791)

SERVICIO NACIONAL DE APRENDIZAJE SENA

Centro Nacional Colombo Alemán / Regional Atlántico /
Barranquilla -Colombia
 AA5-Ev1-Validación de técnicas de migración y
herramientas ETCL

JOEL RODELO GORDILLO

EVIDENCIAS DE LA ACTIVIDAD DE APRENDIZAJE 5

Director: CANDELARIA VICTORIA SUAREZ BELEÑO

Ingeniera de Sistemas, Con maestría por certificar en Educación y Ambientes
virtuales
cvsuarez@misena.edu.co

ESPECIALIZACIÓN TECNOLÓGICA EN GESTIÓN Y

SEGURIDAD DE BASES DE DATOS (1881791)

SERVICIO NACIONAL DE APRENDIZAJE SENA

Centro Nacional Colombo Alemán / Regional Atlántico /
Barranquilla -Colombia Pamplona, mes día de año
 TABLA DE CONTENIDO

1. INTRODUCCION ............................................................................................ 04
2. OBJETIVOS .................................................................................................... 05
2.1 Objetivo general ........................................................................................ 05
2.2 Objetivos específicos ................................................................................ 05
3. TECNICAS DE MIGRACIÓN........................................................................... 06
4. REQUERIMIENTOS PARA LA UTILIZACIÓN DE CADA TÉCNICA.. ............. 06
5. VENTAJAS DEL PROCESO ETL ............................................................. 07-11
6. CONCLUSIONES ............................................ Error! Bookmark not defined.2
7. REFERENCIAS BIBLIOGRÁFICAS ............................................................. 13
 1. INTRODUCCION

En esta actividad se pretende validar las técnicas de migración y herramientas

ETCL, para tenerlos como fundamentos y ponerlos en práctica en futuras
actividades o evidencias, demostrando así, cómo se debe realizar de forma
correcta y segura estas técnicas de migración y utilización de herramientas ETCL
aplicadas sobre bases de datos.
 2. OBJETIVOS

2.1 OBJETIVO GENERAL

Validar técnicas de migración y herramientas ETCL.

2.2 OBJETIVOS ESPECÍFICOS

 Caracterizar las diferentes técnicas de migración de datos, teniendo en

cuenta todos los aspectos a evaluar.
 Reconocer algunas aplicaciones para migración de datos disponibles en el
mercado, así como sus principales características.
 3. TECNICAS DE MIGRACIÓN

Existen varios métodos o técnicas para la migración de bases de datos, las más
comunes son:

 Sincronización de Base de datos

 Importación/Exportación de Archivos (CSV) o XML a través de comandos
de consola o interfaz gráfica
 Sentencias DML
 Procedimientos ETCL (Extracción, Transformación, Limpieza y Carga)

4. REQUERIMIENTOS PARA LA UTILIZACIÓN DE CADA TECNICA

TÉCNICA
Sincronización de Base de datos
Importación/Exportación de Archivos
(CSV) o XML a través de comandos
- Definir un tipo de limitador, por
de consola o interfaz gráfica
Sentencias DML
Procedimientos ETCL (Extracción,
Transformación, Limpieza y Carga)
REQUERIMIENTOS
- Se requiere un asistente de
sincronización SMBD
- Parametrización
- Ubicación de particiones
- Métodos de seguridad
- Definir un sistema de codificación
para estos archivos como por
ejemplo: ASCII, ISO-8859-1 o Latin-
1 y Unicode.
ejemplo: coma, punto y coma,
tabulación o delimitado por columna
o fila.
- Se genera basado en scripts SQL y
se debe realizar en etapas, es
necesario contar con un
administrador de SMDB.
- El proceso tiene un despliegue de
varias etapas (Extracción,
Transformación, Limpieza y Carga)
dentro de las cuales existen unas
tareas específicas de la etapa.
 5. VENTAJAS DEL PROCESO ETL

Al implmentar el proceso de migración con ETL cualquier organización podrá tener

las siguientes ventajas:

 La posibilidad de tomar decisiones estratégicas con información real

basada en el análisis de los datos cargados a las nuevas bases de datos
como pueden ser Data mart o Data Warehouse.

 Contar con una adaptabilidad a nivel de diferentes plataformas de hardware

y sistemas operativos.

 A nivel de aplicación se pretende tomar y organizar los datos primarios la

DB de datos de sistemas principales, realizar transformación, validación, el
proceso cualitativo, filtración y al final escriba datos en el almacén y en este
momento los datos son disponibles para analizar por los usuarios.

 Esto genera el aumento significativo de la velocidad de desarrollo, la

descentralización de los procesos, mayor precisión y la minimización de
errores.

Nombre del Formatos que Requerimientos técnicos

Tareas que realiza la Automatización de tareas en la
producto y admite la para utilizar la
herramienta herramienta
Versión herramienta herramienta
SQL Server - Patrón de escalabilidad ADO Tarea Flujo de datos: Tarea que - .NET
Integration horizontal ADO.NET ejecuta flujos de datos para extraer
Services (SQL - Trabajo de escalabilidad CACHE datos, aplicar transformaciones de Framework 4.6
Server 2017) horizontal EXCEL nivel de columna y cargar datos. - Hard Disk 6
- Compatibilidad con Microsoft FILE Tareas de preparación de datos:
Dynamics AX y Microsoft FLATFILE Estas tareas llevan a cabo los GHZ
Dynamics CRM en FTP procesos siguientes: copiar archivos - Monitor Super-
componentes de Odata HTTP y directorios; descargar archivos y
- Asistente para importación y MSMQ datos; ejecutar métodos web; aplicar
VGA (800x600)
exportación de SQL Server MSOLAP100 operaciones a documentos XML; y - Memory 1 GHz
- Conectores de origen de MULTIFILE generar perfiles de los datos para la - Processor
datos integrados MULTIFLATFI limpieza. Tareas de flujo de trabajo:
- Tareas y transformaciones LE Tareas que se comunican con otros Speed 2 GHZ
integradas OLEDB procesos para ejecutar paquetes,
- Origen y destino de ODBC ODBC ejecutar programas o archivos por
- Tareas y conectores de SMOServer lotes, enviar y recibir mensajes entre
origen de datos de Azure SMTP paquetes, enviar mensajes de
- Conectores y tareas de SQLMOBILE correo electrónico, leer datos de
Hadoop/HDFS WMI Instrumental de administración de
- Herramientas de generación Windows (WMI) y detectar eventos
de perfiles de datos básicos de WMI. Tareas de SQL Server:
- Origen y de destino de Oracle Tareas de acceso, copia, inserción,
de alto rendimiento de eliminación y modificación de
Attunity objetos y datos de SQL Server .
- Origen y de destino de Tareas de scripting: Tareas que
 Teradata de alto rendimiento
de Attunity
- Origen y destino de SAP BW
- Destino de entrenamiento del
modelo de minería de datos
- Destino de procesamiento de
dimensiones
- Destino de procesamiento de
particiones
Cognos Business - Adaptive Analytics
Intelligence 10.2.1
- Administración de Adaptive
Analytics
- Tareas de administración
- Configurar y administrar el
sistema
- Administración de Controller
- Conexiones con orígenes de
datos
- Listas de distribución y
contactos
- Administración de bibliotecas
- Administración de Metric
Studio
- Administración de Mobile
- Administración de Mis
conjuntos de datos
- Administración de Planning
- Servidores PowerPlay
- Administración de Query
Service * Ejecutar actividades
y planificaciones
- Definir las funciones y
administrar los perfiles de la
IU
- Estilos y portlets
amplían la funcionalidad de los
paquetes mediante scripts. Tareas
de Analysis Services: Tareas de
creación, modificación, eliminación y
procesamiento de objetos de
Analysis Services. Tareas de
mantenimiento: Tareas que realizan
funciones administrativas como
crear copias de seguridad y reducir
bases de datos de SQL Server ,
volver a generar y reorganizar
índices, y ejecutar trabajos del
Agente SQL Server . Tareas
personalizadas: Además, también
puede escribir tareas personalizadas
mediante un lenguaje de
programación compatible con COM,
como Visual Basic, o un lenguaje de
programación .NET, como C#. Si
quiere tener acceso a una tarea
personalizada en el Diseñador SSIS,
puede crear y registrar una interfaz
de usuario para la tarea.
CSV Cognos Planning - Analyst: Para las Operating system:
XLS versiones soportadas, puede Windows, Oracle Solaris,
XLSX acceder a los datos de plan HP-UX, IBM AIX, Red Hat
File-XML publicados en IBM Cognos Analytics Enterprise Linux on Intel
XML-HTTP mediante el asistente para Generar compatible x86
WSDL modelo de Framework Manage. RAM: Minimum 1 GB
Para obtener más información, Operating system
consulte IBM Cognos Analyst - Guía specifications: File
de usuario. Cognos Planning - descriptor limit set to 1024
Contributor: Para versiones on Solaris (recommended)
soportadas, puede acceder a cubos Disk space: Minimum of 1
Contributor no publicados (en GB of free space on the
tiempo real) en IBM Cognos drive that contains the
Analytics mediante la instalación temporary directory used
personalizada del componente IBM by Cognos components
Cognos Analytics - Contributor Data JRE
Server que se incluye con IBM
Cognos Planning - Contributor. Para
las versiones soportadas, puede
acceder a los datos de plan
publicados en IBM Cognos Analytics
mediante la extensión de
administración Generar modelo de
Framework Manager en Contributor.
Para obtener más información,
consulte la publicación IBM Cognos
Contributor Administration Guide.
Cognos Finance: Puede acceder a
cubos de IBM Cognos Finance que
están protegidos contra un espacio
de nombres de Series 7 mediante el
servicio IBM Cognos Finance
Network API. También puede
exportar datos y metadatos de IBM
Cognos Finance para utilizarlos en
Framework Manager. Cognos
Controller: Puede acceder a IBM
Cognos Analytics para crear
informes estándar de IBM Cognos
Controller mediante un modelo
predefinido de Framework Manager
que se crea cuando se instala IBM
Cognos Controller. También puede
acceder a datos y estructuras

Oracle Database - Oracle BI Discoverer: Acceso
11g: Oracle a los datos tanto Relacional
Warehouse como OLAP y cuadros de
Builder Enterprise mando personalizables.
etl - Oracle BI Spreadsheet Add-
in: Acceso OLAP a los datos
desde hojas de cálculo Excel.
- Oracle BI Beans: Para
construir aplicaciones de
business intelligence a
medida.
publicados de Controller en
Framework Manager para la
creación de informes y análisis
personalizados. Cognos
Transformer: Puede utilizar los
modelos de IBM Cognos
PowerCubes and Transformer, que
se generaron mediante las
versiones de Transformer
soportadas, directamente en IBM
Cognos Analytics. Los cubos y
modelos son compatibles con las
versiones posteriores y no requieren
herramientas de migración o
actualización. Puede ejecutar
informes y análisis en IBM Cognos
Analytics comparando con IBM
Cognos PowerCubes. Cognos TM1:
IBM Cognos TM1 integra
planificación empresarial, medición
del rendimiento y datos operativos
para contribuir a la optimización por
parte de las empresas de la
efectividad empresarial y la
interacción con el cliente
independientemente de la geografía
o la estructura. Cognos TM1
proporciona visibilidad inmediata de
los datos, responsabilidad dentro de
un proceso colaborativo y una visión
coherente de la información, lo que
permite a los administradores
estabilizar rápidamente las
fluctuaciones operativas y
aprovechar las nuevas
oportunidades. Para obtener más
información, consulte la publicación
IBM Cognos TM1 Guía del usuario.
Cognos PowerPlay: Utilice IBM®
Cognos® PowerPlay® Studio para
crear y ver informes basados en
orígenes de datos de PowerCube.
Para obtener más información,
consulte IBM Cognos PowerPlay
Studio - Guía del usuario. IBM
Cognos Software Development Kit:
IBM Cognos Software Development
Kit proporciona una interfaz de
automatización independiente de la
plataforma para trabajar con los
servicioss y componentes de IBM
Cognos Analytics. Correlación de
funciones desde Cognos BI a
Cognos Analytics: IBM Cognos
Analytics es la versión siguiente de
IBM Cognos Business Intelligence.
* Oracle Cognos Planning - Analyst: Para las - Sistema Operativo:
Database versiones soportadas, puede Linux x86 Oracle
releases 9.2, acceder a los datos de plan Enterprise Linux 4
10.1, 10.2, publicados en IBM Cognos Analytics Update 7 Oracle
11.1, 11.2 * mediante el asistente para Generar Enterprise Linux 5
Any database modelo de Framework Manage. Update 2 Red Hat
accessible Para obtener más información, Enterprise Linux 4
through Oracle consulte IBM Cognos Analyst - Guía Update 7 Red Hat
Database de usuario. Cognos Planning - Enterprise Linux 5
Heterogeneou Contributor: Para versiones Update 2 Linux x86-64
s Services, soportadas, puede acceder a cubos Oracle Enterprise Linux
- Oracle Reports Services:
Reporting empresarial de alto
nivel de detalle.
- Oracle BI Server: Acceso
centralizado a los datos y
motor de cálculo que se
apoya en un modelo lógico de
información empresarial
común (nivel de abstracción
de los metadatos)
- Oracle BI Server
Administrator: Creación de los
metadatos y niveles de
abstracción
- Oracle BI Answers:
Autoservicio ad-hoc que
permite a los usuarios finales
crear fácilmente diagramas,
tablas dinámicas, informes y
cuadros de mando, y navegar
con capacidades de drill
up/down
- Oracle BI Interactive
Dashboards: Cuadros de
mando interactivos para
entornos de análisis.
- Oracle BI Publisher (también
conocido como XML
Publisher): Reporting
operacional empresarial y
distribución de informes con
gran nivel de detalle.
- Oracle Database Standard
Edition One: Base de datos
- Oracle Warehouse Builder
(core ETL): Diseño de base
de datos y de extracción,
transformación y carga (ETL)
que ayuda a gestionar el ciclo
de vida de los datos y
metadatos.
including but Contributor no publicados (en 4 Update 7 Oracle
not limited to tiempo real) en IBM Cognos Enterprise Linux 5
DB2, Informix, Analytics mediante la instalación Update 2 Red Hat
SQL Server, personalizada del componente IBM Enterprise Linux 4
Sybase, and Cognos Analytics - Contributor Data Update 7 Red Hat
Teradata. * Server que se incluye con IBM Enterprise Linux 5
Any data Cognos Planning - Contributor. Para Update 2 Solaris
source las versiones soportadas, puede SPARC (64-bit) Solaris
accessible acceder a los datos de plan 10 U6 (5.10-2008.10)
through publicados en IBM Cognos Analytics AIX 5L Based Systems
ODBC, mediante la extensión de (64-bit) AIX 5L V5.3 TL
including but administración Generar modelo de 09 SP1 ("5300-09-01"),
not limited to Framework Manager en Contributor. 64 bit kernel AIX 6.1 TL
Excel and MS Para obtener más información, 02 SP1 ("6100-02-01"),
Access. * Any consulte la publicación IBM Cognos 64-bit kernel
data store Contributor Administration Guide. - Disco Duro space of at
accessible Cognos Finance: Puede acceder a least 10 GB * Software
through code cubos de IBM Cognos Finance que - Oracle Database 11g
templates. * están protegidos contra un espacio Release 2
Delimited, de nombres de Series 7 mediante el - Enterprise Edition
fixed-format, servicio IBM Cognos Finance - Oracle Warehouse
and XML Network API. También puede Builder
format flat exportar datos y metadatos de IBM - Oracle Business
files. * Oracle Cognos Finance para utilizarlos en Intelligence Suite
Workflow Framework Manager. Cognos Enterprise Edition
releases 2.6.2, Controller: Puede acceder a IBM
2.6.3, 2.6.4, Cognos Analytics para crear
11i * Oracle BI informes estándar de IBM Cognos
Discoverer Controller mediante un modelo
Release 10.1, predefinido de Framework Manager
Oracle que se crea cuando se instala IBM
Business Cognos Controller. También puede
Intelligence acceder a datos y estructuras
Suite publicados de Controller en
Enterprise Framework Manager para la
Edition creación de informes y análisis
personalizados. Cognos
Transformer: Puede utilizar los
modelos de IBM Cognos
PowerCubes and Transformer, que
se generaron mediante las
versiones de Transformer
soportadas, directamente en IBM
Cognos Analytics. Los cubos y
modelos son compatibles con las
versiones posteriores y no requieren
herramientas de migración o
actualización. Puede ejecutar
informes y análisis en IBM Cognos
Analytics comparando con IBM
Cognos PowerCubes. Cognos TM1:
IBM Cognos TM1 integra
planificación empresarial, medición
del rendimiento y datos operativos
para contribuir a la optimización por
parte de las empresas de la
efectividad empresarial y la
interacción con el cliente
independientemente de la geografía
o la estructura. Cognos TM1
proporciona visibilidad inmediata de
los datos, responsabilidad dentro de
un proceso colaborativo y una visión
coherente de la información, lo que
permite a los administradores
estabilizar rápidamente las
fluctuaciones operativas y
aprovechar las nuevas
oportunidades. Para obtener más
información, consulte la publicación
IBM Cognos TM1 Guía del usuario.
Cognos PowerPlay: Utilice IBM®
Cognos® PowerPlay® Studio para
crear y ver informes basados en
orígenes de datos de PowerCube.
Para obtener más información,
consulte IBM Cognos PowerPlay
Studio - Guía del usuario. IBM
Cognos Software Development Kit:
IBM Cognos Software Development
Kit proporciona una interfaz de
automatización independiente de la
plataforma para trabajar con los
servicios y componentes de IBM
Cognos Analytics. Correlación de
funciones desde Cognos BI a
Cognos Analytics: IBM Cognos
Analytics es la versión siguiente de
IBM Cognos Business Intelligence.
 6. CONCLUSIONES

En el anterior documento se logró establecer e identificar algunas de las técnicas

de migración y herramientas ETL más usada y que nosotros también podemos
utilizar a la hora de realizar una migración de base de datos.
 7. REFERENCIAS BIBLIOGRÁFICAS

SENA

https://senaintro.blackboard.com/bbcswebdav/pid-113801643-dt-content-rid-
127068119_4/institution/semillas/217219_1_VIRTUAL/OAAPs/OAAP4/aa5/oa_mig
rancdatos/index.html

Consultas de apoyo en Google

https://blog.mdcloud.es/herramientas-etl-comparativa-y-principales-categorias/

http://carlosproal.com/dw/dw05.html