AA5-Ev1-Validación de técnicas de migración y herramientas ETCL

Aprendiz
Luis Gabriel Cubillos Hoyos

Presentado a:
FERNANDO LOPEZ TRUJILLO
PAOLA ANDREA OCAMPO

SENA Manizales - Caldas Centro de Automatización Industrial

Kilómetro 10 vía al Magdalena

Servicio Nacional de Aprendizaje SENA.

Formación virtual a distancia
GESTION Y SEGURIDAD DE BASES DE DATOS
 TABLA DE CONTENIDO

PAG

Introducción 1
Oracle database 11g Oracle warehouse builder Enterprise etl option 5
Informática PowerCenter 6
Formas de usarse 8
Información 9
Conectividad 10
 INTRODUCCIÓN

La migración de datos consiste en la transferencia de materiales digitales de

un origen de datos a otros con el que se transforma la forma lógica de un ente
digital de modo que pueda ser restituido o presentado por nuevo equipo.
Los métodos de datos más
conocidos son:

Perfilado de datos: permite explorar los propios datos, agregando a los de

origen las reglas necesarias. Esta técnica hace posible también el obtener
resultados acerca de duplicidades o errores en los datos.

Limpieza de datos: que puede llevarse a cabo empleando para ello una
herramienta de Data Quality que ayude a eliminar errores, incorrecciones o
duplicidades, entre otras inconsistencias; y que, al mismo tiempo, enriquezca y
homologue los datos, preparándolos para el sistema de destino.

Conexión a distintas fuentes de datos: una técnica que precisa de una

herramienta que garantice el hacerlo en condiciones simultaneas. Las ventajas
que proporciona el usar estas tecnologías se traducen en un aumento de la
precisión, reducción del índice de errores, mayor agilidad y optimización del
tiempo; ya que su automatización evita los procesos manuales, algo que
supone su principal beneficio.

1
Qué se debe tener en cuenta para la elección del software
de ETCL

Existen muchas herramientas de ETCL diferentes, como también hay infinidad

de bases de datos, sistemas y organizaciones distintas. En el momento de
seleccionar la que liderará la

migración e integración de datos pueden tomarse en consideración las

recomendaciones de Gartner en cuanto a las cualidades que la herramienta ha
de presentar:

- Adaptabilidad a distintos sistemas operativos y plataformas hardware.

- Capacidades de gestión de datos: en cuanto a minería, perfilado y
calidad.
- Habilidades para monitorizar, gestionar y controlar los procesos de
integración de datos: en lo relativo a gestión de errores, recolección de
estadísticas de ejecución, controles de seguridad, etc.
- Capacidades SOA.
- Capacidades de diseño y entorno de desarrollo: como soporte
para test, representaciones gráficas, modelos y flujos de datos y
flujos de datos, etc.
- Cualidades de arquitectura e integración referidas al grado de
interoperabilidad, compactación y consistencia de los diferentes
componentes que la formen.

2
Aunque la elección de un software de ETCL no es sencilla, su repercusión en
el curso del proyecto es decisiva. Una decisión correcta pasa por la
automatización y en base a ella quedan garantizados:

a. Un aumento en la velocidad de desarrollo del proyecto.

b. La descentralización del control de la ejecución y de todos los
procesos.
c. Una mayor agilidad en el negocio.

d. Mayor precisión.

e. Minimización de errores. HERRAMIENTAS ETCL

f. IBM Cognos Data

Manager

g. Oracle Warehouse

Builder

h. Microsoft Integration Services

i. Informática PowerCenter

j. IBM Cognos Data Manager

3
 CARACTERISTICAS

- IBM® Cognos Data Manager proporciona funciones dimensionales de

extracción, transformación y carga (ETCL) para conseguir una
inteligencia empresarial de alto rendimiento.
- Se puede integrar con la GUI de IBM Data Manager Designer para
diseñar y crear
prototipos
- Se pueden ejecutar compilaciones y secuencias de trabajos en
sistemas remotos desde un sistema de entorno de diseño de Data
Manager.
- Data Manager Engine se tiene que instalar en un sistema UNIX o
Linux.

4
 ORACLE DATABASE 11G ORACLE WAREHOUSE BUILDER
ENTERPRISE ETL OPTION

Características:

- La opción empresarial ETL (Enterprise ETL Option) para Warehouse

Builder es una opción que puede ser adquirida con Oracle Warehouse
Builder como parte de la edición empresarial del motor de base de
datos.

- Permite ejecutar cargas de datos usando métodos rápidos y eficientes

tales como el Oracle DataPump y transportable tablespaces.

- Permite prever el efecto que puedan tener los cambios que se hagan en
cualquier lugar de los metadatos del sistema ETL

- Es posible generar un modelo para configurar los ambientes de

desarrollo, pruebas y producción a niveles separados.

5
Características:
- Puede extraer y transformar datos de diversos orígenes como archivos
de datos XML, archivos planos y orígenes de datos relacionales y,
después, cargar los datos en uno o varios destinos.
- Se pueden realizar tareas de migración fácilmente usando tareas visuales.
- Si se desea crear nueva funcionalidad, se pueden crear scripts en c# o
VB.
- Puede conseguir conectividad mediante CLI vía DLLs tipo ensamblador.

Informática PowerCenter

Características:

- Calidad de datos generalizada para todos los grupos de interés,

proyectos y aplicaciones utilizando una sola plataforma unificada.
- Descubrimiento y análisis de datos, detección de riesgos ocultos,
localización de problemas estructurales y detención de la propagación
de los problemas de calidad.
- Acceso, integración y entrega de los datos rápidamente, de forma
rentable y sin codificación manual.
- Normalización de los datos en los formatos de tabla de destino y
carga en los nuevos sistemas.
- Garantía de acceso y entrega de datos críticos a toda la empresa donde
y cuando se necesiten, asegurando la conectividad sin límites a una
amplia variedad de fuentes de datos.

6
- Aplicación de prueba de validación para garantizar que los datos se
mantienen libres
de daños y que no han sufrido menoscabos durante su traslado o
transformación.
- Interesantes opciones de integración de metadatos, que marcan la
diferencia con otras herramientas de migración de bases de datos.
- Visibilidad y control para todos los usuarios de negocio, que les otorga
la libertad necesaria para crear, administrar y compartir información
empresarial de carácter crítico contextualizada durante el proceso de
migración.
- Enmascaramiento de datos sensibles efectivo antes de producirse el
traslado a los nuevos sistemas de destino.
- Creación de subconjuntos seguros de datos de producción
procedentes de grandes bases de datos sin restricciones.
- Extracción rápida de datos de los sistemas de legado con cero
impactos en el desempeño operativo durante el proceso de
migración de datos.

7
Formas de usarse:
IBM: Se puede integrar con la GUI de IBM Data Manager Designer, pero
este es un módulo aparte.
Oracle: Fácil cuando se trata de información almacenada en bases de datos
Oracle, debido a las herramientas Data Pump y transportable tablespaces,
pero no ofrece mucha compatibilidad a otras BD.
Microsoft: Se pueden realizar tareas de migración fácilmente usando
tareas visuales. PowerCenter: Tiene una GUI fácil de utilizar, pero requiere
entrenamiento para
aprovecharla.
SOPORTE:
IBM: Soporte mundial contratando en
paquete. Oracle: Vía soporte local Oracle
Latinoamérica. Microsoft: Soporte vía
plataforma TechNet. PowerCenter: Soporte
mundial vía web y consultoría

IBM: Muy rápido cuando se trabaja con DB2 sin embargo la capa de
compatibilidad disminuye la velocidad de conexión con distintos manejadores
de base de datos.
Oracle: La velocidad es proporcional al servicio Oracle en el cual este
trabajando. Microsoft: La velocidad es proporcional al servicio MSSQL en el
cual este trabajando. PowerCenter: Herramienta más rápida gracias a
PushDown, sin embargo, los cambios son
en momento y no permite hacer Rollback a un estado anterior.

8
INFORMACION

IBM: Mediante Cognos Data Manager Packages se pueden incorporar

herramientas para
DQ.
Oracle: Permite DQ mediante el uso de Oracle Warehouse Builder Data
Profiling Features. Microsoft: Requiere del software SQL Server Data Quality
Services para ofrecer herramientas DQ.

PowerCenter: Ofrece DQ a través de otro producto llamado Informática Data

Quality.

IBM: Maneja registro de históricos.

Oracle: Tiene herramientas prácticas y extensivas de monitoreo y registro

histórico. Microsoft: Tiene herramientas prácticas y extensivas de monitoreo y
registro histórico. PowerCenter: Tiene herramientas prácticas y extensivas de
monitoreo y registro histórico.

9
CONECTIVIDAD

IBM: Cualquier conexión ODBC, DB2, para importación a DB2, cubos de

información
T1MAP.
Oracle: Solamente compatible con bases de datos Oracle mismas que la
instalada en el
DataWarehouse
Microsoft: Bases de datos SQL SERVER, ACCESS, ADO.NET
PowerCenter: Varias bases de datos, archivos planos, xml, Excel, servicios
web puede exportar como servicio web.

10