Actividad Principal Sub-Actividades

Instalación de cloudera Manager Instalacion de Postgres

Configuracion de tablas para cloudera en postgres
Inicializacion de cloudera manager
Configuración de servicios en cloudera manager: Flume,
zookeeper, kafka

Conexion weblogic-kafka en prototipad Archivo de Configuracion de FLume

Instalacion y configuracion de weblogic
Desarrollo de productor de mensajes textmessage por
cola a traves de protocolo T3
Pruebas de conexion del productor de mensajes a cola
weblogic en laptop
Pruebas de recepcion de mensajes en flume a cola
weblogic en laptop

Ingesta de datos en tablas

Pruebas reales de recepción de datos

Kerberizacion en prototipado Instalación de paquetes

Configuración de cloudera

Autorizacion Kafka prototipado Configuración de kafka

Generación de listas de acceso a topicos
Modificar los desarrollos actuales de prototipado para
comunicación con seguridad: Kafka streams, Spark
Streaming, Flume.

Autenticación en máquinas de producciGenerar los certificados SSL

Firmar los certificados SSL
Configuración de seguridad por consola
Configuración de cloudera
Horas estimadas Horas consumidas Observaciones
1 1 Terminado
2 Terminado
4 Terminado

2 En proceso

1 1 Terminado
3 3 Terminado

2 2 Terminado

1 3 Terminado

1 Terminado

Depende de desarrollo
de Cristian/Ricardo
A determinar por el banco

4 En proceso
4 En proceso

4 En proceso
2

1 Terminado
* Terminado
4 En proceso
1
Actividad Principal Sub-Actividades Horas estimadas
Investigación-Documentaion sobre
Desarrollo de módulo de manejo Schema-Registry, JSON-Path y XML- 6
de tramas en formato JSON Path para el diseño de la arquitectura

Desarrollo de script en pyspark con 8

spark streaming

Creación de tabla de configuración de 2

tabla en hive
Creación de tabla de configuración de
estuctura JSON/XML para spark 4
streaming
Clasificación de JSONs de entrada 16
Pruebas y ajustes del desarrollo 6

Investigación-Documentación sobre
Monitoreo Kafka 10
monitoreo de data de ingesta a tablas
Instalación, configuración y/o desarollo 20
para el monitoreo
Horas consumidas Observaciones

1 Terminado

Terminado, pero no probado

aun, fallas de conexión entre
los workers y los brokers de
kafka

Creada, falta ingesta de datos

Creada, falta ingesta de datos

En proceso

En proceso
Actividad Principal Sub-Actividades Horas estimadas
Recepción de mensajes en Investigación y documentación protocolo 20
protocolo Base-24 Base-24
Desarollo de simulador de envío de 20
mensajes en protocolo Base-24
Desarrollo de decodificador de mensajes en 20
protocolo Base-24
Configuración de Flume 4
Pruebas de comunicación y recepción de 4
mensajes
Horas consumidas Observaciones

8 En proceso