Minera

de Datos
Aplicada
Limpieza de Datos

Ulises CP

Calidad de los datos

Los datos deben sa9sfacer los requerimientos para
los cuales se pretenden u9lizar.
Factores de calidad de los datos: exac9tud,
integridad, consistencia, conabilidad,
interpretabilidad, deben ser oportunos.
La fase de limpieza de los datos se reere al proceso
de deteccin y correccin de registros corruptos o
impresisos en el conjunto de datos.
Ulises CP

Problemas en el Conjunto de Datos

Datos faltantes.
Valores aHpicos.
Registros duplicados.
Datos con ruido.
Diferente escala numrica.

Ulises CP

Qu hacer cuando faltan datos?

Ignorar el registro.
Asignar una constante global.
U9lizar una medida de tendencia central para el
atributo.
U9lizar una medida de tendencia central para las
muestras que pertenecen a la misma clase.
Conservar el registro, pero ignorar la variable.
Imputacin por mtodos ms avanzados.

Ulises CP

ValoresfaltantesindicadosconNA

Valoresfaltantesindicadoscon?

Explorandoelsubconjuntodedatosfaltantes
Cuntosvaloresfaltantesporatributo?
Cuntosvaloresfaltantesporobservacin?
Culeslarelacinentrelacan=daddevalores
faltantesporatributoyeltotaldeobservacionesdel
conjuntodedatos?
Culeslarelacinentrelacan=daddevalores
faltantesporobservacinyeltotaldeatributosdel
conjuntodedatos?

Valoresfaltantesencadaatributo

Atributo1

Atributo2

Atributod

Culesexcedenelmximopermi=do?

Omi=robservacionesconvaloresfaltantes
No.Valoresfaltantes>10%
EnR:
Paraformarunnuevosubconjunto.

Paracalcularlamediaporatributo

U9lizar una medida de tendencia central para el atributo.

Eliminamos los
registros en los que
existen valores
faltantes

Ulises CP

Uso de una medida de tendencia central para el atributo.

En el caso de variables cualita9vas, el
mtodo ms simple consiste en asignar
el valor ms frecuente.

Ulises CP

Ac9vidad 1:
Realizar una funcin en R que:
Lea un conjunto de datos.
Busque valores faltantes en el conjunto de datos.
Iden9que la posicin de los valores faltantes.
Asigne un valor a los valores faltantes basndose en una
medida de tendencia central para el atributo
correspondiente.

Datos faltantes

Ac9vidad 2:
Realizar una funcin en R que:
Lea un conjunto de datos.
Busque valores faltantes en el conjunto de datos.
Iden9que la posicin de los valores faltantes para una
misma clase.
Asigne un valor a los datos faltantes basndose en una
medida de tendencia central para los datos del atributo que
pertenecen a la misma clase.

Datos faltantes

Valor extremo
En una muestra o conjunto de
datos estra9cados, un valor
Extremo es una observacin o
Instancia que se separa numricamente
del resto de los datos.

Ulises CP

Causas de Valores extremos

Mal funcionamiento de disposi9vo de medicin.
Error de transmisin o transcripcin.
Cambios en sistema.
Fraudes.
Error humano.
Desviaciones naturales en poblaciones.
Muestras contaminadas.

Ulises CP

Iden9cacin de Valores extremos

Considerar las causas y el propsito.
Es subje9va.
Mtodos:
Criterio de Chauvenets.
Lmite inferior y superior
Test de Grubbs.
Criterio de Peirce.
Test Q de Dixon.
Test modicado de thomson Tau.
Ulises CP

Deteccin de Valores extremos

Distribucin de Probabilidad Normal

Criterio de Chauvenets.

Diagrama de Caja

Reduccin de dimensionalidad
R3

Se reere al proceso de reduccin de las

variables o atributos a considerar. Puede
dividirse en Seleccin y Extraccin de
atributos.

R2

Ulises CP

Seleccin de atributos
Se reere al proceso de seleccin de caracters@cas, tambin conocido
como seleccin de variables.
Consiste en seleccionar un subconjunto de caracters@cas relevantes para
la construccin del modelo.
La asuncin principal para el uso de tcnicas de seleccin es que los datos
con@enen muchas caracters@cas redundantes o irrelevantes.

Seleccin de atributos
Mtodos:
Score de Fisher.
Coeciente de correlacin de Pearson.
Prediccin p@ma de la clase.
Distancia basada en grupos.
Estads@co Chi-Square.

Seleccin de atributos | Score de Fisher

Para 2 clases:

Para m clases:

Seleccin de atributos | Score de Fisher | Ejemplo en R

Seleccin de atributos | CCR de Pearson

Valoresfaltantes<NA