DATA MINING

INTRODUCCION

Cada día las organizaciones se enfrentan a un mundo cada vez más competitivo y,
por tanto, las estrategias de administración deben ser flexibles para adaptarse a las
condiciones cambiantes del entorno. Lo que significa un gran reto para las
organizaciones es el poder manejar grandes volúmenes de información que estas
generan, y para conocer su entorno y poder predecir su evolución.

Estamos generando gran cantidad de información, conscientes o inconscientes de

ello. Son muchos los motivos que nos llevan a generar información, esto nos ayuda a
controlar, optimizar, administrar, examinar, investigar, planificar, predecir, someter,
negociar o tomar decisiones de cualquier ámbito según el dominio en que nos
desarrollemos. La información por sí misma está considerada un bien patrimonial, de
esta forma, si una empresa tiene una pérdida total o parcial de información provoca
muchos perjuicios. Es evidente que la información debe ser protegida, pero también
explotada.

Los factores que en la actualidad nos han permitido generar tanta información son:

1. Los bajos costos de los sistemas de almacenamiento tanto temporal como

permanente.

2. El incremento de las velocidades de cómputo en los procesadores.

3. Las mejoras en la confiabilidad y aumento de la velocidad en la transmisión de

datos.

4. El desarrollo de sistemas administradores de bases de datos más poderosos.

Todas estas ventajas nos han llevado a abusar del almacenamiento de la información
en las bases de datos. Es necesario contar con tecnologías que nos ayuden a
explotar el potencial de este tipo de datos.

CONCEPTO

Es un mecanismo de explotación, consistente en la búsqueda de información valiosa

en grandes volúmenes de datos. Está muy ligada a las bodegas de datos que
proporcionan la información histórica con la cual los algoritmos de minería de datos
tienen la información necesaria para la toma de decisiones.

"La minería de datos es un proceso no trivial de identificación válida, novedosa,

potencialmente útil y entendible de patrones comprensibles que se encuentran
ocultos en los datos" (Fayyad y otros, 1996).

"Es la integración de un conjunto de áreas que tienen como propósito la identificación

de un conocimiento obtenido a partir de las bases de datos que aporten un sesgo
hacia la toma de decisión" (Molina y otros, 2001).

Se denomina minería de datos (data mining) al análisis de archivos y bitácoras de

transacciones, trabaja a nivel del conocimiento con el fin de descubrir patrones,
relaciones, reglas, asociaciones o incluso excepciones útiles para la toma de
decisiones. Por ejemplo, qué productos se comercializan mejor en la temporada
navideña, en qué regiones es productivo sembrar café, qué áreas de una zona
urbana incrementarán su demanda de escuelas primarias.

También es una etapa dentro de un proceso mayor llamado Extracción de

Conocimiento en Bases de Datos (Knowledge Discovery in Databases o KDD), esta
etapa usa algoritmos concretos que generan una enumeración de patrones a partir de
los datos preprocesados. El Data Mining reúne las ventajas de varias áreas como la
Estadística, la Inteligencia Artificial, la Computación Gráfica, las Bases de Datos y el
Procesamiento Masivo, principalmente usando como materia prima las bases de
datos.

Aunque algunos autores usan los términos Minería de Datos y KDD indistintamente,
como sinónimos, existen claras diferencias entre los dos. Así la mayoría de los
autores coinciden en referirse al KDD como un proceso que consta de un conjunto de
fases, una de las cuales es la minería de datos. De acuerdo con esto, el proceso de
minería de datos consiste únicamente en la aplicación de un algoritmo para extraer
patrones de datos y se llamará KDD al proceso completo que incluye pre-
procesamiento, minería y post-procesamiento de los datos.

En esta figura vemos las fases del proceso de KDD, una de las cuales es la Minería
de Datos
IMPORTANCIA

La Minería de Datos es el resultado de un largo proceso de investigación y

desarrollo de productos. Esta evolución comenzó cuando los datos de negocios
fueron almacenados por primera vez en computadoras, y continuó con mejoras en el
acceso a los datos, y más recientemente con tecnologías generadas para permitir a
los usuarios navegar a través de los datos en tiempo real. Data Mining toma este
proceso de evolución más allá del acceso y navegación retrospectiva de los datos,
hacia la entrega de información prospectiva y proactiva. Data Mining está listo para su
aplicación en la comunidad de negocios porque está soportado por tres tecnologías
que ya están suficientemente maduras:

• Obtención masiva de datos.

• Potentes computadoras con multiprocesadores.

• Algoritmos de Data Mining.

La gran cantidad de aplicaciones que tiene la Minería de Datos, en tan diversas

áreas suponen su gran importancia, pues básicamente en todas las áreas
relacionadas con nuestra vida es posible recoger datos desde hace mucho tiempo, y
esto es lo que precisamente permite realizar estudios de este tipo. Además, la idea de
poder predecir situaciones futuras, partiendo de algo que ya se tienen en la mano
como son los datos, es algo que se puede ver como una herramienta de gran utilidad
y que basados en todo lo que puede significar una ventaja como el uso de esta
herramienta, se puede llevar una gran delantera competitiva sobre los demás entes
bien sean estos personas, organizaciones, empresas, etc.

Como punto de encuentro entre varias ramas de la ciencia, la Minería de Datos

es el eje central del proceso de extracción de conocimiento en el cual se aplican
conceptos y técnicas provenientes de áreas de la ciencia como: Inteligencia artificial,
Estadística, Bases de Datos, Ingeniería del conocimiento, entre otros...

Como herramienta fundamental para apoyar la toma de decisiones en las

empresas, tanto a nivel descriptivo de lo que ya se tiene en los datos como también
una poderosa herramienta para realizar predicciones a partir de los datos obtenidos
hasta la actualidad. Así, es posible realizar estudios que permitan conocer mejor a los
cliente de su negocio, o también conocer cuál es el perfil del cliente ideal para
aumentar sus ventas, o para que sus clientes actuales no lo abandonen.

La gran cantidad de sitios Web, portales, artículos en revistas, y seminarios que se

realizan alrededor del mundo, demuestran la importancia que tiene este tema en la
actualidad, aunque muchos sitios tienen ya varios años de existencia, es común
encontrar artículos, y portales actualizados, junto con cientos de herramientas nuevas
de software que permiten realizar procesos de Minería de Datos.

Las diferentes variaciones que están naciendo y que son objeto de investigación y de
estudio a nivel mundial, como lo son el Web Mining, Text Mining, Graphic Mining,
entre otros. Todo esto demuestra que el uso de técnicas y algoritmos para el estudio
de patrones y reglas en repositorios de datos, es aplicable y con gran importancia a
muchos formatos diferentes.

MODELOS DEL DATA MINING

Se define al modelo de Minería de Datos como a una descripción de los patrones y

relaciones entre los datos que pueden usarse para hacer predicciones y entender
mejor los datos o para explicar situaciones pasadas. En esencia, toda aplicación y
desarrollo de trabajos en Minería de Datos, debe pertenecer o identificarse bien sea
con un modelo descriptivo, o un modelo predictivo, y la elección de las tareas y
técnicas de Minería de Datos deben resolver el modelo elegido.

Un modelo predictivo responde preguntas sobre datos futuros como:

• ¿Cuáles serán las ventas el año próximo?

• ¿Será esta transacción fraudulenta?

• ¿Qué tipo de seguro es más probable que contrate el cliente X?

• Encontrar el perfil del comprador del producto A

• Encontrar el perfil del cliente que me abandonará el mes siguiente

• Calcular el valor potencial de un cliente

• Probabilidad de que un cliente devuelva un préstamo

Un modelo descriptivo proporciona información sobre las relaciones entre los

datos y sus características. Genera información del tipo:

• Los clientes que compran pañales suelen comprar cerveza.

• El tabaco y el alcohol son los factores determinantes de una enfermedad

específica.

• Los clientes sin televisión y con bicicleta tienen características de

comportamiento muy diferentes del resto.
 • Conocer cuáles son los clientes de una organización (características de los
mismos).

• Encontrar los productos que frecuentemente se compran juntos.

• Síntomas de enfermedades que se presentan juntos.

Hernández considera algunos aspectos antes de empezar el proceso de Minería

de Datos:

• Determinar qué tipo de tarea de Minería de Datos es la más apropiada.

• Elegir el tipo de modelo.

• Elegir el algoritmo de Minería de Datos que resuelva la tarea y obtenga el tipo

de modelo que estamos buscando.

TAREAS DEL DATA MINING

Cada tarea dentro de la Minería de Datos puede considerarse como un problema

diferente a ser resuelto por un algoritmo. Cada tarea tiene sus propios requisitos, y
retorna información posiblemente diferente en cada caso.

Las tareas corresponden al modelo (predictivo o descriptivo) que pertenezcan, y las

más comúnmente utilizadas en los trabajos de Minería de Datos son: en las
predictivas están la clasificación y la regresión, y en las descriptivas, están el
agrupamiento (o segmentación) y las reglas de asociación.

Clasificación: Consiste en examinar las características de una entidad nueva y

asignarle una clase predefinida. Por ejemplo: Clasificar a un nuevo cliente según su
riesgo de crédito (alto, medio, bajo). Básicamente la clasificación establece la
construcción de una lógica que tome un registro sin clasificar y luego lo clasifique en
una de las clases existentes, de manera que al final cada uno de los registros
existentes en la base de datos se encuentre clasificado. La clasificación trata con
problemas de salidas discretas (si o no, alto, medio o bajo riesgo, responderá o no
responderá...)

Regresión: La regresión también pretende asignar un registro a una clase

especificada con anterioridad, pero esta vez la variable es continua. El objetivo es
predecir los valores de una variable continua a partir de la evolución sobre otra
variable continua, esta variable generalmente es el tiempo. Para los casos de
regresión, lo que se hace es establecer una función real que permite tomar un registro
numérico y luego de aplicada retorne un valor real que se puede decir refleja un
comportamiento o parámetro.

Agrupamiento (o segmentación): Es el descubrimiento de grupos de registros que

cumplen características o atributos similares, pero a partir de los mismos datos o
registros y en donde no hay clases predefinidas. Se diferencia de la clasificación en
que no se conocen ni las clases ni su número. Los datos son agrupados basándose
en el principio de maximizar la similitud entre los elementos de un grupo minimizando
la similitud en los distintos grupos. Es decir, se forman grupos tales que los objetos de
un mismo grupo son muy similares entre sí y, al mismo tiempo, son muy diferentes a
los objetos de otro grupo.

Reglas de Asociación: Los algoritmos de Asociación permiten la búsqueda

automática de reglas que relacionan conjuntos de atributos entre sí. Estas reglas se
evalúan usando dos parámetros: precisión y soporte (cobertura). Por ejemplo: que
productos debieran ir juntos en un supermercado, recomendaciones de productos,
etc.

CICLO O ETAPAS DEL PROCESO DE DATA MINING

Consta de cuatro procesos principales, el éxito en la minería de datos requiere de los

cuatro pasos:

1. Identificar el Problema: Es importante que los técnicos entiendan cuáles son

las necesidades reales y delimitar los objetivos que el cliente desea.

2. La Transformación de los Datos en los Resultados Recurribles: Se refiere a

la selección, la limpieza, el enriquecimiento, la reducción y la transformación de
 las bases de datos. Esta etapa consume generalmente alrededor del setenta por
ciento del tiempo total de un proyecto de data mining.

3. Actuando sobre los Resultados: Se comienza realizando unos análisis

estadísticos de los datos, y después se lleva a cabo una visualización gráfica de
los mismos para tener una primera aproximación. Según los objetivos planteados
y la tarea que debe llevarse a cabo, pueden utilizarse algoritmos desarrollados en
diferentes áreas de la Inteligencia Artificial.

4. Medir los Resultados: Verifica si los resultados obtenidos son coherentes y los
coteja con los obtenidos por los análisis estadísticos y de visualización gráfica. El
cliente determina si son novedosos y si le aportan un nuevo conocimiento que le
permita considerar sus decisiones.

TÉCNICAS DE MINERÍA DE DATOS

Las técnicas de la minería de datos provienen de la Inteligencia artificial y de la

estadística, dichas técnicas, no son más que algoritmos, más o menos sofisticados
que se aplican sobre un conjunto de datos para obtener unos resultados.

Las técnicas más representativas son:

• Redes neuronales.- Son un paradigma de aprendizaje y procesamiento

automático inspirado en la forma en que funciona el sistema nervioso de los
animales. Se trata de un sistema de interconexión de neuronas en una red que
colabora para producir un estímulo de salida.

• Regresión lineal.- Es la más utilizada para formar relaciones entre datos.

Rápida y eficaz pero insuficiente en espacios multidimensionales donde puedan
relacionarse más de 2 variables.

Una función de regresión lineal modela la salida de la clasificación como una

combinación lineal de los atributos de entrada. Las regresiones lineales se utilizan
para clasificar datasets con clases numéricas.

• Árboles de decisión.- Un árbol de decisión es un modelo de predicción

utilizado en el ámbito de la inteligencia artificial, dada una base de datos se
construyen estos diagramas de construcciones lógicas, muy similares a los
sistemas de predicción basados en reglas, que sirven para representar y
 categorizar una serie de condiciones que suceden de forma sucesiva, para la
resolución de un problema.

• Modelos estadísticos.- Es una expresión simbólica en forma de igualdad o

ecuación que se emplea en todos los diseños experimentales y en la regresión
para indicar los diferentes factores que modifican la variable de respuesta.

• Agrupamiento o Clustering.- Es un procedimiento de agrupación de una

serie de vectores según criterios habitualmente de distancia; se tratará de
disponer los vectores de entrada de forma que estén más cercanos aquellos que
tengan características comunes.

HERRAMIENTAS DE MINERIA DE DATOS

• R: es un lenguaje y entorno de programación para análisis estadístico y

gráfico.Se trata de un proyecto de software libre.

• KNIME: (o Konstanz Information Miner) es una plataforma de minería de datos

que permite el desarrollo de modelos en un entorno visual. Está construido bajo la
plataforma Eclipse.

• Statistical Package for the Social Sciences (SPSS): es un programa

estadístico informático muy usado en las ciencias sociales y las empresas de
investigación de mercado. En la actualidad, la sigla se usa tanto para designar el
programa estadístico como la empresa que lo produce.

• Statistica: es un paquete estadístico usado en investigación, minería de datos y

en el ámbito empresarial. Lo creó StatSoft.

• RapidMiner: (anteriormente, YALE, Yet Another Learning Environment) es un

programa informático para el análisis y minería de datos. Permite el desarrollo de
procesos de análisis de datos mediante el encadenamiento de operadores a
través de un entorno gráfico. Se usa en investigación y en aplicaciones
empresariales.

• Orange: es un programa informático para realizar minería de datos y análisis

predictivo desarrollado en la facultad de informática de la Universidad de
Ljubljana. Consta de una serie de componentes desarrollados en C++ que
 implementan algoritmos de minería de datos, así como operaciones de pre
procesamiento y representación gráfica de datos.

• Weka, KXEN

EXTENSIONES DEL DATA MINING

Web Mining: consiste en aplicar las técnicas de minería de datos a documentos y

servicios del Web (Kosala y otros, 2000). Todos los que visitan un sitio en Internet
dejan huellas digitales (direcciones de IP, navegador, etc.) que los servidores
automáticamente almacenan en una bitácora de accesos (Log). Las herramientas de
Web mining analizan y procesan estos logs para producir información significativa.
Debido a que los contenidos de Internet consisten en varios tipos de datos, como
texto, imagen, vídeo, metadatos o hiperligas, investigaciones recientes usan el
término multimedia data mining (minería de datos multimedia) como una instancia del
Web mining (Zaiane y otros, 1998) para tratar ese tipo de datos. Los accesos totales
por dominio, horarios de accesos más frecuentes y visitas por día, entre otros datos,
son registrados por herramientas estadísticas que complementan todo el proceso de
análisis del Web mining.

Text Mining: dado que el ochenta por ciento de la información de una compañía está
almacenada en forma de documentos, las técnicas como la categorización de texto, el
procesamiento de lenguaje natural, la extracción y recuperación de la información o el
aprendizaje automático, entre otras, apoyan al text mining (minería de texto). En
ocasiones se confunde el text mining con la recuperación de la información
(Information Retrieval o IR) (Hearst, 1999). Esta última consiste en la recuperación
automática de documentos relevantes mediante indexaciones de textos, clasificación,
categorización, etc. Generalmente se utilizan palabras clave para encontrar una
página relevante. En cambio, el text mining se refiere a examinar una colección de
documentos y descubrir información no contenida en ningún documento individual de
la colección; en otras palabras, trata de obtener información sin haber partido de algo
(Nasukawa y otros, 2001).

APLICACIONES DE LA MINERIA DE DATOS

En la actualidad, existe una gran cantidad de aplicaciones, en áreas tales como:

• Astronomía: clasificación de cuerpos celestes.

• Aspectos climatológicos: predicción de tormentas, etc.

• Medicina: caracterización y predicción de enfermedades, probabilidad de

respuesta satisfactoria a tratamiento médico.

• Industria y manufactura: diagnóstico de fallas.

• Mercadotecnia: identificar clientes susceptibles de responder a ofertas de

productos y servicios por correo, fidelidad de clientes, selección de sitios de
tiendas, afinidad de productos, etc.

• Inversión en casas de bolsa y banca: análisis de clientes, aprobación de

préstamos, determinación de montos de crédito, etc.

• Detección de fraudes y comportamientos inusuales: telefónicos, seguros, en

tarjetas de crédito, de evasión fiscal, electricidad, etc.

• Análisis de canastas de mercado para mejorar la organización de tiendas,

segmentación de mercado (clustering)

• Determinación de niveles de audiencia de programas televisivos

• Normalización automática de bases de datos

¿Por qué usar data mining?

Si bien el data mining se presenta como una tecnología emergente, posee ciertas
ventajas, como ser:

• Resulta un buen punto de encuentro entre los investigadores y las personas de

negocios.

• Ahorra grandes cantidades de dinero a una empresa y abre nuevas

oportunidades de negocios.

• Trabajar con esta tecnología implica cuidar un sin número de detalles debido a
que el producto final involucra "toma de decisiones".

• Contribuye a la toma de decisiones tácticas y estratégicas proporcionando un

sentido automatizado para identificar información clave desde volúmenes de
datos generados por procesos tradicionales y de e-business.
• Permite a los usuarios dar prioridad a decisiones y acciones mostrando factores
que tienen un mayor en un objetivo, qué segmentos de clientes son desechables
y qué unidades de negocio son sobrepasados y por qué.

• Proporciona poderes de decisión a los usuarios del negocio que mejor entienden
el problema y el entorno y es capaz de medir la acciones y los resultados de la
mejor forma.

• Genera modelos descriptivos: en un contexto de objetivos definidos en los

negocios permite a empresas, sin tener en cuenta la industria o el tamaño,
explorar automáticamente, visualizar y comprender los datos e identificar
patrones, relaciones y dependencias que impactan en los resultados finales de la
cuenta de resultados (tales como el aumento de los ingresos, incremento de los
beneficios, contención de costes y gestión de riesgos).

• Genera modelos predictivos: permite que relaciones no descubiertas e

identificadas a través del proceso del data mining sean expresadas como reglas
de negocio o modelos predictivos. Estos outputs pueden comunicarse en
formatos tradicionales (presentaciones, informes, información electrónica
compartida, embebidos en aplicaciones, etc.) Para guiar la estrategia y
planificación de la empresa.
CONCLUSIONES

El desarrollo de la tecnología de Minería de Datos está en un momento crítico. Existe

una serie de elementos que la hacen operable, sin embargo, existen algunos factores
que pueden crear un descrédito a la Minería de Datos, como ser:

• Que los productos a comercializar son, en la actualidad, significativamente

costosos, y los consumidores pueden hallar una relación costo/beneficio
improductiva

• Que se requiera de mucha experiencia para utilizar herramientas de la tecnología,

o que sea muy fácil hallar patrones equívocos, triviales o no interesantes,

• Que no sea posible resolver los aspectos técnicos de hallar patrones en tiempo o
en espacio,

• Además, hoy en día, las corporaciones comercializan con millones de perfiles

personales, sin que aquellos a que se refieren los datos intercambiados, estén en
posibilidad de intervenir, entonces, se llega a pensar que presenta un peligro o
riesgo para la privacidad de los clientes.
BIBLIOGRAFIA

• Fayyad, U., Haussler, D., Sstolorz, P. (1996). “Mining scientific data”.

Communications of the ACM.Vol. 39, pp. 51 - 57.

• Hernández, J. (2001). Minería de Datos: El Proceso de KDD. Universidad

Politécnica de Valencia.

• Molina, L. C. (2002). Data mining: torturando a los datos hasta que confiesen.

http://www.uoc.edu/web/esp/art/uoc/molina1102/molina1102.html