Hoy día, se entiende por minería de datos aquella disciplina que estudia la extracción automática de información sintetizada, relevante y con capacidad predictiva a partir de grandes bases de datos. Bajo este nombre se han agrupado recientemente diversas técnicas clásicas y modernas enfocadas a la visualización, análisis, y modelización de procesos a partir de grandes cantidades de datos (data warehouse de entidades financieras, comercio electrónico, empresas de marketing, industria, etc.). En este curso se pretende introducir al alumno en los conocimientos teóricos y prácticos involucrados en la minería de datos, utilizando diversos supuestos prácticos reales para ilustrar los distintos conceptos expuestos. Se trata de mostrar una panorámica actual de las técnicas involucradas y de introducir las herramientas informáticas necesarias para su aplicación práctica. Objetivos y Contenidos
Cada vez se genera más información y se hace más fácil el acceso masivo a la misma (existen gran cantidad de bases de datos on-line) Transacciones bancarias, Internet y la Web, observaciones científicas (biología, altas energías, etc. ) "tranNASA’s EOS (Earth Observation System)". La tecnología es barata y los sistemas de gestión de bases de datos son capaces de trabjar con cantidades masivas de datos (Terabytes). El Mundo de la Información y sus Problemas. (Gp:) Los datos contienen información útil "CONOCIMIENTO" !!!
(Gp:) WalMart captura transacciones de 2900 tiendas en 6 países. Esta información e acumula en una base de datos masiva de 7.5 terabyte. WalMart permite que más de 3500 proveedores accedan a los datos relativos a sus productos para realizar distintos análisis. Así pueden identificar clientes, patrones de compras, etc. En 1995, WalMart computers procesó más de un millón de consultas complejas.
(Gp:) Rapidez y confiabilidad. Capacidad de modelización y escalabilidad. Explicación e Interpretación de los resultados (visualización, …). (Gp:) Necesitamos extraer información (conocimiento) de estos datos:
(Gp:) ¿Qué es aprendizaje? (visión genérica, Mitchell 1997) es mejorar el comportamiento a partir de la experiencia. Aprendizaje = Inteligencia. (visión más estática) es la identificación de patrones , de regularidades, existentes en la evidencia. (visión externa) es la predicción de observaciones futuras con plausibilidad. (visión teórico- informacional, Solomonoff 1966) es eliminación de redundancia = compresión de información .
Datos, Información y Conocimiento. (Gp:) ¿Qué diferencias hay entre información, datos y conocimiento? Informalmente se utilizan indistintamente, con pequeños matices. información y datos se pueden referir a cualquier cosa, aunque “Datos” suele referir a la “evidencia”. Conocimiento es subjetivo: depende de las intenciones (objetivo del aprendizaje). debe ser inteligible para el que aprende o el que encarga el aprendizaje (usuario).
Acceso a los Datos. Evolución histórica. Bases de datos relacionales. DBMS (Data Base Management Systems) y repositorios de información: Bases de datos orientadas a objetos y objeto-relacionales. Bases de datos espaciales (geográficas). Bases de datos de texto y multimedia. WWW. La necesidad de almacenar información ha motivado históricamente el desarrollo de sistemas más eficientes, con mayor capacidad y más baratos de almacenamiento.
OLAP (On-Line Analytical Processing) Sobre estas mismas bases de datos de trabajo ya se puede extraer conocimiento (visión tradicional). Se mantiene el trabajo transaccional diario de los sistemas de información originales (conocido como OLTP, On- Line Transactional Processing ). Se hace análisis de los datos en tiempo real sobre la misma base de datos( conocido como OLAP, On- Line Analytical Processing ), Según la organización de la información copiada se distingue: ROLAP (Relational OLAP): el almacén de datos es relacional. MOLAP (Multidim OLAP): el almacén de datos es una matriz multidimensional. (Gp:) Cada atributo relevante se establece en una dimensión, que se puede agregar o desagregar.
(Gp:) Para poder operar eficientemente con esos datos y debido a que los costes de almacenamiento masivo y conectividad se han reducido drásticamente en los últimos años, parece razonable recoger (copiar) los datos en un sistema unificado.
PROBLEMAS: Disturba el trabajo transaccional diario de los sistemas de información originales (“ killer queries ”). Se debe hacer por la noche o en fines de semana. La base de datos está diseñada para el trabajo transaccional, no para el análisis de los datos. Generalmente no puede ser en tiempo real (era AP pero no OLAP). Data Warehouses. Génesis.
DATA-WAREHOUSES (Almacenes de Datos): Se separan de los datos a analizar con respecto a sus fuentes transaccionales (se copia/ almacena toda la información histórica). Existe toda una tecnología creciente de cómo organizarlos y sobretodo de cómo tenerlos actualizados (cargas periódicas) respecto a los datos originales Data Warehouses Facilita el análisis de los datos en tiempo real (OLAP), No disturba el OLTP de las bases de datos originales. VENTAJAS: A partir de ahora diferenciaremos entre bases de datos para OLTP (tradicional) y almacenes de datos (KDD sobre data warehouses).
Limpieza y criba selección de datos: Se deben elmininar el mayor número posible de datos erróneos o inconsistentes (limpieza) e irrelevantes (criba). Construcción de un Data Warehouse (Gp:) Data Cleaning (Gp:) Data Warehouse (Gp:) Databases
Se aplican métodos estadísticos: -Histogramas (detección de datos anómalos).- Redefinición de atributos (agrupación o separación). Muy relacionado con la disciplina de “Calidad de Datos”. Acciones ante datos anómalos (outliers): – Ignorar: algunos algoritmos son robustos a datos anómalos.- Filtrar (eliminar o reemplazar) la columna: solución extrema. – Discretizar: transformar un valor continuo en uno discreto (p. ej. muy alto, alto, etc.) hace que los outliers caigan en ‘muy alto’ o ‘muy bajo’ sin mayores problemas. Acciones ante datos faltantes (missing values): – Ignorar: algunos algoritmos son robustos a datos faltantes.- Filtrar (eliminar o reemplazar) la columna- Reemplazar el valor: por medias. A veces se puede predecir a partir de otros datos, utilizando cualquier técnica de ML.
¿Qué es Data Mining (minería de datos)? Data Cleaning Data Integration Databases Data Warehouse Task-relevant Data Selection Data Mining Pattern Evaluation CONOCIMIENTO the non trivial extraction of implicit, previously unknown, and potentially useful information from data W. Frawley and G. Piatetsky-Shapiro and C. Matheus, Knowledge Discovery in Databases: An Overview. AI Magazine, Fall 1992, 213-228. Datos imprecisos e incompletos
almacenados en múltiples fuentes
Heterogéneos y mezclados.
Ventas del último mes de un producto. Ventas agrupadas por la edad del comprador. Diferencias entre DBMS y Data Mining por qué es tan rentable la división Iberoamericana de Telefónica? ¿qué clientes son potenciales compradores de un producto? ¿cuál será el beneficio de la compañía el mes próximo? En los sistemas estándar de gestión de bases de datos las consultas se resuelven accediendo a distintos conjuntos de datos almacenados: Los sistemas de data mining infieren conocimiento de la base de datos en forma de estructuras y patrones. Este conocimiento supone un nuevo conjunto de información en base a la cual se responden las consultas:
Acceso a Datos vs. Acceso a Conocimiento Paradigma de Acceso a Datos: El usuario solicita datos y procesa los datos recibidos en busca de "conocmiento". Paradigma de Acceso a Conocimiento: El sistema genera automáticamente patrones de conocimiento refinados y el usuario accede directamente a los mismos. SQL + algoritmos de data mining. PQL = Pattern Query Languaje PQL was designed to access patterns just as SQL was designed to access data. PQL resembles SQL, works atop existing SQL engines. Information Discovery uses a Pattern WarehouseTM of refined information and PQL works on patterns just as SQL works on a datawarehouse. While SQL relies on the relational algebra, PQL uses the "pattern algebra". PQL allows pattern-based queries just as SQL allows data-based queries. And, PQL uses SQL as part of its operation, i.e. PQL queries are decomposed into a set of related SQL queries, the Pattern Warehouse is accessed with these queries and the results are re-combined for display to the user. The user accesses these patterns using a web browser.
Data Mining and Business Intelligence Increasing potential to support business decisions End User Business Analyst Data Analyst DBA Making Decisions Data Presentation Visualization Techniques Data Mining Information Discovery Data Exploration OLAP, MDA Statistical Analysis, Querying and Reporting Data Warehouses / Data Marts Data Sources Paper, Files, Information Providers, Database Systems, OLTP Jiawei HanIntelligent Database System Research Labhttp://www.cs.sfu.ca/~han
variety of techniques to identify nuggets of information or decision-making knowledge in bodies of data, and extracting these in such a way that they can be put to use in the areas such as decision support, prediction, forecasting and estimation. The data is often voluminous, but as it stands of low value as no direct use can be made of it; it is the hidden information in the data that is useful. Multidisciplinar. Areas y Técnicas Involucradas Componentes Principales: compresión de la información. Componentes Independientes: extracción de características. Modelado de Dependencias: hallar asociaciones entre variables. redes Bayesianas Agrupación: hallar grupos de elementos. Clasificación: asignar elementos a clases. Predicción: estimación de valores. Visualización: representación gráfica. Redes Neuronales Areas Involucradas
Estadística y Ciencias de la Computación Estadística 1970: EDA, estimación Bayesiana, modelos flexibles, EM, etc Conciencia sobre el papel de la computación en el análisis de datos. Reconocimiento de Patrones e Inteligencia Artificial Atención dirigiga a problemas de percepción (e.g., habla, visión) 1960: división en técnicas estadísticas y no estadísticas (gramáticas, etc.) Convergencia de estadística aplicada e ingeniería (análisis imágenes, Geman) Aprendizaje Automático y Redes Neuronales 1980: fracaso de las téncias de aprendizaje no estadísticas Aparición de modelos flexibles (árboles, redes) Convergencia de estadística aplicada y aprendizaje e.g., trabajos de Friedman, Spiegelhalter, Jordan, Hinton IA / Apredizaje Automático Extracción automática de conocimiento 1989 KDD workshop ACM SIGKDD 2000 Bases de Datos Bases de datos masivas Reglas de asociación Algoritmos escalables MINERIA DE DATOS
Statistics Computer Science
Statistical Pattern Recognition
Neural Networks
Machine Learning
Data Mining
Databases
Statistical Inference
Nonlinear Regression
Pattern Finding Computer Vision, Signal Recognition
Flexible Classification Models
Scalable Algorithms Graphical Models Hidden Variable Models Focus Areas Padhraic Smyth. Information and Computer ScienceUniversity of California, Irvine
Técnicas Clásicas Nuevos Paradigmas Inspiración Biológica Representación explícita del conocimiento Imitación del proceso humano de razonamiento Procesamiento en serie de la información sentencias lógicas, reglas, grafos, redes semánticas, etc. Inferencia lógica, búsqueda en grafos Inteligencia Artificial
| Página siguiente |