- Resumen
- Almacenes de Datos
- Limpieza y calidad de datos
- Segmentación y estandarización de direcciones postales
- Hidden Markov Models (HMM)
- Suavizamiento (Smoothing)
- Algoritmo de Viterbi
- Mejoras al HMM para la segmentación de direcciones
- Taxonomía de símbolos
- Distancia de Levenshtein
- Conclusiones
- Bibliografía
RESUMEN
En este trabajo se trata sobre la importancia de que los Almacenes de Datos contengan información con calidad, libre de suciedades y lo más detallada posible. Se pone atención a la segmentación como paso fundamental y de apoyo a otras tareas de limpieza de datos y, específicamente, en la segmentación de direcciones postales. Se explican de manera general técnicas y herramientas para llevar a cabo las tareas de limpieza de datos, especialmente de direcciones postales. Finalmente, se describen técnicas novedosas utilizadas para realizar de forma bastante satisfactoria la segmentación y normalización de direcciones postales.
Palabras clave: Limpieza de datos, Modelos Ocultos de Markov, HMM.
"Una organización puede ser rica en datos y pobre en información, si no sabe cómo identificar, resumir y categorizar los datos" (Madnick, 1993)
La tecnología de los almacenes de datos o datawarehouses (DW), se encuadra dentro de la línea de evolución de las bases de datos hacia una mayor funcionalidad e inteligencia.
Algunos los relacionan estrechamente con los sistemas de Inteligencia en el Negocio (Business Intelligence (BI)) y otros con los Sistemas para el Soporte a la Toma de Decisiones (Decision Support Systems (DSS)), pero en cualquier caso son considerados una solución integral y oportuna para apoyar la toma de decisiones y desarrollar exitosamente el negocio.
Existen muchas definiciones para el DW. Quizá la más conocida fue propuesta por Inmon, considerado el padre de los Almacenes de Datos, en 1992: "Un DW es una colección de datos orientados a temas, integrados, no-volátiles y variante en el tiempo, organizados para soportar necesidades empresariales".
En esta definición se plantea que deben conformarse orientados hacia materias o temas (por ejemplo, clientes o productos), con datos y metadatos perfectamente integrados y coherentes con respecto al nombre de las variables, los formatos de los campos, la medida de los atributos y la codificación de estructuras, con información histórica para comparar datos en distintos períodos de tiempo e identificar tendencias. Toda esta información, una vez incorporada al DW debe mantenerse, en general, invariable, cargándose pocas veces en el tiempo y no permitiendo actualizaciones frecuentes.
Detrás de la arquitectura de un DW existe un conjunto básico de procesos de suma importancia para el mismo, entre los cuales se pueden mencionar algunos elementales como:
- El proceso de extracción, que consiste en estudiar y entender los datos fuente, tomando aquellos que son de utilidad para el almacén.
- El proceso de transformar a una forma presentable y de valor para los usuarios
- La carga de los datos en el DW
- Controles de calidad para asegurar que la misma sea correcta.
De estos procesos, es importante para las empresas ponerle atención a la transformación de datos, donde se incluyen operaciones de corrección de errores, resolución de problemas de dominio, borrado de campos que no son de interés, generación de claves, agregación de información, etc.
La transformación de datos es necesaria porque no siempre los datos están en la forma más adecuada para poder aplicar los métodos que hacen falta para la tarea que se ha de llevar a cabo y el modelo que se quiere obtener.
Esta fase, aunque parezca sencilla, conlleva aproximadamente el 70% del esfuerzo en los proyectos de DW.
"Every meaningful data warehouse application needs good data"
Un asunto en DW que es universalmente reconocido, pero la mayoría de las veces ignorado, es la limpieza de datos de un almacén. Se han identificado tres temas fundamentales como los mayores problemas en el manejo de datos corporativos, que se personifican con frases muy comunes y de los cuales solo se atacan con fuerza los dos primeros aquí mencionados.
- El acceso a datos: "Tenemos uno de los más grandes volúmenes de datos pero no podemos acceder a ellos".
- Las herramientas de consulta: "Yo quiero un sistema que me muestre qué es importante y entonces preguntar por qué".
- La integridad de los datos: "Nosotros sabemos que algunos de nuestros datos no son muy buenos. Por ejemplo, no tenemos una única lista mantenida de clientes"
El problema de la limpieza de datos es poco tratado o evadido por muchas empresas, lo que conlleva no considerar adecuadamente el impacto negativo para el negocio de tener almacenada información deficiente.
Un estudio realizado en el año 2005 plantea que :
- "El 25% de nuestros datos son defectuosos, y un 48% de las empresas no invierten esfuerzos y dinero suficiente en la depuración y el mantenimiento de sus bases de datos."
- "El éxito o fracaso en un proyecto Costumers Relations Management (CRM), DW, e-Business o Enterprise Resource Planning (ERP), depende en gran parte de la calidad de datos e información interna".
- "El 75% de 600 empresas confesaron tener problemas internos serios por problemas de calidad de datos".
Y prosigue la misma referencia : "Así, surge la pregunta: Si tan solicitadas son las bases de datos, si todos estamos de acuerdo en que la información de nuestros clientes y nuestros mercados es nuestro activo más importante, si la calidad de la información es el primer paso en cualquier proyecto de implantación de tecnología de información, entonces, ¿cómo puede convertirse en un problema?"
Según la experiencia de ese autor, esta situación es básicamente debida a lo siguiente:
- Hay mucha información con distintos orígenes.
- La información es dinámica y sometida a constantes cambios.
- Se tiende a infravalorar las carencias y sus consecuencias.
- El no-reconocimiento de la importancia de la información y los datos.
- Es un tema político: información es poder. Abordar un proyecto de calidad de datos, muchas veces implica cambios en la organización de la empresa.
| Página siguiente |