Una introducción al aprendizaje estadístico (página 2)

2. Aprendizaje estadístico

Como hemos visto un sistema con aprendizaje debe, a partir de un conjunto de información acerca de un proceso computacional, construir un modelo que permita predecir nuevos fenómenos asociados a él. Debe por lo tanto, generar un modelo con capacidad de generalizar. Se hace necesario entonces que el aprendizaje efectúe algún tipo de inducción a partir de la información disponible. Para poder inducir se precisa de un conjunto de medidas o ejemplos asociado al proceso que se quiere modelar. Este tipo de aprendizaje, denominado aprendizaje inductivo, se convierte de hecho en un aprendizaje con ejemplos que es en el fondo un problema (especialmente difícil) de aproximación de una función de la que se conoce únicamente un conjunto de puntos. La complejidad de dicho problema es especialmente notoria si tenemos presente que:

• El número de variables asociado al espacio de entrada de la función a aproximar es elevado. Puesto que los procesos a modelar por estos sistemas suelen ser altamente complejos ya que son difíciles de caracterizar, es habitual que dependan de muchas variables, máxime al ser estos extraídos de entornos reales.
• Las muestras disponibles suelen ser escasas, estar dispersas y tener asociadas una cierta incertidumbre.

Extraer muestras de un proceso real puede ser costoso por lo que en general no se dispone de un número ilimitado de muestras. De esta manera, la información disponible para aproximar es limitada. Además, puesto que el número de variables de entrada suele ser elevado, las muestras tienden a estar muy alejadas entre sí en el espacio de entrada. Así la correcta reconstrucción de la función se hace más difícil. Por último, las muestras pueden llevar consigo de forma inherente una cierta incertidumbre (p.e. fluctuación, ruido). En consecuencia, no resulta útil aproximar de forma precisa los puntos disponibles (p.e. interpolar). Esta incertidumbre asociada a las muestras puede deberse a diversos motivos:

• Debido a la imprecisión de los aparatos de medida utilizados a la hora de extraer muestras del proceso, puede existir ruido en las medidas.
• La información de que dispone es incompleta (p.e. en algunas muestras faltan el valor de algunas las variables implicadas).
• El proceso que analizamos es no-determinístico.

Por lo tanto, el aprendiz debe reconstruir una función que suele operar en espacios de alta dimensión a partir de un conjunto limitado de ejemplos dispersos y con ruido. Para poder tratar con la incertidumbre existente en el proceso de reconstrucción se hace necesario que el aprendiz infiera o estime a partir del conjunto de muestras (o conjunto de entrenamiento) una estructura, modelo o función de tipo estadístico que defina al proceso computacional del que proceden los datos. Además la definición del problema del aprendizaje en términos estadísticos nos va a permitir cuantificar claramente aspectos como la capacidad de generalización del sistema con aprendizaje. Este modelo estadístico inferido del proceso a partir de ejemplos puede servir tanto para realizar una tarea de interés (ingeniería) como para conseguir un mejor entendimiento de los datos disponibles y, por extensión, del proceso al que representan.

Existen dos maneras fundamentales de aprender con ejemplos. En la primera, conocida con el nombre de aprendizaje no supervisado o auto-organizado, el objetivo pasa por descubrir las propiedades estadísticas de un vector aleatorio X asociado al proceso computacional a modelar. Para ello únicamente se dispone de un conjunto de muestras procedentes de variables de entrada del proceso, llamado D={xi, i=0…N-1} siendo xi una muestra aleatoria extraída de un vector aleatorio X de dimensión p que toma valores reales que opera sobre un espacio de entrada.

En cambio, el segundo tipo de aprendizaje, conocido con el nombre de aprendizaje supervisado, tiene por finalidad revelar las relaciones existentes entre dos vectores aleatorios X e Y que, al igual que en el caso anterior, forman parte del proceso computacional a modelar. En este aprendizaje se dispone de un conjunto de pares de muestras procedentes de dichas variables de entrada y salida de dicho proceso, denominado D={(xi, yi), i=0…N-1} con xi~X Î Ʀp y yi~YÎ Ʀm

De hecho, estos dos tipos de aprendizaje suelen ser complementarios puesto que es posible aprender de forma más fácil las relaciones entre X e Y si previamente tenemos información acerca de la estructura estadística de X. Por ello es habitual encontrar en la práctica sistemas con aprendizaje híbrido en los que el aprendizaje no supervisado facilita el aprendizaje de la parte supervisada, o si se quiere, el aprendizaje no supervisado guía al supervisado en la búsqueda de la solución. A continuación daremos un breve repaso a estos dos paradigmas de aprendizaje desde un punto de vista estadístico. Veremos también de qué elementos se compone un aprendizaje estadístico y cuales son las limitaciones de tipo práctico existentes en este tipo de aprendizaje.

2.1. Aprendizaje no supervisado.

En el aprendizaje estadístico no supervisado el objetivo final sería estimar de forma precisa la función densidad de probabilidad del vector aleatorio X, denominada fX(x), ya que representa la estructura estadística de X, el cual está asociado al proceso computacional que queremos modelar. De esta manera obtenemos toda la información de acerca de X en términos estadísticos.

Por ejemplo, una información de la que disponemos a partir de esta información es la de los grupos naturales (clusters) existentes, ya que se corresponden con regiones en las que fx(x) tiene máximos locales. Así en el caso de disponer de un conjunto de imágenes sería posible a partir del aprendizaje no supervisado utilizar dicha información para poder almacenar estas imágenes de forma comprimida.

En la práctica la estimación de Px(x) es demasiado complicada debido a los escasos recursos disponibles. Así el aprendizaje no supervisado suele buscar una formulación del problema más directa. Esta se basa en construir una función que aproxime al vector aleatorio X. Buscamos por lo tanto construir una función de x a partir de un conjunto de entrenamiento D={xi,i=0…N-1}, denominada F(x; D) que sea un estimador de X tal que:

X» X’ = F(x;D)

2.2. Aprendizaje supervisado.

Dados dos vectores aleatorios X e Y, es decir un conjunto de variables procedentes del espacio de entrada y salida del proceso a modelar, el objetivo del aprendizaje supervisado es descubrir la relación existente entre estos dos vectores. Por ejemplo, podemos necesitar relacionar la evolución de la bolsa a escala mundial (Y) en función de ciertas variables macroeconómicas (X).

Puesto que interesa caracterizar Y en relación con X y únicamente se dispone de un número finito de muestras D={(xi, yi), i=0…N-1}, deberemos utilizar D para construir una estimación de Y a partir de una función del vector aleatorio X, es decir,

Y » Y’ = F(x;D)

En este tipo de aprendizaje distinguiremos un caso general (regresión) y otro particular (clasificación) cuyas peculiaridades hacen de él un caso de estudio aparte.

2.3. Componentes de un sistema de aprendizaje estadístico.

A partir de un conjunto de entrenamiento D de tamaño N y de una función parametrizable F(x; W) (p.e. una red neuronal) siendo W el conjunto de parámetros asociados a la función (p.e. los pesos de la red neuronal), el problema del aprendizaje estadístico pasa por calcular W de manera que se consiga un objetivo estadístico, p.e. minimizar una función de costo estadística. Para ello se utilizará algún método de optimización. El sistema de ecuaciones obtenido al aplicar el método de optimización sobre la función de costo estadístico es lo que se conoce como algoritmo de entrenamiento. Dicho algoritmo es en realidad un sistema dinámico, es decir un conjunto de ecuaciones que evolucionan en el tiempo. Este sistema dinámico deberá converger hacia el mínimo de la función de costo. No obstante, será habitual definir un criterio de parada del algoritmo que permita parar la ejecución del mismo antes de que converja.

EJEMPLO

Ahora se va a considerar un ejemplo muy simple. Los caramelos sorpresa son de dos sabores: CEREZA y LIMA. El fabricante de los caramelos tiene un sentido del humor muy peculiar, y envuelve los caramelos en un envoltorio opaco en el que no se indica el sabor. Los caramelos se introducen en grandes bolsas que son de cinco tipos, otra vez indistinguibles desde afuera:

h1: 100% cereza

h2: 75% cereza + 25% lima

h3: 50% cereza + 50% lima

h4: 25% cereza + 75% lima

h5: 100% lima

Dada una nueva bolsa, la variable aleatoria H (para las hipótesis) denota el tipo de bolsa, así que puede tomar valores desde h1 hasta h5. Por supuesto, H no es directamente observable. Cuando se abren y se inspeccionan los caramelos, se revelan los datos D1, D2,…, Dn, donde cada Di es una variable aleatoria con valores posibles de CEREZA y LIMA. La tarea básica a la que se enfrenta el agente es predecir el sabor del siguiente caramelo. A pesar de que aparentemente parece trivial, este escenario sirve para introducir muchos de los aspectos principales. Realmente, el agente necesita inferir una teoría de su mundo, aunque sea muy simple.

El aprendizaje bayesiano simplemente calcula la probabilidad de cada hipótesis dados los datos, y realiza predicciones sobre estas bases. Es decir, se realizan las predicciones utilizando todas las hipótesis, ponderadas por sus probabilidades, y no utilizando únicamente la "mejor" hipótesis. De esta forma, el aprendizaje se reduce a inferencia probabilística. Si D representa todos los datos, y d el valor observado; la probabilidad de cada hipótesis se obtiene aplicando la regla de Bayes:

(2.1)

Ahora suponga que queremos hacer una predicción sobre una cantidad desconocida X. tenemos

(2.2)

Donde se ha asumido que cada hipótesis determina una distribución de probabilidades de X. esta ecuación muestra que las predicciones son el resultado de ponderar las predicciones de las hipótesis individuales. Las hipótesis son en si mismas intermediarios entre los datos crudos y las predicciones. Las cantidades clave en el enfoque bayesiano son las hipótesis a priori. P(hi) y la verosimilitud de los datos dada cada una de las hipótesis, P(d/hi).

En este ejemplo asumiremos, como información proporcionada por el fabricante, que la distribución a priori sobre h1,…,h5 viene dada por [0.1 , 0.2 , 0.4 , 0.2 , 0.1]. La verosimilitud de los datos se calcula asumiendo que las observaciones son independientes e idénticamente distribuidas (iid) así que

(2.3)

La figura (1) muestra como cambian las probabilidades a posteriori de las cinco hipótesis a medida que se van observando los 10 caramelos de lima. Nótese que las probabilidades comienzan con sus valores a priori, por lo que h3 es inicialmente más probable que las demás, incluso después de que se desenvuelva el primer caramelo. Después de desenvolver dos caramelos de lima, h4 es la más probable; después de tres o más, h5 (la terrorífica bolsa con todos los caramelos de lima) es la más probable. Después de 10, estamos bastante seguros de nuestro destino.

El ejemplo muestra que, a la larga, la verdadera hipótesis domina la predicción bayesiana. Esto es característico del aprendizaje bayesiano. Para cualquier a priori fija que no excluya la hipótesis verdadera, la probabilidad a posteriori de cualquier hipótesis falsa finalmente desaparecerá, simplemente porque la probabilidad de generar datos no característicos de forma indefinida es cada vez más pequeña. Más importante, la predicción bayesiana es óptima, tanto si el conjunto de datos es pequeño, como si es grande. Dada la hipótesis a priori, cualquier otra predicción será correcta con menos frecuencia.

Por supuesto, la optimalidad del aprendizaje bayesiano tiene un precio. En los problemas reales de aprendizaje, el espacio de hipótesis es normalmente muy grande. En algunos casos, el cálculo del sumatorio de la ecuación (2.2) (o la integración en caso continuo) es tratable, pero en la mayoría de los casos debemos recurrir a métodos aproximados o simplificados.

Figura No. 1 Evolución de las probabilidades condicionales de h1,h2,h3,h4 y h5

P(h5│d)

Probabilidades para el momento en el que se destapa el primer caramelo

= 0

= 0.1

= 0.4

= 0.3

= 0.2

Probabilidades para el momento en el que se destapa el segundo caramelo

= 0

= 0.038

= 0.307

= 0.346

= 0.307

Probabilidades para el momento en el que se destapa el tercer caramelo

= 0

= 0.0131

= 0.210

= 0.355

= 0.421

Como se observa en las ecuaciones anteriores; a medida que se van destapando caramelos las ecuaciones se van actualizando con las nuevas probabilidades, cosa que hace más exactas las probabilidades a posteriori.

A continuación se muestra la tabla para 10 iteraciones, es decir para los diez primeros caramelos destapados.

BIBLIOGRAFÍA:

Russell Stuart J. Inteligencia artificial un enfoque moderno.2a edición 2004

Aprendizaje estadístico:

Redes Neuronales y Maquinas de Soporte Vectorial: Un enfoque global:

http://www.uv.mx/anmarin/slides/180205Gonzalez.pdf

Visitar la FUKL— www.fukl.edu

AUTORES:

John Edwin Gallego Sandoval

Matemático Egresado de la Fundación Universitaria Konrad Lorenz

Dirigido por:

Ing. Pervys Rengifo Rengifo

Docente e Investigador de la Fundación Universitaria Konrad Lorenz en el programa de Ingeniería de Sistemas.

Bogotá, Colombia, julio de 2007.

Fundación Universitaria Konrad Lorenz-Grupo de Investigación PROMENTE-Aplicación de Máquinas de Soporte Vectorial a Problemas de Clasificación y Regresión