Entrenamiento de redes neuronales basado en algoritmos evolutivos

Resumen En este trabajo se estudia un método alternativo para el entrenamiento de redes neuronales con conexión hacia delante. Una vez determinada la topología de la red neuronal se utiliza un algoritmo genético para ajustar los pesos de la red neuronal. Se evalúan diferentes variantes de los operadores genéticos para el entrenamiento de las redes neuronales. Los resultados obtenidos por el algoritmo genético son contrastados con los resultados obtenidos por el algoritmo de retropropagación de errores. Palabras claves: Computación evolutiva, redes neuronales, algoritmos genéticos, entrenamiento, retropropagación. Abstract In this work an alternative method to train feedforward neural networks is studied. Once the topology of the neural network is determined, a genetic algorithm is used to adjust the neural network’s weights. Different variations of the genetic operators to train neural networks are evaluated. The results reached by the genetic algorithm are contrasted with the results reached by the Backpropagation Algorithm. Keywords: Evolutionary computation, neural networks, genetic algorithms, train, Backpropagation.

L. Federico Bertona Introducción 1 Entrenamiento de redes neuronales basado en algoritmos evolutivos

Capítulo 1: Introducción

La Inteligencia Artificial es la disciplina que estudia la forma de diseñar procesos que exhiban características que comúnmente se asocian con el comportamiento humano inteligente [García Martínez, 1997]. La Inteligencia Artificial sintetiza y automatiza tareas intelectuales y es, por lo tanto, potencialmente relevante para cualquier ámbito de la actividad intelectual humana [Russell y Norving, 2004]. Actualmente esta ciencia está comprendida por varios subcampos que van desde áreas de propósito general, como el aprendizaje y la percepción, a otras más específicas como la demostración de teoremas matemáticos, el diagnostico de enfermedades, etc. Uno de los modelos que ha surgido para emular el proceso de aprendizaje es la red neuronal artificial. Las redes neuronales son modelos que intentan reproducir el comportamiento del cerebro humano [Hilera y Martínez, 1995]. Una red neuronal consiste en un conjunto de elementos de procesamiento, llamados neuronas, los cuales se conectan entre sí [Koehn, 1994]. La organización y disposición de las neuronas dentro de una red neuronal se denomina topología, y viene dada por el número de capas, la cantidad de neuronas por capa, el grado de conectividad, y el tipo de conexión entre neuronas. Una vez determinada la topología de la red neuronal es necesario entrenarla. En la etapa de entrenamiento la red es capaz de aprender relaciones complejas entre entradas y salidas mediante el ajuste de los pesos de las conexiones entre neuronas. Widrow y Lehr [Lehr y Widrow, 1990] identifican una cantidad significativa de algoritmos de entrenamiento. La mayoría de éstos utilizan información del gradiente de una función de error para ajustar los pesos de las conexiones, y se los llaman algoritmos de gradiente descendente [Porto, 1998] Las redes neuronales artificiales han sido aplicadas con éxito en gran cantidad de problemas como por ejemplo reconocimiento de patrones, clasificación, visión, control, predicción, etc. [Zilouchian, 2001]. Sin embargo, los algoritmos de gradiente descendente poseen dos problemas. Primero, suelen quedar atrapados en mínimos locales, generándose de esta manera estimaciones subóptimas de los pesos. Segundo, suelen ser muy lentos por utilizar pasos infinitesimales para alcanzar la solución. Los algoritmos evolutivos, dentro de los cuales los algoritmos genéticos son los más conocidos, son una familia de modelos computacionales inspirados en la evolución y la supervivencia del más apto [Bäch, et. al., 1991; Ömer, 1995; Whitley, 2001]. Se utilizan fundamentalmente en la resolución de problemas de búsqueda y de optimización [Holland, 1975]. El verdadero poder de estos algoritmos radica en la búsqueda simultánea de la solución en un conjunto de posibles soluciones (individuos). Buscan una solución del problema reproduciendo genéticamente una población de individuos a lo largo de una serie de generaciones [Koza, 1997]. En el contexto de los algoritmos evolutivos, el aprendizaje es formulado como un problema de optimización. Dada una topología fija, el entrenamiento de una red neuronal puede ser visto como un proceso de optimización cuyo

2 Introducción L. Federico Bertona Entrenamiento de redes neuronales basado en algoritmos evolutivos

objetivo es encontrar un conjunto de pesos que minimice el error que produce la red sobre el conjunto de datos de entrenamiento. Esto convierte a los algoritmos evolutivos en una alternativa a los métodos de entrenamiento tradicionales, ya que aquellos son capaces de no quedar atrapados en mínimos locales y, al avanzar hacia la solución mediante operadores genéticos, pueden aumentar la velocidad de convergencia a la solución. El objetivo de este proyecto es combinar dos técnicas utilizadas en la construcción de sistemas inteligentes, los algoritmos evolutivos y las redes neuronales, para crear un sistema donde, tras definir una topología de red ne