Redes nueronales (página 3)

para la salida sigmoidal.

Si la neurona j no es de salida, entonces la derivada parcial del error no puede ser evaluada directamente, por tanto se obtiene el desarrollo a partir de valores que son conocidos y otros que pueden ser evaluados.

La expresión obtenida en este caso es: donde observamos que el error en las capas ocultas depende de todos los términos de error de la capa de salida. De aquí surge el término propagación hacia atrás. Paso 5 Actualización de los pesos: para ello utilizamos un algoritmo recursivo, comenzando por las neuronas de salida y trabajando hacia atrás hasta llegar a la capa de entrada, ajustando los pesos de la siguiente forma: Para los pesos de las neuronas de la capa de salida:

Para los pesos de las neuronas de la capa oculta:

En ambos casos, para acelerar el proceso de aprendizaje se puede añadir un término momento. Paso 6 El proceso se repite hasta que el término de error

resulta aceptablemente pequeño para cada uno de los patrones aprendidos.

Consideraciones sobre el algoritmo de aprendizaje

El algoritmo encuentra un valor mínimo de error (local o global) mediante una aplicación de pasos (gradiente) descendentes. Cada punto de la superficie de la función corresponde a un conjunto de valores de los pesos de la red. Con el gradiente descendente, siempre que se realiza un cambio en todos los pesos de la red, se asegura el descenso por la superficie del error hasta encontrar el valle más cercano, lo que puede hacer que el proceso de aprendizaje se detenga en un mínimo local de error.

Uno de los problemas del algoritmo es que en busca de minimizar la función de error, puede caer en un mínimo local o en algún punto estacionario, con lo cual no se llega a encontrar el mínimo global de la función de error. Sin embargo, no tiene porqué alcanzarse el mínimo global en todas las aplicaciones, sino que puede ser suficiente con un error mínimo preestablecido.

Control de Convergencia En las técnicas de gradiente decreciente es conveniente avanzar por la superficie del error con incrementos de pesos pequeños. Esto se debe a que tenemos una información local de la superficie y no se sabe lo lejos o cerca que se está del punto mínimo. Con incrementos grandes se corre el riesgo de pasar por encima del punto mínimo sin conseguir estacionarse en él. Con incrementos pequeños, aunque se tarda más en llegar, se evita que ocurra esto.

El incremento del paso adecuado influye en la velocidad de convergencia del algoritmo. La velocidad se controla con la tasa de aprendizaje

Normalmente debe ser un número pequeño (del orden de 0,05 a 0,25), para asegurar que la red llegue a asentarse en una solución. Lo habitual es aumentar el valor de a medida que disminuye el error de la red durante la fase de aprendizaje. Así aceleramos la convergencia aunque sin llegar nunca a valores de demasiado grandes, que hicieran que la red oscilase alejándose del mínimo.

En la práctica, si una red deja de aprender antes de llegar a una solución aceptable, se realiza un cambio en el número de neuronas ocultas o en los parámetros de aprendizaje, o simplemente, se vuelve a empezar con un conjunto distinto de pesos originales y se suele resolver el problema.

Dimensionamiento de la red. Número de neuronas ocultas No se pueden dar reglas concretas para determinar el número de neuronas o número de capas de una red para resolver un problema concreto.

Respecto al número de capas de la red, en general tres capas son suficientes (entrada -oculta-salida). Sin embargo, hay veces que un problema es más fácil de resolver con más de una capa oculta. El tamaño de las capas, tanto de entrada como de salida, suelen venir determinado por la naturaleza de la aplicación. En cambio, decidir cuántas neuronas debe tener una capa oculta no suele ser tan evidente.

El número de neuronas ocultas interviene en la eficiencia de aprendizaje y de generalización de la red. No hay ninguna regla que indique el número óptimo, en cada problema se debe ensayar.

Aplicaciones de la red Backpropagation Actualmente, este tipo de redes se están aplicando en distintas clases de problema debido al la naturaleza general del proceso de aprendizaje. Algunos de los campos generales de aplicación son:

Codificación de Información.

Traducción de texto a lenguaje hablado.

Reconocimiento de lenguaje hablado.

Reconocimiento óptico de caracteres (OCR).

Software de Redes Neuronales Para poder ver como trabajan las Redes Neuronales, y obtener una herramienta de uso público se realizó una búsqueda en Internet.

A continuación se listarán alguno de ellos:

• Rochester Connectionist Simulator (implementa el algoritmo backpropagation)

• NeurDs

• PlaNet5.7

• GENESIS (implementa el algoritmo backpropagation)

• Cascade Correlation Simulator

• QuickProp (variación del algoritmo backpropagation)

• Aspirin/MIGRAINES

• NeuronalShell

• Xerion

• Neocognitron Simulator

• Multi-Module Neuronal Computing Environment (MUME)

• LVQ_PAK, SOM_PAK.

• SESAME

• Nevada Backpropagation

• Fuzzy ARTmap

• PYGMALION (implementa el algoritmo backpropagation)

• Matriz Backpropagation (implementa el algoritmo backpropagation)

• WinNN

• BIOSIM

• The Brain

• FuNeGen 1.0

• NeuDL- Neuronal Network Description Language

• NeoC Explorer (implementación de Fukushima´s Neocognitron)

• SNNSv4.2.Win32-bin

• SprinN 2.5

• xdemo32

• Teruel

• Tiberius

Los últimos cinco programas citados en la lista fueron probados y luego de una selección, se optó por la utilización de Tiberius Versión 1.3.83 (demo).

Tiberius es desarrollado por Phil Brierley y Anderw Lewis y modela una red backpropagation, con límite de 5 neuronas de entrada, 250 patrones y 4 neuronas ocultas. Caso de Estudio 1 Análisis del negocio Objetivos del negocio Predecir si una empresa quebrará en base a los siguientes ratios financieros:

• Flujo de Caja / Deuda Total

• Ingreso Neto / Activo Total

• Activo Corriente / Pasivo Corriente

• Activo Corriente / Ventas Netas

Inventario de recursos 1 estudiante avanzado de Ingeniería en Sistemas, capacitándose en el área de Data Mining.

Herramienta Tiberius Versión 1.3.83 (demo): con límite de 5 neuronas de entrada, 250 patrones y 4 neuronas ocultas. Ratios financieros de 46 empresas, y situación de las mismas (quiebre o no quiebre de la empresa).

Restricciones sobre el caso de estudio Es un proyecto académico, por lo cual, el personal a realizar el mismo, no es experto en el área sino que se está capacitando en la misma.

En cuanto a las herramientas a utilizar son de evaluación, por lo que no brindan todas las funcionalidades y tiene capacidad de procesamiento restringida.

Beneficios Poder predecir el quiebre de empresas sin tener grandes conocimientos en el área de finanzas, conociendo los siguientes ratios financieros:

• Flujo de Caja / Deuda Total

• Ingreso Neto / Activo Total

• Activo Corriente / Pasivo Corriente

• Activo Corriente / Ventas Netas

Entendimiento de los datos Colección inicial de datos Los datos son brindados por una persona con conocimientos en finanzas. Los mismos son datos reales de 46 empresas.

Descripción de datos.

Los datos fueron suministrados en un archivo ASCII que contiene el siguiente formato:

OBS X1 X2 X3 X4 GRUPO 1 -0,4485 -0,4106 1,0865 0,4526 1 22 0,5135 0,1001 2,4871 0,5368 2 Siendo:

OBS: Empresa X1 : Flujo de Caja/Deuda Total X2 : Ingreso Neto /Activo Total X3 : Activo Corriente / Pasivo Corriente X4 : Activo Corriente / Ventas Netas Grupo : Indica si la empresa quebró o no. (1 = quebró. 2= no quebró).

Preparación de los datos Formato de datos Para que la herramienta seleccionada pueda trabajar con los datos, los mismos debieron ser levantados a una tabla, en una base de datos Access.

Se renombraron las columnas por nombres más descriptivos, y se realizó una modificación en los valores de la columna de la salida, para clarificar más el modelo, siendo 0 cuando la empresa quiebra o 1 si la empresa no quiebra.

Ejemplo:

Selección de datos Para el entrenamiento de la red, se han seleccionado 42 patrones (empresas), los cuatro restantes se reservan para testear el modelo. (Ver Anexo 1).

Modelado Selección de técnica de modelado La herramienta de trabajo para la extracción de patrones es Tiberius Versión 1.3.83, la misma modela una red neuronal del tipo Backpropagation. Construcción del modelo El modelo consiste en un conjunto de datos (tabla con los datos de entrenamiento y Testing), una herramienta de análisis y un conjunto de parámetros que serán citados más adelante.

Para crear el modelo en Tiberius, se debe especificar:

• 1) La base de datos que contienen los patrones de entrada a ser "aprendidos" por la red.

• 2) Se debe indicar cuáles son las entradas a la red y cuál es la salida.

• 3) El caso que se quieran excluir patrones, se debe indicar, y en que condiciones se quieren excluir los mismos.

Tiberius presenta las columnas de la tabla que contiene los patrones, para poder seleccionar las entradas y la salida. Como entradas a la red se seleccionaron los ratios financieros y como salida el resultado (si la empresa quebró o no). No se excluyeron patrones.

Parámetros Se realizaron varias configuraciones de redes para resolver éste caso de estudio, y luego de analizar los porcentajes de aciertos en los resultados se escogió uno.

• Learning Rate es la Tasa de Aprendizaje ().

• % True representa el porcentaje de aciertos de empresas que no dieron quiebra.

• % False representa el porcentaje de aciertos de empresas que dieron quiebra.

• % Total es el porcentaje total de aciertos.

Gráficamente la red se ve de la siguiente manera:

Ejecución del Modelo De acuerdo a la tabla anterior, se escogió el modelo 6.

Los resultados obtenidos con el mismo modelo son los siguientes:

Los patrones 8, 19, 41 y 46 fueron ingresados como patrones de prueba.

Podemos observar que la predicción de los mismos fue correcta.

Caso de Estudio 2 Análisis del negocio Objetivos del negocio Predecir si una persona de acuerdo a su perfil, tiene interés de comprar un auto.

Inventario de recursos 1 estudiante avanzado de Ingeniería en Sistemas, capacitándose en el área de Data Mining.

Herramienta Tiberius Versión 1.3.83 (demo): con límite de 5 neuronas de entrada, 250 patrones y 4 neuronas ocultas. Datos reales de 479 personas; de las cuales se conoce: edad, nivel de ingresos, sexo, si ya tiene automóvil, instrucción (estudios), rol que cumple en el hogar, si posee tarjeta de crédito, y si tiene o no, interés de compra.

Restricciones sobre el caso de estudio Es un proyecto académico, por lo cual, el personal a realizar el mismo, no es experto en el área sino que se está capacitando en la misma.

En cuanto a las herramientas a utilizar son de evaluación, por lo que no brindan todas las funcionalidades y tiene capacidad de procesamiento restringida.

Beneficios Poder predecir si una persona tiene interés de compra de un auto de acuerdo a su perfil, para poder ofrecerle autos.

Entendimiento de los datos Colección inicial de datos Datos reales de 479 personas; de las cuales se conoce: edad, nivel de ingresos, sexo, si ya tiene automóvil, instrucción (estudios), rol que cumple en el hogar, si posee tarjeta de crédito, y si tiene o no, interés de compra.

Descripción de datos.

Los datos fueron suministrados en un archivo ASCII que contiene el siguiente formato:

Siendo:

• EDAD: Edad de la persona.

• NSE: Nivel de ingreso.

• SEXO : Sexo de la persona.

• AUTOMOVI: Indica si la persona ya posee un automóvil.

• INSTRUCC: Indica la instrucción de la persona.

• ROL : Rol que cumple la persona en el hogar.

• TARJETA: Indica si la persona posee tarjeta de crédito.

• INTCOM: Indica si la persona tiene interés de compra.

Preparación de los datos Formato de datos Para que la herramienta seleccionada pueda trabajar con los datos, los mismos debieron ser levantados a una tabla, en una base de datos Access.

Dado a que la función de salida que utiliza Tiberius es de tipo sigmoidal, los resultados que se obtienen tienden a ser binarios, por lo que no se puede predecir el grado de interés que una persona tiene. Para poder construir un modelo que me permita predecir si una persona tiene interés de compra de un automóvil, realizaremos una clasificación con los datos de la columna INTCOM. La misma quedará de la siguiente forma:

De ésta manera, la columna INTCOM quedará de la siguiente manera:

Selección de datos Para el entrenamiento de la red, se han seleccionado los primeros 250 patrones (personas), de los cuales, existen 30, que no tienen información sobre el interés de compra. (Ver Anexo 2).

Se seleccionarán 20 patrones que no pertenecen a los datos de entrenamiento, para realizar el Testing del modelo. (Ver Anexo 3).

Modelado Selección de técnica de modelado La herramienta de trabajo para la extracción de patrones es Tiberius Versión 1.3.83, la misma modela una red neuronal del tipo Backpropagation. Construcción del modelo El modelo consiste en un conjunto de datos (tabla con los datos de entrenamiento y Testing), una herramienta de análisis y un conjunto de parámetros que serán citados más adelante.

Para crear el modelo en Tiberius, se debe especificar:

• 1. La base de datos que contienen los patrones de entrada a ser "aprendidos" por la red.

• 2. Se debe indicar cuáles son las entradas a la red y cuál es la salida.

• 3. El caso que se quieran excluir patrones, se debe indicar, y en que condiciones se quieren excluir los mismos.

Como Tiberius trabaja hasta con 5 entradas, para la construcción del modelo no se pudieron utilizar todas las columnas de los patrones. Se fueron tomando varias combinaciones de columnas y probando diversos modelos hasta llegar al más óptimo.

Las entradas seleccionadas para la construcción del modelo fueron:

• NSE

• SEXO

• EDAD

• AUTOMOVI

• INSTRUCC

Parámetros Se realizaron varias configuraciones de redes para resolver éste caso de estudio, y luego de analizar los porcentajes de aciertos en los resultados se escogió uno.

Los parámetros fueron:

• Tasa de aprendizaje: 0,700000

• Cantidad de neuronas ocultas: 4.

Ejecución del Modelo Gráficamente, el modelo se ve de la siguiente manera:

Luego de entrenar la red, el modelo obtenido nos permite predecir correctamente el 82,6% de las personas que tiene interés de compra, y un 51,8 % de las personas que no tienen interés de compra.

Testing Para realizar el Testing del modelo, se utilizó la herramienta "Development kit" de Tibeirus, que permite generar una planilla Excel o página html para predecir.

Para cada patrón se ingresan los datos en la planilla y se obtiene la predicción correspondiente. El resultado de la ejecución del Testing es el siguiente:

Si se realiza un análisis del resultado del Testing, vemos que:

• Un 80% de las personas que tienen interés de compra fueron predichas correctamente.

• Un 33,3% de las personas que no tienen interés fueron predichas correctamente.

• El total de predicciones correctas fue de un 45% de las predicciones de testing.

Introducción a la Computación Neuronal Agradezco a la profesora Esther Hochsztain por la colaboración brindada para la realización de éste trabajo.

Referencias

Anexos Anexo 1 – Datos para el Caso de Estudio 1

Los datos en negrita corresponden a patrones utilizados para el Testing. El resto son patrones de entrada para la fase de aprendizaje de la red.

Anexo 2 – Datos para el Caso de Estudio 2

Página anterior

Volver al principio del trabajo

Página siguiente