Selección de variables: Para qué? Para mejorar la performance de los métodos de aprendizaje: Algunos métodos trabajan mucho mejor con menos variables. Aunque los métodos modernos de ML suelen ser muy resistentes al problema de la dimensionalidad. En ciertos casos muchas variables no son informativas del problema (ruido o redundancias). Al eliminarlas reducimos el riesgo de sobreajuste.
Selección de variables: Para qué? Para descubrir: Cuáles son las variables más importantes en un problema. Cuáles variables están correlacionadas, co-reguladas, o son dependientes y cuáles no.
La selección de variables no es más una técnica de pre-procesado, actualmente es una herramienta para descubrir información de un problema.
Métodos Univariados consideran una variable a la vez. Multivariados: consideran subconjuntos de variables al mismo tiempo. Filtros: Ordenan las variables con criterios de importancia independientes del predictor. Wrappers: Usan el predictor final para evaluar la utilidad de las variables.
Métodos Problema Base: Seleccionar un subconjunto óptimo de n variables de las p variables originales, dado un criterio. Por qué no evaluar todas las posibilidades? Explosión combinatoria:
Se usan soluciones sub-óptimas sobre eurísticas.
Métodos de Filtro Elige las mejores variables usando criterios razonables de “importancia”. El criterio es generalmente independiente del problema real. Usualmente se usan criterios univariados. Se ordenan las variables en base al criterio y se retienen las más importantes (criterio de corte!)
Métodos de Filtro: ejemplos Clasificación: Relevantes e Irrelevantes (Gp:) xi (Gp:) densidad (Gp:) Clases Y=1 Y=-1
(Gp:) ?- (Gp:) ?+ (Gp:) ?- (Gp:) ?+ (Gp:) xi
Wrappers. Claves Seleccionar las mejores variables para modelar (usando el criterio final) Para cada subconjunto de variables resolver el problema de modelado. Conservar la mejor solución. Como ya discutimos, la búsqueda completa es exponencialmente larga.
Wrappers. Alternativas Búsquedas Greedy: forward selection backward elimination combinaciones de ambas Búsquedas pseudo-random: Simulated annealing genetic algorithm
Wrappers. Ejemplo Kohavi-John, 1997 Espacio de búsqueda para un problema con 4 variables. 0 ausente – 1 presente
Wrappers. Forward search Variantes: Floating search. 1 paso adelante, 1 atrás
Wrappers. Backward search Variantes: Floating search
Métodos embebidos Los wrappers backward son potencialmente los mejores métodos de selección. Son computacionalmente muy pesados. A cada paso construyen todos los clasificadores intermedios posibles para evaluarlos. Para rankear p variables crean O(p2) modelos. La solución ideal sería un método backward, basado directamente en el modelo final, pero eficiente.
Métodos embebidos Para evaluar cuál es la próxima variable a eliminar, el wrapper back construye todos los modelos con una variable menos. Los evalúa a todos y “da un paso” en la dirección de máximo descenso del error. Se puede hacer algo parecido sin calcular todos los modelos target?
Métodos embebidos Lo que necesitamos conocer es la derivada del error respecto de cada variable. O alguna aproximación a la derivada Se las llama “medidas internas de importancia” Si la función error es razonablemente suave, dar el paso en la dirección de máximo descenso de la derivada debería ser lo mismo que el máximo descenso del error.
Métodos embebidos Recursive Feature elimination (RFE): Ajustar un modelo a los datos Rankear las variables usando una medida interna de importancia. Más importante es la que más empeora al modelo al ser eliminada Eliminar la variable (o un grupo) con el ranking más bajo iterar
Medidas de importancia Ejemplos de medidas de importancia: SVM: componentes de W Random Forest: Shuffling OOB Variación del GINI index. LDA o PDA o Regresión logística: weights Partial Least Squares (PLS): Scores ANN: Saliency (Solla et al, NIPS) Shuffling OOB (Izetta, CACIC09)
Problemas con el RFE Variables importantes pero correlacionadas Si el modelo original usa las dos, las dos “comparten” la importancia. En la práctica aparecen como menos importantes que otras variables. Al eliminar una de ellas, la otra toma toda la importancia y suele subir bruscamente en el ranking (por esto es necesario iterar).
Problemas con el RFE Variables importantes pero correlacionadas Cuál es eliminada y cuál promocionada es casi chance. Como resultado, el ranking de variables tiende a ser inestable.
Método sugerido Usar el train para elegir las variables. Usar validación independiente para determinar la cantidad de variables a retener. Hacer una selección final con train+validación. Estimar el error con el test set.
| Página siguiente |