Análisis de regresión y correlación lineal y múltiple

Introducción

Al trabajar con dos variables cuantitativas podemos estudiar la relación que existe entre ellas mediante la correlación y la regresión. Aunque los cálculos de ambas técnicas pueden ser similares en algunos aspectos e incluso dar resultados parecidos, no deben confundirse. En la correlación tan solo medimos la dirección y la fuerza de la asociación de una variable frente a la otra, pero nunca una relación de causalidad. Solo cuando tenemos una variable que es causa o depende de otra, podremos realizar entonces una regresión. En este capítulo estudiaremos dos de los coeficientes de correlación más utilizados, como el coeficiente de Pearson y el coeficiente no paramétrico de Spearman. También veremos un ejemplo de regresión lineal simple y cómo se deben interpretar sus resultados.

Coeficiente de correlación de Pearson (r)

Si tenemos dos variables cuantitativas y deseamos medir el grado de asociación podemos utilizar el coeficiente de correlación de Pearson. En primer lugar, es muy aconsejable realizar un gráfico de dispersión entre ambas variables y estudiar visualmente la relación entre ellas. Este coeficiente mide asociación lineal y al ser una prueba paramétrica requiere para su uso que ambas variables tengan distribuciones normales1. De no ser así, deberemos utilizar el coeficiente no paramétrico de Spearman.

El coeficiente de correlación de Pearson (r) puede tomar valores entre -1 y +1, de modo que un valor de "r" positivo nos indica que al aumentar el valor de una variable también aumenta el valor de la otra (Figura 1A), y por el contrario, "r" será negativo si al aumentar el valor de una variable disminuye la otra (Figura 1B). La correlación será perfecta si r= ±1, en este caso los puntos formarán todos una recta. Es importante a priori determinar qué valor de "r" vamos a considerar como clínicamente relevante, puesto que una correlación tan baja como r= 0,07 sería significativa (p=0,027) con un tamaño muestral de unas 1000 personas. Al igual que cualquier otro parámetro, conviene darlo con sus correspondientes intervalos de confianza. Un coeficiente de correlación significativo, lo único que nos indica es que es bastante improbable que en nuestra población "r" sea cero, y por tanto su intervalo de confianza no incluirá el cero.

Figura 1. El coeficiente de correlación de Pearson.

Coeficiente de correlación no paramétrico de Spearman (rho)

Al igual que el coeficiente de Pearson, también podemos utilizarlo para medir el grado de asociación entre dos variables cuantitativas, sin embargo no es necesario que ambas variables sean normales, e incluso lo podemos utilizar en variables ordinales. Como todas las pruebas no paramétricas, este coeficiente se construye sustituyendo los valores de las variables por sus rangos o posiciones, si los valores de las variables fuesen ordenados de menor a mayor. Al contrario de otras pruebas no paramétricas, si permite construir intervalos de confianza1.

La interpretación de este coeficiente es muy similar al de Pearson, pudiendo alcanzar valores de entre -1 y +1 indicando asociación negativa o positiva respectivamente. Tanto el coeficiente "r" de Pearson como el coeficiente rho de Spearman, son medidas adimensionales por lo que no poseen unidades.

Usos incorrectos de los coeficientes de correlación

Ambos coeficientes, tanto el de Pearson, como el de Spearman, requieren que las observaciones sean independientes, por lo que no debemos aplicar una correlación entre dos variables en los que tuviéramos medidos pacientes de forma repetida.

El encontrar una asociación significativa no indica que una variable sea la causa y que la otra el efecto. La correlación nunca mide una relación causa-efecto. Además, no distingue entre variable dependiente e independiente y por tanto la correlación de la variable "x" frente a la variable "y" es la misma que la de la variable "y" frente a "x" 1. Esto no sucede así en la regresión.

Siempre hay que tener mucho cuidado con la interpretación de un coeficiente de correlación puesto que otras variables, llamadas de confusión, pueden ser las causantes reales de la asociación. Esto sucede cuando dos variables independientes entre sí dependen ambas de una tercera. Por ejemplo está demostrado que en los niños, existe una correlación positiva entre el tamaño del pie y su capacidad para sumar. Sin embargo lo que en realidad sucede es que los niños con mayor pie, son también los de mayor edad y por tanto los que mejor suman. Este tipo de correlaciones se denominan espúreas o engañosas y nos pueden llevar a conclusiones erróneas.

También hay que advertir a aquellos investigadores que tengan la tentación de correlacionar un número grande de variables cuantitativas con el único objetivo de "a ver si encuentro algo". Aparte de tener una difícil justificación este modo de actuar, si cruzáramos solo 20 variables todas ellas independientes, tendríamos hasta 190 pares de variables en los que estudiar la correlación, y sólo por azar, es de esperar aproximadamente unas 9 ó 10 como significativas. Es decir, el 5% de las correlaciones realizadas serian significativas con una p<0,05, cometiendo un error tipo I al afirmar que hay asociación cuando en realidad no la hay. Para evitarlo, podríamos utilizar para cada p la corrección de Bonferroni 2.

Tampoco debemos utilizar la correlación para evaluar la concordancia entre dos medidas cuantitativas, siendo aconsejables otros índices como el coeficiente de correlación intraclase y otra serie de técnicas.

Regresión lineal simple

Si deseamos estudiar la relación entre dos variables cuantitativas y además una de ellas puede considerarse como variable dependiente o "respuesta" podemos considerar el uso de la regresión lineal simple. Con la regresión, aparte de medir el grado de asociación entre las dos variables, podremos realizar predicciones de la variable dependiente.

Veamos un ejemplo de regresión lineal simple y cómo se interpretarían sus resultados. Dependiendo del programa estadístico utilizado, pueden variar la cantidad de información y el formato de las salidas, aunque los resultados van a ser los mismos así como su interpretación.

Supongamos que deseemos estudiar la asociación entre el volumen máximo expirado en el primer segundo de una expiración forzada (FEV1) y la talla medida en centímetros de un grupo de 170 adolescentes de edades comprendidas entre los 14 y los 18 años (Tabla I).

Tabla I. Ejemplo en 170 adolescentes.

FEV1: Volumen espiratorio forzado en el primer segundo

En primer lugar debemos realizar un gráfico de dispersión como el de la Figura 2A y estudiar visualmente si la relación entre nuestra variable dependiente (FEV1) y nuestra variable independiente (talla) puede considerarse lineal 4. Por convenio, se coloca la variable dependiente en el eje Y de las ordenadas y la variable independiente en el eje X de las abscisas. Si no observamos un comportamiento lineal, debemos transformar la variable dependiente o incluso replantearnos el tipo de análisis, ya que es posible que la relación entre ambas variables en caso de existir, pueda no ser lineal.

En nuestro ejemplo, si parece cumplirse una relación lineal entre FEV1 y la talla. Si calculásemos el coeficiente de correlación de pearson nos daría un resultado de 0,86 (IC95%: 0,82; 0,90), indicando que la asociación es positiva y por tanto valores altos de FEV1 se corresponden a su vez con valores altos de talla. Sin embargo sólo con la correlación no tendríamos la suficiente información si quisiéramos hacer predicciones de los valores de FEV1 en función de la talla.

El objetivo de la regresión lineal simple es encontrar la mejor recta de ajuste de entre todas las posibles dentro de la nube de puntos de la Figura 2A. La mejor recta de ajuste será aquella que minimice las distancias verticales entre cada punto y la recta, calculándose normalmente por el método de "mínimos cuadrados" (Figura 2B) 1, 5. De este modo conseguiremos una ecuación para la recta de regresión de Y (variable dependiente) en función de X (variable independiente) de la forma Y=a+bX. En nuestro ejemplo, el problema radica en estimar a (constante de la recta) y b (pendiente de la recta) de modo que podamos construir la ecuación o recta de regresión: FEV1=a+bTalla que minimice esas distancias.

Figura 2. Gráfico de dispersión.

Cualquier programa estadístico nos debe dar al menos tres informaciones básicas:

Valor de "R cuadrado": En la regresión lineal simple, se trata del coeficiente de correlación de Pearson elevado al cuadrado. Se le conoce por coeficiente de determinación y siempre será un valor positivo entre 0 y 1. En nuestro ejemplo (Tabla I) la "R cuadrado" es de 0,75 lo cual significa que nuestra variable independiente (talla en cm) es capaz de explicar hasta un 75% de la variabilidad observada en nuestra variable dependiente (FEV1).

ANOVA de la regresión: Se descompone por un lado, en la suma de cuadrados explicada por la recta de regresión y por otro, en la suma de cuadrados no explicada por la regresión, denominada residual. La suma de ambas es lo que se llama suma de cuadrados totales. Por tanto, cuanto mayor sea la suma de cuadrados de la regresión respecto a la residual, mayor porcentaje de variabilidad observada podemos explicar con nuestra recta de regresión. Si la tabla presenta un resultado significativo (p<0,05) rechazaríamos la hipótesis nula que afirma que la pendiente de la recta de regresión es 0.

Coeficientes de la regresión: Los coeficientes estimados a (constante de la recta) y b (pendiente de la recta) que en nuestro ejemplo sería FEV1 (litros)= -8,387 + 0,073*TALLA (cm.) (Tabla II). En nuestra tabla, no solo aparecen los coeficientes, sino sus intervalos de confianza, y además el valor de "beta" que no es mas que el coeficiente b estandarizado y que en la regresión lineal simple coincide con el coeficiente de correlación de Pearson. El valor positivo de b (0,073) nos indica el incremento de FEV1 por cada centímetro en la talla. Para un adolescente de 170 cm. de altura podríamos esperar un valor de FEV1 de 0,073*170-8,387 que daría como resultado 4,03.

Tabla II. Coeficientes estimados de la recta de regresión.

IC95%: Intervalo de confianza del 95%

Después de realizar el análisis hay que asegurarse de que no se violan las hipótesis en las que se sustenta la regresión lineal: normalidad de la variable dependiente para cada valor de la variable explicativa, independencia de las observaciones muestrales, y la misma variabilidad de Y para cada valor de nuestra variable independiente5.

Toda esta información se puede extraer estudiando el comportamiento de los residuos, es decir, la diferencia entre los valores observados y los pronosticados por nuestra recta de regresión. La Figura 3A es un histograma de frecuencias en el que se han normalizado o tipificado los residuos de modo que su media es 0 y su varianza 1. Como podemos observar su distribución es similar a una distribución normal. Otro gráfico muy interesante es el de la Figura 3B, en el que se han colocado en el eje X los valores pronosticados por la regresión ya tipificados y en el eje Y, los residuos también tipificados. Los puntos han de situarse de forma aleatoria sin ningún patrón de comportamiento, porque en caso contrario, es muy posible que estemos violando alguno de los supuestos de la regresión lineal simple 1, 5.

Figura 3. Gráfico de residuos.

Regresión lineal múltiple

La regresión lineal múltiple estima los coeficientes de la ecuación lineal, con una o más variables independientes, que mejor prediga el valor de la variable dependiente. Por ejemplo, se puede intentar predecir el total de facturación lograda por servicios prestados en una IPS cada mes (la variable dependiente) a partir de variables independientes tales como: Tipo de servicio, edad, frecuencia del servicio, tipo de usuario y los años de antigüedad en el sistema del usuario.

Métodos de selección de variables en el análisis de regresión lineal

La selección del método permite especificar cómo se introducen las variables independientes en el análisis. Utilizando distintos métodos se pueden construir diversos modelos de regresión a partir del mismo conjunto de variables.

Para introducir las variables del bloque en un sólo paso seleccione Introducir. Para eliminar las variables del bloque en un solo paso, seleccione Eliminar. La selección de variables Hacia adelante introduce las variables del bloque una a una basándose en los criterios de entrada . La eliminación de variables Hacia atrás introduce todas las variables del bloque en un único paso y después las elimina una a una basándose en los criterios de salida . La entrada y salida de variables mediante Pasos sucesivos examina las variables del bloque en cada paso para introducirlas o excluirlas . Se trata de un procedimiento hacia adelante por pasos.

Los valores de significación de los resultados se basan en el ajuste de un único modelo. Por ello, estos valores no suele ser válidos cuando se emplea un método por pasos (Pasos sucesivos, Hacia adelante o Hacia atrás).

Todas las variables deben superar el criterio de tolerancia para que puedan ser introducidas en la ecuación, independientemente del método de entrada especificado. El nivel de tolerancia por defecto es 0,0001. Tampoco se introduce una variable si esto provoca que la tolerancia de otra ya presente en el modelo se sitúe por debajo del criterio de tolerancia.

Todas las variables independientes seleccionadas se añaden a un mismo modelo de regresión. Sin embargo, puede especificar distintos métodos de introducción para diferentes subconjuntos de variables. Por ejemplo, puede introducir en el modelo de regresión un bloque de variables que utilice la selección por pasos sucesivos, y un segundo bloque que emplee la selección hacia adelante. Para añadir al modelo de regresión un segundo bloque de variables, pulse en Siguiente.

Regresión lineal: Consideraciones sobre los datos

Datos. Las variables dependiente e independientes deben ser cuantitativas. Las variables categóricas, como la religión, estudios principales o el lugar de residencia, han de recodificarse como variables binarias (dummy) o como otros tipos de variables de contraste.

Supuestos. Para cada valor de la variable independiente, la distribución de la variable dependiente debe ser normal. La varianza de distribución de la variable dependiente debe ser constante para todos los valores de la variable independiente. La relación entre la variable dependiente y cada variable independiente debe ser lineal y todas las observaciones deben ser independientes.

Estadísticos. Para cada variable: número de casos válidos, media y desviación típica. Para cada modelo: coeficientes de regresión, matriz de correlaciones, correlaciones parciales y semiparciales, R múltiple, R cuadrado, R cuadrado corregida, cambio en R cuadrado, error típico de la estimación, tabla de análisis de la varianza, valores pronosticados y residuos. Además, intervalos de confianza al 95% para cada coeficiente de regresión, matriz de varianza-covarianza, factor de inflación de la varianza, tolerancia, prueba de Durbin-Watson, medidas de distancia (Mahalanobis, Cook y valores de influencia), DfBeta, DfAjuste, intervalos de predicción y diagnósticos por caso. Diagramas: diagramas de dispersión, gráficos parciales, histogramas y gráficos de probabilidad normal.

Gráficos. Los gráficos pueden ayudar a validar los supuestos de normalidad, linealidad e igualdad de las varianzas. También son útiles para detectar valores atípicos, observaciones poco usuales y casos de influencia. Tras guardarlos como nuevas variables, dispondrá en el Editor de datos de los valores pronosticados, los residuos y otros valores diagnósticos, con los cuales podrá poder crear gráficos respecto a las variables independientes. Se encuentran disponibles los siguientes gráficos:

Diagramas de dispersión. Puede representar cualquier combinación por parejas de la lista siguiente: la variable dependiente, los valores pronosticados tipificados, los residuos tipificados, los residuos eliminados, los valores pronosticados corregidos, los residuos estudentizados o los residuos eliminados estudentizados. Represente los residuos tipificados frente a los valores pronosticados tipificados para contrastar la linealidad y la igualdad de las varianzas.

Generar todos los gráficos parciales. Muestra los diagramas de dispersión de los residuos de cada variable independiente y los residuos de la variable dependiente cuando se regresan ambas variables por separado sobre las restantes variables independientes. En la ecuación debe haber al menos dos variables independientes para que se generen los gráficos parciales.

Gráficos de residuos tipificados. Puede obtener histogramas de los residuos tipificados y gráficos de probabilidad normal que comparen la distribución de los residuos tipificados con una distribución normal.

Métodos dependientes

Análisis De Regresión Lineal Múltiple

Conceptualmente, el FIVi (Factor de incremento de la varianza) es la proporción de variabilidad de la iésima variable, que explican el resto de las variables independientes.

La tolerancia de una variable es la proporción de variabilidad de la variable, que no se explica por el resto de las variables independientes.

La tolerancia y el FIV son muy útiles en la construcción de modelos de regresión. Si construimos un modelo paso a paso entrando las variables de una en una, es útil conocer la tolerancia o el FIV de las variables independientes ya entradas en la ecuación. De esta manera, las variables con mayor tolerancia son las que mayor información aportarán al modelo.

Además de la tolerancia y el FIV, debemos estudiar la matriz de correlaciones. Altas correlaciones entre las variables implicadas en el modelo deben considerarse como indicios de colinealidad.

Puede ocurrir que, aun siendo pequeñas las correlaciones entre las variables exista colinealidad. Supongamos que tenemos K variables independientes y construimos otra que sea la media de los valores de las otras K variables, en este caso la colinealidad será completa, pero si K es grande, los coeficientes de correlación serán pequeños. Por lo tanto, el estudio de la matriz de correlaciones no es suficiente.

Una técnica que cada vez se utiliza más, aunque resulta algo sofisticada, es el análisis de los autovalores de la matriz de correlaciones o de la matriz del producto cruzado. A partir de los autovalores, se puede calcular él indice de condicionamiento IC tanto global del modelo como de cada variable.

El índice de condicionamiento, es la raíz cuadrada del cociente entre el máximo y el mínimo autovalores. Si el IC es mayor que 30, existe colinealidad elevada, si el IC es mayor que 10 y menor que 30, la colinealidad es moderada, si el IC es menor que 10, no existe colinealidad.

También es interesante el índice de condicionamiento para cada variable Ici, que es la raíz cuadrada del cociente del máximo autovalor y el iésimo autovalor. La varianza de cada coeficiente de regresión, incluida la constante, puede ser descompuesta como la suma de componentes asociadas a cada uno de los autovalores si el porcentaje de la varianza de algunos coeficientes de correlación se asocia con el mismo autovalor, hay evidencia de colinealidad.

PASOS:

Identificar Xi, Y

Construír diagrama de dispersión

Estímar los parámetros del modelo.

Probar la signifícancia

Determinar la fuerza de la asociación

Verificar la exactitud de la predicción

Análisis de residuales

Validación cruzada del modelo

Regresión múltiple de variable ficticia [1]

La utilización de la regresión en la investigación de mercados podría verse seriamente limitada por el hecho de que las variables independientes deben presentarse en escalas de intervalos. Afortunadamente, existe una forma de emplear variables independientes nominales dentro de un contexto de regresión. El procedimiento recibe el nombre de Regresión Múltiple de Variable Ficticia RMVF. Básicamente RMVF convierte las variables nominales en una serie de variables binarias que se codifican 0-1 por ejemplo, suponemos que deseamos utilizar la variable nominal Sexo en una regresión. Podríamos codificarla de la siguiente manera:

El intervalo entre 0 y 1 es igual y, por tanto, aceptable en la regresión. Nótese que hemos convertido una variable nominal de dos categorías en una variable 0-1 podemos extender este enfoque a una variable nominal de múltiples categorías. La variable nominal de cuatro categorías, área de estudio, puede convertirse en tres variables ficticias, x1, x2, y x3 de la siguiente manera:

Esta variable nominal de cuatro categorías se convierte en K-1 categorías son 0 ó 1, la K-ésima categoría se determina automáticamente como 0 ó 1. Crear una k-ésima variable ficticia sería redundante y, de hecho, invalidaría toda la regresión. Es arbitraria la elección de la categoría en la cual todo equivale a cero.

Nótese que sólo una de las variables x1, x2, ó x3 tomará el valor de 1 para cualquier individuo y las otras dos X serán cero

R. Humano = a + b Humanidades + c Salud + d Matemáticas + e C.Naturales

En una regresión podemos tener la cantidad de variables ficticias que sean necesarias, sujetas a la restricción de que cada variable ficticia utiliza un grado de libertad. Por lo mismo, debemos contar con un tamaño de muestra adecuado.

Regresión logística

La regresión logística resulta útil para los casos en los que se desea predecir la presencia o ausencia de una característica o resultado según los valores de un conjunto de variables predictoras. Es similar a un modelo de regresión lineal pero está adaptado para modelos en los que la variable dependiente es dicotómica. Los coeficientes de regresión logística pueden utilizarse para estimar la razón de las ventajas (odds ratio) de cada variable independiente del modelo. La regresión logística se puede aplicar a un rango más amplio de situaciones de investigación que el análisis discriminante.

Ejemplo. ¿Qué características del estilo de vida son factores de riesgo de enfermedad cardiovascular ? Dada una muestra de pacientes a los que se mide la situación de fumador, dieta, ejercicio, consumo de alcohol, y estado de enfermedad cardiovascular , se puede construir un modelo utilizando las cuatro variables de estilo de vida para predecir la presencia o ausencia de enfermedad cardiovascular en una muestra de pacientes. El modelo puede utilizarse posteriormente para derivar estimaciones de la razón de las ventajas para cada uno de los factores y así indicarle, por ejemplo, cuánto más probable es que los fumadores desarrollen una enfermedad cardiovascular frente a los no fumadores.

Datos. La variable dependiente debe ser dicotómica. Las variables independientes pueden estar a nivel de intervalo o ser categóricas; si son categóricas, deben ser variables dummy o estar codificadas como indicadores (existe una opción en el procedimiento para recodificar automáticamente las variables categóricas).

Supuestos. La regresión logística no se basa en supuestos distribucionales en el mismo sentido en que lo hace el análisis discriminante. Sin embargo, la solución puede ser más estable si los predictores tienen una distribución normal multivariante. Adicionalmente, al igual que con otras formas de regresión, la multicolinealidad entre los predictores puede llevar a estimaciones sesgadas y a errores típicos inflados . El procedimiento es más eficaz cuando la pertenencia a grupos es una variable categórica auténtica; si la pertenencia al grupo se basa en valores de una variable continua (por ejemplo "CI alto " en contraposición a "CI bajo"), deberá considerar el utilizar la regresión lineal para aprovechar la información mucho más rica ofrecida por la propia variable continua.

Estadísticos. Para cada análisis: Casos totales, Casos seleccionados, Casos válidos. Para cada variable categórica: codificación de los parámetros. Para cada paso: variables introducidas o eliminadas, historial de iteraciones, -2 log de la verosimilitud, bondad de ajuste, estadístico de bondad de ajuste de Hosmer-Lemeshow, chi-cuadrado del modelo ¡, chi-cuadrado de la mejora, tabla de clasificación, correlaciones entre las variables, gráfico de las probabilidades pronosticadas y los grupos observados, chi-cuadrado residual. Para cada variable de la ecuación: Coeficiente (B), Error típico de B, Estadístico de Wald, R, Razón de las ventajas estimada (exp(B)), Intervalo de confianza para exp(B), Log de la verosimilitud si el término se ha eliminado del modelo. Para cada variable que no esté en la ecuación: Estadístico de puntuación, R. Para cada caso: grupo observado, probabilidad pronosticada, grupo pronosticado, residuo, residuo tipificado.

Métodos. Puede estimar modelos utilizando la entrada en bloque de las variables o cualquiera de los siguientes métodos por pasos: Condicional hacia adelante, LR hacia adelante, Wald hacia adelante, Condicional hacia atrás, LR hacia atrás o Wald hacia atrás.

Regresión logística multinomial

La opción Regresión logística multinomial resulta útil en aquellas situaciones en las que desee poder clasificar a los sujetos según los valores de un conjunto de variables predictoras. Este tipo de regresión es similar a la regresión logística, pero más general, ya que la variable dependiente no está restringida a dos categorías.

Datos. La variable dependiente debe ser categórica. Las variables independientes pueden ser factores o covariables. En general, los factores deben ser variables categóricas y las covariables deben ser variables continuas.

Autor:

Percy Noriega Nuñez

PROFESOR

WALTER CASTAÑEDA, GUZMAN

ASIGNATURA

ESTADISTICA GENERAL

IV CICLO

2011

[1]