Z ? arctanh(r) ? ln Como Syy es una medida de la variabilidad en Y sin considerar el efecto de la variable regresora X y SSE es una medida de la variabilidad en Y que queda después de que se ha considerado X, R2 mide la proporción de la variación total respecto a la media que es explicada por la regresión. Es frecuente expresarla en porcentaje. Puede tomar valores entre 0 y 1, los valores cercanos a 1 implican que la mayoría de la variabilidad es explicada por el modelo de regresión.
En el ejemplo: R-Sq = 71.4% R-Sq(adj) = 70.2% Se debe tener cuidado con la interpretación de R2, ya que su magnitud también depende del rango de variabilidad en la variable regresora. Generalmente se incrementa conforme se incrementa la dispersión de X y decrece en caso contrario, de esta forma un valor grande de R2 puede ser resultado de un rango de variación no realista de X o puede ser muy pequeña debido a que el rango de X fue muy pequeño y para permitir la detección de su relación con Y.
Para probar la hipótesis H0: ? = 0 contra H1: ? ? 0, el estadístico apropiado de prueba es: r n?2 1?r2 t0 ? (1.28) que sigue una distribución t con n-2 grados de libertad. Si t0 ? t? /2,n?2 se rechaza la hipótesis Ho, indicando que existe una correlación significativa.
Por ejemplo si en un grupo de 25 observaciones se obtiene una r = 0.9646 y se desea probar las Hipótesis:
Ho: ? = 0 H1: ? ? 0
Usando el estadístico de prueba to: ?17.55 0.9646 25?2 1?0.9305 t0 ? como t0.025,23=2.069, se rechaza Ho indicando que sí hay correlación significativa entre los datos.
Para probar la hipótesis H0: ? = ?0 contra H1: ? ? ?0 , donde ?0 no es cero y Si n ? 25 se utiliza el estadístico transformación-z de Fisher: 1?r 1?r (1.29) 2 1 2
Con media
?Z ? arctanh(?)
y desviación estándar
1 ? Z ? n?3
z ? (n?3)1/2? ln( )? ln( 1? ?0 ? 1? ?0 ? tanh?arctanhr ? ? ? ? ? tanh?arctanhr ? Z? /2 ? tanh?2.0082? ? ? ? ? tanh?2.0082? ? ?? z?1? 1 ?1?r ? ? 2 ?1?r ? ? ?? 1 ? 2 ???n?3?? ? ln? ? 1 ?1? ? ? 2 ?1? ? ? ? En base a la fórmula de la distribución normal, se calcula el estadístico Zo siguiente para probar la hipótesis Ho: ? = ?0, Z0 ?(arctanh(r)?arctanh(?0)( n?3 (1.30) Z0 ? Z? /2 y rechazar si
Obteniéndose )? 1 2 ?1 ?2 1?r 1?r (1.31) y el intervalo de confianza (100 – ?)% para ? está dado por: ? ? ? n?3? Z? /2 ? ? n?3? ? (1.32) Del ejemplo anterior, se puede construir un intervalo de confianza del 95% para ?.
Siendo que arctanh r = arctanh0.9646 = 2.0082, se tiene: 1.96? 22 ? 1.92 ? ? 22 ? ? ? ?
Se simplifica a 0.9202 ? ? ?0.9845. Se requiere un análisis adicional para determinar si la ecuación de la recta es un ajuste adecuado a los datos y si es un buen predictor. ? ? ? ln? 1/2 (1.33) Otro ejemplo, si n=103, r=0.5, ? = 0.05. Se tiene que el intervalo de confianza es:
(1/2) ln 3 ? 0.196 = (1/2)ln{(1+?)/(1-?)}
Por tanto ? se encuentra entre (0.339, 0.632)
1.3 Riesgos en el uso de la regresión Hay varios abusos comunes en el uso de la regresión que deben ser mencionados:
1. Los modelos de regresión son válidos como ecuaciones de interpolación sobre el rango de las variables utilizadas en el modelo. No pueden ser válidas para extrapolación fuera de este rango. 2. La disposición de los valores X juega un papel importante en el ajuste de mínimos cuadrados. Mientras que todos los puntos tienen igual peso en la determinación de la recta, su pendiente está más influenciada por los valores extremos de X. En este caso debe hacerse un análisis minucioso de estos puntos y en todo caso eliminarlos y re – estimar el modelo. En la figura se observan dos puntos que influyen en el modelo de ajuste, ya que si se quitaran, el modelo de línea recta se modificaría. Y *A
* * * * * Sin A y B * * * * *B
X Fig. 1.3 Dos observaciones con mucha influencia (A,B)
3. Los outliers u observaciones malas pueden distorsionar seriamente el ajuste de mínimos cuadrados. En la figura, la observación A parece ser un “outlier” o valor malo ya que cae muy lejos de la línea de ajuste de los otros datos. Debe investigarse esta observación.
Y *A * * * * ** * ** ** * ** * * * ** * *
X
Fig. 1.4 Localización de un “outlier” (A)
4. Si se encuentra que dos variables están relacionadas fuertemente, no implica que la relación sea causal, se debe investigar la relación causa – efecto entre ellas. Por ejemplo el número de enfermos mentales vs. número de licencias recibidas.
Tabla 1.1 Una relación de datos sin sentido Año 1924 Enfermos mentales 8 Licencias emitidas 1,350
? y x ?x ? YY ? y ? ? ˆ1? yixi ?1?ta/2,n?1 ?x ?x Y0?ta/2,n?2 ?x 1926 1928 1930 1932 1934 1936 9 11 12 18 20 22 2,270 2,730 3,647 5,497 7,012 8,131 5. En algunas aplicaciones el valor de la variable regresora X requerida para predecir a Y es desconocida, por ejemplo al tratar de predecir la carga eléctrica el día de mañana en relación con la máxima temperatura de mañana, primero debe estimarse cuál es esa temperatura.
1.4 Regresión a través del origen Algunas situaciones implican que pase la línea recta a través del origen y deben adecuar a los datos. Un modelo de no intersección frecuentemente se presenta en los procesos químicos y otros procesos de manufactura, el modelo queda como:
Y ? ?1X ?? Dadas n observaciones (Yi, Xi), i = 1, 2, …., n, la función de mínimos cuadrados: n
i?1 La ecuación normal es: n n
i?1 i?1 y el estimador de mínimos cuadrados de la pendiente es: i i
2 i n
i?1 n
i?1 ˆ ?1 ? ˆ ˆ Y el modelo estimado de regresión es:
y ? ?ix El estimador de la varianza es: ? S n
i?1 n
i?1 n?1 2 i ?b1SXY n?1 SSE n?1 ? 2 ? MSE ? El intervalo de confianza (1-alfa) porciento para el coeficiente Beta1 es: MSE n 2 i i?1 ^ MSE n 2 i i?1 ˆ donde el error estándar es: se(?1) ? El intervalo de confianza 100(1-alfa) porciento para la respuesta media E(y|Xo), la respuesta media en X = Xo es: 2 x0MSE n 2 i i?1 ^ El intervalo de predicción del 100(1-alfa) porciento para una observación futura en X = Xo por ejemplo Yo es:
Y0?ta/2,n?2 ? ? ?1? x0 ? ? ? ? ? i 1 xi2 ? ? ? ?
? ? n MSE 2 ^ Ambos el intervalo de confianza y el intervalo de predicción se amplían conforme se incrementa Xo. El modelo asume que cuando Xo = 0, Y = 0.
Si la hipótesis Ho: ?0 = 0 no se rechaza en el modelo con intersección, es indicción de que el modelo se puede mejorar con este modelo. MSE se puede utilizar para comparar los modelos de intersección y de no intersección.
Ejemplo 1.3 El tiempo requerido por un tendero para surtir su negocio de refrescos así como el número de envases colocados se muestra en la siguiente tabla. En este caso si el número de envases X = 0 entonces el tiempo Y = 0. Tiempo Minutos Y 10.15 2.96 3 6.88 0.28 5.06 9.14 11.86 11.69 6.04 7.57 1.74 9.38 0.16 1.84 Envases X 25 6 8 17 2 13 23 30 28 14 19 4 24 1 5 Suma XY 253.75 17.76 24 116.96 0.56 65.78 210.22 355.8 327.32 84.56 143.83 6.96 225.12 0.16 9.2 1841.98 X2 625 36 64 289 4 169 529 900 784 196 361 16 576 1 25 4575 El diagrama de dispersión es el siguiente:
Y ? y x ?x 30 20 10 0 10
5 0 X S = 0.305139 R-Sq = 99.5 % R-Sq(adj) = 99.4 % Regression 95% CI Regression Plot Y = -0.0937558 + 0.407107 X El coeficiente Beta 1 es: 1841.98 4575.00 ˆ ? 0.4026 ? n
i?1 n
i?1 i i
2 i ?1 ? ˆ La ecuación del modelo estimado sin intersección es: Con Minitab: Stat > Regresión > Regresión Responde Y Predictors X Options: Quitar la selección de Fit intercept Results: dejar opciones de Default OK
Los resultados de Minitab son: The regression equation is Y = 0.403 X Predictor Coef SE Coef T P Noconstant X 0.402619 0.004418 91.13 0.000 S = 0.2988 Analysis of Variance Source DF SS MS F P Regression 1 741.62 741.62 8305.23 0.000 Residual Error 14 1.25 0.09 Total 15 742.87
y ? 0.4026 MSE = 0.0893 Ro2 = 0.9883 El estadístico t para la prueba Ho: ?1 = 0 es to = 91.13, por tanto el coeficiente es significativo a un alfa de 0.01.
Utilizando un modelo con intersección resultando en: Stat > Regresión > Regresión
Responde Y Predictors X Options: Poner la selección de Fit intercept Results: dejar opciones de Default OK Los resultados de Minitab son los siguientes: The regression equation is Y = – 0.094 + 0.407 X Predictor Coef SE Coef T P Constant -0.0938 0.1436 -0.65 0.525 X 0.407107 0.008221 49.52 0.000 S = 0.3051 R-Sq = 99.5% R-Sq(adj) = 99.4% Analysis of Variance Source DF SS MS F P Regression 1 228.32 228.32 2452.13 0.000 ˆ Residual Error 13 1.21 0.09 Total 14 229.53
y ? ?0.0938?0.4026 El estadístico t para la prueba Ho: ?0 = 0 es to = -0.65, por tanto el coeficiente no es significativo a un alfa de 0.01, implicando que el modelo de no intersección puede proporcionar una estimación superior. Aquí MSE = 0.0931 y R2 = 0.9997. Como MSE es menor que en el modelo anterior, es superior.
Ejemplo 1.2:
Un motor se fabrica con dos partes. La resistencia al corte entre las dos partes (Y) es una característica importante de calidad que se sospecha es función de la antigüedad del propelente (X). Los datos se muestran a continuación: El diagrama de dispersión de la resistencia al corte versus el propelente se muestra a continuación
Y 25 20 15 10 5 0 Diagrama de dispersión
2600
2100
1600 X
La figura sugiere que hay una relación estadística entre la resistencia al corte y la antigüedad del propelente, y el supuesto de relación lineal parece ser razonable, para estimar los parámetros del modelo se calcula Sxx y Sxy:
Sumas de cuadrados Los cálculos en Excel son los siguientes: Suma 42627.15 267.25 1106.56 1693737.60 -41112.65
?X Y ?X Media 2131.36 13.36 n __ 2
i?1 n __2
i?1
n __
i?1 Sxx = 1106.56 Syy = 1693737.60 Sxy = -41112.65 Sumas de cuadrados y ecuación de regresión ? Sxy Sxx i i
2 i __ __ ?n X Y
__ 2 ?n X n
i?1 n
i?1 b1 ? = ? ?37.15 ?41112.65 1106.56 ? Sxy Sxx b1 ? ˆ La constante bo se determina como sigue: __ __ b0 ?Y?b1 X = 21131.35 y la ecuación de regresión queda como sigue:
y ? 2627.82?37.15
Valores ajustados (fits) y residuos
? y ?? y ˆ ?x e ? y e Suma
Propiedades de la regresión Hay varias propiedades útiles del ajuste de mínimos cuadrados: 1. La suma de los residuos en cualquier modelo de regresión es siempre cero. n n
i?1 i?1
2. La suma de los valores observados Yi es igual a la suma de los valores estimados Yi est. o sea (ver tabla de datos como ejemplo): i i n n
i?1 i?1 3. La línea de regresión siempre pasa por el punto ( y,x ) de los datos. 4. La suma de los residuos multiplicados por los valores correspondientes de la variables regresora siempre es igual a cero. i i n
i?1 ? 0 5. La suma de los residuos multiplicados por los valores correspondientes de la variables de estimación Y siempre es igual a cero. i i n
i?1 ? 0 A partir de los valores calculados anteriormente: Sxx = 1106.56 Syy = 1693737.60 Sxy = -41112.65
Ahora se estima la varianza con: ? 2 ? ? YY n?2 n?2 166, 402.65 20 ? 9244.59 1693737.60?(?37.15)(?42627.15)2 22?2 ? ? 2 ? ? 2 ? SSE n?2 ˆ Forma alterna del modelo: Si la variable regresora Xi se redefine como la desviación contra su propia media (Xi-Xmedia), el modelo se transforma en: yi ? ?0 ? ?1(xi ? x)? ?1x ?? yi ? (?0 ? ?1x)? ?1(xi ? x)?? yi ? ?'0??1(xi ? x)?? ?'0 ? ?0 ? ?1x Y los estimadores de mínimos cuadrados son: ?0 ? y
? y (x ?(x Sxy Sxx ? n
i?1 n
i?1 i i ? x)
i ? x)2 ˆ ?1 ? ˆ ˆ El modelo ajustado queda como:
y ? y ??1(x? x) En este caso el origen de los datos Xi se encuentra en su media,
Pruebas de hipótesis de la pendiente e intercepción Probar la hipótesis para b0 no tiene interés práctico. Ahora para probar la significancia de b1 se tiene: SXX b1 MSE t0 ? para (? /2,n?2) grados de libertad (1.23) ? ?3.029 ?37.15 166402.65 1106.56 t0 ? Si t0 ?t?/2,n?2 se rechaza la hipótesis nula, indicando que ?1 es significativo y se tiene regresión lineal.
t? /2,n?2=Distr.t(0.025,18) = 2.445
y To se encuentra en la zona de rechazo de Ho por lo que ?1representa una regresión válida Análisis de varianza De SSR ?b1SXY =(-37.15)(-41,112.65)=1,527,334.95 SSE ? SSYY ?b1SXY =166,402.65 Para probar la hipótesis Ho: ?1=0 se usa el ANOVA con el estadístico Fo como sigue: 1,527,334.95 9,244.59 ?165.21 ? ? MSR MSE SSR/1 SSE /(n?2) Fo ? El estadístico F de Excel es: Falfa,1,n-2 = 4.413863053 Como Fo > Falfa se rechaza Ho y el coeficiente Beta es significativo.
La tabla ANOVA queda como sigue: Fuente de variación Suma de cuadrados Grados de libertad Cuadrado medio Fo Reegresión 1,527,334.95 1 1,527,334.95 165.21 9,244.59 Residuos Total 166,402.65 1,693,737.60 18 19
?1?ta/2,n?2 ?1 Y0?ta/2,n?2 MSE? ? ? ? ? ? 1 Y0?(2.101) 9244.59? ? ? ? ? La incapacidad de mostrar que la pendiente no es estadísticamente significativa o diferente de cero, no necesariamente significa que Y y X no estén relacionados. Puede significar que nuestra habilidad para detectar esta relación ha sido obscurecida por la varianza del proceso de medición o que el rango de la variable X es inapropiado.
Estimación por intervalo en ?0, ?1 y ? Para el caso del ejemplo, el intervalo de confianza para ?1 es: MSE SXX ˆ MSE SXX 9244.59 1106.56 ˆ donde el error estándar es: se(?1) ?
? 2.89 ^
se(?1) ? 18(9244.59) 8.23 18(9244.59) 31.5 ?? 2 ? 2
Intervalo de estimación para la respuesta media De la fórmula: ?n ^ (x0 ? x)2 ? Sxx ? ? ?20 ^ (x0 ?13.3625)2 ? 1106.56 En Xo = 13.3625 se tiene: 2086.23? E(y13.3625) ? 2176.571 Para otros casos auxiliándose de Minitab se tiene: El intervalo de confianza para el 95% donde se encuentra el valor verdadero del coeficiente Beta1 es: ^
?43?22? ?1 ? ?31.08
El intervalo del 95% de porcentaje de confianza de la varianza es: (n?2 )MSE (n?2 )MSE 2
Y ? ?Y0 ?Y0 ?t? /2,n?2 MSE?1? ? 25 20 15 10 5 0 2600 2100 1600 S = 96.1061 R-Sq = 90.2 % R-Sq(adj) = 89.6 % Regression 95% CI Regression Plot Y = 2627.82 – 37.1536 X X
El intervalo de confianza para la respuesta media Yo de varios valores Xo es: Predicción de nuevas observaciones:
Una aplicación importante del modelo de regresión es predecir nuevas observaciones Y correspondientes a un nivel de la variable regresora X, si Xo es el valor de la variable de Interés se tiene: ? ? ? ? ? MSE __ (X 0 ? X)2 ? SXX ? ? 1 n __ (X 0 ? X)2 ? SXX ? ? 1 n ? ?1? ? ? ˆ Y0 ?t? /2,n?2 Para el ejemplo, un intervalo de predicción del 95% para un valor futuro de la resistencia al corte Y con un propelente de 10 semanas de antigüedad es:
2256.32?(2.101) 9244.59?1? ? ?Y0 ? 2256.32?(2.101) 9244.59?1? n(? ˆ0 ? ?0)2 ? 2?xi(? ˆ0 ? ?0)(? ˆ1 ? ?1)??x2i(? ˆ1 ? ?1) ?1 E(Y Xi) ?YXi? ? MSE? ? ? ? ? ? ? ? ? ? ? 1 20 1 20 (10?13.3625)2 ? ? 1106.56 ? (10?13.3625)2 ? 1106.56 ? que se simplifica a:
2048.32? y0 ? 2464.32
Por tanto un motor nuevo hecho con un propelente de 10 semanas de antigüedad tendrá una resistencia al corte de entre 2048.32 a 2464.32 psi.
Inferencia simultanea para los parámetros del modelo La región del 95% de confianza para ?0 y ?1, si ?0est=2627.82 y ?1est=-37.15, suma Xi2=4677.69, MSE=9244.59 y F0.05,2,18=3.55 se tiene de la fórmula: n n
i?1 i?1 2MSE ? F?,2,n?2 ? 3.55 20( 2627.82? ?0)2 ? 2( 267.25)( 2627.82? ?0)(?37.15? ?1)?( 4677.69)(?37.15? ?1)2 2(9244.59)
Es el límite de la elipse. Beta 0
Beta 1
Estimación simultanea de la respuesta media Para el caso de la estimación simultánea de la respuesta media se tiene: ?n ^ (xi ? x)2 ? Sxx ? Determinado el intervalo por el método de Scheffé se tiene: E(Y Xi ?10) ? 2256.282? ?68.633 E(Y Xi ?18) ?1959.050? ?69.236
Determinando el intervalo por el método de Bonferroni se tiene: ? ?(2F ?,2,n?2)1/2 ?(2F0.10,2,18)1/2 ?(6.02)1/2 ? 2.454
Seleccionando el método de máximo modulo t, los intervalos de confianza al 90% de la respuesta media son:
? yxi ?YXi? ? MSE? ?1? ? ? 2 18 1959.020 E(Y X1 ?10) ? 2256.282?(2.082)68.633 2087.857 ? E(Y X1 ?10) ? 2424.707 E(Y X 2 ?18) ?1959.050?(2.082)69.236 1789.145 ? E(Y X 2 ?18) ? 2129.955 Predicción de nuevas observaciones
Sea Xi = 10 y 18, los estimadores puntuales de estas observaciones futuras son Yest x1 = 2256.282 psi y Yest x2 = 1959.050 psi, respectivamente. Para la regresión lineal simple y m = 2 se tiene: ? ? ^ (xi ? x)2 ? Sxx ? 1 n 2256.282??118.097 ? yx1 ? 2256.282? ?118.097 1959.050??118.097 ? yx2 ?1959.050? ?118.097 Seleccionando el valor de ?=2.082 de Bonferroni se tiene: 1966.472 ? yx1 ? 2546.092 1668.376 ? yx2 ? 2249.724
Coeficiente de determinación Con los datos del ejemplo para la suma de cuadrados de la regresión y la suma de cuadrados total se tiene: 1,527.334.95 1,693,737.60 ? 0.9018 ? SSR Syy R2 ?? 2.0 ADECUACIÓN DEL MODELO DE REGRESIÓN LINEAL
2.1 Introducción Los principales supuestos que se hacen en el análisis de regresión lineal son los siguientes: 1. 2. 3. 4. 5. La relación entre las variables Y y X es lineal, o al menos bien aproximada por una línea recta. El término de error ? tiene media cero. El término de error ? tiene varianza constante ?2. Los errores no están correlacionados. Los errores están normalmente distribuidos. Los supuestos 4 y 5 implican que los errores son variables aleatorias independientes y el supuesto 5 se requiere para pruebas de hipótesis y estimación de parámetros.
Se analizarán varios métodos para diagnosticar y tratar violaciones sobre los supuestos básicos de la regresión no sólo lineal sino también la múltiple.
2.2 Análisis de los residuos 2.2.1 Definición de los residuos
Los residuos están definidos como las n diferencias,
ei ?Yi ?Y i,i ?1,2,3…,n ?(ei ? e) ?e MSE?1?? ? ? ? ?? ^ (2.1) donde Yi son las observaciones reales y Y-gorro los valores estimados con la recta de regresión.
Como los residuos son las diferencias entre las observaciones reales y las predichas o estimadas, son una medida de la variabilidad no explicada por el modelo de regresión, e el valor observado de los errores. Así, cualquier desviación anormal de los supuestos acerca de los errores, será mostrada por los residuos. Su análisis es un método efectivo para descubrir varios tipos de deficiencias del modelo.
Los residuos tienen varias propiedades importantes. Su media es cero y su varianza aproximada es: ? MSE ? ? SSE n?2 n 2 i i?1 n?2 i?1 n __ 2
n?2 (2.2) En algunos casos es mejor trabajar con residuos estandarizados, que tienen media cero y varianza unitaria aproximada. ei MSE ,….1?1,2,…..,n di ? (2.3) Para el caso de n pequeña, donde se pueden tener diferencias apreciables en las varianzas de los residuos, un método más apropiado de escalamiento es el de los residuos estudentizados , donde se toma en cuenta la varianza de cada uno en lugar de un promedio de las varianzas como en los residuos estandarizados. Para n grande, ambos residuos son muy parecidos.
Los residuos estudentizados se definen como: , ? ?1 i (X i ? X)2 ?? SXX ?? ? ?n ei r ? i = 1, 2, …….., n (2.4) Por lo anterior los residuos representan los errores observados si el modelo es correcto.
Los residuos pueden ser graficados para: 1. Checar normalidad. 2. Checar el efecto del tiempo si su orden es conocido en los datos. 3. Checar la constancia de la varianza y la posible necesidad de transformar los datos en Y. 4. Checar la curvatura de más alto orden que ajusta en las X’s.
A continuación con Minitab se calculan los residuos con los datos del ejemplo 1.1 y a partir de la recta de ajuste.
Observaciónes
2.2.2 Gráfica de probabilidad normal Se utiliza la gráfica de probabilidad normal para identificar si algunos residuos sesgan la respuesta de la normal. Normalmente se requieren 20 puntos para checar normalidad. Normplot of Residuals for C1 .
La gráfica de residuos contra los valores estimados Residuals vs Fits for C1
Se sugiere utilizar los residuos estandarizados, ya que son útiles para evaluar normalidad, es decir que habrá normalidad si el 68% de los mismos se encuentran entre –1 y +1 y el 95% entre –2 y +2, de otra forma habrá una violación de la normalidad.
^ yi puede identificar patrones anormales o no lineales, indicando que tal vez se requiera agregar otra variable regresora al modelo, o se requiera transformar las variables regresora o de respuesta. También puede revelar outliers potenciales, si ocurren en los extremos, indican que la varianza no es constante o que no hay relación lineal entre variables.
Para el caso del ejemplo 1.2 con los datos X y Y se tienen los residuos estandarizados y estudentizados son:
Utilizando Minitab se tiene: Regression Analysis: Y versus X The regression equation is Y = 2628 – 37.2 X Predictor Coef SE Coef T P Constant 2627.82 44.18 59.47 0.000 X -37.154 2.889 -12.86 0.000 S = 96.1061 R-Sq = 90.2% R-Sq(adj) = 89.6%
Analysis of Variance Source DF SS MS F P Regression 1 1527483 1527483 165.38 0.000 Residual Error 18 166255 9236 Total 19 1693738
No replicates. Cannot do pure error test.
Unusual Observations Obs X Y Fit SE Fit Residual St Resid 5 5.5 2207.5 2423.5 31.3 6 19.0 1708.3 1921.9 27.0 -216.0 -213.6 -2.38R -2.32R La tabla de valores estimados Fits, Residuos, Residuos estandarizados, Residuos estudentizados borrados y Residuos estudentizados simples se muestra a continuación:
Residual Percent Frequency Residual Para el cálculo de los residuos estudentizados se utilizó la tabla siguiente: MSE = Raiz MSE (Xi- Xmedia)^2 9236 96.10411021
1/20 + (Xi- Y 2158.70 1678.15 2316.00 2061.30 2207.50 1708.30 1784.70 2575.00 2357.90 2256.70 2165.20 2399.55 1779.80 2336.75 1765.30 2053.50 2414.40 2200.50 2654.20 1753.70 X 15.50 23.75 8.00 17.00 5.50 19.00 24.00 2.50 7.50 11.00 13.00 3.75 25.00 9.75 22.00 18.00 6.00 12.50 2.00 21.50 FITS1 2051.94 1745.42 2330.59 1996.21 2423.48 1921.9 1736.14 2534.94 2349.17 2219.13 2144.83 2488.5 1698.98 2265.57 1810.44 1959.06 2404.9 2163.4 2553.52 1829.02 RESI1 106.7580 -67.2750 -14.5940 65.0890 -215.9780 -213.6040 48.5640 40.0620 8.7300 37.5670 20.3740 -88.9460 80.8170 71.1750 -45.1430 94.4420 9.4990 37.0980 100.6850 -75.3200 ResEstan1 1.11086 -0.70002 -0.15186 0.67728 -2.24733 -2.22263 0.50533 0.41686 0.09084 0.39090 0.21200 -0.92552 0.84093 0.74060 -0.46973 0.98271 0.09884 0.38602 1.04767 -0.78373 Sxx 4.56891 107.90016 28.75641 13.23141 61.81891 31.78141 113.15641 117.99391 34.36891 5.58141 0.13141 92.40016 135.43141 13.05016 74.60641 21.50641 54.20641 0.74391 129.10641 66.21891 Xmedia)^2/Sxx 0.05413 0.14751 0.07599 0.06196 0.10587 0.07872 0.15226 0.15663 0.08106 0.05504 0.05012 0.13350 0.17239 0.06179 0.11742 0.06944 0.09899 0.05067 0.16667 0.10984 Ri 1.14220 -0.75817 -0.15798 0.69929 -2.37666 -2.31564 0.54883 0.45392 0.09476 0.40212 0.21752 -0.99426 0.92437 0.76460 -0.50000 1.01871 0.10413 0.39619 1.14767 -0.83068 200 100 0 -100 -200 99 90 50
10 1 2600 2400 2200 2000 1800 100
0 -100 -200 Residual 100 50 0 -50 -100 -150 -200 6.0 4.5 3.0 1.5 0.0 Observation Order 20 18 16 14 12 10 8 6 4 2 100
0
-100 -200 Normal Probability Plot of the Residuals Residuals Versus the Fitted Values Residual Histogram of the Residuals Fitted Value Residuals Versus the Order of the Data Las gráficas de los residuos normales son las siguientes:
Residual Plots for Y Tomado los residuos estandarizados vs fits se tiene:
Percent Standardized Residual 3 2 1 0 -1 -2 -3 99
95 90 80 70 60 50 40 30 20 10 5 1 Normal Probability Plot of the Residuals (response is Y) 2600 2500 2400 2300 2200 2100 2000 1900 1800 1700 1.0
0.5
0.0
-0.5
-1.0
-1.5
-2.0
-2.5 Standardized Residual
Residuals Versus the Fitted Values (response is Y) Fitted Value
Y para los residuos estudentizados se tiene:
Deleted Residual Fitted Value 2600 2500 2400 2300 2200 2100 2000 1900 1800 1700 1
0
-1
-2
-3 Residuals Versus the Fitted Values (response is Y) Como se puede observar los puntos 5 y 6 exceden el límite de dos sigmas.
2.2.3 Gráfica de residuos vs Yestimada La gráfica de residuos normales, estandarizados o estudentizados vs los valores estimados de Y es útil para identificar no adecuaciones del modelo. Patrones de variación de los residuos a) Aleatorio; b) Cono (aumenta la varianza); c) Rombo; d) No lineal
Standardized Residual Standardized Residual 25 20 15 10 5 0 2.2.4 Gráfica de residuos vs Xi Los patrones generados a veces son similares a los de la figura anterior, por ejemplo para el caso del ejemplo 1.2, se tiene: En Minitab (Graphs seleccionar Residual vs Fits y Residuals vs Variables X)
Residuals Versus X (response is Y)
1.0 0.5 0.0 -0.5 -1.0 -1.5 -2.0 -2.5 20 18 16 14 12 10 8 6 4 2 X
En este caso los residuos para los puntos 5 y 6 exceden de dos sigmas sin embargo no muestran indicios de violación del modelo.
2.2.5 Otras gráficas de residuos Se pueden obtener gráficas de los residuales vs el tiempo de ocurrencia u orden: Residuals Versus the Order of the Data (response is Y)
1.0 0.5 0.0 -0.5 -1.0 -1.5 -2.0 -2.5 Observation Order En este caso se puede identificar si existe autocorrelación positiva o negativa de los residuos como sigue:
Residuos vs tiempo: Autocorrelación positiva Autocorrelación negativa 2.2.6 Pruebas estadísticas en los residuos Las pruebas estadísticas en los residuos son menos prácticas que la observación de su comportamiento donde se obtiene más información.
2.3 DETECCIÓN Y TRATAMIENTO DE OUTLIERS Un Outilier es una observación extrema, donde el residuo es considerablemente grande, por decir con tres o cuatro desviaciones estándar de la media. Estos puntos no son puntos típicos de los datos y pueden ocasionar defectos severos en el modelo de regresión. Las gráficas de Y estimada vs residuos ya sea estandarizados o estudentizados permiten identificar Outliers (puntos aberrantes).
Los outliers deben ser investigados para ver si se puede hallar la razón de su comportamiento anormal (medición incorrecta, equipo dañado, error de anotación). Si se encuentra que se debe a un error se debe descartar de los datos. En otros casos donde se encuentra una razón se debe mantener en la estimación del modelo.
En general se espera que la ecuación de regresión encontrada sea insensible a algunos puntos particulares, para que sea un modelo robusto. Puede no ser aceptable que un pequeño porcentaje de los datos tenga un efecto significativo en el modelo. Con los datos del ejemplo 1.2 si omitimos los puntos 5 y 6 que indican Outliers y compramos nuevo modelo con el modelo anterior se tiene:
Con el modelo original: The regression equation is Y = 2628 – 37.2 X
Predictor Coef SE Coef T P Constant 2627.82 44.18 59.47 0.000 X -37.154 2.889 -12.86 0.000 S = 96.1061 R-Sq = 90.2% R-Sq(adj) = 89.6%
Y con el modelo donde se excluyen los puntos 5 y 6 se tiene: The regression equation is Y_1 = 2659 – 37.7 X_1
Predictor Coef SE Coef T P Constant 2658.97 30.53 87.08 0.000 X_1 -37.694 1.979 -19.05 0.000 S = 62.9653 R-Sq = 95.8% R-Sq(adj) = 95.5%
Percent Standardized Residual 3 2 1 0 -1 -2 -3 99
95 90 80 70 60 50 40 30 20 10 5 1 Normal Probability Plot of the Residuals (response is Y_1) 2600 2400 2200 2000 1800 1600 1.5 1.0 0.5
0.0 -0.5 -1.0 -1.5 -2.0 Standardized Residual
Residuals Versus the Fitted Values (response is Y_1) Fitted Value
Casi no hubo efecto en la estimación de los coeficientes de la regresión. La MSE se redujo mucho, se incrementó R^2 en 5% y se redujo en 30% el error estándar de ?1. En General a pesar de que los puntos 5 y 6 no afectan la estimación y aplicación del modelo, y el quitarlos mejoraría el error de estimación aunque no hay una razón de peso.
2.4 PRUEBA DE FALTA DE AJUSTE
Falta de ajuste y el error puro
Se asume que se cumplen los requerimientos de normalidad, independencia y varianza constante y que sólo se tiene en duda si la relación entre las variables es de primer orden o sea una línea recta.
Para el cálculo del error puro se requiere hacer réplicas verdaderas, por ejemplo medir el coeficiente de inteligencia de dos personas con la misma estatura en vez de hacer dos mediciones repetidas de la misma persona, o realizar dos experimentos en diferente tiempo con la misma X y registrando el valor de la respuesta.
Suponiendo que se tienen m valores diferentes de Xj, con j=1,2….m, por tanto:
? ? u 1 (Y1u ?Y) ??Y ? ??Y1u ? SS.error.puro?? ?(Yju ?Yj)2 ne ??n j ?m ?(Y 1 Y11, Y12,…..,Y1n1 son n1 observaciones repetidas en X1; Y21, Y22,……,Y2n2son n2 observaciones repetidas en X2; ……….. Yju es la observación u-ésima (u=1,2,….,nj) en Xj; Ym1, Ym2,…..,Ymn1 son n observaciones repetidas en Xm.
La suma de cuadrados del error puro de las n1 observaciones en X1 es la suma de cuadrados interna de la Y1u con respecto a su media Y1, o sea: 2 2 2 n1 __ n1
u?1 1u 1 ? n1 ? n1? i?1 ? (2.5) Reuniendo las sumas internas de cuadrados de todos los lugares donde se tomaron réplicas se tiene el error puro total SS como: n1 __
u?1 m
j?1 (2.6) (2.7) Con grados de libertad:
m
j?1
Para el caso de nj= 2 se tiene: ju __ ?Y j)2 ? (Yj1 ?Yj2)2 2 2
u?1 (2.8) e El cuadrado medio del error puro es:
s2 ? SS.error.puro/ne (2.9) De esta forma la suma de cuadrados del error residual se divide en suma de cuadrados de “falta de ajuste” y “error puro”. (2.10)
(2.11) Donde SSE(residual) ? SSPE(error.puro)?SSLOF( falta.de.ajsute)
El residuo (ij-ésimo) es:
__ ^ __ ^ Yij ?Y i ? (Yij ?Y i)?(Yi ?Yi)
__ Y i es el promedio de las ni observaciones en Xi. La suma de cuadrados del error puro es:
SSPE ??? (Yij ?Y i)2 i?1 j?1 ^ SSLOF ??ni(Y i?Y i)2 (2.12)
(2.13) m ni __
i
La suma de cuadrados de la falta de ajuste:
m __
i?1
El estadístico Fo para la falta de ajuste es: MSLOF MSPE ? SSLOF /(m?2 ) SSPE /n?m) F0 ? (2.14) El valor esperado de MSPE ?? 2 (2.15) Ejemplo 2.4.1: Tomando un nuevo grupo de datos en los cuales hay algunas réplicas por ejemplo se tomaron 2 valores para X = 1.3, 2.0, 3.3, 3.7, 4.7 y 6.0 y se tomaron 3 valores para X =4,5.3. La tabla de datos completa se muestra a continuación: La recta de ajuste estimada con Minitab es la siguiente:
Regression Analysis: Y versus X (Pure Error)
The regression equation is Y = 1.43 + 0.316 X
Predictor Coef SE Coef T P Constant 1.4256 0.5127 2.78 0.011 X 0.3158 0.1149 2.75 0.012 De la fórmulas anteriores se tiene: Para X = 1.3 de la ecuación 2.8 se tiene:
SSError.puro = (1/2)(2.3-1.8)2 = 0.125… con 1 grado de libertad, de la misma forma se procede para los demás, obteniéndose:
Para el caso de n1>2 se aplica la fórmula normal (2.5), para el caso de X = 4.0 se tiene:
SSError.puro=(2.8)2+(2.8)2+(2.2)2– (2.8+2.8+2.2)2/3 =0.24
Lo mismo se aplica al X = 5.3.
Por tanto la tabla de datos queda como sigue: Nivel de X 1.30.125 1.4 Sserror.puro
0.845 gl 1 1 3.32.00 1 3.72.000 4.70.845 6.00.020 4.00.240 5.30.980 1 1 1 2 2
Totales 7.055 10 La suma de cuadrados del error por falta de ajuste se obtiene restando de la suma de cuadrados del error residual, la suma de cuadrados del error puro. Ahora se calcula F contra el error puro medio cuadrático.
De esta forma se obtiene la tabla de ANOVA siguiente, utilizando Minitab:
Analysis of Variance
Source DF SS MS F P Regression 1 5.4992 5.4992 7.56 0.012 sign. at 0.05% Residual Error 21 15.2782 0.7275 Lack of Fit 11 8.2232 0.7476 1.06 0.468 not significant Pure Error 10 7.0550 0.7055 Total correected 22 20.7774
5 rows with no replicates
En resumen, los pasos a tomar cuando se tienen observaciones replicadas son los siguientes:
1. Obtener la recta de ajuste del modelo, con ANOVA incluyendo valores para la regresión y el error residual. Todavía no hacer la prueba F. 2. Determinar la suma de cuadrados del error puro y dividir la suma de cuadrados del error residual en suma de cuadrados de falta de ajuste y de error puro. 3. Realizar la prueba F para la “falta de ajuste”. Si no es significativo, no hay razón para dudar de la adecuación del modelo, ir a paso 4. De otra forma parar el modelo y buscar otras formas de mejorar el modelo en base a la observación del comportamiento de los residuos. 4. Examinar los residuos para identificar si no se violan algunas reglas, si todo está bien, usar el cuadrado medio del error residual S2 como un estimado de V(Y) = ?2, realizar la prueba F para toda la regresión, obtener bandas de confianza para la media, evaluar R2, etc.
Con Minitab se obtuvo S = 0.8530 R-Sq = 26.5% R-Sq(adj) = 23.0% Para reducir los errores en el ajuste debidos a las réplicas se obtiene un Máximo de R2 como sigue: SST.corregido ?SSError.puro SST.corregido (2.16) MaxR2 ?
o sea: ? 0.6604 20.777?7.055 20.777 MaxR2 ? De esta forma ya tiene un poco más de sentido el ajuste.
Los datos de los residuos calculados con Minitab se muestran a continuación: Obs X Y Fit SE Fit Residual St Resid
R denotes an observation with a large standardized residual Ver gráficas en páginas siguientes anexas. Residuals vs. the fitted values for Y
Ejemplo 2.4.2 Se presenta otro ejemplo corrido en Minitab (Montgomery, p. 88)con Y = Viscocidad, X = temperatura:
Welcome to Minitab, press F1 for help. Note que se tienen varias réplicas en X = 1.0, 3.3, 4.0, 5.6 y 6.
EL error puro se calculó como sigue: Nivel de X __ ?Y i)2 ?j(Yij Grados de libertad ________________________________________________. 1.0 3.3 4.0 5.6 6.0 Total 1.1858 1.0805 11.2467 1.4341 0.6161 15.5632 1 1 2 2 1 . 7 El error de falta de ajuste se calculó con la fórmula:
SSLOF ? SSE ?SSPE
SSLOF ? 252.9039?15.5632 ? 237.3407
Regression Analysis: Y versus X
The regression equation is Y = 13.2 + 2.13 X
d ??(eu ?eu?1)2 /?eu Predictor Coef SE Coef T P Constant 13.214 2.665 4.96 0.000 X 2.1304 0.5645 3.77 0.002 S = 4.084 R-Sq = 48.7% R-Sq(adj) = 45.3% A sus los cambios Analysis of Variance
Source DF SS MS F P Regression 1 237.48 237.48 14.24 0.002 Residual Error 15 250.13 16.68 Lack of Fit 8 234.57 29.32 13.19 0.001 Significativa Pure Error 7 15.56 2.22 Total 16 487.61
5 rows with no replicates
CONCLUSIÓN: Como F0 = 13.19 es mayor que F.25, 8,7 = 1.70, se rechaza la hipótesis que el modelo encontrado describe los datos adecuadamente.
La pueba de DURBIN-WATSON
La prueba checa si los residuos tienen una dependencia secuencial en la cual cada uno de los errores (residuos) está correlacionado con los anteriores y los posteriores. La prueba se enfoca a las diferencias entre residuos sucesivos como sigue, usando el estadístico de Durbin – Watson: 2 n n
u?2 u?2 (2.17) Donde:
1. 0 ? d ? 4 2.- Si los residuos sucesivos están correlacionados positivamente en serie, d será casi 0. 2. SI los residuos sucesivos están correlacionados negativamente, d será cercano a 4, de tal forma que 4-d será casi 0. 3. La distribución de d es simétrica alrededor de 2. La prueba se realiza como sigue: comparar d o 4-d, la que esté más cercano a cero con dL y dU en la tabla mostrada abajo, si d< dL se concluye que existe una correlación positiva probable; si d>dU se concluye que no hay correlación (se aplica el mismo criterio para 4-d). Si d o 4-d se encuentran entre dL y dU, la prueba es inconclusa. Si se identifica algún tipo de correlación, el modelo debe ser reexaminado.
Puntos de significancia de dL y dU para una línea recta de ajuste. 1% 2.5% 5% n dL dU dL dU dL dU 15 20 25 30 40 50 0.811.07 0.951.15 1.051.21 1.131.26 1.251.34 1.321.40 0.95 1.08 1.18 1.25 1.35 1.42 1.23 1.28 1.34 1.38 1.45 1.50 1.08 1.20 1.29 1.35 1.44 1.50 1.36 1.41 1.45 1.49 1.54 1.59
70 1.431.49 1.51 1.57 1.58 1.64 1.59 1.63 100 150 200 1.56 1.61 1.66 1.56 1.64 1.68 1.65 1.72 1.76 1.69 1.75 1.78 Outliers
Un outlier entre los residuos es aquel que es mucho más grande que el resto en valor absoluto, encontrándose a 3, 4 o más desviaciones estándar de la media de los residuos. El outlier indica un punto que no es común al resto de los datos y debe ser examinado con cuidado. Algunas veces proporciona información vital sobre el proceso.
2.5 TRANSFORMACIONES A UNA LINEA RECTA
A veces se detecta no linealidades a través de la prueba de falta de ajuste descrita en la sección anterior o de diagramas de dispersión y gráficas de los residuos. En algunos casos los datos se pueden transformar para que representen una relación más lineal.
Varias funciones linealizables se encuentran en la página siguiente (fig. 2.13 )3 y sus correspondientes funciones no lineales, transformaciones y formas lineales resultantes se muestran en la tabla 2.1. Dependiendo de la curvatura del comportamiento de la relación entre las variables X y Y, se puede localizar una gráfica parecida en la figura 3.13 y usar su transformación.
Tabla 2.1 Funciones linealizables y su forma lineal correspondiente. Figura 2.13 Función a,b Y ? ?0X ?1 Transformación Y'? logY,X'? logX Forma lineal Y'?log?0 ??1X' c,d e,f Y ? ?0e?1X Y ? ?0 ??1logX Y'? logY X'? log X Y'?ln?0 ??1X Y'? ?0 ??1X' g,h X ?0X ??1 Y ? 1 X 1 Y ,X'? Y'? Y'? ?0 ??1X' Por ejemplo la función:
Y ? ?0e?1X? (2.19) Puede ser transformada de acuerdo a la tabla 2.1 en:
lnY ?ln?0 ??1X ?ln? ó
Y'? ?0'??1X ??'
Se requiere que la transformada del término de error sea normal e independientemente distribuida con media cero y varianza ?2.
Varios tipos de transformaciones recíprocas pueden ser útiles. Por ejemplo: 3 Montgomerey, Douglas C., Introduction to Linear Regression Analysis, John Wiley and Sons, Nueva York, 1992, pp. 90-91
? 1 ? ? X ?
Puede ser linealizada usando la transformación recíproca X’ = 1/X, quedando como:
Y ? ?0 ??1X'??
Ejemplo 2.3 Un investigador desea determinar la relación entre la salida de Corriente Directa (Y) de un generador de molino de viento y la velocidad del viento (X), para ello colecta 25 pares de datos para ambas variables, utilizando el Minitab para su proceso. Los datos colectados son los siguientes: R denotes an observation with a large standardized residual
Durbin-Watson statistic = 1.21
El valor del estadístico indica que no podemos llegar a conclusiones:
Regression Analysis: Y versus X
The regression equation is Y = 0.131 + 0.241 X
Y Residual Predictor Coef SE Coef T P Constant 0.1309 0.1260 1.04 0.310 X 0.24115 0.01905 12.66 0.000 S = 0.2361 R-Sq = 87.4% R-Sq(adj) = 86.9% 11 10 9 8 7 6 5 4 3 2 S R-Sq R-Sq(adj) 0.237095 87.3% 86.8% Ajustando el modelo con una recta se tiene:
Fitted Line Plot Y = 0.1269 +0.2412 X
2.5
2.0
1.5
1.0
0.5
0.0 2.5 2.0 1.5 1.0 0.5 0.4
0.2
0.0
-0.2
-0.4
-0.6 X
Residuals Versus the Fitted Values (response is Y) Fitted Value
The regression equation is Y = 0.1269 + 0.2412 X
S = 0.237095 R-Sq = 87.3% R-Sq(adj) = 86.8%
Analysis of Variance Source DF SS MS F P Regression 1 8.9183 8.91827 158.65 0.000 Error 23 1.2929 0.05621 Total 24 10.2112
Y Residual 11 10 9 8 7 6 5 4 3 2 2.5
2.0
1.5
1.0
0.5
0.0 S R-Sq R-Sq(adj) 0.127171 96.5% 96.2% El tratar de ajustar los datos, una recta no fue la mejor opción, por lo que se intenta un modelo cuadrático, el cual se muestra a continuación. Fitted Line Plot Y = – 1.166 +0.7236 X – 0.03808 X**2 2.5 2.0 1.5 1.0 0.5 0.2
0.1
0.0
-0.1
-0.2
-0.3 X
Residuals Versus the Fitted Values (response is Y) Fitted Value
Polynomial Regression Analysis: Y versus X
The regression equation is Y = – 1.166 + 0.7236 X – 0.03808 X**2
S = 0.127171 R-Sq = 96.5% R-Sq(adj) = 96.2%
Analysis of Variance Source DF SS MS F P Regression 2 9.8554 4.92770 304.70 0.000 Error 22 0.3558 0.01617 Total 24 10.2112
Sequential Analysis of Variance
Source DF SS F P Linear 1 8.91827 158.65 0.000 Quadratic 1 0.93713 57.95 0.000 A pesar de que la R2 es adecuada, los residuos muestran un comportamiento anormal, por lo que será necesario transformar la variable X. Se observa que los residuos no siguen una distribución normal por lo que es necesario transformar la variable regresora: Transformando la variable X’ = 1/X se tiene, utilizando Minitab:
| Página siguiente |