4 CAP´ITULO 1. MUESTREO ALEATORIO. Teorema 1.1.1 Consideramos una muestra aleatoria (X1,….,Xn), de X continua con una funci´on de densidad f y una funci´on de distribuci´on F, entonces: fX(j) = n! (j – 1)!(n – j)! [F(x)]j-1 f (x)[1 – F (x)]n-j . (1.10) Interpretamos esta f´ormula de la siguiente manera;
[F(x)]j-1 f (x)[1 – F (x)]n-j : probabilidad de cada posibilidad n! (j – 1)!(n – j)! : n´umero de posibilidades. y la podemos emplear de la siguiente forma.
Teorema 1.1.2 Sea (X1,….,Xn), de X continua con una funci´on de densidad f y una funci´on de distribuci´on F, entonces: f(X(i),X(j)) (u,v) = n! (i – 1)!(j – 1 – i)!(n – j)! [F(u)]i-1 f (u)[F(v) – F (u)]j-1-i f (v)[1 – F (v)]n-j . (1.11) Teorema 1.1.3 Sea (X1,….,Xn), de X continua con una funci´on de densidad f y una funci´on de distribuci´on F, entonces: f(X(1),…..,X(n)) = n! n i=1 f (xi). (1.12) 1.2. Inferencia param´etrica. 2 2 ?n = Sea (X1,….,Xn) una m.a. de X ~ f?(X). Empezaremos repasando algunas de las propiedades fundamentales sobre las principales distribuciones que se emplear´an m´as adelante y que se derivan de la normal.
De?nici´on 1.2.1 ?n. Distribuci´on Chi-cuadrado con n-grados de libertad. Consideramos (X1,….,Xn) v.a.i.i.d. que siguen una N(0,1). De?nimos
n i X2. (1.13) 2 i=1
De?nici´on 1.2.2 t-Student, con n-grados de libertad, tn.
Considermos X ? N(0,1) e Y ? ?n de tal forma que (X,Y ) son independientes, de?nimos tn = X Y n = 2 N(0,1) ?n/n (1.14)
X ¯n ? N(µ, s n ), 1.3. ESTAD´ISTICOS SUFICIENTES. 5 2 2 El c´alculo de la funci´on de densidad es f´acil ya que al tratarse de v.a.i. entonces fXY = fXfY
De?nici´on 1.2.3 F Fisher-Snedecor. Fm,n con m y n grados de libertad. Sea X ? ?m, e Y ? ?n v.a.i. entonces de?nimos Y X Fm,n = m = n Xn Ym = 2 2 ?m/m ?n/n (1.15) Teorema 1.2.1 Fisher. Sea (X1,….,Xn) una m.a. de X ~ N(µ,s2), entonces: 1.
2. ¯ 2 2
Xn y Sn son independientes, 3. 2 (n – 1)Sn s2 = (Xi – µ)2 s2 2 ? ?n-1, (1.16) El segundo apartado del teorema es el resultado realmente importante. 1.3. Estad´isticos su?cientes. Empezaremos con una idea intuitiva. Como siempre consideramos (X1,….,Xn) una m.a. de X ~ f?(X). La muestra aleatoria (X1,….,Xn) quedar´a reducida a un determinado estad´istico T, que pasaremos a denominar estad´istico su?ciente. ¿Cu´anta informaci´on perdemos al resumir la m.a. en T?. Llegamos a la conclusi´on de que si T es su?ciente entoncesno hay p´erdida de informaci´on.
De?nici´on 1.3.1 Estad´istico su?ciente. Sea (X1,….,Xn) una m.a. de X ~ f?(X), Un estad´istico T es su?ciente para ? si (X1,….,Xn | T = t) no depende de ?. Esta de?nici´on no ayuda demasiado a encontrar un estad´istico adem´as el c´alculo de las distribu- ciones condicionadas puede resultar algo pesado, por eso consideramos el siguiente teorema
Teorema 1.3.1 de Factorizaci´on. Consideramos (X1,….,Xn) una m.a. de X ~ f?(X), entonces T ser´a estad´istico su?ciente para ? sii f? (x1,…,xn) puede factorizarse de la siguiente forma: f? (x1,…,xn) = g (t,?) · h(x1,…,xn), (1.17) donde t = T (x1,…,xn).
6 CAP´ITULO 1. MUESTREO ALEATORIO. Ejemplo 1.3.1 Sea f? = (log?)?x ? – 1 I(0,1) (x), ? > 1, entonces un estad´istico su?ente puede ser n
i=1 f?(xi) = n
i=1 (log?)?xi ? – 1 I(0,1) (xi) = (log?) ? – 1 n ? xi n
i=1 I(0,1) (xi) por lo tanto T = xi ser´a un estad´istico su?ciente en virtud del teorema de factorizaci´on. Ejemplo 1.3.2 Si f? = 2x ?2 I(0,?) (x), ? > 0, entonces un estad´istico su?ente puede ser T = n xi,X(n) i=1 ya que en virtud del teorema de facotrizaci´on tenemos que: n
i=1 f?(xi) = n
i=1 2x ?2 I(0,?) (xi) = 2 ?2 n n
i=1 (xi) n
i=1 I(0,?) (xi) = = 2 ?2 n n
i=1 (xi)I(X(n),8) (?), por lo tanto T = X(n) ser´a un estad´istico su?ciente y T = n i=1 xi,X(n) tambi´en. 1.4. Ejercicios. Ejercicio 1.4.1 Sea (X1,….,Xn) una muestra sin reemplazamiento de una poblaci´on ?nita {x1,….,xN}, Probar que X1 y X2 no son independientes, pero tienen la misma distribuci´on. (b) Sea (X1,….,X10) una muestra sin reemplazamiento de la poblaci´on ?nita: {1,2,……,1000} Calcular la probabilidad de que todas las observaciones sean mayores que 200, primero de manera exacta y despu´es de manera aproximada admitiendo independencia.
p = P Exito = 1.4. EJERCICIOS. 7 Soluci´on. Con respecto al primer apartado, vemos que las (Xi)ni =1 son v.a.i.d. pero no indepen- dientes. Lo usual es trabajar con v.a.i.i.d. Por lo tanto vemos que P (X1 = x) = 1 N , P (X2 = x) = prob.total P (X1 = y)P (X2 = x | X1 = y) y por lo tanto
P (X2 = x) = P (X1 = x)P (X2 = x | X1 = x) + y=x P (X1 = y)P (X2 = x | X1 = y) = = 1 N · 0+ 1 N · 1 N – 1 = (N – 1) 1 N · 1 N – 1 = 1 N de esta forma vemos que siguen igual distribuci´on.
Para ver la independencia i.e.
¿P (X1 = x,X2 = y) = P (X1 = x) · P (X2 = y)?
as´i que P (X1 = x,X2 = x) = 0, sin embargo P (X1 = x) · P2 (X2 = x) = 1 N · 1 N por lo que no son independientes. ¿Es grave esta p´erdida?,¿es importante?.
Sea (X1,….,X10) una muestra sin reemplazamiento de la poblaci´on ?nita:
{1,2,……,1000}
queremos calcular P (todas las observaciones sean > 200) para ello de?nimos la v.a.
Y := n´umero de observaciones mayores que 200 entre las 10.
C´alculo exacto: al no ser independientes los sucesos entonces las n-Bernoullis no forman una Binomial sino una hipergeom´etrica P (Y = 10) = 800 10 200 0 1000 ? 0,10616, 10
mientras que el c´alculo aproximado lo haremos considerando que los sucesos son independientes y por lo tanto siguen un Binomial Bin(n,p), donde la probabilidad de ´exito vendr´a dada por ´ 800 1000 = 0,8
8
de esta forma llegamos al siguiente resultado:
P (Y = 10) = Bin(10,0,8) = 10 10 CAP´ITULO 1. MUESTREO ALEATORIO.
(0,8)n (0,2)0 = (0,8)n ? 0,107, ¯ por lo que la moraleja del ejercio es que no hay mucha p´erdida de informaci´on al considerar la independencia.
Ejercicio 1.4.2 Supongamos que (X1,….,Xn+1) es una muestra aleatoria de una poblaci´on X con E[X] = µ, y V (X) = s2, sea n Xn = Xi. n i=1 Hallar la esperanza y la varianza del estad´istico T = n n +1 ¯ Xn+1 – Xn . Soluci´on. Vemos que E [T] = E n n +1 ¯ Xn+1 – Xn =0 = n n +1 E ¯ Xn+1 – Xn = n n +1 ¯ E (Xn+1) – E Xn = 0, ¯ ya que E (Xn+1) = E Xn = µ, mientras que var[T] = var n n +1 ¯ Xn+1 – Xn = n n +1 ¯ var Xn+1 – Xn = n n +1 ¯ var(Xn+1) + var Xn ¯ – 2cov Xn+1,Xn ¯ ¯ ya que no s´e de antemano si se tratade dos v.a. independientes, pero vemos que (X1,….,Xn+1) -? Xn, Xn+1 -? Xn+1, son independientes por lo cov Xn+1,Xn = 0, quedando la anterior expresi´on reducida a: var[T] = n n +1 ¯ var(Xn+1) + var Xn , ahora es f´acil comprobar que var(Xn+1) = s2, ¯ var Xn = s2 n quedando por lo tanto var[T] = n n +1 s2 + s2 n = s2, tal y como quer´iamos hacer ver.
i=1 Xi X1 2 ~ Gamma a = ;p = fY =X1 2 = v v + v v = v |J| = v exp(-ax)xp-1, f?(a,p) = llegamos a la igualdad deseada puesto que a = 2 1,p = , G(p) = v 1 . Xi 2 ~ Gamma a = ,p = ~ Gamma a = ,p = 9 1.4. EJERCICIOS.
Ejercicio 1.4.3 Sea (X1,….,Xn) una muestra aleatoria de una N(0,1). Probar: 1. 2 1 X1 ~ Gamma a = 2;p = 1 2 , esta distribuci´on es la ?21. 2. n 2 1 ~ Gamma a = 2;p = n 2 2 , que es la ?n. Soluci´on. Con respecto al primer apartado vemos que: 1 2 1 2 2 donde 1 x2 2p 2 v de?nimos la nueva v.a. Y = X1, viendose as´i que X1 = ± Y . Teniendo en cuenta el jacobiano de esta transformaci´on la funci´on de distribuci´on de la nueva v.a. ser´a: 1 2p exp – y 1 1 2 2 y 2p exp – y 1 2 2 y 1 2py exp – y 2 donde 1 2 y por lo que 1 fY = v 2p exp – y 2 y-1/2, y si tenemos en cuenta que ap G(p) 1 2 v p, y ap = 2 Con respecto al segundo apartado vemos que n
i=1 1 2 n 2 operamos de forma parecida. Teniendo en cuenta las funciones caracter´isticas etc… vemos que al ser independientes n i ?X2 i X2 = i=1 (enti´endase la expresi´on) de esta forma vemos que ? n i=1 X2 i = i ?X2 = 1 – it a -p = 1 – it 1/2 – n 2 1 2 n 2 donde la funci´on caracter´istica de la funci´on Gamma es: ??(a,p) = 1 – it a -p tal y como quer´iamos hacer ver.
(p + q) (p + q + 1) (p + q) (p + q + 1) 10 CAP´ITULO 1. MUESTREO ALEATORIO. Ejercicio 1.4.4 Sea (X1,….,Xn) una muestra aleatoria de una poblaci´on U(0,1). Hallar la esper- anza y la varianza de X(j).
Soluci´on. En primer lugar recordemos que fX(j) = n! (j – 1)!(n – j)! [F(x)]j-1 f (x)[1 – F (x)]n-j . y que las propiedades de la funci´on Beta son: funci´on de densidad. 1 B (p,q) xp-1 (1 – x)q-1 I(0,1)(x), fX(t) =
y su esperanza y varianza son: E(X) = p p + q , var(X) = pq 2 De esta forma vemos que necesitamos conocer la F(x) y la f (x) de la distribuci´on uniforme siendo ´estas: f = 1, F = x -8 1dx = x, ?x ? (0,1), por lo que fX(j) =
= n! (j – 1)!(n – j)! n! (j – 1)!(n – j)! [F(x)]j-1 f (x)[1 – F (x)]n-j =
[x]j-1 1[1 – x]n-j ~ Beta(p,q) obteni´endose de forma inmediata la analog´ia con la funci´on beta 1 B (p,q) = n! (j – 1)!(n – j)! = G (p + q) G(p)G(q) con j = p, q = n – j + 1. De esta forma E X(j) = xfX(j) = p p + q = j n +1 , var X(j) = pq 2 = j (n – j + 1) (n + 1)2 (n + 2) , ¯ etc…. falta desarrollar todos estos c´alculos pesad´isimos.
Ejercicio 1.4.5 Si X es la media de una muestra aleatoria (X1,….,Xn) de una N(µ,s2 = 100), hallar n para que ¯
v v v X ¯ – µ v ? N (0,1), 11 1.4. EJERCICIOS.
Soluci´on. Vemos que ¯ X ? N µ, 100 n = N 10 µ, v n , por lo que ¯ P µ – 5 < X < µ + 5 = P µ – 5 – µ 10 n < ¯ X – µ 10 n < µ +5 – µ 10 n , donde Z = ¯ X – µ s = 10/ n as´i que la anterior expresi´on se reduce a: P – v 5 n 10 < v 5 n 10 , y por simetr´ia se obtiene P Z> v n 2 = 1 – 0,0954 2 = 0,0230, por lo que v n 2 ~ 2… mirar tablas =? n ? 16, ¯ ¯ ¯ ¯ ´ ˜ tal y como quer´iamos calcular.
Ejercicio 1.4.6 Sean (X1,….,X25) e (Y1,….,Y25) dos muestras aleatorias de dos distribuciones ¯
Soluci´on. Vemos que
(X1,….,X25) -? X ~ N(µ = 0,s2 = 16), (Y1,….,Y25) -? Y ~ N(µ = 1,s2 = 9),
¯
¯ ¯
donde la nueva v.a. X – Y ~ N(µ = -1,s2 = 1) y la normalizamos a Z ? N (0,1), obteniendo el resultado requerido. Ver las propiedades de la distribuci´on normal en el ultimo cap´itulo.
ESTAD´ISTICOS SUFICIENTES
Ejercicio 1.4.7 Encontrar un estad´istico su?ciente en cada uno de los siguientes casos basado en una muestra aleatoria de tamano n de:
v n 2 = 1 – 0,0954 2 = 0,0230, por lo que v n 2 ~ 2… mirar tablas =? n ? 16, ¯ ¯ ¯ ¯ ´ ˜ tal y como quer´iamos calcular.
Ejercicio 1.4.6 Sean (X1,….,X25) e (Y1,….,Y25) dos muestras aleatorias de dos distribuciones ¯
Soluci´on. Vemos que
(X1,….,X25) -? X ~ N(µ = 0,s2 = 16), (Y1,….,Y25) -? Y ~ N(µ = 1,s2 = 9),
¯
¯ ¯
donde la nueva v.a. X – Y ~ N(µ = -1,s2 = 1) y la normalizamos a Z ? N (0,1), obteniendo el resultado requerido. Ver las propiedades de la distribuci´on normal en el ultimo cap´itulo.
ESTAD´ISTICOS SUFICIENTES
Ejercicio 1.4.7 Encontrar un estad´istico su?ciente en cada uno de los siguientes casos basado en una muestra aleatoria de tamano n de:
12 CAP´ITULO 1. MUESTREO ALEATORIO. 1.
2. X ~ Beta(a,ß).
X ~ Gamma(p,a). f? (x) = e-x+? x ? (?,8), 0 resto, 3.
4. fµ,s = 1 v xs 2p exp 1 2s2 log(x – µ)2 , con x > 0.
Soluci´on. En todos los casos se trata de una aplicaci´on sistem´atica del teorema de factorizaci´on.
1. X ~ Beta(a,ß)
? = (a,ß) f? = 1 B(a,ß) xa-1 (1 – x)ß-1 , por lo que f? (x1,….,xn) = f? (xi) = 1 B(a,ß) n i xa-1 (1 – xi)ß-1 , de esta forma
f? (x1,….,xn) = K xa-1 i (1 – xi)ß-1 = g(t,?)h(x1,….,xn) donde elejimos h(x1,….,xn) = 1. De?nimos por lo tanto el estad´istico T = i xa-1, (1 – xi)ß-1 ´ es el estad´istico su?ciente buscado para (a,ß). No obstante debemos resaltar que no se trata del unico estad´istico su?ciente, la muestra en s´i misma es un estad´istico su?ciente o T = logxi, log(1 – xi) tambi´en es su?ciciente ya que log xi = e xi = e logxi , luego reescribiendo adecuadamente todas estas transformaciones biyectivas obtenemos lo mis- mo, la moraleja est´a en que dado cualquier estad´istico su?ciente (e.s.), entonces cualquier transformaci´on biyectiva nos da otro e.s..
1.4. EJERCICIOS. 13 2. X ~ Gamma(p,a), donde f?(a,p) = ap G(p) exp(-ax)xp-1 siguiendo el anterior esquema vemos que f? (x1,….,xn) = f? (xi) = ap G(p) n exp(-axi) xp-1 i de esta forma llegamos a la conclusi´on de que
T = xi, xi es un estad´istico su?ciente para ? = (p,a).
Observaci´on 1.4.1 En realidad se han omitido los detalles m´as sangrientos, ya que hasta que se llega al estad´istico T, la verdad, hay que hacer unas cuantas cuentas: exp(-axi) = exp -na xi , i xp-1 = …. manipular . ˜ f (n,p) xi 3. X ~ e-x+?, con x > ?. Intentamos la misma argumentaci´on i.e. xi f? (xi) = e-x1+?……e-xn+? = en?e-
f? (x1,….,xn) = g(t,?)h(xi) f? (x1,….,xn) =
llegando a la conclusi´on de que
por lo que podr´iamos tomar g(t,?) = en?, h(xi) = e- xi de esta forma T = n? ser´a el estad´istico su?ciente. NO. Hemos operado mal intencionadamente. Aqu´ihay que tener muy en cuenta que x > ?, por lo que empezamos reescribiendo la f? como f? = e-x+?I(?,8)(x) y volvemos a rehacer el ejercicio con esta nueva consideraci´on f? (x1,….,xn) = f? (xi) = e-xi+?I(?,8)(xi) = en? I(?,8)(xi)e- xi donde g(t,?) = en?I(?,8)(X(1)), h(xi) = e- xi observar que I(?,8)(xi) = I(?,8)(X(1)), donde X(1) = m´in(x1,….,xn) por lo que podemos de?nir el e.s. T como T = X(1) , sorprendente, ¿no?.
fU = , f? (x1,….,xn) = I(0,8)(xi)I(-8,?)(xi) 14 CAP´ITULO 1. MUESTREO ALEATORIO. 4. En este caso fµ,s = 1 v xs 2p exp 1 2s2 log(x – µ)2 i.e. el modelo log-normal. En este caso el estad´istico su?ente ser´a T = logxi, i logx2 . Para llegar a esta conclusi´on podemos considerar (X1,….,Xn) m.a. de X una N(µ,s2), por lo que T = xi, x2 i ¯ (falta probarlo). Ejercicio 1.4.8 Sea (X1,….,Xn) una muestra aleatoria de X ~ U(0,?), (? > 0). Estudiar la su?ciencia de T = X(n)
Soluci´on. Vemos que 1 ? =? 1 ? aqu´i es donde est´a toda la miga del problema, por lo que f? = 1 ? n I(0,8)(xi) I(-8,?)(xi) y al igual que antes observamos que
I(0,8)(xi) = I(0,8)(X(1)), I(-8,?)(xi) = I(-8,?)(X(n)), de esta forma llegamos a la conclusi´on de que f? (x1,….,xn) = g(t,?)h(xi) por lo que podr´iamos tomar g(t,?) = 1 ? n I(-8,?)(X(n)), h(xi) = I(0,8)(X(1)) obteniendo as´i T T = X(n) ser´a el estad´istico su?ciente. Lo principal del problema est´a en ver 1 ? lo cual no siempre es f´acil.
Cap´itulo 2
Estimaci´on puntual 2.1. Introducci´on Sea (Xi)ni =1 una muestra aleatoria (m.a.) donde X ~ f?(x), ? ? T, el par´ametro ? es lo que queremos estimar. El objetivo es por lo tanto intentar decir algo sensato sobre ? a partir de los datos que tenemos i.e. de la m.a. (Xi)ni =1 . Para ello podemos seguir t´acticas: 1.
2.
3. Estimaci´on puntual (el objeto de este cap´itulo).
Los intervalos de con?anza.
Contraste de hip´otesis. ´ Los objetivos de la estimaci´on puntual son los siguientes: Estimar el par´ametro ? (´o t (?)) mediante un unico valor (un punto) a apartir de la muestra (Xi)ni =1 .
De?nici´on 2.1.1 Sea (Xi)ni =1 m.a. donde X ~ f?(x), ? ? T, un estimador puntual para ? es simplemente un estad´istico T = T(x1,…,xn) cuyo objetivo es estimar lo mejor posible ? (´o t (?)).
Los m´etodos de construcci´on son los siguientes: 1.
2.
3. M´etodo de los momentos,
M´etodo de m´axima verosimilitud,
M´etodos bayesianos. Tal y como veremos el metodo de m´axima verosimilitud es el m´etodo por excelencia.
15
CAP´ITULO 2. ESTIMACION PUNTUAL .. 16 ´ 2.2. M´etodo de los momentos ˜ De?nici´on 2.2.1 Sea (Xi)ni =1 m.a. donde X ~ f?(x), ? ? T, un estimador puntual para ? por el m´etodo de los momentos (MM) y denotado por ?, es el valor que se obtiene al resolver el siguiente sistema de ecuaciones: E? [X] = 1 n Xi, . (2.1) E? Xk = 1 n i Xk, Ejemplo 2.2.1 Sea (Xi)ni =1 m.a. donde X ~ f?(x), ? ? T, donde X ~ Bernoulli(p), lo que queremos estimar es p as´i que Ep [X] = 1 n Xi, por lo tanto ˜ p = 1 n xi. Ver la secci´on de ejercicios para aclarar este m´etodo con ejemplos m´as complicados. 2.3. M´etodo de m´axima verosimilitud dan a (Xi)ni =1 = f?(xi)ni =1 = De?nici´on 2.3.1 Sea (Xi)ni =1 m.a. donde X ~ f?(x), ? ? T. De?nimos para cada muestra ?ja (Xi)ni =1 la funci´on de verosimilitud L(?) = probabilidad o densidad que los diferentes valores de ? n i=1 f?(xi). Por lo tanto L(?) = n f?(xi). ? ? i=1
El estimador de m´axima verosimilitud ˆ es el valor del par´ametro ? que maximiza L(?).
Observaci´on 2.3.1 En la mayor´ia de los casos para la obtenci´on de ˆ se maximiza la funci´on logL(?) en vez de L(?)
2.4. METODOS BAYESIANOS. L(p) = Pp(x1,..,xn) = xi – n – ´ 17 Ejemplo 2.3.1 Se trata del mismo ejemplo que el del MM i.e. sea (Xi)ni =1 m.a. donde X ~ f?(x), ? ? T, donde X ~ Bernoulli(p), i.e. X ~ Bernoulli(p) = px (1 – p)1-x ,
lo que queremos estimar es p as´i que indp. n Pp(xi) = p xi (1 – p)n- xi i=1
xi log(p) + n – xi log(1 – p) tomamos logaritmos
log(L(p)) =
y pasamos a calcular el m´aximo i.e. ?p log(L(p)) = 0 1 p xi 1 1 – p = 0 despejamos p, encontr´andose que ˆ p = 1 n xi. ˆ ˜ Vemos que en tos ejemplos hemos obtenido que p = p, pero esto no siempre pasa. 2.4.
2.4.1. M´etodos bayesianos.
Introducci´on a los m´etodos bayesianos. Sea (Xi)ni =1 m.a. donde X ~ f?(x), ? ? T. En primer lugar advertir que en este caso cambia la notaci´on y se emplea f?(x) = f (x | ?), (2.2) considerando a ? como una v.a. 1. Disponemos de informaci´on muestral f?(x1,…,xn) = f (x1,…,xn | ?) = n f(xi | ?). (2.3) 2.
3. i=1
Nuevo. Disponemos de informaci´on previa sobre el par´ametro ?, que modelizamos mediante una densidad a priori (no proviene de la muestra) p (?).
Obtenemos la densidad conjunta f (xi | ?)p (?). (2.4)
CAP´ITULO 2. ESTIMACION PUNTUAL ?p (? | x1,…,xn)d? = . 18
4. ´
Obtenemos la densidad o funci´on de masa de ? condicionada por (Xi)ni =1 , densidad a poste- riori, p (? | x1,…,xn) = f (x1, …, xn | ?)p (?) ? f (x1,…,xn | ?)d? ? f (xi | ?)p (?). (2.5) esta expresi´on no es m´as que la expresi´on de Bayes para el c´aculo de la probabilidad condi- cionada.
Los m´etodos bayesianos obtienen todas sus conclusiones sobre ? a partir de p (? | xi) (densidad condicionada) que recibe el nombre de densidad a posteriori.
El problema en la pr´actica est´a en la elecci´on de p (?). A menudo se utilizan familias conjungadas de densidades a priori facilit´andose as´i los c´alculos.
De?nici´on 2.4.1 Familia conjungada. Sea (Xi)ni =1 m.a. donde X ~ f (x | ?), ? ? T. Una familia P = {p (?)} de densidades a priori es conjungada para muestras de X ~ f (x | ?) cuando p (?) ? P, entonces p (? | x1,…,xn) ? f (xi | ?)p (?) ? P. (2.6) La idea en la pr´actica es que cualquier t´ecnica estad´isitica basada en m´etodos bayesianos obten- dr´a conclusiones a partir de p (? | xi). 2.4.2. Estimadores puntuales bayesianos. Un estimador puntual bayesiano ser´a una medida de centralizaci´on de la densidad a posteriori. Los m´as habituales son: 1. Media a posteriori T ?p (? | x1,…,xn)d?, (2.7) 2. Mediana a posteriori M
-8 1 2 (2.8) Ejemplo 2.4.1 Estimaci´on de ? = p = P(E), probabilidad de ´exito. Disponemos de una m.a. (Xi)ni =1 donde X = 1 P(E) = ? 0 P(F) = 1 – ? por lo que X ~ Bernoulli(?), tal que ? ? (0,1), as´i que sabemos que X ~ f (x | ?) = ?x (1 – ?)1-x . Consideramos la siguiente densidad a priori
p (?) ~ Beta(p = a,q = b)
(1 – ?)b-1 (1 – ?) 19 f (x1,…,xn | ?) = 2.5. PROPIEDADES DESEABLES DE LOS ESTIMADORES.
por lo tanto la densidad a posteriori ser´a n i=1 f(xi | ?) = ? xi (1 – ?)n- xi p (?) = ? a-1 B(a,b) entonces p (? | x1,…,xn) ? f (xi | ?)p (?) ? ? xi n- xi ?a-1 (1 – ?)b-1 B(a,b) ? ?a+ xi-1 (1 – ?)n+b- xi-1 ~ Beta(p,q) as´i llegamos a la conclusi´on de que p = a + xi, q = n + b – xi. Entonces la media a posteriori ser´a T ?p (? | x1,…,xn)d? = 1 0 ?Beta(p,q)d? pero para hecharse esta cuenta uno debe considerar las constantes que hemos ido despreciando. Lo mejor en estos casos es ?jarse en los resultados ya conocidos, por lo que E [Beta(p,q)] = p p + q = a + xi a + b + n . Vemos que la densidad a priori era una Beta y que la densidad a posteriori ha salido otra Beta i.e. hemos tomado una familia conjugada
P ={Beta(p,q), p,q > 0}
si p = q = 1 =? Beta(1,1) ~ U ([0,1]), la uniforme ser´ia el caso en el que no tenemos ni idea sobre ?. Si P(E) = ? = 12 (o se aproxima mucho a este valor) entonces tomamos p,q tales que 1/2 sea el m´aximo para la funci´on Beta(p,q). 2.5.
2.5.1. Propiedades deseables de los estimadores.
Error cuadr´atico medio. Estimadores insesgados. De?nici´on 2.5.1 El error cuadr´atico medio de un estimador T para estimar t (?) es: ECM = E? (T – t (?))2 = f?(xi)(T – t (?))2 dxn. (2.9)
CAP´ITULO 2. ESTIMACION PUNTUAL T1 = X, es insesgado para estimar µ = t (?), ya que 20 ´ Si desarrollamos el formul´on anterior entonces vemos que ECM = E? (T – t (?))2 = var(T) + (E? [T] – t (?))2 ,
donde se de?ne el sesgo como sesgo := E? [T] – t (?). (2.10)
(2.11) De?nici´on 2.5.2 Un estimaodor es insesgado o centrado para estimar una funci´on del par´ametro si E? [T] = t (?), i.e. el sesgo, (E? [T] – t (?) = 0) es cero i.e. (2.12) ECM = E? (T – t (?))2 = var(T) + (E? [T] – t (?))2 = var(T).
Ejemplo 2.5.1 Sea (Xi)ni =1 m.a. donde X ~ N µ,s2 , donde ? = µ,s2 , entonces: ¯ 1.
2. ¯
E X = µ = t (?)
T2 = S2, es insesgado para estimar s2 = t (?), ya que E S2 = s2 = t (?) recordar que S2 = 1 n-1 ¯ xi – X 2 3. T3 = var(X), es sesgado para estimar s2 = t (?), ya que E [var(X)] = s2 = t (?)
por lo tanto se tratar´ia de un estimador sesgado.
Teorema 2.5.1 Cota de Frechet-Cramer-Rao. Sea (Xi)ni =1 m.a. donde X ~ f?(x), ? ? T. para cualquier estimador T insesgado para t (?) se veri?ca: var(T) = dt(?) 2 E? d d? d? logf? (x1,…,xn) 2 = dt(?) 2 nE? d d? d? logf? (x) 2 . (2.13) Lema 2.5.1 E? d d? logf? (x) 2 = -nE? d2 d?2 logf? (x) (2.14) por lo tanto var(T) = dt(?) 2 -nE? d? d2 d?2 logf? (x) (2.15)
2.5. PROPIEDADES DESEABLES DE LOS ESTIMADORES. 21 2.5.2. Estimadores e?cientes. De?nici´on 2.5.3 Un estimador T es e?ciente para estimar un par´ametro t (?) si: 1.
2. Es insesgado,
Su varianza alcanza la cota de FCR En consecuencia si es e?ciente tiene m´inima varianza. Al denominador de la cota de FCR (2.15) recibe el nombre de informaci´on de Fisher.
De?nici´on 2.5.4 Informaci´on de Fisher. IF = E? d d? logf? (xi) 2 (2.16) Obtenci´on de un estimador e?ciente.
Si T es e?ciente su varianza alcanza la cota de FCR por lo que ?2 T, d d? logf? (xi) = 1, el coe?ciente de correlaci´on vale uno, de este modo “casi seguro” y y – ¯ = cov(x, y) var(x) ¯ (x – x) obtenemos la recta de regresi´on que traducimos en este caso como T – E? [T] = cov(T, d? logf? (xi)) var(d? logf? (xi)) d d? logf? (xi) – E? d d? logf? (xi) d d? resultado: t' (?) T = t (?) + (2.17) d2 d?2 i.e. T = t + t' IF (logf?)' , observ´andose que E? [T] = t (?), cov(T, d d? logf? (xi)) = dt (?) d? = t' (?), var( d d? logf? (xi)) = -nE? d2 d?2 logf? (x) , as´i que si T es e?ciente entonces debe tener la pinta de (2.17). Si T no depende de ?, entonces ser´a e?ciente.
CAP´ITULO 2. ESTIMACION PUNTUAL Tn -? t (?). FTn -? F(y) = entonces Tn -? t (?) y por lo tanto se trata de un estimador consistente para t (?). l´im ?Tn(t) = eitt(?) entonces Tn -? t (?) y por lo tanto se trata de un estimador consistente para t (?). 22 ´ 2.5.3. Estimadores consistentes. Sea (Xi)ni =1 m.a. donde X ~ f?(x), ? ? T. Queremos estimar t (?), Buscamos estimadores que se aproximen todo lo posible a lo que queremos estimar a medida que el n´umero de observaciones n crece i.e. T (Xi) ? t (?) i.e. hay convergencia en distribuci´on (en Ley). Buscamos estimadores que L funcionen bien asint´oticamente.
De?nici´on 2.5.5 Decimos que un estimador Tn es consistente para estimar t (?) si el estimador converge en probabilidad a t (?) i.e. (2.18) P
Veamos las distintas formas de abordar el estudio de la consistencia. 1. Supongamos que la funci´on de distribuci´on FTn es sencilla de obtener. Estudiamos entonces si L 0 y < t (?) 1 y = t (?) (2.19) ´ 2. P
Esta t´actica suele ser util cuando estamos trabajando con m´aximos y m´inimos
Supongamos que ?Tn(t) son f´aciles de obtener y estudiamos la convergencia (2.20) ´ n?8
P
Esta t´actica suele ser util cuando estamos trabajando con sumas y medias muestrales.
Teorema 2.5.2 Sea Tn un estimador tal que 1.
2. l´imn?8 var? (Tn) = 0,
l´imn?8 E? [Tn] = t (?), entonces Tn es consistente para estimar t (?).
Teorema 2.5.3 Bajo ciertas condiciones de regularidad el estimador de m´axima verosimilitud es consistente.
e-n?? i=1 xi e-n?? i=1 xi 2.6. EJERCICIOS 23 2.6. Ejercicios ˜ Ejercicio 2.6.1 Dada una m.a. de tamano n de una v.a. X calcular el estimador de m´axima verosimilitud y el del los momentos en los siguentes casos: 1.
2.
3.
4.
5. X ~ Poisson(?), X ~ Exponencial(?), X ~ N(µ,s2), s conocido, X ~ N(µ,s2), µ conocido, X ~ N(µ,s2). Soluci´on. Siguiendo el mismo esquema que el propuesto en los ejemplos de teor´ia vemos que:
1. X ~ Poisson(?), Veremos los dos m´etodos
MM Sabemos que X ~ Poisson(?),=? E [X] = ? E [X] = ? = 1 n n
i=1 xi por lo que ˜ ? = 1 n n
i=1 xi. MMV Tomamos como funci´on de verosimilitud P(xi) = n
(x1!)…(xn!) L(?) =
tomando logaritmos entonces: log(L(?)) = log n
(x1!)…(xn!) = = -n? + n i=1 xi log? – n i=1 log((xi)!) y por lo tanto ?? log(L(?)) = 0, -n + n
i=1 xi 1 ? = 0 despejando se llega con facilidad a: ˆ ? = 1 n n
i=1 xi como era de esperar.
CAP´ITULO 2. ESTIMACION PUNTUAL i=1 xi log(L(?)) = log ? e i=1 xi ´ 24
2. X ~ Exponencial(?), por lo que f(x) = ?e-?x, MM Sabemos que X ~ exp(?),=? E [X] = ?-1 E [X] = ?-1 = 1 n n
i=1 xi por lo que ˜ ? = n n . MMV Tomamos como funci´on de verosimilitud L(?) = f(xi) = ?ne-? n i=1 xi tomando logaritmos entonces: n -? n i=1 xi = nlog? – ? n i=1 xi y por lo tanto ?? log(L(?)) = n ? + n
i=1 xi =0 ˆ n n . despejando se llega con facilidad a:
? =
como era de esperar.
3. X ~ N(µ,s2), s conocido,
MM Sabemos que X ~ N(µ,s2),=? E [X] = µ E [X] = µ = 1 n n
i=1 xi, =? ˜ µ = 1 n n
i=1 xi MMV Tomamos como funci´on de verosimilitud L(µ) = f(xi) = sn 1 v 2p n exp – 1 2s2 n
i=1 (xi – µ)2 , tomando logaritmos entonces: log(L(µ)) = log sn 1 v 2p n exp – 1 2s2 n
i=1 (xi – µ)2 = = -nlogs – nlog v 2p – 1 2s2 n
i=1 (xi – µ)2
?µ log(L(µ)) = 2 s ˜ = + 3 2.6. EJERCICIOS 25 y por lo tanto 1 s n
i=1 xi – nµ = 0 despejando se llega con facilidad a: ˆ µ = 1 n n
i=1 xi. como era de esperar.
4. X ~ N(µ,s2), µ conocido,
MM Sabemos que X ~ N(µ,s2) =? E [X] = µ E [X] = µ = 1 n n
i=1 xi no sirve en este caso pues este dato es conocido, por lo que tendremos que recurrir al momento de orden 2 i.e. E X2 = 1 n n
i=1 x2 i de donde se obtiene que (recordar la de?nici´on de varianza, var(X) = E X2 -E [X]2) s2 + µ2 = 1 n n
i=1 x2 i despejando 2 1 n n
i=1 i x2 – µ2 pero este resultado nos lleva a obtener un absurdo pues puede ser negativa esta magnitud !¡ Por ejemplo tomando µ = 3,xi = (1,2,4). MMV Tomamos como funci´on de verosimilitud L(s) = f(xi) = sn 1 v 2p n exp – 1 2s2 n
i=1 (xi – µ)2 tomando logaritmos entonces: log(L(s)) = -nlogs – nlog v 2p – 1 2s2 n
i=1 (xi – µ)2 y por lo tanto ?s log(L(s)) = – n s 1 s n
i=1 (xi – µ)2 = 0,
CAP´ITULO 2. ESTIMACION PUNTUAL + 3 26 ´ despejando se llega con facilidad a: ˆ s2 = 1 n n
i=1 (xi – µ)2 . ˜ ˆ ˆ como era de esperar. Aqu´ise ve que no siempre s2 = s2, y que siempre el mejor etimador ser´a el de MV i.e. s2.
5. X ~ N(µ,s2),
MM Sabemos que X ~ N(µ,s2) E [X] = µ = 1 n n
i=1 xi, =? ˜ µ = 1 n n
i=1 xi, E X2 = s2 + µ2 = 1 n n
i=1 x2 i =? ˜ s2 = 1 n n
i=1 (xi – µ)2 . MMV Tomamos como funci´on de verosimilitud L(µ,s) = f(xi) = sn 1 v 2p n exp – 1 2s2 n
i=1 (xi – µ)2 tomando logaritmos entonces: log(L(µ,s)) = -nlogs – nlog v 2p – 1 2s2 n
i=1 (xi – µ)2 y por lo tanto ?µ log(L(µ,s)) = 1 s2 n
i=1 xi – nµ = 0, ?s log(L(µ,s)) = – n s 1 s n
i=1 (xi – µ)2 = 0, despejando se llega con facilidad a: ˆ µ = 1 n n
i=1 xi, ˆ s2 = 1 n n
i=1 (xi – µ)2 . como era de esperar. Ejercicio 2.6.2 Para cada uno de los siguientes casos encontrar la familia conjugada natural y hallar la distribuci´on a posteriori.
2.6. EJERCICIOS 27 1.
2. (Xi)ni =1 es una m.a. de X ~ Poisson(?), (Xi)ni =1 es una m.a. de X ~ Gamma(p = 1,a = ?) 3. (Xi)ni =1 es una m.a. de X ~ N ?,var = 1 r , donde r es conocido. Soluci´on. Seguimos el gui´on expuesto en el ejemplo de la teor´ia 1. (Xi)ni =1 es una m.a. de X ~ Poisson(?), e-??x x! , x = 0,1 f? (x) = P (x | ?) =
familia de muestras para una Pisson P (x | ?) = P (xi | ?) ? e-n?? xi P (x | ?) es el n´ucleo de una densidad tipo “Gamma”, entonces tomamos como posible familia conjugada P = {p (?) ? Gamma(p,a)} recordamos que f ~ ap G(p) e-axxp-1 por lo que p (?) ~ a? G(?) e-a??p-1 as´i que p (? | x1,…,xn) ? P (xi | ?)p (?) ? e-n?? xi a? G(?) e-a??p-1 ? e-(n+a)??p+ xi-1 xi,a = ß + n . para ? > 0, por lo tanto
p (? | x1,…,xn) ~ Gamma p = a +
Adem´as podemos calcular la media a posteriori T ?p (? | x1,…,xn)d? = p a = a + xi ß + n 2. este ser´ia un estimador puntual bayesiano. (Xi)ni =1 es una m.a. de X ~ Gamma(p = 1,a = ?) f? (x) = f (x | ?) = ? G(1) e-?xx1-1 = ?e-?x, x> 0 familia de muestras para una Poisson P (x | ?) = P (xi | ?) ? ?ne-? xi ,
CAP´ITULO 2. ESTIMACION PUNTUAL 2 1= x f (xi | ?)d? x ?2d? ? (1 – x) ? (1 – x) 28 ´
P (x | ?) es el n´ucleo de una densidad tipo Gamma, entonces tomamos como posible familia conjugada P = {p (?) ? Gamma(p,a)}, recordamos que f ~ ap G(p) e-axxp-1, por lo que p (?) ~ a? G(?) e-a??p-1, xi , as´i que p (? | x1,…,xn) ? f (xi | ?)p (?) ? ?ne-? para ? > 0. por lo tanto p (? | x1,…,xn) ~ Gamma p = a + xi,a = ß + n . Ejercicio 2.6.3 Sea X una observaci´on de la densidad f (x | ?) = 2x ?2 I(0,?) (x), ? > 0, supongamos que ? tiene una distribuci´on a priori uniforme sobre (0,1). Hallar la mediana de la distribuci´on a posteriori.
Soluci´on. Tenemos la siguiente situaci´on: f (x | ?) = 2x ?2 I(0,?) (x), ? > 0, y suponemos que p (?) = U [0,1] = 1, ? ? (0,1), entonces: p (? | xi) ? f (xi | ?)p (?) ? 2x ? 2x ?2 , ? ? (0,1), pero x ? (0,1), x < ?, por lo que ? ? (x,1), as´i que p (? | xi) ? f (xi | ?)p (?) 1 = 2x ?2 1 2x = x 2 , ? ? (x,1). Para calcular la media a posteriori vemos que 1 2 = M
-8 p (? | xi)d? = M
-8 x 2 d?
– 3 , 2.6. EJERCICIOS 29 por lo que M = 2x 1+ x , tal y como quer´iamos calcular.
Ejercicio 2.6.4 Encontrar la cota de FCR y el estimador e?ciente (si existe) en los siguientes casos: 1. m.a. de f?(x) = 1 ? exp – x ? , ? > 0, x > 0, para estimar ? 2. m.a. de f?(x) = ?(1 – ?)x , x = 0,1.., ? ? (0,1), para estimar ? 3. m.a. de 1 fs(x) = v s 2p exp – x2 2s2 , para estimar s, lo mismo para estimar s2.
Soluci´on. Recordamos que FCR = -nE? dt 2 d? d2 logf?(x) d?2 , I.F. = -nE? d2 logf?(x) d?2 mientras que el estimador e?ciente t + dt d? I.Fisher dlogf?(xi) d? , T = t + t' IF (logf?)' , as´i que: 1. En este caso f?(x) = 1 ? exp – x ? , ? > 0, x > 0, por lo que tomando logaritmos tenemos que logf?(x) = log 1 ? exp – x ? = -log? – x ? , y de forma inmediata se calculan las derivadas etc… 1 x ? ? ? ?22 logf?(x) = 1 ?2 2x ?
CAP´ITULO 2. ESTIMACION PUNTUAL 2 – ? = 2 – 3E [x] = 2 – 3? = – 2 x exp – n exp ? (1 – ?) 30 ´ de esta forma vemos que E? 1 ? 2x 3 1 2 1 2 1 ? ? ? ? ? ya que E [X] = R 1 ? x ? dx = ? E [X] = p a = ? adem´as podemos observar que
1 ya que G p = 1,a = . Por lo tanto: ? FCR = -nE? dt 2 d? d2 logf?(x) d?2 = 1 -n -? 1 2 = ?2 n . Para calcular el estimador e?ciente vemos que f?(xi) = f?(xi) = 1 ? – xi ? tomando logaritmos log(f?(xi)) = log 1 ?n exp – xi ? = -nlog? – xi ? y por lo tanto ?? (log(f?(xi))) = ?? – n ? — xi ? = – n ? + ? xi 2 de esta forma llegamos a que T = t + dt d? I.Fisher dlogf?(xi) d? = = ? + -n 1 -? 1 2 – n ? + ? xi 2 = ? + ?2 n – n ? + ? xi 2 = xi n . 2. De forma m´ecanica vemos que f?(x) = ?(1 – ?)x , x = 0,1.., ? ? (0,1), es una geom´etrica E [X] = 1 – ? ? , I.F. = n 2 por lo que FCR = ?2 (1 – ?) n sin embargo T = ? – ?2 (1 – ?) n dlogf?(xi) d? = 2? – ?2 – ?2 xi
-nEs d log dsf 2 s(x) -nEs d log dsf 2 s(x) 2 4 = s2 + 2n 31 2.6. EJERCICIOS
i.e. no es un estimador e?ciente. FALTA completar las cuentecillas. log(f?(xi)) = log ?n (1 – ?) xi . dlogf?(xi) d? = n ? – xi (1 – ?) , 3. En este caso 1 fs(x) = v s 2p exp – x2 2s2 ? N 0,s2 , evitando pasos intermedios vemos que FCR = dt 2 ds 2 = -nEs 1 1 s2 – 3×2 s4 = – n s2 + 1 3n s4 Es [X2] 2 2 observ´andose que: var(X) = Es X2 – Es [X] Es X2 = var(X) + Es [X] = var(X) = s2 ya que X ? N 0,s2 , as´i que FCR = s2 2n . El estimador e?ciente: T = t + dt d? I.Fisher dlogf?(xi) d? = s + s2 2n dlogf?(xi) d? donde dlogf?(xi) d? = d d? log 1 v s 2p n exp – i x2 2s2 = – n s + i x2 s3 entonces T = s + s2 2n – n s + i x2 s3 por lo que no hay estimador eiciente para s. Sin embargo si repetimos estas cuentecillas para s2, vemos que FCR = dt 2 ds 2 = s2 4s2 – n + 3n s2 = n s . mientras que el estimador e?ciente veri?ca T = t + dt d? I.Fisher dlogf?(xi) d? = 2s
s2 – n s + i x2 s3 = i x2 n luego T = i x2 n es un estimador e?ciente en este caso.
CAP´ITULO 2. ESTIMACION PUNTUAL -nE? d log d? f 2?(x) e -cxe = e (e-c?) = e-?e-?e . 32 ´ Tal y comoquer´iamos hacer ver.
Ejercicio 2.6.5 Sea (Xi)ni =1 m.a. de una distribuci´on tipo Poisson ?. 1. Hallar la cota inferior de FCR para la varianza de los estimadores insesgados de e-?. 2. Xi) sea un estimador Determinar el valor de la constante c tal que el estimador exp(-c insesgado de e-?. Soluci´on. De forma inmediata vemos que FCR = dt 2 d? 2 = nE? -e2? d2 logf?(x) d?2 = ?e-2? n no olvidar que estamos estimando e-?. T = exp(-c Xi) insesgado para estimar e-?.?? Recordamos que insesgado signi?ca: E? [T] – t (?) = 0 ?? E? [T] = e-? por lo tanto e-? = E [T] = E exp -c Xi = E [exp(-cxi)] = (E [exp(-cxi)])n = (exp(-?(1 – ec)))n = exp(-?n(1 – ec))
despejando se obtiene c = -log 1 – 1 n . veamos un paso delicado de la anterior cadenas de igualdades: E [exp(-cx)] = -cx P(X = x) = 8
x=0 e -??x x! -? 8
x=0 x x! -c tal y como quer´iamos hacer ver.
Ejercicio 2.6.6 Sea (Xi)ni =1 m.a. de una distribuci´on tipo uniforme U (0,?), ? > 0. 1.
2.
3. Hallar la cota inferior de FCR para la varianza de los estimadores insesgados de ?.
Estudiar si X(n) es un estimador insesgado para ?.
Hallar el estimador de m´axima verosimilitud para ?.
? nt?n f?(x) = , 33 2.6. EJERCICIOS
Soluci´on. En este caso vemos que E [T] = E X(n) = R tfX(n)(t)dt para calcular fX(n)(t) puedo mirar la funci´on de densidad del m´aximo: FX(n)(t) = ? ? 0 tn ?n 1 t < 0, t ? (0,?), t > ?, vemos que FX(n)(t) = P(Xi = t) = (P(Xi = t))n = t
-8 fdx n = t 0 1 ? dx n = tn ?n as´i fX(n) = n-1 0 t ? (0,?) resto de esta forma E [T] = E X(n) = R tfX(n)(t)dt = ? 0 n tn ?n dt = n n +1 ? por lo que no es insesgado para estimar ?. Recordatorio: E? [T] – t (?) = 0.
Hallar el estimador de m´axima verosimilitud para ?. En este caso 1 ? x ? (0,?), por lo que la funci´on L(?) = f?(xi) = f?(xi) = 1 ?n , as´i que logL(?) = -nlog?, =? ?? logL(?) = – n ? de esta forma llegamos a que ?? logL(?) = – n ? =0 =? ? ˆ = 8, ? 1 ? llegando as´i a una cagada monumental. Rehacemos el camino para hacer ver que en esta ocasi´on f?(x) = 1, x ? (0,?), pero L(?) = ?n, si ? = X(n), en este caso el rango de las observaciones depende del par´ametro por lo que hay que ser un poco m´as cuidadoso a la hora de escribir las cosas. As´i se llega a la conclusi´on de que
ˆ = X(n)
tal y como quer´iamos hacer ver.
CAP´ITULO 2. ESTIMACION PUNTUAL xi, ¿Es consistente para ?? .i.e. ˆ ? -? ?.?? Para verlo tendremos G(n) ? E ˆ ? -? ? ? ? ´ 34
Ejercicio 2.6.7 Sea (Xi)ni =1 m.a. de la densidad
f? (x) = ?exp(-?x), x = 0,? > 0. Encontrar el estimador de m´axima versimilitud de ?. ¿Es consistente para ??.
Soluci´on. En este caso f? (x) es una exponencial (ver primer ejercicio), adem´as el rango no ? depende del par´ametro. ˆ = n P n?8 n?8
Por lo tanto: E ˆ ? = E n xi = E n Y = 8 0 n y f (y)dy = 8 0 n ?n y G(n) e-?yyn-1dy = = n 8 ?n G(n) 0 e-?yyn-2dy = n ?n G (n – 1) n-1 = n n – 1 ? por lo tanto ? E ˆ = E n Y = n n – 1 ?, n?8 en estos c´alculos hemos empleado los siguientes trucos: Y = xi ~ Gamma(p = n,a = ?). las exponenciales son casos particulares de una Gamma y la suma de Gammas es otra Gamma. Si X ~ Gamma(p,a) entonces: f(x) = ap G(p) e-axxp-1, 8 0 e-axxp-1dx = G (p) ap , G(p) = (p – 1)G(p – 1). Mientras que var ˆ ? = var n xi = n2var 1 Y = n2 E Y -2 – E2 Y -1 = = n2 8 0 1 ?n y2 G(n) e-?yyn-1dy – ?2 (n – 1)2 = n2 ?2 (n – 1)(n – 2) – ?2 (n – 1)2 n?8
Ejercicio 2.6.8 Sea (Xi)ni =1 m.a. de una distribuci´on tipo uniforme U (0,?), ? ? (0,8). De- mostrar que X(n) es consistente para ?. ¿Es Yn = 2Xn consistente para ??
Soluci´on. Seguimos los mismos que en ejercicios anteriores viendo que FX(n)(t) = ? ? 0 tn n 1 t < 0, t ? (0,?), t > ?,
-? 0, 35 2.6. EJERCICIOS
observamos que FX(n)(t) = 0 t< 0 1 t = ? comprobando que L P
¿Es Yn = 2Xn consistente para ??. Esperamos que 2Xn est´e cerca de ?. ? n?8 2 var(Yn) = var(2Xn) = 4var(Xn) = 4 var(X) n = 4 ?2 n 12 = ?2 n?8 3n ˜ ¯ por lo que es consistente para ?. Sin embargo tiene una pequena pega pues si tomamos X ~ U(0,10) supongamos que X = 6, entonces Yn = 2Xn = 12, por lo que a veces sobre-estima.
Ejercicio 2.6.9 Sea (Xi)ni =1 m.a. de una distribuci´on discreta con funci´on de masa 1. Estudiar si T = P? (X = x) = ?(1 – ?)x-1 , x = 1,2,…,? ? (0,1)
Xi, es un estad´istico su?ciente para ?. ? 2.
3.
4.
5.
6. ? Hallar el estimador de ? por el m´etodo de los momentos,
Obtener el estiamdor de m´axima verosimilitud de ?.
Calcular la media de la distribuci´on a posteriori cuando la distribuci´on a priori para el par´ametro ? ? (0,1). Calcular la cota de FCR para la varianza de los estiamdores insesgados para t (?) = 1. ¿Hay estimador e?ciente para estimar t (?) = 1?. Soluci´on. De forma telegr´a?ca vemos que 1. S´i, aplicando el teorema de facotrizaci´on obtenemos ?(1 – ?)xi-1 = ?n (1 – ?) xi-n por lo tanto T = Xi, es un estad´istico su?ciente para ? 2. Sabemos que al tratarse de un geom´etrica E [X] = 1 p = 1 ? y por lo tanto ? ˜ = n xi ,
CAP´ITULO 2. ESTIMACION PUNTUAL x?(1 – ?)x-1 = . 36 ´ 3. Vemos que L(?) = ?n (1 – ?) xi-n xi – n log(1 – ?) as´i que tomando logaritmos
logL = nlog? +
calculamos el m´aximo, encontrando n ? – ( xi – n) (1 – ?) =0 de esta forma llegamos a: ? ˆ = n xi , 4. p (? | xi) ~ Beta p = n + 1,q = xi – n + 1 La media a posteriori es: E [X] = p p + q = n +1 xi + 2 5. T = xi n ? es e?ciente para t = 1, donde E [X] = 1 ?
Cap´itulo 3
Intervalos de con?naza 3.1. Introducci´on Disponemos de (Xi)ni =1 m.a. de X ~ f?(x) tal que ? ? T. Como siempre queremos estimar ?.
De?nici´on 3.1.1 Un estimador por intervalos de con?enza para estimar ?i es una funci´on que a cada muestra (Xi)ni =1 le asigna un intervalo (L,U) = (L(xi)ni =1 ,U (xi)ni =1).
De?nici´on 3.1.2 El nivel de con?anza de un intervalo (L,U) es 1 – a cuando P? {? ? (L,U)} = P? {(xi)ni =1 : L < ? < U} = 1 – a.
Consideramos los siguientes m´etodos de construcci´on 1.
2.
3.2. M´etodo cl´asico (cantidad pivotal), intervalos de con?anza m´as frecuentes en las aplicaciones.
M´etodos bayasianos.
M´etodo de la cantidad pivotal. De?nici´on 3.2.1 Una cantidad pivotal para estimar ?i es una funci´on T ((xi)ni =1 : ?i) cuya distribuci´on no depende de ?i.
La idea es la de obtener una cantidad pivotal T para ?i, que sea una funci´on continua y mon´otona de ?i. Queremos hallar (e(a1),e(a2)) tales que P? {(xi)ni =1 : e(a1) < T < e(a2)} = 1 – a.
37
s Consideramos X ¯ ~ N µ, n 0 X ¯ – µ X ¯ – µ X ¯ – µ µ < X ¯ + Za/2v , µ > X ¯ – Za/2v , X ¯ ± Za/2v 38 CAP´ITULO 3. INTERVALOS DE CONFINAZA donde los (e(a1),e(a2)) no dependen de ?i por ser T una cantidad pivotal.
Despejamos ?i de la anterior ecuaci´on i.e.
e(a1) < T T < e(a2)
obteniendo as´i (L,U). 3.2.1. Cantidades pivotales e intervalos de con?anza m´as frecuentes. 1. (Xi)ni =1 m.a. de X ~ f?(x) = N µ,s20 donde s20 es una cantidad conocida. El objetivo es estimar µ mediante IC con un nivel de con?anza (NC) 1 – a. Para ello seguiremos la siguiente t´actica: 2 y tipi?cando i.e.
v ~ N (0,1) s0/ n nos preguntamos si T = v s0/ n es una cantidad pivotal para estimar µ. Adem´as, para una muestra ?ja ¿es T continua y mon´otona?. Ambas respuestas son a?rmativas. P? {(xi)ni =1 : e(a1) < T < e(a2)} = 1 – a, P? (xi)ni =1 : e(a1) < v < e(a2) s0/ n = 1 – a, ´ vemos que T ~ N (0,1) entonces por simetr´ia la ultima ecuaci´on la podemos reescribir como P? (xi)ni =1 : -Za/2 < T < Za/2 = 1 – a, as´i que despejamos
-Za/2 < T, T < Za/2,
de donde obtenemos que s0 n s0 n por lo que llegamos a: IC1-a = (L,U) = s0 n . Vemos de esta forma que al aumentar n la longitud del intervalo decrece (i.e. la estimaci´on es m´as precisa). De igual forma se observa que al aumentar el NC 1-a entonces Za/2 aumenta i.e. la longitud del intervalo aumenta y por lo tanto la estimaci´on es menos precisa).
3.2. METODO DE LA CANTIDAD PIVOTAL. (NC) 1 – a. Podemos intentar seguir la t´actica anterior i.e. consideramos X ¯ ~ N µ, 0 y X ¯ – µ X ¯ – µ X ¯ – µ X ¯-µ /(n X ¯ – µ X ¯ – µ X ¯ ± tn-1;a/2v ?2 n-1;a/2 ?n-1;1-a/2 ~ ´ 39 2. (Xi)ni =1 m.a. de X ~ N µ,s2 . El objetivo es estimar µ mediante IC con un nivel de con?anza s2 n tipi?cando i.e. v s/ n ~ N (0,1), y nos preguntamos si T = v s/ n es una cantidad pivotal para estimar µ. Adem´as, para una muestra ?ja ¿es T continua y mon´otona?. En esta caso no, ya que T depende de un par´ametro desconocido, s, por lo tanto no puede ser cantidad pivotal. En este caso deberemos apelar al teorema de Fisher (recordar el primer cap´itulillo) viendo que v s/ n ~ N (0,1), (n – 1)S2 s2 2 ~ ?n-1 por lo tanto 2 N (0,1) ?n-1/(n – 1) = v s/ n (n-1)S2 s2 – 1) = v S/ n ~ tn-1 por lo tanto si de?nimos T = v S/ n ahora s´ies cantidad pivotal para estimar µ. Por lo tanto y siguiendo el procedimiento anterior vemos que P -tn-1;a/2 < T < tn-1;a/2 = 1 – a donde hemos vuelto a tener en cuenta las simetr´ias de la distribuci´on. As´i que despejando se llega a que IC1-a (µ) = S n . Siguiendo los mismos paso, podemos ahora estimar s2. Para ello consideramos T = (n – 1)S2 s2 , como cantidad pivotal y obtenemos por lo tanto IC1-a s2 = (n – 1)S2 (n – 1)S2 , 2 . 3. (Xi)ni =1 m.a. de X ~ Bernoulli(p). El objetivo es estimar p mediante IC con un nivel de con?anza (NC) 1 – a. En este caso seguremos las siguientes consideraciones: n i=1 e Xi = “# ´xitos” ~ Bin(n,p) Ta De Moivre N µ = np,s2 = npq
i=1 Xi – np 40 CAP´ITULO 3. INTERVALOS DE CONFINAZA por lo tanto n i=1 Xi ~ N µ = np,s2 = npq tipi?cando n
np(1 – p) ~ N(0,1) arreglando las cuentecillas llegamos a ¯ X – p p(1-p) n ? ¯ ˆ ˆ X – p p(1-p) n = ¯ ¯ ¯ X – p X(1-X) n ~ N(0,1) as´i que T = ¯ ¯ ¯ X – p X(1-X) . n ¯ Por lo tanto y siguiendo los mismos pasos que los anteriores casos vemos que ¯ ? IC1-a (p) = ?X ± Za/2 ¯ ¯ X 1 – X n ? ?. 3.2.2. Cantidad pivotal general. Sea (Xi)ni =1 m.a. de X ~ F? distribuci´on continua. Podemos de?nir una cantidad pivotal gen´erica como sigue: T = – n logF? (xi) i=1 es cantidad pivotal para estimar el par´ametro ?, pues depende de (Xi)ni =1 y ? y se comprueba con facilidad que la funci´on de distribuci´on de T no depende de ?.
De?nici´on 3.2.2 De?nimos el error en la estimaci´on de un intervalo de con?enaza como E = longitud del intervalo 2 . ˜ En muchos estudios es muy interesante saber el tamano muestral necesario para obtener un error en la estimaci´on inferior a E.
Ejemplo 3.2.1 Sea (Xi)ni =1 m.a. de X ~ N µ,s20 donde s20 es una cantidad conocida. ¿Cu´al es el m´inimo valor de n para que el error en la estimaci´on de un intervalo con nivel de con?anza 1-a sea inferior a E?
X ¯ ± Za/2v E = Za/2v 41 3.3. INTERVALOS DE CONFIANZA BAYESIANOS.
Sabemos que IC1-a = s0 n . por lo tanto
por lo que de aqu´i despejamos n s0 n v Za/2s0 = E n as´i que n = Za/2s0 E 2 . 3.3. Intervalos de con?anza bayesianos. f (x1,….,xn | ?) = Sea (Xi)ni =1 m.a. de X ~ f (X | ?) donde ? ? T. Tenemos la informaci´on muestral (verosimilitud) n i=1 f (xi | ?) y de la informaci´on a priori p (?) as´i que aplicando Bayes p (? | x1,….,xn) = p (?) n f (xi | ?) ? p (?) i=1 n f (xi | ?) ? p (?)f (x1,….,xn | ?) / i=1 y todas las conclusiones las obtendremos a partir de p (? | x1,….,xn) la distribuci´on a posteriori.
De?nici´on 3.3.1 Un intervalo de con?anza bayesiano al nivel 1-a es un intervalo (L,U) tal que U p (? | x1,….,xn)d? = 1 – a. L
De?nici´on 3.3.2 El intervalo de con?anza bayesiano con m´axima densidad a posteriori (HPD) al nivel 1 – a es el intervalo (L,U) tal que U p (? | x1,….,xn)d? = 1 – a, L y ??1 ? (L,U) y ??2 ? (L,U), p (?1 | x1,….,xn) > p (?2 | x1,….,xn).
El intervalo HPD es el de m´inima longitud para un nivel 1 – a ?jado.
x ¯ ± za/2v x ¯ ± tn-1;a/2v 42
3.4. CAP´ITULO 3. INTERVALOS DE CONFINAZA
Resumen de intervalos
INTERVALOS DE CONFIANZA ´
(X1,…,Xn) muestra aleatoria (m. a.) de X. ¯ x = 1 n xi s2 = 1 n – 1 ¯ (xi – x)2. 3.4.1. X ~ N(µ,s) Intervalos de con?anza 1 – a para µ:
1. s conocida: I = s n . s n . 2. s desconocida I =
Intervalo de con?anza 1 – a para s2: I = 2 (n – 1)s2 ?n-1;a/2 , 2 (n – 1)s2 ?n-1;1-a/2 . 3.4.2. X ~ Bernoulli(p) (muestras grandes). Intervalo de con?anza 1 – a para p: I = ¯ x ± za/2 ¯ ¯ x(1 – x) n . 3.4.3. X ~ Poisson(?) (muestras grandes) ¯ Intervalo de con?anza 1 – a para ?:
I = x ± za/2 ¯ x/n .
(s21/n1)2 (s22/n2)2 + 3.4. RESUMEN DE INTERVALOS 43 3.4.4. Dos poblaciones Normales independientes ¯ y X ~ N(µ1,s1); (X1,…,Xn1) m. a. de X; se calcula x y s21. Y ~ N(µ2,s2); (Y1,…,Yn2) m. a. de Y ; se calcula ¯ y s22. 2 sp = (n1 – 1)s21 + (n2 – 1)s22 n1 + n2 – 2 . Intervalos de con?anza 1 – a para µ1 – µ2: 1. s1, s2 conocidas: ? ¯ y I = ?x – ¯± za/2 s21 n1 + ? s22? n2 . 2. s1, s2 desconocidas, s1 = s2: I = ¯ y x – ¯± tn1+n2-2;a/2 sp 1 n1 + 1 n2 . 3. s1, s2 desconocidas, s1 = s2: ? ¯ y I = ?x – ¯± tf;a/2 s21 n1 + s22 n2 ? ?, (s21/n1 + s22/n2)2
n1-1 n2-1 . donde f = entero m´as pr´oximo a
Intervalo de con?anza 1 – a para s21/s22: I = s21/s22 Fn1-1;n2-1;a/2 , s21/s22 Fn1-1;n2-1;1-a/2 . 3.4.5. Comparaci´on de proporciones (muestras grandes e independientes) X ~ Bernoulli(p1);(X1,…Xn1) m. a. de X. Y ~ Bernoulli(p2);(Y1,…Yn2) m. a. de Y . Intervalo de con?anza 1 – a para p1 – p2: ? ¯ y I = ?x – ¯± za/2 ¯ ¯ x(1 – x) n1 + y y ? ¯(1 – ¯)? n2 .
1/2 . 44 CAP´ITULO 3. INTERVALOS DE CONFINAZA 3.5. Ejercicios ¯ ¯ Ejercicio 3.5.1 Sea (X1,X2,X3,X4) una m.a. de X ~ N µ,s2 = 1 . Hallar el nivel de con?anza del estimador por intervalos X – 1,X + 1 .
Soluci´on. Queremos calcular el NC que como sabemos i ¯ ¯ ¯ ¯ = Pµ X – 1 < µ < X + 1 NC = Pµ (Xi)4=1 : µ ? X – 1,X + 1
si tenemos en cuenta que ¯ X = Xi n = µ, ¯ X ~ N µ, s2 n = N µ, 1 4 , =? s = 1/2, entonces ¯ ¯ Pµ X – 1 < µ < X + 1 = P µ – 1 – µ 1/2 < ¯ X – µ 1/2 < µ +1 – µ 1/2 ¯ X-µ P {-2 < Z < 2} Teniendo en cuenta las simetr´ias de la N(0,1) la anterior simpli?cando queda:
donde como es habitual Z = expresi´on queda reducida a: 2P (Z > 2) = 0,9544 donde dicho valor se ha obtenido de las tablas para la nornal tipi?cada.
Ejercicio 3.5.2 Sea (Xi)ni =1 una m.a. de X ~ U (0,?),? > 0. 1. Nivel de con?anza del estimador por intervalos aX(n),bX(n) tal que 1 = a < b. 2. Hallar P? ? ? X(n) + c,X(n) + d tal que 1 = c < d. Soluci´on. Para el primero de los apartados vemos que
[L,U] = aX(n),bX(n) , 1 = a < b, por lo tanto el NC ser´a
NC = P? {(Xi)ni =1 : ? ? [L,U]} = P? aX(n) < ? < bX(n)
o lo que es lo mismo P? ? b < X(n) < ? a ´ recordar que X(n) = max(Xi). Adem´as si rememoramos las cuentecillas del primer capitulillo vemos que fX(n) = n[FX (t)]n-1 fX (t)
dt = n – n i=1 Xi = ?e-? ? 3.5. EJERCICIOS 45 as´i que fX(n) = n t ? n-1 1 ? = ntn-1 ?n , ?t ? (0,?) por lo tanto P? ? b < X(n) < ? a = ? a ? b fX(n)dt = ? a ? b ntn-1 ?n 1 1 a b y como vemos en este caso no depende de ?.
En el segundo de los casos vemos que
[L,U] = X(n) + c,X(n) + d , 1 = c < d, as´i que seguimos el mismo procedimiento por lo que llegamos sin problemas a: P? X(n) + c < ? < X(n) + d = P? ? – d < X(n) < ? – c = 1 – c ? n – 1 – d ? n al depender de ? no se le llama nivel de con?enza.
Ejercicio 3.5.3 Sea (Xi)ni =1 una m.a. de X cuya densidad viene dada por probar que T = ? n ?e-?x x > 0 f (x | ?) = 0 resto
es una cantidad pivotal y obtener los intervalos de con?anza correspond- intes.
Soluci´on. Observamos que T es funci´on s´olo de la muestra y del par´ametro y tenemos que ver que la distribuci´on es funci´on continua y mon´otona.
X ~ f?
de?nimos la v.a. Y = ?X as´i que aplicando el c.v. T = ? n i=1 Xi = n i=1 Yi ~ Gamma(p = n,a = 1) vemos que si Y = ?X =? X = Y ? =? dX dY = 1 ? por lo tanto fY = fX dX dY y 1 ? = e-y, ?y ? (0,8) adem´as se observa que fY ~ Gamma(p = 1,a = 1). De esta forma vemos que al solo depender de (Xi)ni =1 se trata de una cantidad pivotal para el par´ametro ?, igualmente se observa que es continua y mon´otona creciente en ?.
i=1 Xi i=1 Xi i=1 Xi i=1 Xi CAP´ITULO 3. INTERVALOS DE CONFINAZA 46
Buscamos ahora (e1,e2) tales que P e1 < ? P {e1 < T < e2} = 1 – a
as´i que teniendo en cuenta las simetr´ias de la funci´on gamma etc… despejamos ? y vemos que
n i=1 Xi < e2 =1 – a e1 < ? n
i=1 Xi, =? e1 (a) n
| Página siguiente |