Tecnicas Multivariantes Parte1 Twiggy Guerrero PDF
Tecnicas Multivariantes Parte1 Twiggy Guerrero PDF
1.1.- INTRODUCCION
De esta manera, conocidos los valores de las variables xj (j=1,2,..., k) y la forma específica
de g, será posible estimar el valor correspondiente de la variable y.
v = e/t
o que la distancia d que recorre un objeto que cae al vacío, depende de la velocidad inicial
(v) y el tiempo transcurrido (t):
d = (gt2)/2 + vt
En las ciencias sociales en general, ocurre que las relaciones entre las variables
implican una dependencia más amplia que la funcional. Tales relaciones no implican
“causalidad” sino “asociación”. Al realizar un conjunto de observaciones de las variables,
no es de esperar un ajuste exacto con la relación postulada debido a factores que están fuera
del control del investigador. Es muy importante entonces distinguir entre relaciones
determinísticas o funcionales, en las cuales está presente la causalidad, y relaciones
estadísticas o estocásticas, en las cuales está presente la asociación.
Los parámetros incluidos en el modelo β1, β2, ... , βk, serán estimados a partir de
información reportada por observaciones de las variables, bajo ciertos supuestos que
garanticen estimadores con buenas propiedades.
-3-
Al efectuar n observaciones de las k+1 variables, las relaciones entre ellas quedan
descritas mediante el conjunto de n ecuaciones:
y1 x 11 x 12 L x 1k β1 ε1
y2 x 21 x 22 L x 2k β2 ε2
M = M M M M + M
y
n x n1 x n2 L x nk β k ε n
o bien:
ynx1 = Xnxk β kx1 + εnx1
Nota Histórica:
El término “regresión” fue introducido por Francis Galton, quien planteó que, a pesar de la existencia de
una tendencia de los padres de alta estatura a tener hijos altos y los de baja estatura a tener hijos bajos, la
estatura promedio de los hijos tendía (o regresaba) al promedio de la población total. En otras palabras, la
estatura de los hijos de padres muy altos o muy bajos, tiende a la estatura promedio de la población. Esta
“ley de regresión universal” de Galton fue confirmada posteriormente por Karl Pearson.
y = Xβ+ ε (4)
El problema del ajuste consiste en encontrar una solución β~ que minimice en algún
sentido los errores e1, e2,..., en. En particular, en el modelo de regresión, el ajuste se
obtiene utilizando el criterio de los “mínimos cuadrados” (least squares), el cual minimiza
la suma de cuadrados de los errores producidos en el ajuste.
Como:
~
e = y- X β (6)
= ~ )t (y- X β
(y- X β ~)
~ + ~ t XtX β
yty- 2ytX β ~
= β
~ e igualamos al
Para hallar el vector que minimiza esta expresión, derivamos respecto de β
vector nulo(1):
∂ SCE ~ = θ
~ = -2 Xty + 2 XtX β
∂β
~ = Xty
XtX β (7)
(1) ∂ ∂
Recuerde que: Ax = At , y que xtAx = 2Ax, siendo xnx1 un vector y Anxn una matriz.
∂x ∂x
-5-
Si adicionalmente se impone la condición de que rango(Xnxk) sea igual a k (k< n), la matriz
XtX será no singular, y por lo tanto el sistema tendrá una única solución. Este supuesto
implica que no existen relaciones de tipo lineal entre las columnas (variables). El modelo
asociado se conoce entonces como “modelo lineal de rango completo”, y en ese caso la
solución al sistema anterior queda:
~ = (XtX)-1Xty
β
∂ 2 SCE ∂ t t ~ t
~ (-2 X y + 2 X X β ) = 2 X X
~ 2 = ∂β
(∂ β )
b = (XtX)-1Xty (8)
Es importante notar que en el caso del ajuste mínimo cuadrático, la suma de cuadrados de
los errores queda(2):
~
y = Xb (10)
y es claro que:
e = y- ~
y (11)
(2)
Véase el ejercicio 1.1.4., pág. 7.
-6-
Interpretación geométrica
e ε
~ =Xb
Y
θ Xβ
R(X)
f(y/x')
f(y/x'')
f(y/x''')
x'
x'' µy/x
x'''
X
Ejercicios 1.1.-
7.- Supóngase que en las variables explicativas se produce un cambio de escala, es decir
se consideran las nuevas variables:
8.- Para estimar dos parámetros φ1 y φ2 es posible obtener observaciones de tres tipos:
a.- y1i tales que E(y1i) = φ1
b.- y2i tales que E(y2i) = φ1 + φ2
c.- y3i tales que E(y3i) = φ1 - 2φ2
y1 1 x 11 x 12 L x 1k β1 ε1
y2 1 x 21 x 22 L x 2k β 2 ε 2
M = M βo + M M M M M
+
1
y
n x n1 x n2 L x nk β k ε n
o bien:
(3)
Es importante advertir que en el MLG el número de parámetros es k, mientras que en el caso del modelo
con término constante es k+1. Para evitar confusión diremos que k es el número de variables explicativas.
-9-
= Xnx(k+1) β(k+1)x1 + ε
entonces este modelo puede considerarse como un caso particular del modelo general para
el cual:
β
Xnx(k+1) = (jnx1, X1nxk) y β(k+1)x1 = o
β1
donde X1 es la matriz que contiene la información relativa a las k variables explicativas, y
β1 es el vector de coeficientes de regresión correspondientes: β1, β2, ... βk .
jjt 1
Pnxn = In - = In - Jn
n n
Propiedades
1
1
a) jtj = (1 1 ... 1) = n
M
1
jjt 1
b) jt P = jt (In - ) = jt - (jtj) jt = jt - jt = θt
n n
y1
y n
jty = (1 1 ... 1) 2 =
M
∑y i
i =1
y
n
así que la media:
1 t
y= jy
n
-10-
x 11 x 12 L x 1k
x 21 x 22 L x 2k n n n
jtX = (1 1 ... 1)
M M M
= ( ∑x , ∑xi1 i2 , ... ∑x ik )
i =1 i =1 i =1
x x L x
n1 n2 nk
así que:
1 t
jX = ( x1 , x2 , ... xk ) = xt
n
x1 x 2 L x k
x1 x 2 L x k
e) j xt = ( j x1 , j x2 , ... j xk ) = M M M
x x L x
1 2 k
h) jt Xc = jt PX = θt
(4)
De aquí se desprende que J no es idempotente, pero (1/n)J sí lo es.
-11-
jt
= t (j , X1)
X
1
jt j jt X 1
= t
X j Xt X
1 1 1
n jt X 1
= t (13)
X j Xt X
1 1 1
Por otro lado:
jt
XtY = t Y
X
1
jt Y
= t
X Y
1
Sustituyendo:
n jt X 1 b o jt Y
t t
X j X t X b = X Y
1 1 1 1 1
-12-
de donde:
n bo + jt X1 b1 = jt Y
sustituyendo en la segunda:
(j t Y − j t X 1b 1 )
X j t
1 + X1t X 1 b1 = X1t Y ⇒
n
( X 1t jjt X 1 b 1 ) ( X *t jj t Y)
X1t X 1 b1 - = X *t Y - ⇒
n n
jjt jjt
X *t ( I - )X*b* = X *t ( I - )Y ⇒
n n
X *t PtP X* b* = X *t PtPY ⇒
ˆ *t X
X ˆ * b* = ˆ *t Ŷ
X ⇒
b* = ( X̂ *t X̂ * )-1 X̂ *t Ŷ
en conclusión:
bo = y - X *t b*
(14)
b* = ( X̂ *t X̂ * )-1 X̂ *t Ŷ
n n
∑ ( x ij − x . j )( x il − x .l ) = (n-1) S(Xj, Xl) = ( ∑ x ij x il - n x .j x .l )
i =1 i =1