Métodos Numéricos

Regresión

MSc. Rebeca Solı́s Ortega

1
Regresión

La regresión es una forma de aproximar y predecir datos de un fenómeno a partir del

estudio de datos existentes (históricos). Sin embargo, a diferencia de la interpolación
polinomial, las gráficas de las funciones de regresión no contienen, necesariamente,
los datos conocidos.

2
Regresión

Interpolación
Interpo
Regresión
Datos

3
Regresión por mı́nimos cuadrados

Dado un conjunto de datos (xi , yi ) para i = 1, 2, ..., n. Se quiere determinar la

recta que mejor se ajuste a los datos dados, ası́ la recta tiene la forma:

y = mx + b

Como no siempre es posible encontrar una recta que contenga a todos los datos del
conjunto, el error absoluto en cada uno de esos puntos es:

|mxi + b − yi |
Ası́ el error absoluto total de todos los datos dados es:
n
X
|mxi + b − yi |
i=1

4
Regresión por mı́nimos cuadrados

Ası́, se podrán buscar los valores de m y b de manera tal que se minimice el error
anterior, para evitar el problema de que la función dada no es diferenciable, se usará
como referencia la siguiente función:
n
X
E(m, b) = (mxi + b − yi )2
i=1

Derivando parcialmente con respecto a las variables m y b se tiene que:

n
∂E X
= 2(mxi + b − yi )xi
∂m i=1
n
∂E X
= 2(mxi + b − yi )
∂b i=1

5
Regresión por mı́nimos cuadrados

Para determinar los puntos crı́ticos de la función E, se debe resolver el sistema de

ecuaciones:

∂E
 ∂m = 0





 ∂E

 = 0
∂b
Ası́ podemos expresar el sistema como:
 Xn n
X n
X
m x2i + b xi = xi yi





 i=1 i=1 i=1


 n
X n
X

 m xi + nb = yi


i=1 i=1

6
Regresión por mı́nimos cuadrados

Resolviendo el sistema anterior obtenemos:

n
X n
X n
X
n xi yi − xi yi
i=1 i=1 i=1
m= !2
n
X n
X
n x2i − xi
i=1 i=1

n
X n
X n
X n
X
x2i yi − xi xi yi
i=1 i=1 i=1 i=1
b= !2
n
X n
X
n x2i − xi
i=1 i=1

7
Regresión por mı́nimos cuadrados

Para simplificar los cálculos podemos escribir b en términos de m. Ası́, y de manera

simplificada, tenemos:

n
X n
X
yi − m xi
i=1 i=1
b=
n

Hasta el momento se ha demostrado que el punto (m, b) es un punto crı́tico de

la función, se puede probar, aplicando el criterio de las segundas derivadas de la
función E, que el punto (m, b) es un mı́nimo. Para esto basta realizar el estudio del
determinante de la matriz con las segundas derivadas parciales (Hessiano).

8
Regresión por mı́nimos cuadrados

 Xn n
X 
2 2
2x2i
 
∂ E ∂ E  2xi 
 ∂m2 ∂m∂b   i=1
  i=1 
D= =
 

 ∂2E  n
∂2E   X


2xi 2n
∂b∂m ∂b2
i=1

Ası́

n n
!2
X X
|D| = 4n x2i −4 xi >0
i=1 i=1

De esta forma (m, b) es un mı́nimo local de E.

9
Calidad de la representación R2

Para determinar el error en este tipo de procedimientos se determina a través de lo

que se llamará coeficiente de determinación o R2 .
Sean x y y vectores pertenecientes a un modelo de regresión y yb una aproximación
de y. Se define el coeficiente de determinación y se denota R2 , como:

var(b
y)
R2 = r2 (b
y − y) =
var(y)

10
Calidad de la representación R2

Donde:
n
X n
X
(yi − y)2 yi
i=1 i=1
var(y) = yy=
n n

R2 es un valor entre 0 y 1, representa el porcentaje de variabilidad. Cuanto mayor

sea R2 mejor es la recta de ajuste de regresión.

Se dice que si R2 ≥ 0,5 el ajuste es aceptable.

11
Ejemplo

• En la siguiente tabla, R es la resistencia de una bobina en ohms y T la

temperatura de la bobina en grados centı́grados. Por mı́nimos cuadrados
determinar el mejor polinomio lineal que represente la función dada.

T 10,50 29,49 42,70 60,01 75,51 91,05

R 10,421 10,939 11,321 11,794 12,242 12,668
Además determine la calidad de la regresión realizada.

√ b
• Hallar la función del tipo g(x) = a x + con a, b ∈ R, que mejor se ajuste,
x
mediante el criterio de cuadrados mı́nimos, a los datos (1, 2), (2, 4) y (3, 0).

12
Ejemplo: Solución

El polinomio buscado es 0,02797524305x + 10,12222939. Además se tiene:

0,581217784
R2 = = 0,9999380
0,581253806

Como R2 es cercano a 1 se puede decir que el ajuste es de buena calidad.

13
Ejemplo: Solución

Se tiene que a = 0,43556 y b = 2,20774. Por lo tanto el ajuste es:

√ 2,20774
g(x) = 0,43556 · x+
x

14
Regresión no lineal

Hay conjuntos de datos en los cuales el modelo de regresión lineal no es el que se

ajusta mejor a ellos sin embargo, se puede evitar hacer uso del método de mı́nimos
cuadrados, ajustando el modelo actual a uno lineal. Entre estos tipos de regresión
tenemos:
• Modelo exponencial.
• Modelo de potencias o polinomial.
• Modelo de crecimiento.

15
Modelo exponencial

16
Modelo exponencial

17
Modelo exponencial

18
Modelo exponencial

En estos casos tenemos que la curva de ajuste viene dada por la forma:

y = aebx

Transformando dicho modelo a lineal se tiene:

Y = bx + ln(a), con Y = ln(y)

19
Modelo de potencias o polinomial

20
Modelo de potencias o polinomial

21
Modelo de potencias o polinomial

22
Modelo de potencias o polinomial

En estos casos tenemos que la curva de ajuste viene dada por la forma:

y = axb

Transformando dicho modelo a lineal se tiene:

Y = bX + ln(a), con Y = ln(y) y X = ln(x)

23
Modelo de crecimiento

24
Modelo de crecimiento

25
Modelo de crecimiento

26
Modelo de crecimiento

En estos casos tenemos que la curva de ajuste viene dada por la forma:
ax
y=
x+b

Transformando dicho modelo a lineal se tiene:

b 1 1 1
Y = X + , con Y = y X =
a a y x

27
Ejemplo

En la siguiente tabla aparecen los datos de población de un pequeño barrio de una

ciudad en un perı́odo de 20 años. Un ingeniero debe pronosticar la población que
habrá dentro de 5 años, para poder anticipar la demanda de energı́a. Emplee un
modelo exponencial y regresión lineal para hacer esta predicción y calcule el error
cuadrático medio .

T 0 5 10 15 20
P 100 212 448 949 2009

28
Ejemplo: Solución

Realizando regresión lineal con la transformación correspondiente se obtiene:

Y = 0, 149985338x + 4, 605616795

Volviendo al sistema original se tiene:

y = 100, 0446709 · e0,149985338·x

De esta manera en 5 años habrá aproximadamente 4252, 448594 de personas.

29
Tarea
Al medir la velocidad (con un tubo de Pitot) en una tuberı́a circular de diámetro interior
de 20cm, se encontró la siguiente información:

v(cm/s) 600 550 450 312 240

r(cm) 1 3 5 7 8

donde r es la distancia en cm medida a partir del centro del tubo.

1 [5 puntos] Si se sabe que los datos se adaptan a la curva v = ar2 + br. Determine,
mediante el método de mı́nimos cuadrados, la fórmula general que permite
determinar los valores de a y b que minimizan el error.
2 [2 puntos] Con base a los resultados del punto anterior, obtenga la curva que
permite determinar la velocidad en cualquier punto de la tuberı́a. Utilice dicha
curva para aproximar la velocidad cuando en r = 4cm y r = 10cm.
3 [2 puntos] Linealice la curva anterior y aplique regresión lineal para aproximar la
velocidad cuando en r = 4cm y r = 10cm.
4 [1 punto] Realice una tabla comparativa con los resultados obtenidos en los puntos
2) y 3).

30