Miguel Angel Carrasco
8 de enero de 2021

Introducción

La regresión lineal simple se suele enseñar en la academia en cursos de introducción a la estadística. Normalmente se presentan métodos para calcular los coeficientes de la regresión, pero pocas veces se presenta el origen de dichas fórmulas.

En esta publicación se mostrará la derivación de estas fórmulas para el caso más básico, usando la aproximación por mínimos cuadrados ordinarios (abreviado OLS por las siglas en inglés Ordinary Least Squares). La aproximación por mínimos cuadrados fué publicada por Legendre en 1805 y Gauss en 1809 para determinar, dadas ciertas observaciones astronómicas, las órbitas de cuerpos celestes respecto al sol.

Definición del problema

Dado un conjunto de $n$ pares de datos $(x_1,y_1),(x_2,y_2),(x_3,y_3),...,(x_n,y_n)$ que se presupone se ajustan a un modelo de regresión

$$y=E(y)+ϵ$$

Donde $y$ es una variable dependiente, $E(y)$ la esperanza matemática de esa variable y $ϵ$ una variable aleatoria que representa el error. Si asumimos que se sigue una relación lineal en estos datos y por lo tanto $E(y)$ se aproxima a una función lineal de la forma $E(y)={\beta }_0+{\beta }_{1}x$. La regresión lineal consiste en encontrar los coeficientes ${\beta }_0$ y ${\beta }_1$ tales que se ajusten mejor al modelo minimizando el error.

Tenemos entonces que

$$y_i={\beta }_0+{\beta }_1{x}_i+{ϵ}_i\text{ para }i=1,2,...,n$$

Donde ${\beta }_0$ es un coeficiente llamado "intercepto", ${\beta }_1$ otro coeficiente llamado "pendiente" de la línea de regresión, $y_i$ los valores que toma la variable dependiente, $x_i$ los valores que toma la variable independiente y ${ϵ}_i$ los errores respectivos.

Se asume que $E(ϵ)=0$ con una varianza constante $\text{Var}(ϵ)={\sigma }^2$.

Fórmulas para hayar los coeficientes

En la literatura se pueden encontrar las siguientes fórmulas para obtener los coeficientes aplicando minimos cuadrados ordinarios

$$\boxed{\begin{array}{rl}{\beta }_1& =\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}\\ {\beta }_0& =\bar{y}-{\beta }_1\bar{x}\end{array}}$$

donde $\bar{x}$ y $\bar{y}$, representan los promedios de $x_i$ y $y_i$ respectivamente, i.e.

$$\bar{x}=\frac{{\sum }_{i=1}^n{x}_i}{n},\bar{y}=\frac{{\sum }_{i=1}^n{y}_i}{n}$$

Derivación de las fórmulas

Existen diferentes maneras de llegar a este resultado. En este caso usaremos el cálculo y en otra publicación se presentará una generalización usando el álgebra lineal.

Como estamos asumiendo que los datos se ajustan a un modelo de regresión tenemos que el error está dado por

$$ϵ=y-E(y)$$

por simplicidad denotaremos a $\hat{y}=E(y)$ por lo que $ϵ=y-\hat{y}$, es decir

$${ϵ}_i=y_i-{\hat{y}}_i=y_i-({\beta }_0+{\beta }_i{x}_i),\forall i\in 1,...,n$$

Podríamos entonces tratar de hayar los valores de ${\beta }_0$ y ${\beta }_1$ que minimizen la suma de estos errores. Sin embargo como el valor esperado de los errores es 0, i.e. $E({ϵ}_i)=0$ y $\text{Var}(ϵ)={\sigma }^2$, para todo $i\in 1,...,n$, los errores podrían tomar valores tanto negativos como postivos, por lo que simplemente sumar no funcionaría. Podríamos en su lugar optar por minimizar la suma de los valores absolutos de estos errores en su lugar, sin embargo, aún tendríamos problemas, ya que su manipulación algebráica se complicaría. Por esta razón se opta mas bien por minimizar la suma de los cuadrados del error, a esto se le conoce como minimos cuadrados ordinarios (en inglés Ordinary Least Squeares abreviado OLS) y se describe así

$$\text{Encontrar }\underset{{\beta }_0,{\beta }_1}{\min }Q({\beta }_0,\beta 1),\text{ para }\underset{{\beta }_0,{\beta }_1}{\min }Q({\beta }_0,\beta 1)=\sum _{i=1}^n{ϵ}_i^2=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$

Podemos entonces usar el teorema de fermat para puntos estacionarios respecto de ${\beta }_0$ y ${\beta }_1$. Dicho teorema nos dice que si una funcion tiene un extremum local o punto crítico, entonces ese punto se haya cuando la derivada de esa función es 0. Aunque no se demuestra en esta publicación, sabemos que siempre existe solo un extremum y este es mínimo o minimum global para este problema, ya que este es un problema de optimización convexa. Por el momento se tendrá que asumir este hecho como verdadero, en una siguiente publicación compartiré la demostración.

Dado que ${\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2={\sum }_{i=1}^n(y_i-{\beta }_0-{\beta }_{1}x{)}^2$ usando el teorema de fermat para puntos estacionarios para ${\beta }_0$ y ${\beta }_1$ respectivamente obtendremos los mínimos resolviendo el sistema de ecuaciones

$$\begin{array}{rl}\frac{\partial }{\partial {\beta }_0}\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2& =0\\ \frac{\partial }{\partial {\beta }_1}\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2& =0\end{array}$$

Dado que

$$\begin{array}{rl}\frac{\partial }{\partial {\beta }_0}\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2& =\sum _{i=1}^n\frac{\partial }{\partial {\beta }_0}(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2\\ & =\sum _{i=1}^{n}2(y_i-{\beta }_o-{\beta }_1{x}_i)(-1)\\ & =-2\sum _{i=1}^n(y_i-{\beta }_o-{\beta }_1{x}_i)\end{array}$$

y que

$$\begin{array}{rl}\frac{\partial }{\partial {\beta }_1}\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2& =\sum _{i=1}^n\frac{\partial }{\partial {\beta }_1}(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2\\ & =\sum _{i=1}^{n}2(y_i-{\beta }_o-{\beta }_1{x}_i)(-x_i)\\ & =-2\sum _{i=1}^n{x}_i(y_i-{\beta }_o-{\beta }_1{x}_i)\end{array}$$

El problema se reduce a resolver el sistema de ecuaciones

$$\begin{array}{rl}-2\sum _{i=1}^n(y_i-{\beta }_o-{\beta }_{1}x)& =0\\ -2\sum _{i=1}^n{x}_i(y_i-{\beta }_o-{\beta }_1{x}_i)& =0\end{array}$$

Note que si en ambas ecuaciones dividimos ambas partes por $-2$ obtendríamos el sistema

$$\begin{array}{rl}\sum _{i=1}^n(y_i-{\beta }_o-{\beta }_1{x}_i)& =0\\ \sum _{i=1}^n{x}_i(y_i-{\beta }_o-{\beta }_1{x}_i)& =0\end{array}$$

De la primera ecuación obtenemos

$$\begin{array}{rl}\sum _{i=1}^n(y_i-{\beta }_o-{\beta }_1{x}_i)& =0\\ \sum _{i=1}^n{y}_i-\sum _{i=1}^n{\beta }_o-\sum _{i=1}^n{\beta }_1{x}_i& =0\\ \sum _{i=1}^n{y}_i-{\beta }_o\sum _{i=1}^n(1)-{\beta }_1\sum _{i=1}^n{x}_i& =0\\ \sum _{i=1}^n{y}_i-n{\beta }_o-{\beta }_1\sum _{i=1}^n{x}_i& =0\end{array}$$

y resolviendo para ${\beta }_0$ obtenemos

$$\begin{array}{rl}{\beta }_0& =\frac{{\sum }_{i=1}^n{y}_i-{\beta }_1{\sum }_{i=1}^n{x}_i}{n}\\ {\beta }_0& =\frac{{\sum }_{i=1}^n{y}_i}{n}-{\beta }_1\frac{{\sum }_{i=1}^n{x}_i}{n}\\ {\beta }_0& =\bar{y}-{\beta }_1\bar{x}\end{array}$$

Que es justamente la primera fórmula a la que queríamos llegar, hace falta la fórmula para ${\beta }_1$. De la segunda ecuación del sistema de ecuaciones sustituyendo ${\beta }_0$ por $\bar{y}-{\beta }_1\bar{x}$ obtenemos

$$\begin{array}{rl}\sum _{i=1}^n{x}_i(y_i-{\beta }_o-{\beta }_1{x}_i)& =0\\ \sum _{i=1}^n{x}_i(y_i-(\bar{y}-{\beta }_1\bar{x})-{\beta }_1{x}_i)& =0\\ \sum _{i=1}^n{x}_i(y_i-\bar{y}+{\beta }_1\bar{x}-{\beta }_1{x}_i)& =0\\ \sum _{i=1}^n{x}_i(y_i-\bar{y}-{\beta }_1(x_i-\bar{x}))& =0\\ \sum _{i=1}^n{x}_i(y_i-\bar{y})-\sum _{i=1}^n{\beta }_1{x}_i(x_i-\bar{x})& =0\\ \sum _{i=1}^n{x}_i(y_i-\bar{y})-{\beta }_1\sum _{i=1}^n{x}_i(x_i-\bar{x})& =0\end{array}$$

y resolviendo para ${\beta }_1$ obtenemos que

$$\boxed{{\beta }_1=\frac{{\sum }_{i=1}^n{x}_i(y_i-\bar{y})}{{\sum }_{i=1}^n{x}_i(x_i-\bar{x})}}$$

Esta en efecto es una fórmula equivalente. Para demostrar esto vemos que solo hace falta comprobar que el numerador es equivalente a ${\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$ y el denominador a ${\sum }_{i=1}^n(x_i-\bar{x}{)}^2$ respectivamente.

Para el primer caso tenemos que

$$\begin{array}{rl}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})& =\sum _{i=1}^n(x_i(y_i-\bar{y})-\bar{x}(y_i-\bar{y}))\\ & =\sum _{i=1}^n{x}_i(y_i-\bar{y})-\sum _{i=1}^n\bar{x}(y_i-\bar{y})\\ & =\sum _{i=1}^n{x}_i(y_i-\bar{y})-\bar{x}\sum _{i=1}^n(y_i-\bar{y})\\ & =\sum _{i=1}^n{x}_i(y_i-\bar{y})-\bar{x}(\sum _{i=1}^n{y}_i-\sum _{i=1}^n\bar{y})\\ & =\sum _{i=1}^n{x}_i(y_i-\bar{y})-\bar{x}(\sum _{i=1}^n{y}_i-\bar{y}\sum _{i=1}^n(1))\\ & =\sum _{i=1}^n{x}_i(y_i-\bar{y})-\bar{x}(\sum _{i=1}^n{y}_i-n\bar{y})\\ & =\sum _{i=1}^n{x}_i(y_i-\bar{y})-\bar{x}(\sum _{i=1}^n{y}_i-n\frac{{\sum }_{i=1}^n{y}_i}{n})\\ & =\sum _{i=1}^n{x}_i(y_i-\bar{y})-\bar{x}(\sum _{i=1}^n{y}_i-\sum _{i=1}^n{y}_i)\\ & =\sum _{i=1}^n{x}_i(y_i-\bar{y})-\bar{x}(0)\\ & =\sum _{i=1}^n{x}_i(y_i-\bar{y})\end{array}$$

De igual manera tenemos que

$$\begin{array}{rl}\sum _{i=1}^n(x_i-\bar{x}{)}^2& =\sum _{i=1}^n(x_i-\bar{x})(x_i-\bar{x})\\ & =\sum _{i=1}^n(x_i(x_i-\bar{x})-\bar{x}(x_i-\bar{x}))\\ & =\sum _{i=1}^n{x}_i(x_i-\bar{x})-\sum _{i=1}^n\bar{x}(x_i-\bar{x})\\ & =\sum _{i=1}^n{x}_i(x_i-\bar{x})-\bar{x}\sum _{i=1}^n(x_i-\bar{x})\\ & =\sum _{i=1}^n{x}_i(x_i-\bar{x})-\bar{x}(\sum _{i=1}^n{x}_i-\sum _{i=1}^n\bar{x})\\ & =\sum _{i=1}^n{x}_i(x_i-\bar{x})-\bar{x}(\sum _{i=1}^n{x}_i-\bar{x}\sum _{i=1}^n(1))\\ & =\sum _{i=1}^n{x}_i(x_i-\bar{x})-\bar{x}(\sum _{i=1}^n{x}_i-n\bar{x})\\ & =\sum _{i=1}^n{x}_i(x_i-\bar{x})-\bar{x}(\sum _{i=1}^n{x}_i-n\frac{{\sum }_{i=1}^n{x}_i}{n})\\ & =\sum _{i=1}^n{x}_i(x_i-\bar{x})-\bar{x}(\sum _{i=1}^n{x}_i-\sum _{i=1}^n{x}_i)\\ & =\sum _{i=1}^n{x}_i(x_i-\bar{x})-\bar{x}(0)\\ & =\sum _{i=1}^n{x}_i(x_i-\bar{x})\end{array}$$

De donde claramente tenemos que

$$\boxed{\begin{array}{rl}{\beta }_1& =\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}\\ {\beta }_0& =\bar{y}-{\beta }_1\bar{x}\end{array}}$$

que justamente son las fórmulas que queríamos encontrar. $\square$

Referencias

• Derivation of simple linear regression formula - Ivanky site
• Linear Regression Analysis - Theory and Computing. Xin Yan, Xiao Gang Su