A Estimadores

A.1 EMC en Regresión Lineal Simple

El proceso de obtención de los estimadores de mínimos cuadrado en una regresión lineal simple es el siguiente:

\[\begin{equation} \begin{split} S(\beta_0,\beta_1) &= \sum_{i=1}^n\epsilon_i^2 = \sum_{i=1}^n (Y_i - [\beta_0 + \beta_1X_i])^2 \end{split} \tag{A.1} \end{equation}\]

Para determinar el estimador de \(\beta_0\) se calcula la derivada parcial la función \(S(\cdot)\) respecto a este parámetro.

\[\begin{equation} \begin{split} \frac{\partial S}{\partial\beta_0} &= \frac{\partial }{\partial\beta_0}\left(\sum_{i=1}^n (Y_i - [\beta_0 + \beta_1X_i])^2\right)\\ &= \sum_{i=1}^n 2(Y_i - [\beta_0 + \beta_1X_i])(-1)\\ &= -2\sum_{i=1}^n (Y_i - [\beta_0 + \beta_1X_i])\\ \end{split} \tag{A.2} \end{equation}\]

Igualando a cero y despejando el parámetro, el estimador es:

\[\begin{equation} \begin{split} &-2\sum_{i=1}^n (Y_i - [\beta_0 + \beta_1X_i]) = 0\\ &\sum_{i=1}^n (Y_i - \beta_0 - \beta_1X_i) = 0\\ &\sum_{i=1}^n Y_i - n\beta_0 - \beta_1\sum_{i=1}^nX_i = 0\\ &\sum_{i=1}^n Y_i - \beta_1\sum_{i=1}^nX_i = n\beta_0\\ &\widehat{\beta}_0 = \bar{Y} - \beta_1\bar{X} \\ \end{split} \tag{A.3} \end{equation}\]

Para determinar el estimador de \(\beta_1\) se calcula la derivada parcial la función \(S(\cdot)\) respecto a este parámetro.

\[\begin{equation} \begin{split} \frac{\partial S}{\partial\beta_1} &= \frac{\partial }{\partial\beta_1}\left(\sum_{i=1}^n (Y_i - [\beta_0 + \beta_1X_i])^2\right)\\ &= \sum_{i=1}^n 2(Y_i - [\beta_0 + \beta_1X_i])(-X_i)\\ &= -2\sum_{i=1}^n (Y_i - [\beta_0 + \beta_1X_i])X_i\\ \end{split} \tag{A.4} \end{equation}\]

Igualando a cero.

\[\begin{equation} \begin{split} -2\sum_{i=1}^n (Y_i - [\beta_0 + \beta_1X_i])X_i &= 0\\ \sum_{i=1}^n (Y_iX_i - \beta_0X_i - \beta_1X_i^2) &= 0\\ \end{split} \tag{A.5} \end{equation}\]

Reemplazamos el estimador obtenido en (A.3).

\[\begin{equation} \begin{split} \sum_{i=1}^n (Y_iX_i - (\bar{Y} - \beta_1\bar{X})X_i - \beta_1X_i^2) &= 0\\ \sum_{i=1}^n (Y_iX_i - \bar{Y}X_i + \beta_1\bar{X}X_i - \beta_1X_i^2) &= 0\\ \sum_{i=1}^n (Y_iX_i - \bar{Y}X_i) + \beta_1\sum_{i=1}^n(\bar{X}X_i - X_i^2) &= 0\\ \end{split} \tag{A.6} \end{equation}\]

Cada una de las sumatorias se puede reescribir de la siguiente manera:

\[\begin{equation} \begin{split} \sum_{i=1}^n(\bar{X}X_i - X_i^2) &= \sum_{i=1}^n(\bar{X}X_i - X_i^2 + \bar{X}^2 + \bar{X}X_i - \bar{X}^2 - \bar{X}X_i)\\ &= \sum_{i=1}^n(\bar{X}X_i - X_i^2 + \bar{X}^2 + \bar{X}X_i - \bar{X}^2 - \bar{X}X_i)\\ &= -\sum_{i=1}^n(X_i -\bar{X})^2 + \sum_{i=1}^n\bar{X}(\bar{X}-X_i)\\ &= -\sum_{i=1}^n(X_i -\bar{X})^2 + 0\\ &= -\sum_{i=1}^n(X_i -\bar{X})^2\\ \end{split} \tag{A.7} \end{equation}\] \[\begin{equation} \begin{split} \sum_{i=1}^n (Y_iX_i - \bar{Y}X_i) &= \sum_{i=1}^n (Y_iX_i - \bar{Y}X_i + Y_i\bar{X} + \bar{Y}\bar{X} - Y_i\bar{X} - \bar{Y}\bar{X})\\ &= \sum_{i=1}^n (Y_i(X_i - \bar{X}) - \bar{Y}(X_i - \bar{X})) + \sum_{i=1}^n(Y_i\bar{X} - \bar{Y}\bar{X}) \\ &= \sum_{i=1}^n (Y_i - \bar{Y})(X_i - \bar{X}) + 0 \\ &= \sum_{i=1}^n (Y_i - \bar{Y})(X_i - \bar{X})\\ \end{split} \tag{A.8} \end{equation}\]

Reemplazando (A.7) y (A.8) en la ecuación (A.6), el estimador de \(\beta_1\) es:

\[\begin{equation} \begin{split} &\sum_{i=1}^n (Y_iX_i - \bar{Y}X_i) + \beta_1\sum_{i=1}^n(\bar{X}X_i - X_i^2) = 0 \\ &\sum_{i=1}^n (Y_i - \bar{Y})(X_i - \bar{X}) - \beta_1\sum_{i=1}^n(X_i -\bar{X})^2 = 0 \\ &\beta_1\sum_{i=1}^n(X_i -\bar{X})^2 = \sum_{i=1}^n (Y_i - \bar{Y})(X_i - \bar{X}) \\ &\widehat{\beta}_1 = \frac{\displaystyle\sum_{i=1}^n (Y_i - \bar{Y})(X_i - \bar{X})}{\displaystyle\sum_{i=1}^n(X_i -\bar{X})^2} \\ \end{split} \tag{A.9} \end{equation}\]

Luego, se puede reescribir el estimador de \(\beta_0\) de la siguiente manera:

\[\begin{equation} \begin{split} &\widehat{\beta}_0 = \bar{Y} - \widehat{\beta}_1\bar{X} \\ \end{split} \tag{A.10} \end{equation}\]

A.2 Descomposición de la Suma de Cuadrados Total

En la sección 3.2.2, la ecuación (3.11) plantea que la suma de cuadrados total (SCT) se puede descomponer en la suma de cuadrados del modelo (SCReg) y la suma de cuadrados del error (SCE). La demostración es la siguiente:

\[\begin{equation} \begin{split} \sum_{i=1}^n\left( Y_i - \bar{Y} \right)^2 &= \sum_{i=1}^n\left( \left( \widehat{Y}_i - \bar{Y} \right) + \left( Y_i - \widehat{Y}_i \right) \right)^2\\ &= \sum_{i=1}^n\left( \widehat{Y}_i - \bar{Y} \right)^2 + 2\sum_{i=1}^n\left( \widehat{Y}_i - \bar{Y} \right)\left( Y_i - \widehat{Y}_i \right) + \sum_{i=1}^n\left( Y_i - \widehat{Y}_i \right)^2\\ \end{split} \tag{A.11} \end{equation}\]

Luego, basta demostrar que

\[\begin{equation} \begin{split} \sum_{i=1}^n\left( \widehat{Y}_i - \bar{Y} \right)\left( Y_i - \widehat{Y}_i \right) = 0 \end{split} \tag{A.12} \end{equation}\]

Partiendo desde el lado izquierda de la igualdad, se tiene que

\[\begin{equation} \begin{split} \sum_{i=1}^n\left( \widehat{Y}_i - \bar{Y} \right)\left( Y_i - \widehat{Y}_i \right) &= \sum_{i=1}^n\left( \widehat{\beta}_0 + \widehat{\beta}_1X_i - \bar{Y} \right)\left( Y_i - \left( \widehat{\beta}_0 + \widehat{\beta}_1X_i \right) \right)\\ \end{split} \tag{A.13} \end{equation}\]

Reemplazando el estimador de mínimos cuadrados de \(\beta_0\) obtenido en (A.10), se tiene que lo anterior es igual a

\[\begin{equation} \begin{split} &= \sum_{i=1}^n\left( \bar{Y} - \widehat{\beta}_1\bar{X} + \widehat{\beta}_1X_i - \bar{Y} \right)\left( Y_i - \bar{Y} + \widehat{\beta}_1\bar{X} - \widehat{\beta}_1X_i \right)\\ &= \widehat{\beta}_1\sum_{i=1}^n\left(-\bar{X} + X_i \right) \left( Y_i - \bar{Y} + \widehat{\beta}_1\bar{X} - \widehat{\beta}_1X_i \right) \\ &= \widehat{\beta}_1\sum_{i=1}^n\left(X_i -\bar{X} \right) \left( Y_i - \bar{Y}\right) + \widehat{\beta}_1\sum_{i=1}^n\left(X_i -\bar{X} \right)\widehat{\beta}_1 \left( \bar{X} - X_i \right) \\ &= \widehat{\beta}_1\sum_{i=1}^n\left(X_i -\bar{X} \right) \left( Y_i - \bar{Y}\right) - \widehat{\beta}_1^2\sum_{i=1}^n\left(X_i -\bar{X} \right)^2 \\ \end{split} \tag{A.14} \end{equation}\]

Reemplazando el estimador de mínimos cuadrados de \(\beta_1\) obtenido en (A.9), se tiene que lo anterior es igual a

\[\begin{equation} \begin{split} &= \frac{\displaystyle\sum_{i=1}^n (Y_i - \bar{Y})(X_i - \bar{X})}{\displaystyle\sum_{i=1}^n(X_i -\bar{X})^2}\sum_{i=1}^n\left(X_i -\bar{X} \right) \left( Y_i - \bar{Y}\right)\\ & \hspace{2cm} - \left( \frac{\displaystyle\sum_{i=1}^n (Y_i - \bar{Y})(X_i - \bar{X})}{\displaystyle\sum_{i=1}^n(X_i -\bar{X})^2} \right)^2\sum_{i=1}^n\left(X_i -\bar{X} \right)^2 \\ &= \frac{\left(\displaystyle\sum_{i=1}^n (Y_i - \bar{Y})(X_i - \bar{X})\right)^2}{\displaystyle\sum_{i=1}^n(X_i -\bar{X})^2} - \frac{\left( \displaystyle\sum_{i=1}^n (Y_i - \bar{Y})(X_i - \bar{X})\right)^2}{\left(\displaystyle\sum_{i=1}^n(X_i -\bar{X})^2\right)^2} \sum_{i=1}^n\left(X_i -\bar{X} \right)^2 \\ &= \frac{\left(\displaystyle\sum_{i=1}^n (Y_i - \bar{Y})(X_i - \bar{X})\right)^2}{\displaystyle\sum_{i=1}^n(X_i -\bar{X})^2} - \frac{\left( \displaystyle\sum_{i=1}^n (Y_i - \bar{Y})(X_i - \bar{X})\right)^2}{\displaystyle\sum_{i=1}^n(X_i -\bar{X})^2}\\ & = 0 \end{split} \tag{A.15} \end{equation}\]

Quedando así demostrada la descomposición de las Suma de Cuadrados Total.

A.3 EMC en Regresión Lineal Múltiple

El proceso de obtención de los estimadores de mínimos cuadrado en una regresión lineal múltiple corresponde a la minimización de la suma cuadrática de los errores.

\[\begin{equation} \begin{split} S(\beta) = \epsilon^t\epsilon &= (Y - X\beta)^t(Y - X\beta)\\ &= (Y^t - \beta^tX^t)(Y - X\beta)\\ &= Y^tY - Y^tX\beta - \beta^tX^tY + \beta^tX^tX\beta\\ \end{split} \tag{A.16} \end{equation}\]

Luego, derivando respecto a \(\beta\).

\[\begin{equation} \begin{split} \frac{S(\beta)}{\partial \beta} &= - X^tY - X^tY + 2X^tX\beta\\ &= - 2X^tY + 2X^tX\beta\\ \end{split} \tag{A.17} \end{equation}\]

Igualando a cero y despejando la matriz \(\beta\).

\[\begin{equation} \begin{split} - 2X^tY + 2X^tX\beta &= 0\\ 2X^tX\beta &= 2X^tY\\ X^tX\beta &= X^tY\\ \widehat{\beta} &= (X^tX)^{-1}X^tY\\ \end{split} \tag{A.18} \end{equation}\]