Errores Estándar

Inferencia Causal

Irvin Rojas

Centro de Investigación y Docencia Económicas
Maestría en Economía

Errores estándar

Errores estándar robustos

Recordemos que con errores homocedásticos, la matriz de varianzas del estimador de MCO puede ser estimada como:

\[\hat{V}(\hat{\beta}_{MCO}^H)=\hat{\sigma}^2(X'X)^{-1}\] donde \(\hat\sigma^2=\frac{1}{N-k}\sum_i\hat u_i^2\) y \(\hat{u}_i^2=(y_i-X_i'\hat{\beta}_{MCO})^2\)

Una primera generalización respecto a los errores clásicos ocurre cuando relajamos el supuesto de homocedasticidad
Es posible relajar los supuestos sobre la distribución de los errores para derivar las propiedades asintóticas del estimador de MCO
La varianza asintótica es:

\[V(\hat{\beta}_{MCO}^{R})=(X'X)^{-1}X'\Omega X(X'X)^{-1}\] donde \(\Omega\) es la matriz de varianzas de los errores

Errores robustos a la heterocedasticidad

Un estimador de la varianza del estimador de MCO que no asume homocedasticidad es el estimador propuesto por White (1980)
Sabemos que un estimador para la matriz de varianzas del estimador de MCO robusta a la heterocedasticidad es: \[\hat{V}(\hat{\beta}_{MCO}^R)=(X'X)^{-1}\left(\sum_i\hat{u}_i^2x_ix_i'\right)(X'X)^{-1}\]
Aquí un recordatorio de por qué podemos escribir \(X'uu'X\) como una sumatoria
Consideremos la carnita del sándwich

\[\sum_i\hat{u}_i^2x_ix_i' \equiv \sum_i \hat{\psi}_i x_ix_i'\]

Un paréntesis sobre la influencia

Un par de resultados nos ayudarán a entender qué hacen las otras correcciones a la matriz robusta en el software
Definimos la influencia de la observación \(i\) como:

\[h_{ii}=X_i'(X'X)^{-1}X_i\]

\(h_{ii}\) nos dice qué tanto jala la observación \(i\) a la línea de regresión
En una regresión con un solo regresor \(x\), se puede mostrar que la influencia de la observación \(i\) es:

\[h_{ii}=\frac{1}{N}+\frac{(x_i-\bar{x})^2}{\sum(x_j-\bar{x})^2}\] es decir, que la influencia se incrementa cuando \(x_i\) se aleja de la media

La influencia es un número entre 0 y 1 y además \(\sum_i h_{ii}=k\), siendo \(k\) el número de regresores

El sesgo de \(\hat{V}\)

De la teoría de los cursos introductorios de econometría sabemos que la matriz de varianzas clásica tiene un sesgo
Ese sesgo desaparece al hacer la corrección por grados de libertad y dividir por \(N-k\) en lugar de solo \(N\) en la expresión para \(\hat{\sigma}^2\)
Sin embargo, también el estimador de la matriz de varianzas robusta a heterocedasticidad tiene un sesgo que es, en general, más grande que el de la matriz clásica
En la práctica, se implementan correcciones que buscan reducir el sesgo en la estimación de la matriz de varianzas robustas

Errores estándar robustos

Dependiendo de cómo se especifique \(\hat{\psi}_i\), obtenemos distintas versiones del estimador de varianzas robusto
La propuesta de White original es:

\[HC0:\quad\hat{\psi}_i=\hat{u}_i^2\]

Este estimador es consistente

En muestras pequeñas, muchas veces se emplea la siguiente corrección:

\[HC1:\quad\hat{\psi}_i=\frac{N}{N-k}\hat{u}_i^2\]

Errores estándar robustos

Algunos autores sugieren usar la influencia en la matriz de varianzas robusta
Se proponen algunas alternativas:

\[HC2:\quad\hat{\psi}_i=\frac{1}{1-h_{ii}}\hat{u}_i^2\]

\[HC3:\quad\hat{\psi}_i=\frac{1}{(1-h_{ii})^2}\hat{u}_i^2\]

Long & Ervin (2000) realizaron un experimento de simulación y recomendaron usar \(HC3\) en muestras pequeñas, por lo que el paquete sandwich en R usa \(HC3\) por default
Es importante tener en cuenta qué tipo de errores estándar piden que el software calcule

Errores agrupados

Surgen naturalmente cuando las observaciones están agrupadas
- Niños en salones de clase
- Hogares en localidades
- Solicitudes de empleo en una empresa
- Ahorradoras en un banco
El supuesto de errores independientes claramente no se cumple

Pensemos en un problema simple para entender la intución:

\[y_{ig}=\beta_0+\beta_1 x_g+e_{ig}\]

Aquí, \(x_g\) es un regresor que es el mismo para todos los miembros del grupo \(g\)
Asumamos que todos los grupos tienen tamaño \(n\)

Errores agrupados

Le damos una estructura aditiva a los errores:

\[e_{ig}=\nu_g+\eta_{ig}\] donde \(\nu_g\) captura toda la correlación dentro del grupo

\(\eta_{ig}\) es un error idiosincrático con media cero e independiente de cualquier otro \(\eta_{jg}\)
Como queremos analizar el problema del agrupamiento, asumimos que tanto \(\nu_g\) como \(\eta_{ig}\) son homocedásticos
Escribamos la covarianza entre los errores de dos observaciones \(i\) y \(j\), \(i \neq j\), que pertenecen a \(g\) como \[E(e_{ig}e_{jg})=\overbrace{\rho_e}^{\substack{\text{coeficiente de correlación} \\ \text{intraclase residual}}} \underbrace{\sigma_e^2}_{\text{varianza residual}}\]

Errores agrupados

Con esta estructura de errores, el coeficiente de correlación intraclase es:

\[\rho_e=\frac{\sigma_{\nu}^2}{\sigma_{\nu}^2+\sigma_{\eta}^2}\] - Deberíamos calcular la matriz de varianzas \(V_A(\hat{\beta})\) tomando en cuenta esta estructura

¿Qué pasa si hacemos MCO en el contexto de este problema?
Moulton (1986) muestra que:

\[\frac{V_A(\hat{\beta}_1)}{V_{MCO}(\hat{\beta}_1)}=1+(n-1)\rho_e\] - A \(\sqrt{\frac{V_A(\hat{\beta}_1)}{V_{MCO}(\hat{\beta}_1)}}\) se le conoce como el factor de Moulton

Factor de Moulton

El factor de Moulton nos dice qué tanto sobrestimamos la precisión al ignorar la correlación intra-clase
Visto de otro modo:

\[V_A(\hat{\beta}_1)=\left(1+(n-1)\rho_e\right)V_{MCO}(\hat{\beta}_1)\]

Es decir entre más grande sea la correlación dentro de los grupos, más deberíamos inflar los errores de MCO

Consideremos el caso extremo de que \(\rho_e=1\), es decir, que todas las \(y_{ig}\) dentro del mismo \(g\) son iguales
Entonces el factor de Moulton es simplemente \(\sqrt{n}\)
Visto de otro modo, la matriz de varianzas correcta se obtendría multiplicando por \(n\) la matriz \(V_{MCO}(\hat{\beta})\)

\[V_A(\hat{\beta})=n V_{MCO}(\hat{\beta})\]

Errores agrupados en general

En general, \(x_{ig}\) varía a nivel individual y tenemos grupos de tamaño \(n_g\)
En este caso, el factor de Moulton es la raíz cuadrada de:

\[\frac{V_A(\hat{\beta}_1)}{V_{MCO}(\hat{\beta}_1)}=1+\left(\frac{V(n_g)}{\bar{n}}+\bar{n}-1\right)\rho_x\rho_e\] donde \(\bar{n}\) es el tamaño promedio del grupo y \(\rho_x\) es la correlación intraclase de \(x_{ig}\)

No es necesario asumir una forma para \(\rho_x\) (se puede calcular)

Noten que el error que cometemos es más grande entre más heterogéneo es el tamaño de grupos y entre más grande es \(\rho_x\)
Por tanto, cuando el tratamiento no varía dentro de los grupos, este error es grande

Soluciones para errores agrupados

Solución paramétrica: calcular directamente el factor de Moulton e inflar los errores de MCO
Bootstrap por bloques: en vez de hacer muestras bootstrap remuestreando individuos, se remuestrean grupos
Estimar los errores agrupados (clustered standard errors)

Errores estándar agrupados

Con errores agrupados podemos escribir el estimador de MCO como

\[ \begin{aligned} \hat{\beta}&=\beta+(X'X)^{-1}X'u \\ &=\beta+(X'X)^{-1}\left(\sum_{g=1}^G X_g'u_g\right) \end{aligned} \]

Suponiendo independencia entre \(g\) y correlación dentro de cada grupo:

\[E(u_{ig}u_{jg'}|x_{ig},x_{jg'})=0\] excepto cuando \(g=g'\)

En este caso, el estimador de la varianza del estimador de MCO está dado por

\[\hat{V}({\hat{\beta}}_{MCO})=(X'X)^{-1}\left(\sum_{g=1}^G X_g'u_gu_g'X_g\right)(X'X)^{-1}\]

Errores estándar agrupados

Con errores heterocedásticos, pero sin agrupamiento, la matriz de varianzas de White (1980) tiene una estructura como sigue:

\[\hat{V}(\hat{\beta}_{R})=(X'X)^{-1}X'\hat{\Sigma} X (X'X)^{-1}\]

Donde

\[\hat{\Sigma}=\left(\begin{matrix} \hat{u}_{1}^2 & 0 & 0 & \ldots & 0 \\ 0 & \hat{u}_{2}^2 & 0 & \ldots & 0 \\ \vdots & & & & \\ 0 & & & \ldots & \hat{u}_{N}^2\end{matrix}\right)\]

Errores estándar agrupados

Para estimar la varianza con errores agrupados empleamos una generalización de la propuesta de White para errores robustos
Si \(G\to\infty\), el estimador de la matriz de errores agrupados robusta (CRVE) es consistente para estimar \(V(\hat{\beta})\):

\[\hat{V}_{CR}(\hat{\beta})=(X'X)^{-1}\left(\sum_{g=1}^G X_g'\hat{u}_g\hat{u}_g'X_g\right)(X'X)^{-1}\] donde \(\hat{u}_g\hat{u}_g'\) estima la matriz de varianzas para los individuos del grupo \(g\)

De manera compacta

\[\hat{V}_{CR}(\hat{\beta})=(X'X)^{-1}X'\hat{\Sigma} X(X'X)^{-1}\]

Errores estándar agrupados

Y en este caso la matriz \(\hat{\Sigma}\) tiene una estructura agrupada

\[\small \hat{\Sigma}=\left(\begin{matrix} \hat{u}_{1,1}^2 & \hat{u}_{1,1}\hat{u}_{2,1} & \ldots & \hat{u}_{1,1} \hat{u}_{n,1}& 0 & 0 & \ldots & 0 & \ldots & 0 & 0 & \ldots & 0 \\ \hat{u}_{2,1}\hat{u}_{1,1} & \hat{u}_{2,1}^2 & \ldots & \hat{u}_{2,1}\hat{u}_{n,1} & 0 & 0 & \ldots & 0 & \ldots & 0 & 0 & \ldots & 0\\ \vdots & \vdots & & \vdots & \vdots & \vdots & & \vdots& & \vdots & \vdots & & \vdots \\ \hat{u}_{n,1}\hat{u}_{1,1} & \hat{u}_{n,1}\hat{u}_{2,1}& \ldots & \hat{u}_{n,1}^2& 0 & 0 &\ldots & 0 & \ldots & 0 & 0 & \ldots & 0 \\ 0 & 0 & \ldots & 0 & \hat{u}_{1,2}^2 & \hat{u}_{1,2}\hat{u}_{2,2} & \ldots & \hat{u}_{1,2}\hat{u}_{n,2} &\ldots & 0 & 0 & \ldots & 0 \\ 0 & 0 & \ldots & 0 & \hat{u}_{2,2}\hat{u}_{1,2} & \hat{u}_{2,2}^2 & \ldots & \hat{u}_{2,2}\hat{u}_{n,2} &\ldots & 0 & 0 & \ldots & 0 \\ \vdots & \vdots & & \vdots & \vdots & \vdots & & \vdots& & \vdots & \vdots & & \vdots \\ 0 & 0 & \ldots & 0 & \hat{u}_{n,2}\hat{u}_{1,2} & \hat{u}_{n,2}\hat{u}_{2,2} & \ldots & \hat{u}_{n,2}^2 &\ldots & 0 & 0 & \ldots & 0 \\ \vdots & \vdots & & \vdots & \vdots & \vdots & & \vdots& & \vdots & \vdots & & \vdots \\ 0 & 0 & \ldots & 0 & 0 & 0 & \ldots & 0 &\ldots & \hat{u}_{1,G}^2 & \hat{u}_{1,G}\hat{u}_{2,G} & \ldots & \hat{u}_{1,G}\hat{u}_{n,G} \\ 0 & 0 & \ldots & 0 & 0 & 0 & \ldots & 0 &\ldots & \hat{u}_{2,G}\hat{u}_{1,G} & \hat{u}_{2,G}^2 & \ldots & \hat{u}_{2,G}\hat{u}_{n,G} \\ \vdots & \vdots & & \vdots & \vdots & \vdots & & \vdots& & \vdots & \vdots & & \vdots \\ 0 & 0 & \ldots & 0 & 0 & 0 & \ldots & 0 &\ldots & \hat{u}_{n,G}\hat{u}_{1,G} & \hat{u}_{n,G}\hat{u}_{2,G} & \ldots & \hat{u}_{n,G}^2 \end{matrix}\right)\]

Errores estándar agrupados

El resultado asintótico de consistencia depende de que \(G\to\infty\)
Si \(G\) está fijo, no importa qué tan grande sea \(N\), \(\hat{V}_{CR}(\hat{\beta})\) no será consistente
Algunos paquetes ajustan esta matriz de varianzas haciendo una corrección parecida a \(HC1\), pero ahora tomando en cuenta también \(G\) y no solo \(N\) (ver por ejemplo, vcovCR en R)

Con pocos grupos, subestimamos los errores estándar y rechazamos la \(H_0\) más veces de lo que deberíamos (over-rejection)
Si tenemos pocos grupos, recurrimos a otras soluciones (ver Cameron y Miller, 2015)
- Inflar los errores con un corrector de sesgo
- Bootstrap agrupado con refinamiento asintótico
La recomendación práctica es que se tomen en serio el problema de los pocos clusters
¿Cuánto es poco? Cameron y Miller (2015) citan 50. (¡Qué raro, el número de estados en EUA!)

Errores Estándar

Inferencia Causal

Irvin Rojas

CIDE · Maestría en Economía