Evaluación experimental

Inferencia Causal

Irvin Rojas

rojasirvin.com

Centro de Investigación y Docencia Económicas División de Economía

El experimento ideal

El efecto de los hospitales

  • ¿Los hospitales hacen que la gente sea más sana?
  • Podemos conseguir datos de encuestas sobre cuántas veces las personas han ido al hospital en el último año
El efecto de los hospitales
Grupo N Salud (0-5) Error estándar
Hospitalizados 7,774 3.21 0.014
No hospitalizados 90,049 3.93 0.003
Diferencia 0.72
(t) (58.9)
  • ¿Tiene sentido? ¿Los hospitales enferman?
  • ¿Qué sucede?

Comparaciones observacionales

  • Pensemos de nuevo en términos del Modelo de Rubin de resultados potenciales

\[y_{i}=\begin{cases} y_{1i}=1\quad\text{si }D_i=1\\ y_{0i}=0 \quad \text{si } D_i=0 \end{cases}\]

  • Solo vemos al individuo en una situación, \(y_i\):

\[y_i=y_{0i}+(y_{1i}-y_{0i})D_i\]

  • ¿Qué nos dicen las comparaciones observacionales?
  • Supongamos que tenemos acceso a datos sobre tratados y no tratados
  • Podemos calcular \(E(y_i|D_i=1)-E(y_i|D_i=0)\):

\[ \begin{aligned} E(y_i|D_i=1)-E(y_i|D_i=0)=&E(y_{1i}|D_i=1)-E(y_{oi}|D_i=0)+\\& \underbrace{E(y_{0i}|D_i=1)-E(y_{0i}|D_i=1)}_0 \end{aligned} \]

Sesgo de selección

  • Reordenando:

\[ \begin{aligned} E(y_i|D_i=1)-E(y_i|D_i=0)=&\overbrace{ E(y_{1i}|D_i=1)-E(y_{0i}|D_i=1)}^{\text{Efecto promedio en los tratados}}+\\& \underbrace{E(y_{0i}|D_i=1)-E(y_{oi}|D_i=0)}_{\text{Sesgo de selección}} \end{aligned} \]

  • El primer término nos da la diferencia promedio en la variable de salud entre los hospitalizados y lo que les hubiera pasado si no hubieran sido hospitalizados
  • En nuestro ejemplo, el sesgo de selección es la diferencia en salud entre los hospitalizados y los no hospitalizados
  • Específicamente, si quienes van al hospital tienen una peor salud, podemos esperar que \(E(y_{0i}|D_i=1)-E(y_{oi}|D_i=0)<0\)

Sesgo de selección

  • Al hacer aseveraciones basadas en comparaciones observacionales se incluye el efecto causal del tratamiento, pero también el sesgo de selección
  • El sesgo de selección puede ser positivo o negativo
  • El objetivo de las estrategias de evaluación es eliminar el sesgo de selección

Tratamiento aleatorio

  • Supongamos que tenemos la posibilidad de aleatorizar el tratamiento, es decir, hacer que \(Y_i\) y \(D_i\) sean independientes
  • En ese caso, por independencia: \(E(Y_{0i}|D_i=0)=E(Y_{0i}|D_i=1)\)
  • De la definición de comparación observacional:

\[ \begin{aligned} E(y_i|D_i=1)-E(y_i|D_i=0)=&E(y_{1i}|D_i=1)-E(y_{0i}|D_i=0) \end{aligned} \]

  • Sustituyendo el resultado de independencia:

\[ \begin{aligned} E(y_i|D_i=1)-E(y_i|D_i=0)&=E(y_{1i}|D_i=1)-E(y_{0i}|D_i=1) \\ & =E(y_{1i}-y_{0i}|D_i=1) \\ & =\underbrace{E(y_{1i}-y_{0i})}_{\text{Efecto causal}} \end{aligned} \]

No siempre es factible

  • La aleatorización resuelve muchas cosas, pero muchas veces no es factible
  • ¿Qué tendríamos que hacer en el caso de estudio, “¿Los hospitales matan?”
  • Pensemos en un programa de empleo para ex convictos
  • Seguramente una comparación observacional indicaría que estos ganan menos que el resto de la población
  • Pero esto no significa que el programa cause un efecto negativo en el ingreso
  • Siempre tenemos que pensar en el contrafactual

El experimento STAR

  • ¿En qué consistió?
  • Dos tipos de tratamiento:
    • \(T_1\): clase pequeña (13-17) con maestro de tiempo completo
    • \(T_2\): tamaño normal pero con asistente para el maestro
  • Un grupo \(C\) al que no se le hizo cambio alguno (22.3 alumnos en promedio)
  • ¿Cuál es el efecto de tener clases más pequeñas?
  • ¿Por qué esto sería relevante? ¿Qué implicaciones de política tendría?

El balance

  • ¿Qué vemos en la Tabla 2.2.1 de MHE
  • ¿Qué nos indican los valores \(p\)?
  • ¿Cuál es la hipótesis nula?
  • ¿Qué significa atrición?
  • ¿Se logró el objetivo del experimento?
Balance de observables
Variable \(T_1\) \(C\)` \(T_2\) \(p\)
Lunch gratis 0.47 0.48 0.5 0.09
Blanco / asiático 0.68 0.67 0.66 0.26
Edad (1985) 5.44 5.43 5.42 0.32
Atrición 0.49 0.52 0.53 0.02
Tamaño de clase 15.1 22.4 22.8 0
Calificación 54.7 48.9 50 0
Nota: Tomada de Angrist y Pischke (2009), Tabla 2.2.1.

Desventajas

  • Tiempo
  • Costo: 12 millones de USD del proyecto STAR
  • Preocupaciones legales y éticas

  • A veces es posible hacer experimentos, a veces es muy difícil y a veces es imposible

  • Usando métodos no experimentales, Angrist y Lavy (1999) encuentran resultados parecidos (pero con otros métodos)

Motivación con un modelo de efectos constantes

Regresión para la idenfiticación de efectos causales

  • Con fines de simplificación, asumamos un efecto de tratamiento constante: \(y_{1i}-y_{0i}=\rho\)

  • Consideremos el valor observado para un individuo \[y_i=y_{0i}+(y_{1i}-y_{0i})D_i\]

  • Sumemos y restemos \(E(y_{0i})\):

\[ \begin{aligned} y_i&=E(y_{0i})+(y_{1i}-y_{0i})D_i+y_{0i}-E(y_{0i}) \\ &=\underbrace{\alpha}_{E(y_{0i})}+\underbrace{\rho}_{(y_{1i}-y_{0i})} D_i + \underbrace{\nu_i}_{y_{0i}-E(y_{0i})} \end{aligned} \]

  • Ahora evaluemos:

\[ \begin{aligned} &E(y|D_i=1)=\alpha+\rho+E(\nu_i|D_i=1) \\ &E(y|D_i=0)=\alpha+E(\nu_i|D_i=0) \end{aligned} \]

Regresión para la idenfiticación de efectos causales

  • Restando

\[ \begin{aligned} E(y|D_i=1)-E(y|D_i=0)&=\rho+\overbrace{E(\nu_i|D_i=1)-E(\nu_i|D_i=0)}^{\text{Sesgo de selección}} \\ &=\rho+E(y_{0i}|D_i=1)-E(y_{0i}|D_i=0) \end{aligned} \]

  • Es decir, el sesgo de selección es igual a la correlación entre el término de error y \(D_i\)

  • Y, de acuerdo a la segunda línea, también es igual a la diferencia en el resultado potencial (de no tratamiento), entre aquellos que son tratados y los que no son tratados

  • En nuestro ejemplo del hospital, es muy probable que el sesgo de selección sea negativo porque los tratados son quienes tienen peor salud (en el estado no tratado)

  • Como vimos antes, con asignación aleatoria, el sesgo de selección desaparece, por lo que una regresión de \(y_i\) en \(D_i\) estima el efecto causal \(\rho\)

Regresión como herramienta

  • Usaremos muy frecuentemente la regresión para la estimación de efectos causales

  • La interpretación causal de los estimadores no surge de la herramienta, sino del diseño

  • Debemos tener en mente siempre si los estimadores están o no libres del sesgo de selección

  • Antes vimos que en el experimento STAR las medias de las calificaciones entre grupos eran distintas

  • La regresión nos servirá para hacer esencialmente lo mismo: comparación de \(y_i\) entre grupos

El impacto de STAR con regresión

La Tabla 2.2.2 en MHE muestra los efectos de tratamiento estimados con regresión:

\[calificacion_i=\alpha+\beta_1 T_{1i} + \beta_2 T_{2i} + B'X_i + u_i\]

Efectos experimentales del tamaño del grupo en las calificaciones
Variable explicativa (1) (2) (3) (4)
\(T_1\): Clase pequeña 4.82 5.37 5.36 5.37
(2.19) (1.26) (1.21) (1.19)
\(T_2\): Clase pequeña y asistente 0.12 0.29 0.53 0.31
(2.23) (1.13) (1.09) (1.07)
Efectos fijos de escuela No Sí Sí Sí
Controles No No \(X_1\) \( X_1 + X_2 \)
Nota: Tabla 2.2.2 en Angrist y Pischke (2009)

El impacto de STAR con regresión

  • ¿Cómo se obtienen los resultados de esta tabla?
  • ¿Qué se deduce sobre los distintos tratamientos?
  • ¿Cuál es la variable dependiente?
  • ¿Cuál es la variable independiente clave?

Regresión corta y larga

  • Con un tratamiento binario y asignado aleatoriamente, podemos estimar el efecto usando una regresión:

\[y_i=\alpha+\beta T_i + u_i\]

  • Es muy común, sin embargo, usar controles

  • Si una serie de características \(X\) no está correlacionada con \(T_i\), se puede incluir en una versión larga de la regresión antes descrita:

\[y_i=\alpha+\beta T_i + X_i'\gamma + u_i\]

  • El valor numérico de \(\hat{\beta}\) en la regresión larga será muy cercano al obtenido con la regresión corta, pero se incrementa la precisión de los parámetros estimados

  • Dado que emplearemos regresión ampliamente en este curso, es necesario fijar algunas ideas sobre cómo entendemos y cómo usamos la regresión en la práctica

Material de clase en versión preliminar.

No reproducir, no distribuir, no citar.