1. Pomeranz: Impacto de métodos evaluados en la Economía Pública

Introducción I

Decisiones diarias en las finanzas públicas pueden afectar la economía de todo un país. Esto dependerá de la efectividad que produzca la política ejercida por los encargados del control fiscal (lo cual en un principio es difícil en escoger). Diariamente, también, los encargados se enfrentan a disyuntivas acerca de como una política puede afectar a los consumidores, empresas o el sistema público. En los últimos años se ha visto la manera de responder a las disyuntivas de la mejor manera posible, con distintos métodos que nos llevan a distintos resultados, como la aplicación aleatoria de evaluaciones ("randomized evaluations")  y otros procedimientos cuasi-experimentales. En el sector público, esto puede tomar una ligera ventaja si es que esquematiza de la mejor manera, con el fin de que se reduzcan costos en la parte administrativa de información (costos de investigación). Existen varios métodos, cada uno con su grado de validez. La calidad de cada método de evaluación es de suma importancia para la obtención de resultados, resultados imparciales ("unbiased results"). En este artículo se verá un resumen, pros, contras, condiciones y palabras claves para entender los principales métodos de evaluación de impacto, donde el objetivo de cada método es demostrar el "causal effect" y el "goal" es medir el impacto que tiene la "política" sobre algún resultado de interés. El desafío fundamental de cada evaluación es que solo se puede visualizar los resultados de cada política en cada espacio-tiempo del método, mas no lo que pasaría si esas políticas no se efectúan; por ejemplo, tu puedes ver los resultados del incremento al pago de impuestos mediante una advertencia de incumplimiento, pero no puedes ver estadísticamente a la gente que pago sin ser advertida, esto último se conoce en la teoría del impacto como el "counterfactual"

Introducción II

Uno puede visualizar el "counterfactual" en un gráfico espacio-tiempo en una linea que en un punto determinado se dividen, está linea representa el comportamiento (ej. de la sociedad), el punto el espacio-tiempo de la primera aplicación de una medida (ej. señalización) y existirá una linea que es el impacto que ha tenido la medida, y existirá otra linea (counterfactual) que es el comportamiento si la medida nunca hubiera existido. (Figura 1 del artículo) A mayor precisión del "counterfactual", más facil sería evaluar el resultado final de una política o medida (comparando su resultado final con la tendencia del comportamiento sin esta). Normalmente la estimación del "counterfactual" se da comparando datos entre el "control group" (consumidores o empresas que no han participado de la medida) y el "treatment group" (consumidores y empresas que han participado de la medida). Donde si  en el escenario de "impact", el "control group" y el "treatment group" poseen las mismas características exceptuando su muestra a la medida o política, entonces la evaluación es confiable y en este caso esa diferencia se le atribuirá exclusivamente a la aplicación de esta medida o política. Finalmente si en el escenario de "counterfactual" ambos grupos tienen las mismas características, el "control group" es una representación válida del "counterfactual". En el pasado, cada política era comparada de manera "prejuiciosa" con una suma de "confiables" suposiciones, sumado a un dudoso "selection bias" que en resumen sería la elección "a dedo" de los integrantes de cada grupo (antes mencionados) ya sea por decisión del agente o por decisión del investigador. Pomeranz recomienda una buena "randomized evaluation" para hacer un estudio preciso y sin prejuicios (internal validity) considerando también la existencia de otros metodos que ayudarían; tambien menciona la existencia del "external validity" que sería la capacidad que tiene un estudio o investigación de influir en diferentes situaciones de toma de decisiones futuras (general o especifico al tema que se investigó), ya sea a la hora de aplicar una medida en un país diferente o a la hora de dar ajustes a la medida actual.

Randomized Evaluation

El objetivo de este método (llamado RCT's por sus siglas en inglés) es crear una comparación ideal entre los grupos "control group" y el "treatment group" desde el inicio hasta el final del proceso. Esto se logra mediante una asignación aleatoria (antes de la investigación) a los agentes, colocando a cada uno en los diferentes grupos para iniciar la comparación. Esta aleatoriedad asegura (en promedio) que no exista diferencias individuales entre los miembros de cada grupo, exceptuando el hecho de que a unos se les asigna aleatoriamente participar con la medida implementada y a otros sin la medida, descartando las diferencias "sistemáticas". Un beneficio adicional sería que este método permite identificar el efecto de un elemento en particular de un numeroso "big data". Elegir aleatoriamente quien participa y no, estadísticamente es lo mejor que le ha pasado al estudio de impactos de medidas fiscales, pero esto podría ser mal visto en un punto de vista político y social, pues la elección aleatoria realizada antes del procedimiento, no toma en cuenta la situación de cada agente.    

Simple Difference

Este metodo es uno de los más usados para describir el impacto de una evaluación. Sin embargo este método no provee correctos ni imparciales resultados. Su análisis recae en el análisis desde y exclusivamente de la aplicación de la medida, comparando la situación del "treatment group" después de haber aplicado la medida con el "control group" (desde el momento de haber aplicado la medida). El analisis de la simple diferencia o reacción que ocurre cuando aplicas una medida determinada a los dos grupos, donde estos posiblemente hayan sufrido "selection bias", ya sea para "ayudar" a la investigación o por temas externos; es perjudicial para visualizar el real impacto de la medida, puesto que existen perjuicios y suposiciones fuera de foco, que nublan la investigación. Aunque a diferencia del "randomized evaluation", el "simple difference" no requiere de una gran data para su análisis, la conclusión que tenga la investigación con este método no puede ser precisa del todo, pues adicional al "selection bias", cuando solo se analiza el momento desde que aplica una regla o medida, obvias por completo las características y la tendencia de los agentes.

Pre-Post Comparison

Este método se asemeja al "simple differences" solo que a diferencia de los habituales "control group" (los que no participan) y "treatment group" (los que participan), los dos grupos a comparar terminan teniendo los mismos agentes, donde la diferencia es que en un grupo esta su comportamiento antes de aplicarse la medida y en otro esta su comportamiento después de aplicarse la medida. Este método es usado para fines de visualizar reacciones, teniendo en su mayoría una recopilación de los datos y tendencias de los agentes antes de iniciar el procedimiento. Por lo tanto el "counterfactual" es representado por los mismos agentes, pero este no sería tan preciso como el de "randomized evaluation" porque al asumir una tendencia, esto le quitaría validez, puesto que se ignoran los posibles factores externos, que en "randomized evaluation" no serían problema puesto que entran factores externos, tu puedes ver en directo la reacción del grupo que tiene la medida y el grupo que no. Al igual que el "simple differences" este no requiere de tanta data previa y tampoco tanta data almacenada o recopilada durante el tiempo de investigación, pues todos están en un mismo "grupo" y se simplificaría el hecho de comparar tantas reacciones, pero como ya hemos dicho anteriormente, estos pequeños datos hacen que el "internal validity" sea bajo con resultados que no son en su mayoría precisos.      

Difference-in-differences

Este método es la combinación entre "simple differences" y "pre-post comparison" donde se toma en cuenta las diferencias entre los grupos y sus cambios a lo largo del tiempo. En otras palabras, la evaluación consiste en comparar las diferencias que tienen los grupos de "control" y "treatment" una vez aplicada la medida, y posteriormente se compara el cambio o tendencia que tiene esa diferencia a lo largo del tiempo. Por eso su nombre traducido en "la diferencia de las diferencias". Logicamente, el método compara el cambio en el tiempo del grupo de "control" con el cambio en el tiempo del grupo "treatment". El cambio en el tiempo del "control group" es el "counterfactual del "treatment group", osea, se asume que sin la aplicación del programa o medida la tendencia del grupo "treatment" sería la misma que a la del "control group".  Aunque el investigador puede controlar (indirecta o directamente) los cambios que se dan entre ambos grupos a lo largo del tiempo (en esta parte si hay evidencia y no se asume) , es imposible que lo que se asume no sea del todo preciso y correcto, asumir que sin la medida la tendencia del grupo "treatment" sea igual a la del "control group" podría dar resultados prejuiciosos e irregulares. Esta suposición se evalua y se dicta como precisa si y solo si, se tiene una gran data del comportamiento de los agentes antes de la aplicación de la medida y que las tendencias del comportamiento sean las mismas entre ambos grupos evaluados.

Matching Procedure

Es un método basado en el objetivo original de construir una fiel representación del "counterfactual" y crear los grupos con la mayoría de características similares posibles. En casi todos los casos, se comparan los casos entre los agentes que tienen toda la probabilidad y disponibilidad de participar y son tratados con los que tambien tienen toda la probabilidad de participar pero no son tomados en cuenta ("control group"). Aunque el investigador puede asegurar que las características observables son identicas entre ambos grupos, son las características no observables las que desestiman los resultados de la investigación, puesto que en la mayoría de los casos, son estas características las que afectan a la reacción de los agentes frente a la medida, pues esta le da contexto al comportamiento del o de los agentes, tanto del "treatment" como del "control".

RDD

Este método se asemeja con el RCT, con la diferencia que existe un limite para poder ser considerado o no en el "treatment group", y se asume que las características de los que cumplen en lo mínimo con las condiciones de la medida a aplicar, son las mismas de los que por alguna razón no cumplen estos requisitos (afuera por un mínimo valor). La nula manipulación del limite para acceder a la medida y la nula afectación a los agentes de anteriores medidas, hacen valido este método para situaciones en específico. Una de las posibles desventajas a este método sería que solo se pueden comparar a los agentes que están tanto al mínimo de ingresar al grupo como al mínimo de salir.