Comparing means can be mean: quantifying the performance of students at standardized exit exams

//ABSTRACT IN SPANISH: El trabajo propone una metodología alternativa para analizar los resultados de exámenes estandarizados, que hasta la fecha se han analizado mediante rankings construidos a partir de promedios aritméticos. Utilizando la técnica Propensity Score Matching se comparan los resultados de estudiantes con características semejantes en los exámenes de Estado colombianos a nivel universitario (ECAES), implementados por el Ministerio de Educación en 2003. Se analiza el caso de los estudiantes de Administración de Empresas de la Universidad Javeriana, pero la metodología puede replicarse en otros programas y universidades. Los resultados muestran un impacto significativo del tratamiento (ser estudiante de la Javeriana) sobre el desempeño en el ECAES. A diferencia de los estudios que usan rankings a partir de promedios, los estudiantes de la Javeriana tienen mejor desempeño que los estudiantes comparables, demostrándose que la construcción e interpretación de rankings es inapropiada. //ABSTRACT IN ENGLISH: The current work introduces an alternative analysis approach to standardized exam results, which have been so far scrutinized by means of ranking systems based on arithmetic mean comparisons. The Propensity Score Matching technique is applied to compare the results of equivalent students in the Colombian field-specific college exit exam (ECAES), which was introduced by the National Education Ministry in 2003. The specific case of the students enrolled at Universidad Javeriana's Business Administration Program is addressed, but the methodology can be easily applied to other programs and universities. The results show a strong treatment effect of attending Universidad Javeriana on the performance in this exam. In contrast to the results of previous ranking studies based on simple average data, students from Universidad Javeriana were found to perform better than equivalent students. This shows that the construction and interpretation of those rankings might be flawed.