Value-added in Higher Education: a new methodology for undergraduate programs in Brazil

Among the quality indicators released by the Brazilian Higher Education Assessment System (Sinaes), the Indicator “Difference between Observed and Expected Performance” (IDD) has the purpose of measuring the contribution of the course to student achievement during undergraduate programs. The research presented here offers a new methodology for calculating the IDD (Model IDD-VDCF), examining the philosophical and statistical underpinnings of quality measures, focusing on those that capture the value-added as a student achievement growth. The survey included a sample of 30,668 students, from 911 accounting undergraduate programs in Brazil. The insertion of control variables (at the student and at the institution level) reduced the bias of the IDD estimate associated with the student's selection in specific Accounting Sciences courses. The results call attention to the need to consider the students' learning context when one wants to compare the performance between institutions based on standardized tests. The major contribution of this work is the development of a measure that disentangles more fully what the contribution of program is to student learning, and what merely is a reflection of the capacity that a student brought to the program. Dentre os indicadores de qualidade divulgados pelo Sistema Nacional de Avaliação do Ensino Superior (Sinaes) no Brasil, o Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD) tem a proposta de mensurar a contribuição do curso para o desempenho do estudante durante a sua graduação. Esta pesquisa oferece uma nova metodologia de cálculo para o IDD (Modelo IDD-VDCF), examinando os fundamentos filosóficos e estatísticos das medidas de qualidade, com foco naquelas que capturam o valor agregado como um crescimento do conhecimento do estudante. A pesquisa incluiu uma amostra de 30.668 estudantes provenientes de 911 cursos de graduação em Ciências Contábeis no Brasil. A inserção das variáveis de controle (ao nível do estudante e da instituição) reduziu o viés da estimação do IDD associado à seleção do estudante em cursos específicos de Ciências Contábeis. Os resultados chamam atenção para a necessidade de se considerar o contexto de aprendizagem dos estudantes quando se quer comparar o desempenho entre instituições com base em testes padronizados. A maior contribuição deste trabalho é o desenvolvimento de uma medida que esclarece melhor qual é a contribuição do curso para o desempenho do estudante e o que é apen