El efecto de regresión a la media en evaluaciones longitudinales a través de un estudio de simulación Monte Carlo

Resumen

Las evaluaciones educativas cada vez están adquiriendo una mayor importancia como medio de mejora de la calidad educativa. A nivel metodológico existen diferentes tipos de evaluaciones: de estatus, basadas en un único momento temporal, evaluaciones de ganancia, caracterizadas porque se estudia el cambio en entre dos mediciones realizadas a un mismo estudiante, y evaluaciones basadas en modelos de crecimiento, donde se sigue el rendimiento de un mismo estudiante a lo largo de más de dos ocasiones de medida. A pesar de ser esta última evaluación la más idónea, es escaso el número de evaluaciones existentes de este tipo, debido a la complejidad y el coste que suponen y menor es aún el número de estudios que analizan la fiabilidad existente en la estimación de las puntuaciones de los estudiantes obtenidos a lo largo del tiempo, así como la incidencia de posibles artefactos estadísticos como es el Efecto de Regresión a la Media. Por ello, en esta tesis, a través de una simulación Monte Carlo basada en un modelo jerárquico lineal con tres niveles de anidamiento (tiempo, estudiante y aula) y longitudinal (nueve ocasiones de medida) se pretende como primer objetivo general, estudiar la fiabilidad con la que se estiman las puntuaciones de los estudiantes y el comportamiento del Efecto de Regresión a la Media, mediante el análisis de los patrones de correlación generados entre las puntuaciones de los estudiantes a lo largo del tiempo. Además, en este trabajo se muestra una cierta preocupación por el tamaño muestral, ya que en los diseños multinivel se recomienda un mínimo de 20 sujetos por unidad de análisis con el fin de que no exista error en la estimación de la pendiente de crecimiento del nivel superior. En este sentido, se plantea como segundo objetivo general de investigación, estudiar el efecto del tamaño de las aulas en la estimación de su pendiente de crecimiento. Los resultados muestran: en relación al primer objetivo, que el factor que más influye en la precisión con la que se estiman las puntuaciones de los estudiantes, es la diferencia entre la varianza del error intrasujeto y la varianza de la pendiente, obteniéndose estimaciones más fiables con un menor número de mediciones cuando es mayor este último coeficiente. Además, se ha observado que cuando se trabaja con datos propios de la realidad educativa, cuatro mediciones son suficientes para obtener estimaciones bastante fiables de las puntuaciones de los estudiantes (correlaciones superiores a 0,90). Respecto al Efecto de Regresión a la Media, aunque dicho efecto desaparece a partir de la segunda ocasión de medida cuando se sigue a los mismos estudiantes en más de dos mediciones, dentro de la primera aplicación se observa, en la mayoría de los modelos simulados, que se mantiene constante o se incrementa a lo largo del tiempo. Referido al segundo objetivo, los resultados revelan que las evaluaciones compuestas de un gran número de aulas formadas por más de 19 estudiantes, cuentan con un mayor porcentaje de aulas que se diferencian de la media, mientras que si se trabaja con aulas compuestas por menos de 20 estudiantes, la diferencia entre el porcentaje de aulas que si se diferencian de la media respecto al que no, es muy elevado, siendo notablemente más alto este último. A la vista de dichos resultados se puede concluir que, generalmente, cuatro aplicaciones son suficientes para poder predecir el rendimiento de los estudiantes con precisión. En cuanto al Efecto de Regresión a la Media, las evaluaciones educativas donde se siguen a los mismos estudiantes en más de dos ocasiones de medida, los resultados finales están exentos de dicho fenómeno. Referido al tamaño muestral de las aulas, cuanto mayor sea el tamaño de las mismas, más precisas son las estimaciones de su pendiente de crecimiento. Palabras clave: evaluaciones educativas, evaluaciones longitudinales, modelos jerárquicos lineales, simulación Monte-Carlo