Efecto de la interacción en el muestreo de sujetos e ítems sobre el error de enlace

Resumen

Un recorrido global por la situación actual de la evaluación educativa, permite reconocer uno de los principales desafíos a los que la investigación educativa y psicométrica se enfrenta, la comparabilidad. La necesidad de contar con medidas de progreso o cambio educativo, la posibilidad de confrontar los resultados con referentes de interés, la evaluación de conocimientos, actitudes y destrezas a distintos niveles, o los amplios dominios competenciales que se pretenden evaluar, entre otros, constituyen un claro reflejo de ello. Esta situación, contrasta con el escaso volumen de investigación al respecto, puesto de manifiesto en la ausencia de una teoría de base satisfactoria (Holland, 2013; van Der Linden, 2013). Las fuertes asunciones metodológicas que implica la comparabilidad, así como los diseños de recogida y análisis de datos requeridos, hacen que el proceso de enlace de puntuaciones exigido para posibilitar tales comparaciones sea altamente complejo y esté sujeto a gran variedad de factores que pueden atentar contra su adecuación. De este modo, el error asociado al enlace de puntuaciones, ha permanecido oculto a la sombra de otros errores como podría ser el error muestral. Tanto es así que, el denominado error estándar de equiparación, tan solo captura la varianza fruto del muestreo de sujetos. Entre los estudios más novedosos, destacan aquellos que consideran el error asociado a la selección de ítems. La forma convencional de cálculo del error de equiparación, basada en el error fruto del muestreo de sujetos representaría una tercera parte del error real, al que sería necesario añadir el error fruto del muestreo de ítems y el efecto combinado de tales factores (interacción). El procedimiento de Bootstrap Bidimensional, cuyo planteamiento y evaluación han constituido el marco general del presente trabajo, pretende capturar la varianza asociada al efecto de interacción entre dichos factores. A fin de analizar la propuesta metodológica sugerida, se planteó un estudio de simulación. Las variables independientes que configuraron las cuatro condiciones experimentales analizadas fueron Funcionamiento Diferencial del Ítem (DIF), diferencias en los grupos a evaluar, variación en la distribución del parámetro b de los ítems y aumento del nivel medio de dificultad de la prueba, permaneciendo constantes el tamaño muestral (2000) y el número de ítems (50). Tras aplicar el procedimiento propuesto, se analizó la existencia de efecto significativo de la interacción a través del Análisis de Varianza (ANOVA) y se juzgó la adecuación del procedimiento para su detección a través del cálculo de la Raíz del Error Cuadrático Medio (RECM). Los resultados ponen de manifiesto un efecto significativo de la interacción en todas las condiciones experimentales analizadas, el efecto de la combinación de ambos factores difiere de la suma de los mismos considerados de forma independiente. Un hallazgo inesperado ha sido la constatación de que, a pesar de que el procedimiento implementado ha surgido en el marco del estudio de los procedimientos de enlace de puntuaciones, esta situación de interacción, y en consecuencia la necesidad de su cuantificación, estará presente en cualquier evaluación que exija una selección de sujetos y reactivos, no estando estrictamente vinculada a los procesos de enlace. Así mismo, los resultados muestran que nos encontramos ante un procedimiento que puede resultar eficiente en la detección de DIF o de diferencias en los grupos que se desean comparar, enfrentándose a dos de las principales fuentes de error sistemático reconocidas en la literatura.