Propuesta metodológica para el estudio de la equivalencia entre dos versiones de una pruebafuncionamiento diferencial de versiones utilizando propensity score

Resumen

En este trabajo se presenta un estudio comparativo entre dos versiones (papel y online) de una prueba de rendimiento en Comprensión Lectora y el efecto que tienen las dos versiones en la puntuación de cada ítem. Dicha prueba se enmarca dentro de la Evaluación de Diagnóstico de 2010-2011 en la Comunidad de Madrid, para estudiantes de 4º curso de Educación Primaria y 2º curso de Educación Secundaria Obligatoria. Para el estudio comparativo se ha llevado a cabo un análisis descriptivo y psicométrico de cada ítem en ambas versiones, atendiendo a las medias, dispersiones, formas de distribución de las puntuaciones y fiabilidad. También se ha procedido a la validación atendiendo a la Teoría de Respuesta al Ítem y al estudio del supuesto de unidimensionalidad. Además, se han utilizado como medidas de comparación la prueba de igualdad de varianzas, la prueba T (Student), y la prueba Chi cuadrado (Pearson). Igualmente se ha realizado una propuesta metodológica, Funcionamiento Diferencial de Versiones (DVF), basada en los estudios del Funcionamiento Diferencial de los Ítems y del Funcionamiento Diferencial de los Sujetos. Esta metodología se caracteriza por la utilización del Puntaje de Propensión o Propensity Score para conseguir un grupo de sujetos homogéneo y poder establecer comparaciones sobre la existencia o no del Funcionamiento Diferencial de Versiones. Para su estudio se han utilizado varios procedimientos, algunos de ellos de carácter descriptivo, como la Transformación del Índice de Dificultad (T.I.D.), Rajú, Lord, Estandarizado-Stand y Mantel¿Haenszel, y otros, más potentes, como la Regresión Logística utilizando las puntuaciones TRI de los sujetos. Ante las comparaciones múltiples, para el estudio del DVF y para evitar los falsos positivos, se ajustaron los valores p mediante la corrección de Benjamin¿Hochberg (1995). Los resultados confirman la equivalencia entre ambas versiones (papel y online), tanto en Primaria como en Secundaria. Las distribuciones, los niveles de fiabilidad y la estructura factorial presentan valores semejantes. La media tiende a favorecer a la prueba en papel, pero el tamaño del efecto es mínimo, además de la no-existencia de Funcionamiento Diferencial de Versiones (existen ítems con DVF, pero la medida del efecto nos indica que el DVF es irrelevante en todos los ítems). Por todo lo expuesto, concluimos que ambas versiones son equivalentes.