Detecting DIF in Polytomous Items Using MACS, IRT and Ordinal Logistic Regression

  1. Paula Elosua 1
  2. Craig S. Wells 2
  1. 1 University of the Basque Country (Spain)
  2. 2 University of Massachusetts, Amherst (USA)
Revista:
Psicológica: Revista de metodología y psicología experimental

ISSN: 1576-8597

Año de publicación: 2013

Volumen: 34

Número: 2

Páginas: 327-342

Tipo: Artículo

DIALNET GOOGLE SCHOLAR lock_openAcceso abierto editor

Otras publicaciones en: Psicológica: Revista de metodología y psicología experimental

Resumen

El objetivo de este trabajo fue comparar el error Tipo I y la potencia de tres métodos de detección de funcionamiento diferencial del ítem en respuestas politómicas. Se compararon dos procedimientos basados en los modelos de estructuras de medias y covarianzas (MACS) y la teoría de respuesta al ítem (IRT) con un tercer procedimiento de puntuación observada, la regresión logística ordinal. Se utilizó simulación Montencarlo para generar datos según el modelo de respuesta graduada de Samejima. Se manipularon tres factores: tamaño de la muestra por grupo (300-, 500-, y 1,000- sujetos), tipo de DIF (b-parámetro, a-parámetro y a- y b parámetros), y magnitud de DIF (pequeño y grande). El error tipo I en presencia de DIF fue mayor que el esperado para la TRI y la regresión logística ordinal. Para la condición de DIF uniforme, MACS y TRI mostraron potencias similares, sin embargo, la regresión logística ordinal mostró una potencia algo superior al resto para tamaños de muestra pequeños. En las condiciones de DIF no uniforme, la potencia de la TRI fue mayor que MACS y la regresión logística ordinal.

Referencias bibliográficas

  • Bollen, K. A. (1989). Structural equations with latent variables. New York: Wiley.
  • Drasgow, F., & Kanfer, R. (1985). Equivalence of psychological measurement in heterogoneous populations. Journal of Applied Psychology, 70, 662-680
  • Embretson, S. E., and Reise, S.P. (2000). Item Response Theory for Psychologists. Mahwah, NJ: Lawrence Erlbaum Associates.
  • Fidalgo, A. M. & Madeira, J. M. (2008). Generalized Mantel-Haenszel methods fordifferential item functioning detection. Educational and Psychological Measurement, 58(6), 940-958.
  • Fidalgo, A. M. & Scalon, J. D. (2010). Using generalized Mantel-Haenszel statistics to assess DIF among multiple groups. Journal of Psychoeducational Assessment, 28(1), 60-69.
  • French, A. W., and Miller, T. R. (1996). Logistic regression and its use in detecting differential item functioning in polytomous items. Journal of Educational Measurement, 33(3), 315-332.
  • Hambleton, R. K., Swaminathan, H. & Rogers, H.J. (1991). Fundamentals of item response theory. Newbury Park: Sage.
  • Hosmer, D.W. & Lemeshow, S. (2000) Applied Logistic Regression (2nd edn). Wiley.
  • Jöreskog, K. G. (1971). Simultaneous factor analysis in several populations. Psychometrika, 36, 409-426.
  • Kristjansson, E., Aylesworth, R., McDowell, I., & Zumbo, B. D. (2005). A comparison of four methods for detecting differential item functioning in ordered response items. Educational and Psychological Measurement, 65(6), 935-953.
  • Kim, E. S. & Yoon, M. (2011). Testing measurement invariance: A comparison of multiple-group categorical CFA and IRT. Structural Equation Modeling, 18, 212-228.
  • Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ, LEA.
  • Lubke, G. H., and Muthén, B. O. (2004). Applying multigroup confirmatory factor models for continuous outcomes to Likert scale data complicates meaningful group comparisons. Structural Equation Modeling, 11(4), 514-534.
  • Mantel N. (1963) Chi-square tests with one degree of freedom: extensions of the Mantel-Haenszel procedure. Journal of American Statistic Association, 58, 690-700.
  • Meade, A. W., and Lautenschlager, G. J. (2004a). A comparison of item response theory and confirmatory factor analytic methodologies for establishing measurement equivalence/invariance. Organizational Research Methods, 7(4), 361-388.
  • Meredith, W. (1964). Notes on factorial invariance. Psychometrika, 29, 177-185.
  • Meredith, W. (1993). Measurement invariance, factor analysis, and factorial invariance. Psychometrika, 58, 521-543.
  • Muthén, L. K., & Muthén, B. O. (2004). Mplus users's guide. Los Angeles: Muthén and Muthén.
  • Potenza, M. T., & N. J. Dorans (1995). DIF assessment for polytomously scored items: a framework for classification and evaluation. Applied Psychological Measurement 19(1), 23-37.
  • Raju, N.S., Laffitte, L.J., & Byrne, B.M. (2002). Measurement equivalence: A comparison of confirmatory factor analysis and item response theory. Journal of Applied Psychology, 87, 517-529.
  • Samejima, F. (1969). Estimation of latent ability using a response pattern of graded scores. Psychometrika Monograph, No. 17.
  • Sörbom, D. (1974) A general method for studying differences in factor means and factor structures between groups. British Journal of Mathematical and Statistical Psychology, 27, 229-239.
  • Spray, J. A., & Miller, T. (1994). Identifying nonuniform DIF in polytomously scored test items. (American College Testing Research Report Series 94-1) Iowa City, IA: American College Testing Program.
  • Stark, S., Chernyshenko, O. S., & Drasgow, F. (2006). Detecting differential item functioning with confirmatory factor analysis and item response theory: Toward a unified strategy. Journal of Applied Psychology, 91(6), 1292-1306.
  • Thissen, D. (2001). IRTLRDIF v.2.0b: Software for the Computation of the Statistics Involved in Item Response Theory Likelihood-Ratio Tests for Differential Item Functioning (http://www.unc.edu/~dthissen/dl.html).
  • Thissen, D., Steinberg, L, & Gerard, M. (1986). Beyond group mean differences: the concept of item bias.Psychological Bulletin, 99, 118-128.
  • Thissen, D., Steinberg, L., & Wainer, H. (1988). Use of item respone theory in the study of group differences in trace lines. In H.Wainer and H. I. Braun (Eds). Test validity. (pp.147-169). NJ: Lawrence Earlbaum associates.
  • Woods, C. M. (2009). Empirical selection of anchors for tests of differential item functioning. Applied Psychological Measurement, 33(1), 42-57.
  • Zumbo, B. D. (1999). A handbook on the theory and methods of differential item functioning (DIF): Logistic regression modeling as a unitary framework for binary and Likert-type (ordinal) item scores. Otawa, Ontario, Canada: Directorate of Human Resources Research and Evaluation, Department of National Defense.
  • Zumbo, B.D., & Hubley, A.M. (2003). Item bias. In Rocío Fernández-Ballesteros (Ed.), Encyclopedia of Psychological Assessment (pp. 505-509). Thousand Oaks, CA: Sage Press
  • Zwick, R., Donogue, J. R., & Grima, A. (1993). Assessment of differential item functioning for performance tasks. Journal of Educational Measurement, 30(3), 233-251.
Fuente de los datos: Dialnet