Calibración de ítems vía expertos utilizando Moodle

  1. Concepción Presedo 1
  2. Ana J. Arméndariz 1
  3. Javier López-Cuadrado 1
  4. Tomás A. Pérez 1
  1. 1 Universidad del País Vasco/Euskal Herriko Unibertsitatea
    info

    Universidad del País Vasco/Euskal Herriko Unibertsitatea

    Lejona, España

    ROR https://ror.org/000xsnr85

Journal:
Revista Iberoamericana de Educación

ISSN: 1681-5653,  1022-6508

Year of publication: 2015

Volume: 69

Issue: 1

Pages: 117-131

Type: Article

DOI: 10.35362/RIE691158 DIALNET GOOGLE SCHOLAR lock_openOpen access editor

More publications in: Revista Iberoamericana de Educación

Abstract

The calibration of a set of items by expert judgment is the process of establishing the difficulty of each item in a common metric by using a sample of data that has been previously collected from specialists on the subject the items deal with. These data contains estimates of the level of difficulty of each item. This calibration process is not a simple task, since it usually involves the partition of the whole set of items into several questionnaires that are distributed among the experts, as well as, in some cases, the inclusion of common items into several questionnaires. Also it is recommendable to determine that both the items and the obtained estimated values for their difficulty are correct (i.e. non anomalous) and to check that the inputs given by the experts are trustworthy. Furthermore, a consensus must be reached when the criteria of the experts consulted are unequal. This paper focuses on the item bank construction and its calibration using expert judgments on-line, and describes a procedure for this type of calibration using an elearning platform: Moodle. Nowadays Moodle is one of the most popular free software packages for creating Internet-based courses and Web sites, and it is used worldwide by educational institutions to provide online training.

Bibliographic References

  • Armendariz, A. J. (2014). Métodos de desarrollo dirigidos por modelos y workflows para la calibración psicométrica de ítems: El sistema CALLIE. (Tesis doctoral), Universidad del País Vasco (UPV/EHU), Bilbao.
  • Arruabarrena, R. (2010). E-learning y la calibración de ítems de test: Teoría de Respuesta al Ítem versus calibración basada en juicios de expertos. Un estudio empírico. (Tesis doctoral), Universidad del País Vasco (UPV/ EHU), San Sebastián.
  • Büchner, A. (2011). Moodle 2 Administration. Birmingham (UK): Ed. Packt Publishing Ltd.
  • López Alonso, C. y Matesanz Del Barrio, M. (2009). Las plataformas de aprendizaje: del mito a la realidad. Madrid: Biblioteca Nueva.
  • López-Cuadrado, J. (2010). Test adaptativos informatizados de ingreso en un sistema e-learning. Saarbrüken: LAP Lambert Academic Publishing.
  • López-Cuadrado, J., Pérez, T. A. y Armendariz, A. J. (2005). Evaluación mediante test: ¿Por qué no usar el ordenador? Revista Iberoamericana de Educación, 36(11), 1-15. http://www.rieoei.org/deloslectores/1040Lopez.PDF
  • López-Cuadrado, J., Pérez, T. A., Vadillo, J. A. y Gutiérrez, J. (2010). Calibration of an item bank for the assessment of Basque language knowledge. Computers & education, 55(3), 1044-1055.
  • Muñiz, J. (2000). Teoría clásica de los tests. Madrid: Ediciones Pirámide.
  • Muñiz, J. (2010). Las teorías de los tests: Teoría Clásica y Teoría de Respuesta a los Ítems. Papeles del Psicólogo, 31(1), 57-66.
  • Presedo, C., Armendariz, A. J. y López-Cuadrado, J. (2012). Calibración de ítems para test informatizados: Descripción detallada de las fases en la construcción de test de evaluación adaptativos mediante ordenador. Saarbrüken: EAE Editorial Académica Española.
  • Prieto, G. y Delgado, A. R. (1999). Medición cognitiva de las aptitudes. En J. Olea, V. Ponsoda y G. Prieto (Eds.), Tests informatizados: fundamentos y aplicaciones (pp. 207-226). Madrid (España): Ediciones Pirámide.
  • Renom, J. y Doval, E. (1999). Tests adaptativos informatizados: estructura y desarrollo. En J. Olea, V. Ponsoda y G. Prieto (Eds.), Tests informatizados: fundamentos y aplicaciones (pp. 127-162). Madrid (España): Ediciones Pirámide.
  • Riley, K. y Mills, D. (2008). IMS Common Cartridge (CC) Authorization Web Service v1.0 Final Specification. Recuperado desde www.imsglobal.org/cc/
  • Sánchez Rojo, I. (2010). Plataforma educativa Moodle. Administración y gestión. México: Alfaomega/Ra-Ma.
  • Smythe, C. y Nielsen, B. (2007). IMS Content Packaging (CP) Specification Primer v1.2 Public Draft. Recuperado desde www.imsglobal.org/content/packaging/
  • Smythe, C., Shepherd, E., Brewer, L. y Lay, S. (2002). IMS Question & Test Interoperability: ASI Information Model Specification. Final Specification Version 1.2. Recuperado desde www.imsglobal.org/question/
  • Umar, J. (1997). Item banking. En J. Keeves (Ed.), Educational research, methodology, and measurement (2nd edition) (pp. 923-930). Oxford: Pergamon.
Data source: Dialnet