Diseño y validación de un cuestionario para la autoevaluación de experiencias de aprendizaje-servicio universitario

  1. Elena López-de-Arana Prado 1
  2. Pilar Aramburuzabala Higuera 2
  3. Héctor Opazo Carvajal 3
  1. 1 Universidad del País Vasco (UPV/EHU)
  2. 2 Universidad Autónoma de Madrid
    info

    Universidad Autónoma de Madrid

    Madrid, España

    ROR https://ror.org/01cby8j38

  3. 3 Universidad Católica Silva Henríquez, Chile
Mostrar afiliaciones +
Revista:
Educación XX1: Revista de la Facultad de Educación

ISSN: 1139-613X,  2174-5374

Año de publicación: 2020

Volumen: 23

Número: 1

Páginas: 319-347

Tipo: Artículo

DOI: 10.5944/EDUCXX1.23834 DIALNET GOOGLE SCHOLAR

Otras publicaciones en: Educación XX1: Revista de la Facultad de Educación

Resumen

Son cada vez más los docentes universitarios que utilizan el aprendizaje-servicio como alternativa a los contextos tradicionales de enseñanza-aprendizaje. Esta realidad hace evidente la necesidad de contar con herramientas que faciliten los procesos de diseño, implementación y evaluación para esta nueva propuesta educativa. Actualmente son escasos los recursos para asegurar la calidad de las experiencias de aprendizaje-servicio, y con frecuencia no están validados. Este artículo describe el proceso seguido para el diseño de un cuestionario para la autoevaluación de experiencias de aprendizaje-servicio universitario y su posterior validación utilizando el método Delphi modificado online, que es una técnica de carácter cualitativo cuyo objetivo es proporcionar una respuesta grupal fidedigna. El proceso implicó dos rondas de consulta mediante el correo electrónico, en las que participaron 16 expertos académicos que valoraron la relevancia y claridad de los ítems propuestos. El objetivo de la primera ronda de consulta fue determinar la relevancia y la claridad de todos los ítems. En la segunda ronda se analizó la claridad de los ítems que habían sido reformulados. Los resultados sobre la validez de constructo y de contenido sugirieron la eliminación o reformulación de algunos ítems iniciales para constituir un cuestionario de 41 ítems relevantes y claros, que se valoran a través de una escala Likert de 5 puntos. Se concluye aportando dos vías posibles para dar continuidad a este trabajo: incluir en el proceso de validación los juicios de expertos no académicos y participantes en proyectos de aprendizaje-servicio; y profundizar en la validación psicométrica del cuestionario a través de métodos intra-pruebas e inter-pruebas.

€ Ver financiación

Información de financiación

Los autores agradecen el apoyo de la Comisión Nacional para la Investigación Científica y Tecnológica de Chile (CONICYT Fondecyt/Iniciación Nº11170623).

Financiadores

Referencias bibliográficas

  • Abal, F.J.P., Auné, S.E., Lozzia, G.S., y Attorresi, H.F. (2017). Funcionamiento de la categoría central en ítems de Confianza para la Matemática. Revista Evaluar, 17(2), 18-31.
  • Aliaga, J. (2006). Psicometria: Tests Psicométricos, Confiabilidad y Validez. En A. Quintana y W. Montgomery. (Eds.), Psicología: Tópicos de actualidad (pp. 85-108). Lima, Perú: Universidad Nacional Mayor de San Marcos.
  • Álvarez, J.L., Martínez, M.J., González, H., y Buenestado, M. (2017). El aprendizaje-servicio en la formación del profesorado de las universidades españolas. Revista Española de Pedagogía, 75(267), 199-217. https:// doi.org/10.22550/REP75-2-2017-02
  • Aponte, G., Cardozo, M.A., y Melo, M. (2012). Método Delphi: Aplicaciones y posibilidades en la gestión prospectiva de la investigación y desarrollo. Revista Venezolana de Análisis de Coyuntura, 18(1), 41-52.
  • Aramburuzabala, P., Gezuraga, M., y López-de-Arana, E. (2018). Cómo abordar la evaluación en los proyectos de Aprendizaje-Servicio. En J. GarcíaGutiérrez y M. Ruiz-Corbella (Eds.), Aprendizaje-Servicio: Los retos de la evaluación (pp. 27-37). Madrid: Narcea.
  • Aramburuzabala, P., McIlrath, H., & Opazo, H. (Eds.). (2019). Embedding Service-Learning in European Higher Education. London, UK: Routledge.
  • Averch, H. (2004). The systematic use of expert judgment. In K.E. Newcomber, J.S. Wholey, & H P. Hatry (Eds.), Handbook of practical program evaluation (pp. 292-309). San Francisco, USA: Jossey-Bass Inc.
  • Bakieva, M., Jornet, J.M., González, J., y Leyva, Y.E. (2018). Colegialidad docente: validación lógica del instrumento para autoevaluación docente en España y México. Estudios sobre Educación, 34, 99-127.
  • Bisquerra, R. y Pérez-Escoda, N. (2015). ¿Pueden las escalas Likert aumentar en sensibilidad? REIRE, Revista d’Innovació i Recerca en Educació, 8(2). https://doi.org/10.1344/ reire2015.8.2828
  • Blanco, N. y Alvarado, M.E. (2005). Escala de actitud hacia el proceso de investigación científico social. Revista de Ciencias Sociales, 3(11), 537-546.
  • Cabero, J. (2014). Formación del profesorado universitario en TIC. Aplicación del método Delphi para la selección de los contenidos formativos. Educación XX1, 17(1), 111-131.
  • Cabero, J. y Barroso, J. (2013). La utilización del juicio de experto para la evaluación de TIC: el coeficiente de competencia experta. Bordón, 65(2), 25-38.
  • Cabero, J. e Infante, A. (2014). Empleo del Método Delphi y su empleo en la investigación en comunicación y educación. Edutec, 48, 1-16.
  • Campo, L. (2015). Evaluar para mejorar los proyectos de aprendizaje servicio en la universidad. RIDAS, Revista Iberoamericana de Aprendizaje y Servicio, 1, 91-111.
  • CLAYSS (2016). Cómo desarrollar proyectos de aprendizaje y servicios solidario en la Educación Media (Secundaria y Enseñanza Técnica). Buenos Aires, Argentina: Ediciones CLAYSS.
  • Coates, J. (1975). In defense of Delphi: a review of Delphi assessment, expert opinion, forecasting, and group process by H. Sackman. Technological Forecasting and Social Change, 7, 193- 194.
  • Cronbach, L.J. (1990). Essentials of psychology testin. New York, USA: Harper & Row.
  • Cruz, M. y Rúa, J.A. (2018). Surgimiento y desarrollo del método Delphi: una perspectiva cienciométrica. Biblios, 71, 90-107. https://doi.org/10.5195/ biblios.2018.470
  • Dalkey, N. & Helmer, O. (1963). An experimental application of the Delphi method to the use of experts. Management science, 9(3), 458-467.
  • Dawes, J. (2008). Do data characteristics change according to the number of scale points used? An experiment using 5 point, 7 point and 10 point scales. International Journal of Market Research, 50(1), 1-19.
  • Declaración de Bolonia (junio 1999). Declaración conjunta de los Ministros Europeos de Educación. Recuperado de http://bit.do/eSTaH
  • Deeley, S. (2016). El aprendizaje-Servicio en educación superior. Teoría, práctica y perspectiva crítica. Madrid: Narcea.
  • Donohoe, H., Stellefson, M., & Tennant, B. (2012). Advantages and limitations of the e-Delphi technique. American Journal of Health Education, 43(1), 38- 46. https://doi.org/10.1080/19325037.2 012.10599216
  • Europe Engage (2015). Quality Standards for Service Learning Activities. Recuperado de http://bit.do/ eSTa3
  • Eyler, J. & Giles, D. (1999). Where’s the Learning in Service Learning? San Francisco, CA, USA: Jossey-Bass.
  • Geist, M.R. (2010). Using the Delphi method to engage stakeholders: A comparison of two studies. Evaluation and Program Planning, 33(2), 147-154.
  • George, C.E. y Trujillo, L. (2018). Aplicación del Método Delphi Modificado para la Validación de un Cuestionario de Incorporación de las TIC en la Práctica Docente. Revista Iberoamericana de Evaluación Educativa, 11(1), 113-135.
  • Gil, B. y Pascual, D. (2012). La metodología Delphi como técnica de estudio de la validez de contenido. Anales de Psicología, 28(3), 1011-1020.
  • Goetz, J.P. y LeCompte, M.D. (1988). Etnografía y diseño cualitativo en investigación educativa. Madrid: Morata.
  • Gordon, T.J. (1994). The Delphi method. Washington D.C. USA: United Nations University.
  • GREM (2014). Rúbrica para la autoevaluación y la mejora de los proyectos de Aprendizaje Servicio. Barcelona: Fundación Jaume Bofill. Recuperado de http://bit.do/eSTbb
  • Hilbert, S., Küchenhoff, H., Sarubin, N., Nakagawa, T.T., & BuÌhner, M. (2016). The Influence of the Response Format in a Personality Questionnaire: An Analysis of a Dichotomous, A LikertType, and a Visual Analogue Scale. Testing, Psychometrics, Methodology in Applied Psychology, 23(1), 3-24. 10.4473/TPM23.1.1
  • Hung, H.L., Altschuld, J.W., & Lee, Y. (2008). Methodological and conceptual issues confronting a crosscountry Delphi study of educational program evaluation. Evaluation and Program Plannin, 31, 191-198.
  • Kennedy, H. (2004). Enhancing Delphi research: methods and results. Journal of Advanced Nursing, 45, 504-511.
  • Krippendorff, K. (1980). Content Analysis. An Introduction to Its Methodology. Beverly Hills, CA, USA: Sage.
  • Landeta, J. (1999). El método Delphi. Una técnica de previsión para la incertidumbre. Barcelona: Ariel.
  • Landeta, J. (2006). Current validity of the Delphi method in social sciences. Technological Forecasting and Social Change, 73(5), 467-482.
  • Linstone, H.A., & Turoff, M. (2011). Delphi: a brief look backward and forward. Technological Forecasting and Social Change, 78, 1712-1719.
  • López, E.J., Bernal, C., Leiva, J.J. y Martín, A.H. (2018). Validación del instrumento didáctico de valoración de observatorios digitales sobre MOOC: CUVOMOOC® mediante el Método Delphi. Campus Virtuales, 7(1), 95-110.
  • López-de-Arana, E., Aramburuzabala, P., Opazo, H., Quintana, A., y Franco, L. (En prensa). Idoneidad del método Delphi para la validación de herramientas dirigidas a la evaluación de experiencias basadas en Aprendizaje-Servicio. En P. Aramburuzabala, C. Ballesteros y J. García (Eds.), El papel del servicioaprendizaje en la construcción de una ciudadanía global. Madrid: UNED.
  • Lozano, L., García-Cueto, E., & Muñiz, J. (2008). Effect of the number of response categories on the reliability and validity of rating scales. Methodology, 4(2), 73-79. https://doi. org/10.1027/1614-2241.4.2.73
  • Ludwig, B. (1997). Predicting the future: Have you considered using the Delphi methodology? Journal of Extension, 35(5) 1-4.
  • Martín, X., Puig, J. M., Palos, J., & Rubio, L. (2018). Enhancing the quality of Service-Learning practices. Enseñanza & Teaching, 36(1), 111-128. https://doi. org/10.14201/et2018361111128
  • Martínez, E. (2003). La Técnica Delphi como estrategia de consulta a los implicados en la evaluación de programas. Revista de Investigación Educativa, 21(2), 449-463.
  • Matas, A. (2018). Diseño del formato de escalas tipo Likert: Un estado de la cuestión. Revista Electrónica de Investigación Educativa, 20(1), 38-47. https://doi.org/10.24320/ redie.2018.20.1.1347
  • McIlrath, L. (2016). Europe Engage Survey of Civic Engagement & ServiceLearning Activities within the Partner Universities. Recuperado de http://bit. do/eSTbe
  • Messick, S. (1995). Standards of validity and the validity of standards in performance assessment. Educational Measurement: Issues and practice, 14, 5-8.
  • Pérez, A., García, R., y Aguaded, I. (2018). La competencia mediática en el profesorado universitario. Validación de un instrumento de evaluación. @tic revista d’innovació educativa, 21, 1-9. https://doi.org/10.7203/attic.21.12550
  • Powell, C. (2003). The Delphi technique: Myths and realities. Journal of Advanced Nursing, 41(4), 376-382.
  • Price, B. (2005). Delphi survey research and older people. Nursing Older People, 17(3), 25-31.
  • Puig, J., Martín, X., y Rubio, L. (2017). ¿Cómo evaluar proyectos de aprendizaje servicio? Voces de la Educación, 2(2), 122-132.
  • Reguant, M. y Torrado, M. (2016). El método Delphi. REIRE, Revista d’Innovació i Recerca en Educació, 9(1), 87-102. http://dx.doi.org/10.1344/ reire2016.9.1916
  • Repáraz, C. Arbués, E., Naval, C., y Ugarte, C. (2015). El índice cívico de los universitarios: sus conocimientos, actitudes y habilidades de participación social. Revista Española de Pedagogía, 260, 23-51.
  • RMC Research Corporation. (2008). Standards and Indicators for Effective Service-Learning Practice. Scotts Valley, CA, USA: National ServiceLearning Clearinghouse. Recuperado de http://bit.do/eSTbD
  • Rowe, G. & Wright, G. (1999). The Delphi technique as a forecasting tool: Issues and analysis. International Journal of Forecasting, 15(4), 353-375.
  • Rowe, G. & Wright, G. (2011). The Delphi technique: Past, present, and future prospects-Introduction to the special issue. Technological Forecasting and Social Change, 78, 1487-1490.
  • Rubio, L., Puig, J. M., Martín, X., y Palos, J. (2015). Analizar, repensar y mejorar los proyectos: Una rúbrica para la autoevaluación de experiencias de aprendizaje servicio. Profesorado, Revista de currículum y formación del profesorado, 19(1), 111-126.
  • Sackman, H. (1975). Delphi critique. Boston, MA, USA: Lexington Books.
  • Santos, M. A. (Ed.) (2016). Sociedad del conocimiento. Aprendizaje e innovación en la universidad. Madrid: Biblioteca Nueva.
  • Scheele, D. (1975). Consumerism comes to Delphi: comments on Delphi assessment, expert opinion, forecasting, and group process by H. Sackman. Technological Forecasting and Social Change, 7, 215- 219.
  • Simms, L.J., Zelazny, K., Williams, T.F., & Bernstein, L. (2019). Does the number of response options matter? Psychometric perspectives using personality questionnaire data. Psychological Assessment, 31(4), 557- 566.
  • Steurer, J. (2011). The Delphi method: an efficient procedure to generate knowledge. Skeletal Radiol, 40, 959- 961.
  • Varela, M., Díaz, L., y García, R. (2012). Descripción y usos del método delphi en investigaciones en el área de la salud. Investigación en Educación Médica, 1(2), 90-95.
  • Von der Gracht, H. (2012). Consensus measurement in Delphi studies: review and implications for future quality assurance. Technological Forecasting and Social Change, 79(8), 1525-1536.
  • Zabalza, M.A. (2006). La convergencia como oportunidad para la mejora de la docencia universitaria. Revista Interuniversitaria de Formación del Profesorado, 20(3) 37-69.
Fuente de los datos: Dialnet