Diseño y validación de un cuestionario para la autoevaluación de experiencias de aprendizaje-servicio universitario

  1. Elena López-de-Arana Prado 1
  2. Pilar Aramburuzabala Higuera 2
  3. Héctor Opazo Carvajal 3
  1. 1 Universidad del País Vasco (UPV/EHU)
  2. 2 Universidad Autónoma de Madrid
    info

    Universidad Autónoma de Madrid

    Madrid, España

    ROR https://ror.org/01cby8j38

  3. 3 Universidad Católica Silva Henríquez, Chile
Montrer des affiliations +
Revue:
Educación XX1: Revista de la Facultad de Educación

ISSN: 1139-613X,  2174-5374

Année de publication: 2020

Volumen: 23

Número: 1

Pages: 319-347

Type: Article

DOI: 10.5944/EDUCXX1.23834 DIALNET GOOGLE SCHOLAR lock_openAccès ouvert editor

D'autres publications dans: Educación XX1: Revista de la Facultad de Educación

Objectifs de Développement Durable

Résumé

The number of university teachers that use service-learning as an alternative to traditional teaching and learning methods is increasing rapidly. This reality highlights the need to have tools that facilitate the design, implementation and evaluation processes for this new educational method. Currently, resources for ensuring the quality of service-learning experiences are scarce and often not validated. This paper describes the procedure followed for the design of the Questionnaire for Self-Assessment of University ServiceLearning Experiences and its validation using the modified Delphi method online, which is a qualitative technique that aims to provide a reliable group response. In this study, two rounds of consultation were conducted by email, involving 16 academic experts who assessed the relevance and clarity of the items. While the first round of consultation aimed to analyze the relevance and clarity of all items, in the second round the clarity of the items which had been reformulated was analyzed. Results on the construct and content validity suggested the elimination or reformulation of some of the initial items. The final questionnaire was composed of 41 relevant and clear items, which are estimated through a 5 point Likert scale. Finally, two possible ways of giving continuity to this work are presented: to the opinion of experts who participate in service-learning but are not academic in the validation process; and to undertake a psychometric validation of the questionnaire through intra-test and inter-test methods

€ Voir financement

Information sur le financement

Los autores agradecen el apoyo de la Comisión Nacional para la Investigación Científica y Tecnológica de Chile (CONICYT Fondecyt/Iniciación Nº11170623).

Financeurs

Références bibliographiques

  • Abal, F.J.P., Auné, S.E., Lozzia, G.S., y Attorresi, H.F. (2017). Funcionamiento de la categoría central en ítems de Confianza para la Matemática. Revista Evaluar, 17(2), 18-31.
  • Aliaga, J. (2006). Psicometria: Tests Psicométricos, Confiabilidad y Validez. En A. Quintana y W. Montgomery. (Eds.), Psicología: Tópicos de actualidad (pp. 85-108). Lima, Perú: Universidad Nacional Mayor de San Marcos.
  • Álvarez, J.L., Martínez, M.J., González, H., y Buenestado, M. (2017). El aprendizaje-servicio en la formación del profesorado de las universidades españolas. Revista Española de Pedagogía, 75(267), 199-217. https:// doi.org/10.22550/REP75-2-2017-02
  • Aponte, G., Cardozo, M.A., y Melo, M. (2012). Método Delphi: Aplicaciones y posibilidades en la gestión prospectiva de la investigación y desarrollo. Revista Venezolana de Análisis de Coyuntura, 18(1), 41-52.
  • Aramburuzabala, P., Gezuraga, M., y López-de-Arana, E. (2018). Cómo abordar la evaluación en los proyectos de Aprendizaje-Servicio. En J. GarcíaGutiérrez y M. Ruiz-Corbella (Eds.), Aprendizaje-Servicio: Los retos de la evaluación (pp. 27-37). Madrid: Narcea.
  • Aramburuzabala, P., McIlrath, H., & Opazo, H. (Eds.). (2019). Embedding Service-Learning in European Higher Education. London, UK: Routledge.
  • Averch, H. (2004). The systematic use of expert judgment. In K.E. Newcomber, J.S. Wholey, & H P. Hatry (Eds.), Handbook of practical program evaluation (pp. 292-309). San Francisco, USA: Jossey-Bass Inc.
  • Bakieva, M., Jornet, J.M., González, J., y Leyva, Y.E. (2018). Colegialidad docente: validación lógica del instrumento para autoevaluación docente en España y México. Estudios sobre Educación, 34, 99-127.
  • Bisquerra, R. y Pérez-Escoda, N. (2015). ¿Pueden las escalas Likert aumentar en sensibilidad? REIRE, Revista d’Innovació i Recerca en Educació, 8(2). https://doi.org/10.1344/ reire2015.8.2828
  • Blanco, N. y Alvarado, M.E. (2005). Escala de actitud hacia el proceso de investigación científico social. Revista de Ciencias Sociales, 3(11), 537-546.
  • Cabero, J. (2014). Formación del profesorado universitario en TIC. Aplicación del método Delphi para la selección de los contenidos formativos. Educación XX1, 17(1), 111-131.
  • Cabero, J. y Barroso, J. (2013). La utilización del juicio de experto para la evaluación de TIC: el coeficiente de competencia experta. Bordón, 65(2), 25-38.
  • Cabero, J. e Infante, A. (2014). Empleo del Método Delphi y su empleo en la investigación en comunicación y educación. Edutec, 48, 1-16.
  • Campo, L. (2015). Evaluar para mejorar los proyectos de aprendizaje servicio en la universidad. RIDAS, Revista Iberoamericana de Aprendizaje y Servicio, 1, 91-111.
  • CLAYSS (2016). Cómo desarrollar proyectos de aprendizaje y servicios solidario en la Educación Media (Secundaria y Enseñanza Técnica). Buenos Aires, Argentina: Ediciones CLAYSS.
  • Coates, J. (1975). In defense of Delphi: a review of Delphi assessment, expert opinion, forecasting, and group process by H. Sackman. Technological Forecasting and Social Change, 7, 193- 194.
  • Cronbach, L.J. (1990). Essentials of psychology testin. New York, USA: Harper & Row.
  • Cruz, M. y Rúa, J.A. (2018). Surgimiento y desarrollo del método Delphi: una perspectiva cienciométrica. Biblios, 71, 90-107. https://doi.org/10.5195/ biblios.2018.470
  • Dalkey, N. & Helmer, O. (1963). An experimental application of the Delphi method to the use of experts. Management science, 9(3), 458-467.
  • Dawes, J. (2008). Do data characteristics change according to the number of scale points used? An experiment using 5 point, 7 point and 10 point scales. International Journal of Market Research, 50(1), 1-19.
  • Declaración de Bolonia (junio 1999). Declaración conjunta de los Ministros Europeos de Educación. Recuperado de http://bit.do/eSTaH
  • Deeley, S. (2016). El aprendizaje-Servicio en educación superior. Teoría, práctica y perspectiva crítica. Madrid: Narcea.
  • Donohoe, H., Stellefson, M., & Tennant, B. (2012). Advantages and limitations of the e-Delphi technique. American Journal of Health Education, 43(1), 38- 46. https://doi.org/10.1080/19325037.2 012.10599216
  • Europe Engage (2015). Quality Standards for Service Learning Activities. Recuperado de http://bit.do/ eSTa3
  • Eyler, J. & Giles, D. (1999). Where’s the Learning in Service Learning? San Francisco, CA, USA: Jossey-Bass.
  • Geist, M.R. (2010). Using the Delphi method to engage stakeholders: A comparison of two studies. Evaluation and Program Planning, 33(2), 147-154.
  • George, C.E. y Trujillo, L. (2018). Aplicación del Método Delphi Modificado para la Validación de un Cuestionario de Incorporación de las TIC en la Práctica Docente. Revista Iberoamericana de Evaluación Educativa, 11(1), 113-135.
  • Gil, B. y Pascual, D. (2012). La metodología Delphi como técnica de estudio de la validez de contenido. Anales de Psicología, 28(3), 1011-1020.
  • Goetz, J.P. y LeCompte, M.D. (1988). Etnografía y diseño cualitativo en investigación educativa. Madrid: Morata.
  • Gordon, T.J. (1994). The Delphi method. Washington D.C. USA: United Nations University.
  • GREM (2014). Rúbrica para la autoevaluación y la mejora de los proyectos de Aprendizaje Servicio. Barcelona: Fundación Jaume Bofill. Recuperado de http://bit.do/eSTbb
  • Hilbert, S., Küchenhoff, H., Sarubin, N., Nakagawa, T.T., & BuÌhner, M. (2016). The Influence of the Response Format in a Personality Questionnaire: An Analysis of a Dichotomous, A LikertType, and a Visual Analogue Scale. Testing, Psychometrics, Methodology in Applied Psychology, 23(1), 3-24. 10.4473/TPM23.1.1
  • Hung, H.L., Altschuld, J.W., & Lee, Y. (2008). Methodological and conceptual issues confronting a crosscountry Delphi study of educational program evaluation. Evaluation and Program Plannin, 31, 191-198.
  • Kennedy, H. (2004). Enhancing Delphi research: methods and results. Journal of Advanced Nursing, 45, 504-511.
  • Krippendorff, K. (1980). Content Analysis. An Introduction to Its Methodology. Beverly Hills, CA, USA: Sage.
  • Landeta, J. (1999). El método Delphi. Una técnica de previsión para la incertidumbre. Barcelona: Ariel.
  • Landeta, J. (2006). Current validity of the Delphi method in social sciences. Technological Forecasting and Social Change, 73(5), 467-482.
  • Linstone, H.A., & Turoff, M. (2011). Delphi: a brief look backward and forward. Technological Forecasting and Social Change, 78, 1712-1719.
  • López, E.J., Bernal, C., Leiva, J.J. y Martín, A.H. (2018). Validación del instrumento didáctico de valoración de observatorios digitales sobre MOOC: CUVOMOOC® mediante el Método Delphi. Campus Virtuales, 7(1), 95-110.
  • López-de-Arana, E., Aramburuzabala, P., Opazo, H., Quintana, A., y Franco, L. (En prensa). Idoneidad del método Delphi para la validación de herramientas dirigidas a la evaluación de experiencias basadas en Aprendizaje-Servicio. En P. Aramburuzabala, C. Ballesteros y J. García (Eds.), El papel del servicioaprendizaje en la construcción de una ciudadanía global. Madrid: UNED.
  • Lozano, L., García-Cueto, E., & Muñiz, J. (2008). Effect of the number of response categories on the reliability and validity of rating scales. Methodology, 4(2), 73-79. https://doi. org/10.1027/1614-2241.4.2.73
  • Ludwig, B. (1997). Predicting the future: Have you considered using the Delphi methodology? Journal of Extension, 35(5) 1-4.
  • Martín, X., Puig, J. M., Palos, J., & Rubio, L. (2018). Enhancing the quality of Service-Learning practices. Enseñanza & Teaching, 36(1), 111-128. https://doi. org/10.14201/et2018361111128
  • Martínez, E. (2003). La Técnica Delphi como estrategia de consulta a los implicados en la evaluación de programas. Revista de Investigación Educativa, 21(2), 449-463.
  • Matas, A. (2018). Diseño del formato de escalas tipo Likert: Un estado de la cuestión. Revista Electrónica de Investigación Educativa, 20(1), 38-47. https://doi.org/10.24320/ redie.2018.20.1.1347
  • McIlrath, L. (2016). Europe Engage Survey of Civic Engagement & ServiceLearning Activities within the Partner Universities. Recuperado de http://bit. do/eSTbe
  • Messick, S. (1995). Standards of validity and the validity of standards in performance assessment. Educational Measurement: Issues and practice, 14, 5-8.
  • Pérez, A., García, R., y Aguaded, I. (2018). La competencia mediática en el profesorado universitario. Validación de un instrumento de evaluación. @tic revista d’innovació educativa, 21, 1-9. https://doi.org/10.7203/attic.21.12550
  • Powell, C. (2003). The Delphi technique: Myths and realities. Journal of Advanced Nursing, 41(4), 376-382.
  • Price, B. (2005). Delphi survey research and older people. Nursing Older People, 17(3), 25-31.
  • Puig, J., Martín, X., y Rubio, L. (2017). ¿Cómo evaluar proyectos de aprendizaje servicio? Voces de la Educación, 2(2), 122-132.
  • Reguant, M. y Torrado, M. (2016). El método Delphi. REIRE, Revista d’Innovació i Recerca en Educació, 9(1), 87-102. http://dx.doi.org/10.1344/ reire2016.9.1916
  • Repáraz, C. Arbués, E., Naval, C., y Ugarte, C. (2015). El índice cívico de los universitarios: sus conocimientos, actitudes y habilidades de participación social. Revista Española de Pedagogía, 260, 23-51.
  • RMC Research Corporation. (2008). Standards and Indicators for Effective Service-Learning Practice. Scotts Valley, CA, USA: National ServiceLearning Clearinghouse. Recuperado de http://bit.do/eSTbD
  • Rowe, G. & Wright, G. (1999). The Delphi technique as a forecasting tool: Issues and analysis. International Journal of Forecasting, 15(4), 353-375.
  • Rowe, G. & Wright, G. (2011). The Delphi technique: Past, present, and future prospects-Introduction to the special issue. Technological Forecasting and Social Change, 78, 1487-1490.
  • Rubio, L., Puig, J. M., Martín, X., y Palos, J. (2015). Analizar, repensar y mejorar los proyectos: Una rúbrica para la autoevaluación de experiencias de aprendizaje servicio. Profesorado, Revista de currículum y formación del profesorado, 19(1), 111-126.
  • Sackman, H. (1975). Delphi critique. Boston, MA, USA: Lexington Books.
  • Santos, M. A. (Ed.) (2016). Sociedad del conocimiento. Aprendizaje e innovación en la universidad. Madrid: Biblioteca Nueva.
  • Scheele, D. (1975). Consumerism comes to Delphi: comments on Delphi assessment, expert opinion, forecasting, and group process by H. Sackman. Technological Forecasting and Social Change, 7, 215- 219.
  • Simms, L.J., Zelazny, K., Williams, T.F., & Bernstein, L. (2019). Does the number of response options matter? Psychometric perspectives using personality questionnaire data. Psychological Assessment, 31(4), 557- 566.
  • Steurer, J. (2011). The Delphi method: an efficient procedure to generate knowledge. Skeletal Radiol, 40, 959- 961.
  • Varela, M., Díaz, L., y García, R. (2012). Descripción y usos del método delphi en investigaciones en el área de la salud. Investigación en Educación Médica, 1(2), 90-95.
  • Von der Gracht, H. (2012). Consensus measurement in Delphi studies: review and implications for future quality assurance. Technological Forecasting and Social Change, 79(8), 1525-1536.
  • Zabalza, M.A. (2006). La convergencia como oportunidad para la mejora de la docencia universitaria. Revista Interuniversitaria de Formación del Profesorado, 20(3) 37-69.
La source de données: Dialnet