No. 43
Research articles

Evaluation of the content validity, internal consistency, and feasibility of an instrument for assessing educational environment factors in medical residents

PDF (Spanish)
Rebeca Delgadillo-Chávez
https://orcid.org/0009-0006-1069-7229 Hospital General Regional No. 1. Instituto Mexicano del Seguro Socio Chihuahua, México
Abimael Guzmán-Pando Autonomous University of Chihuahua image/svg+xml

Published 2026-09-25

How to Cite

Delgadillo-Chávez, R., & Guzmán-Pando, A. (2026). Evaluation of the content validity, internal consistency, and feasibility of an instrument for assessing educational environment factors in medical residents. Revista Panamericana De Pedagogía, 43. https://doi.org/10.21555/rpp.3832

Downloads

Download data is not yet available.

Copyright (c) 2026 Revista Panamericana de Pedagogía

Creative Commons License

This work is licensed under a Creative Commons Attribution 4.0 International License.

Abstract

Introduction: Depression and anxiety show a high prevalence among medical residents worldwide, with wide reported ranges highlighting their impact on well-being, academic performance, and quality of medical care. However, sociolabor, educational, and psychosocial factors associated with the presence of symptoms of these conditions in the context of medical residency have been insufficiently evaluated using comprehensive and validated instruments. Objective: To evaluate the content validity, internal consistency, and feasibility of an instrument for assessing educational environment factors potentially associated with symptoms of anxiety and depression among medical residents in hospitals in Chihuahua, Mexico. Method: An instrumental study was conducted focused on the design and evaluation of a measurement instrument. Content validity was established through the judgment of 10 experts, and a pilot test was applied to 33 medical residents. Reliability was assessed using Cronbach’s alpha coefficient. Results: All instrument items demonstrated adequate content validity (Aiken’s V > 0.75). The instrument showed excellent internal consistency (α = 0.958). Participants reported good comprehension and relevance of the items, as well as an average administration time of 8 minutes, supporting the instrument’s feasibility in the clinical setting. Conclusions: The instrument provided initial evidence of content validity, internal consistency, and feasibility for assessing educational environment factors potentially associated with the presence of anxiety and depressive symptoms among medical residents. These findings support its usefulness as a tool for institutional assessment of psychological well-being and for informing decision-making in educational and hospital settings.

Keywords

  • Anxiety,
  • Depression,
  • Internship and residency,
  • Risk factors,
  • Validation study
PDF (Spanish)

References

  1. Alva-Díaz, C., Nieto-Gutiérrez, W., Taype-Rondan, A., Timaná-Ruiz, R., Herrera-Añazco, P., Jumpa-Armas, D., & Escobedo-Palza, S. (2021). Asociación entre horas laboradas diariamente y presencia de síntomas depresivos en médicos residentes de Perú. Revista Colombiana de Psiquiatría, 50(1), 22–28. https://doi.org/10.1016/j.rcp.2019.03.007
  2. Ángeles-Garay, U., Tlecuitl-Mendoza, N., Jiménez-López, J. L., & Velázquez-García, J. A. (2020). Association of depression and anxiety with characteristics related to the training of medical residents. Salud Mental, 43(5), 195–199. https://doi.org/10.17711/SM.0185-3325.2020.027
  3. Bujang, M. A., Omar, E. D., Foo, D. H. P., & Hon, Y. K. (2024). Sample size determination for conducting a pilot study to assess reliability of a questionnaire. Restorative Dentistry & Endodontics, 49(1), Artículo e3. https://doi.org/10.5395/rde.2024.49.e3
  4. Bulger, S. M., & Housner, L. D. (2007). Modified Delphi investigation of exercise science in physical education teacher education. Journal of Teaching in Physical Education, 26(1), 57–80. https://doi.org/10.1123/jtpe.26.1.57
  5. Camarillo-Nava, V. M., López-Rojas, E., Hernández-Cid de León, S., Gutiérrez-Muñoz, C. I., Andrade-Pineda, J. E., Quiroz-Cortés, G. D., & Pérez-López, D. (2024). Depresión, ansiedad y burnout y su asociación con ideación de deserción académica en médicos residentes. Atención Familiar, 31(2), 92–101. https://doi.org/10.22201/fm.14058871p.2024.287953
  6. Car, J., Ong, Q. C., Erlikh Fox, T., Leightley, D., Kemp, S. J., Švab, I., Tsoi, K. K. F., Sam, A. H., Kent, F. M., Hertelendy, A. J., Longhurst, C. A., Powell, J., Hamdy, H., Nguyen, H. V. Q., Aoun Bahous, S., Wang, M., Baumgartner, M., Mahendradhata, Y., Popovic, N., … Obadiel, Y. A. (2025). The digital health competencies in medical education framework: An international consensus statement based on a Delphi study. JAMA Network Open, 8(1), Artículo e2453131. https://doi.org/10.1001/jamanetworkopen.2024.53131
  7. Carvajal, A., Centeno, C., Watson, R., Martínez, M., & Sanz-Rubiales, Á. (2011). ¿Cómo validar un instrumento de medida de la salud? Anales del Sistema Sanitario de Navarra, 34(1), 63–72. https://doi.org/10.4321/S1137-66272011000100007
  8. CIFE. (2018). Cuestionario de satisfacción con el instrumento [Plantilla]. Centro Universitario CIFE. https://cife.edu.mx/recursos/4251/
  9. CIFE. (2019). Escala jueces expertos [Plantilla]. Centro Universitario CIFE. https://cife.edu.mx/recursos/escala-juicio-de-expertos/
  10. Congreso General de los Estados Unidos Mexicanos. (2025, 20 de marzo). Ley General de Protección de Datos Personales en Posesión de Sujetos Obligados. Diario Oficial de la Federación. https://www.diputados.gob.mx/LeyesBiblio/pdf/LGPDPPSO.pdf
  11. Craske, M. G., Rauch, S. L., Ursano, R., Prenoveau, J., Pine, D. S., & Zinbarg, R. E. (2009). What is an anxiety disorder? Depression and Anxiety, 26(12), 1066–1085. https://doi.org/10.1002/da.20633
  12. Cuesta-Mosquera, E. L., Picón-Rodríguez, J. P., & Pineida-Parra, P. M. (2022). Tendencias actuales sobre la depresión, factores de riesgo y abuso de sustancias. Journal of American Health, 5(1). https://jah-journal.com/index.php/jah/article/view/114
  13. Delgado-Domínguez, C., Rodríguez-Barraza, A., Lagunes-Córdoba, R., & Vázquez-Martínez, F. D. (2020). Relación entre bienestar psicológico y empatía en médicos residentes en una universidad pública en México. Investigación en Educación Médica, 9(34), 16–23. https://doi.org/10.22201/facmed.20075057e.2020.34.19189
  14. de Mélo Silva Júnior, M. L., Valença, M. M., & Rocha-Filho, P. A. S. (2022). Individual and residency program factors related to depression, anxiety and burnout in physician residents – a Brazilian survey. BMC Psychiatry, 22(1), Artículo 272. https://doi.org/10.1186/s12888-022-03916-0
  15. Domínguez, L. C. (2018). Instrumentos para la evaluación del clima de aprendizaje en residencias médicas: Síntesis de la evidencia a la luz de las definiciones psicométricas. Educación Médica, 19(S3), 335–349. https://doi.org/10.1016/j.edumed.2017.10.015
  16. Expósito-Duque, V., Torres-Tejera, M. E., & Domínguez-Domínguez, J. A. (2024). Determinantes sociales de la ansiedad en el siglo XXI. Atención Primaria Práctica, 6(2), Artículo 100192. https://doi.org/10.1016/j.appr.2024.100192
  17. Fiorelli, A. I., & Pêgo-Fernandes, P. M. (2025). Medical residency – Where we are and future challenges. Sao Paulo Medical Journal, 143(4), Artículo e20251434. https://doi.org/10.1590/1516-3180.2025.1434.14042025
  18. Gayoso-Cantero, D., García-Duque, P., Serrano-de la Fuente, P., & Peláez-Álvarez, J. C. (2024). Ansiedad y mecanismos de adaptación en los residentes de un hospital de Madrid. Educación Médica, 25(4), Artículo 100933. https://doi.org/10.1016/j.edumed.2024.100933
  19. González-Anglada, M. I., Martín-Fernández, J., Garmendia-Fernández, C., Sanmartín-Fenollera, P., Huelmos-Rodrigo, A. I., & García-Pérez, F. (2022). Competencias esenciales en la formación de los residentes, ¿qué nos ha enseñado la pandemia por la COVID-19? Educación Médica, 23(3), Artículo 100734. https://doi.org/10.1016/j.edumed.2022.100734
  20. Haas, D. M., Hadaie, B., Ramirez, M., Shanks, A. L., & Scott, N. P. (2023). Resident research mentoring teams: A support program to increase resident research productivity. Journal of Graduate Medical Education, 15(3), 365–372. https://doi.org/10.4300/JGME-D-22-00499.1
  21. Hamui-Sutton, L., Fuentes-García, R., & Zepeda-Gutiérrez, I. (2024). Validez y confiabilidad del instrumento de evaluación docente en las residencias médicas de la Universidad Nacional Autónoma de México. ARS MEDICA Revista de Ciencias Médicas, 49(4), 31–41. https://doi.org/10.11565/arsmed.v49i4.2079
  22. Hosseinzadeh Oskouei, A., Zamani Zarchi, M. S., Safarpour, F., Kianimoghadam, A. S., Shams, J., Bakhtiari, M., & Masjedi-Arani, A. (2024). The impact of perfectionism on suicidal ideation among medical residents in Iran: The mediating role of psychological distress. BMC Psychiatry, 24(1), Artículo 664. https://doi.org/10.1186/s12888-024-06102-6
  23. Ilya, N., Liu, J. C. J., & Agres, K. R. (2025). Identifying and recommending validated measures to assess depression and anxiety outcomes in the field of arts and health. Frontiers in Psychology, 16, Artículo 1628292. https://doi.org/10.3389/fpsyg.2025.1628292
  24. Juárez-Hernández, L. G., & Tobón, S. (2018). Análisis de los elementos implícitos en la validación de contenido de un instrumento de investigación. Espacios, 39(53), 23. https://www.revistaespacios.com/cited2017/cited2017-23.pdf
  25. Kwok, C. (2021). Depression, stress, and perceived medical errors in Singapore psychiatry residents. Academic Psychiatry, 45(2), 169–173. https://doi.org/10.1007/s40596-020-01376-w
  26. Majd, M., Saunders, E. F. H., & Engeland, C. G. (2020). Inflammation and the dimensions of depression: A review. Frontiers in Neuroendocrinology, 56, Artículo 100800. https://doi.org/10.1016/j.yfrne.2019.100800
  27. Martínez-García, J. A., Aguirre-Barbosa, M., Mancilla-Hernández, E., Hernández-Morales, M. del R., Guerrero-Cabrera, M. B., & Schiaffini-Salgado, L. G. (2022). Prevalencia de depresión, ansiedad y factores asociados en médicos residentes de centros hospitalarios durante la pandemia de COVID-19. Revista Alergia México, 69(1), 1–6. https://doi.org/10.29262/ram.v69i1.903
  28. Montero, I., & León, O. G. (2007). A guide for naming research studies in psychology. International Journal of Clinical and Health Psychology, 7(3), 847–862. https://www.aepc.es/ijchp/GNEIP07_es.pdf
  29. Nava-Ríos, S. E., Tepatzi-Carranco, R., Zamudio-Meneses, R., Fuentes-Fuentes, G., Montiel-Aparicio, A., García-Tepehuac, A., & Piñón-Morales, V. M. (2025). Niveles de ansiedad y depresión en médicos residentes de un hospital infantil. LATAM Revista Latinoamericana de Ciencias Sociales y Humanidades, 6(3), 584–607. https://doi.org/10.56712/latam.v6i3.3968
  30. Obeng Nkrumah, S., Adu, M. K., Agyapong, B., da Luz Dias, R., & Agyapong, V. I. O. (2025). Prevalence and correlates of depression, anxiety, and burnout among physicians and postgraduate medical trainees: A scoping review of recent literature. Frontiers in Public Health, 13, Artículo 1537108. https://doi.org/10.3389/fpubh.2025.1537108
  31. Penfield, R. D., & Giacobbi, P. R., Jr. (2004). Applying a score confidence interval to Aiken’s item content-relevance index. Measurement in Physical Education and Exercise Science, 8(4), 213–225. https://doi.org/10.1207/s15327841mpee0804_3
  32. Secretaría de Salud. (2024, 19 de marzo). Norma Oficial Mexicana NOM-001-SSA-2023, Educación en salud. Para la organización y funcionamiento de residencias médicas en establecimientos para la atención médica. Diario Oficial de la Federación. https://dof.gob.mx/index.php/index_111.php?day=19&month=03&year=2024
  33. Sepúlveda-Vildósola, A. C., Gaspar-López, N., Reyes-Lagunes, L. I., & González-Cabello, H. J. (2015). Confiabilidad y validez de un instrumento de evaluación de la competencia clínica integral de médicos residentes. Revista Médica del Instituto Mexicano del Seguro Social, 53(1), 30–39. https://www.medigraphic.com/pdfs/imss/im-2015/im151e.pdf
  34. Soto-Moreno, A., Martínez-López, A., Ureña-Paniego, C., Martínez-García, E., Buendía-Eisman, A., & Arias-Santiago, S. (2024). Síndrome de burnout, ansiedad y depresión en residentes de dermatología: Un estudio transversal. Actas Dermo-Sifiliográficas, 115(10), 935–942. https://doi.org/10.1016/j.ad.2024.02.016
  35. Vázquez-Martínez, F. D. (2018). Apuntes históricos sobre la formación de médicos especialistas en México desde la evolución educativa. Investigación en Educación Médica, 7(25), 46–52. https://doi.org/10.1016/j.riem.2017.03.003