Desarrollo y evidencia de validez de contenido de un instrumento para evaluar la percepción estudiantil sobre una paciente virtual potenciada con inteligencia artificial
Resumo
La incorporación de pacientes virtuales potenciados con inteligencia artificial (PV-IA) en educación médica requiere instrumentos que permitan evaluar de manera rigurosa la percepción estudiantil sobre su utilidad, facilidad de uso, realismo y valor formativo. Se desarrolló un cuestionario orientado a valorar la experiencia del estudiantado con el uso de una paciente virtual denominada María V., diseñada con materiales de un ECOE. Objetivo: Analizar la evidencia inicial de validez basada en el contenido de un instrumento diseñado para evaluar la percepción estudiantil sobre una PV-IA. Métodos: Se realizó un estudio metodológico de validez de contenido. El instrumento integró 23 ítems distribuidos en dimensiones teóricas vinculadas con el Modelo de Aceptación Tecnológica y la educación médica basada en simulación: valor educativo, calidad de la interacción clínica, usabilidad y funcionamiento técnico, realismo y caracterización, satisfacción general y preguntas abiertas. Trece jueces expertos evaluaron la relevancia de cada ítem mediante una escala tipo Likert de cuatro puntos. Se calcularon el índice de validez de contenido por ítem, el índice de validez de contenido a nivel de escala mediante el promedio de los ítems, el índice de acuerdo universal y el kappa modificado. Resultados: Los valores del índice de validez de contenido por ítem oscilaron entre 0.69 y 1.00. La mayoría de los ítems alcanzó valores iguales o superiores al punto de corte recomendado. El índice de validez de contenido promedio de la escala fue de 0.916 y el índice de acuerdo universal fue de 0.348. Los valores de kappa modificado oscilaron entre 0.66 y 1.00. Con base en los resultados cuantitativos y las observaciones cualitativas de los jueces, se eliminaron los ítems 6, 9 y 14, y se realizaron ajustes de redacción en los ítems 1, 10, 16 y 18. El cuestionario de percepción sobre la paciente virtual María V. aporta evidencia inicial favorable de validez basada en el contenido. La depuración del instrumento permitió obtener una versión final de 20 ítems, sustentada no solo en criterios estadísticos, sino también en la coherencia conceptual y funcional con las características actuales de la paciente virtual.
Downloads
-
Resumo27
-
pdf (Español (España))19
-
pdf 19
-
xml (Español (España))0
Referências
1. Barrows HS. An overview of the uses of standardized patients for teaching and evaluating clinical skills. Acad Med. 1993, 68, 6. 443-451. https://doi.org/10.1097/00001888-199306000-00002
2. Cross J, Kayalackakom T, Robinson RE, Vaughans A, Sebastian R, Hood R, et al. Assessing ChatGPT’s capability as a new age standardized patient: qualitative study. JMIR Med Educ. 2025, 11. https://doi.org/10.2196/63353
3. Zhang B, Liu X, Wang Y, Zhou L, Xie Q, Wang B. Human or LLM as standardized patients? A comparative study for medical education [Preprint]. arXiv. 2025. https://doi.org/10.48550/arXiv.2511.14783.
4. Hamilton A, Molzahn A, McLemore K. The evolution from standardized to virtual patients in medical education. Cureus. 2024, 16, 10. https://doi.org/10.7759/cureus.71224
5. Messick S. Validity. En: Linn RL, editor. Educational measurement. 3rd ed. New York: Macmillan; 1989. p. 13-103.
6. Kane MT. Validation. In: Brennan RL, editor. Educational measurement. 4th ed. Westport (CT): American Council on Education/Praeger; 2006. p. 17-64.
7. Kane MT. Validating the interpretations and uses of test scores. J Educ Meas. 2013, 50, 1. 1-73. https://doi.org/10.1111/jedm.12000
8. Carrillo-Avalos BA, Leenen I, Trejo-Mejía JA, Sánchez-Mendiola M. Bridging validity frameworks in assessment: beyond traditional approaches in health professions education. Teach Learn Med. 2025, 37, 2. 229-238. https://doi.org/10.1080/10401334.2023.2293871
9. Downing SM. Validity: on the meaningful interpretation of assessment data. Med Educ. 2003, 37, 9. 830-837. https://doi.org/10.1046/j.1365-2923.2003.01594.x
10. Van der Vleuten CPM, Schuwirth LWT, Driessen EW, Dijkstra J, Tigelaar D, Baartman LKJ, et al. A model for programmatic assessment fit for purpose. Med Teach. 2012, 34, 3. 205-214. https://doi.org/10.3109/0142159X.2012.652239
11. Briz-Ponce L, García-Peñalvo FJ. An empirical assessment of a technology acceptance model for apps in medical education. J Med Syst. 2015, 39, 176. https://doi.org/10.1007/s10916-015-0352-x
12. Lee JWY, Ong DW, Soh RCC, Rao JP, Bello F. Technology Acceptance Model in medical education: systematic review. JMIR Med Educ. 2025, 11. https://doi.org/10.2196/67873
13. Lynn MR. Determination and quantification of content validity. Nurs Res. 1986, 35, 6. 382-385.
14. Davis FD. Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS Q. 1989, 13, 3. 319-340. https://doi.org/10.2307/249008
15. Cook DA, Erwin PJ, Triola MM. Computerized virtual patients in health professions education: a systematic review and meta-analysis. Acad Med. 2010, 85, 10. 1589-1602. https://doi.org/10.1097/ACM.0b013e3181edfe13
16. INACSL Standards Committee. Healthcare Simulation Standards of Best Practice®. Clin Simul Nurs. 2021, 58. 1-93. https://doi.org/10.1016/j.ecns.2021.08.018
17. Zeng J, Qi W, Shen S, Liu X, Li S, Wang B, et al. Embracing the future of medical education with large language model-based virtual patients: scoping review. J Med Internet Res. 2025, 27. https://doi.org/10.2196/79091.
18. Polit DF, Beck CT, Owen SV. Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Res Nurs Health. 2007, 30, 4. 459-467. https://doi.org/10.1002/nur.20199
19. Wynd CA, Schmidt B, Schaefer MA. Two quantitative approaches for estimating content validity. West J Nurs Res. 2003, 25, 5. 508-518. https://doi.org/10.1177/0193945903252998
20. Fleiss JL. Measuring nominal scale agreement among many raters. Psychol Bull. 1971, 76, 5. 378-382. https://doi.org/10.1037/h0031619
21. Cicchetti DV, Sparrow SA. Developing criteria for establishing interrater reliability of specific items: application to assessment of adaptive behavior. Am J Ment Defic. 1981, 86, 2. 127-137.
22. Grevisse C, et al. ECOSBot: a generative AI-based tool designed to simulate both standardized patients and standardized examiners in nephrology-focused OSCEs. Clin Kidney J. 2025, 18, 10. https://doi.org/10.1093/ckj/sfaf308
23. Borg A, Schiött J, Ivegren W, Gentline C, Huss V, Hugelius AM, et al. AI-generated feedback following social robotic virtual patient interactions and medical student performance: nonrandomized quasi-experimental study. JMIR Med Educ. 2026, 12. https://doi.org/10.2196/90368
24. Gamble C, Oatham A, Parikh R. Should virtual OSCE teaching replace or complement face-to-face teaching in the post-COVID-19 educational environment. Cureus. 2023, 15, 11. https://doi.org/10.7759/cureus.49708
25. Khojasteh L, Karimian Z, Nasiri E, Kafipour R, Farahmandi AY. Artificial intelligence and academic writing questionnaire (AI-AWQ): development and validation among medical students' experiences using exploratory factor analysis. BMC Med Educ. 2025, 25, 1. 1697. https://doi.org/10.1186/s12909-025-08288-z
26. Yi Y, Kim KJ. The feasibility of using generative artificial intelligence for history taking in virtual patients. BMC Res Notes. 2025, 18, 1. 80. https://doi.org/10.1186/s13104-025-07157-8
27. American Educational Research Association, American Psychological Association, National Council on Measurement in Education. Standards for educational and psychological testing. Washington (DC): American Educational Research Association; 2014.
Direitos de Autor (c) 2026 Serviço de Publicações da Universidade de Múrcia
Este trabalho encontra-se publicado com a Licença Internacional Creative Commons Atribuição-NãoComercial-SemDerivações 4.0.
Os trabalhos publicados nesta revista estão sujeitos aos seguintes termos:
1. O Serviço de Publicações da Universidade de Murcia (o editor) preserva os direitos económicos (direitos de autor) das obras publicadas e favorece e permite a sua reutilização ao abrigo da licença de utilização indicada no ponto 2.
2. Os trabalhos são publicados sob uma licença Creative Commons Atribuição-NãoComercial-NãoDerivada 4.0.
3. Condições de autoarquivamento. Os autores estão autorizados e incentivados a divulgar eletronicamente as versões pré-impressas (versão antes de ser avaliada e enviada à revista) e / ou pós-impressas (versão avaliada e aceita para publicação) de seus trabalhos antes da publicação, desde que favorece sua circulação e difusão mais precoce e com ela possível aumento de sua citação e alcance junto à comunidade acadêmica.
