¿Es capaz “ChatGPT” de aprobar el examen MIR de 2022? Implicaciones de la inteligencia artificial en la educación médica en España
Resumo
La inteligencia artificial y los modelos de procesamiento de lenguaje natural han irrumpido con fuerza en el ámbito de la educación médica. Entre ellos, el modelo ChatGPT ha sido utilizado para intentar resolver distintos exámenes de medicina a nivel internacional. Sin embargo, prácticamente no existe literatura en Europa ni países de habla hispana. El presente trabajo pretende evaluar la capacidad de responder preguntas del modelo ChatGPT en el examen MIR 2022. Para ello, se ha llevado a cabo un análisis transversal y descriptivo en el que se han introducido la totalidad de las preguntas del examen MIR 2022 en dicho modelo. ChatGPT ha sido capaz de responder de manera acertada un 51,4% de las preguntas, lo que supone aproximadamente 69 netas en el examen MIR. Según estimaciones para este año, obtendría un 7688, lo que estaría ligeramente por debajo de la mediana de la población presentada, pero que le permitiría pasar la nota de corte y escoger un gran número de especialidades. El resultado es similar a los obtenidos en la bibliografía previa, ligeramente por debajo de los resultados obtenidos por dicha herramienta en los exámenes americanos USMLE. Este tipo de modelos suponen una oportunidad para el aprendizaje de los estudiantes de medicina y los residentes, pero también supone un riesgo en muchos sentidos. Es fundamental formar a los futuros especialistas en la nueva realidad de la inteligencia artificial para que sean capaces de utilizarlas y obtener beneficios de manera razonada y segura.
Downloads
Metrics
Referências
Scott K. Microsoft teams up with openai to exclusively license GPT-3 language model 2020.
Association TWM. Statement on augmented intelligence in medical care. Geneva: Association TWM; 2019.
Standing Committee of European Doctora (CPME) 2019. Policy on AI in Healthcare. Doctors TSCoE: Policy on AI in Health Care. 2019.
Topol EJ. High-performance medicine: the convergence of human and artificial intelligence. Nat Med. 2019; 25:44-56.
Wartman SA, Donald Combs C. Medical education must move from the information age to the age of artificial intelligence. Acad Med. 2018;93:1107-9.
Avisha Das, Salih Selek, Alia R. Warner, Xu Zuo, Yan Hu, Vipina Kuttichi Keloth, Jianfu Li, W. Jim Zheng, and Hua Xu. Conversational Bots for Psychotherapy: A Study of Generative Transformer Models Using Domain-specific Dialogues. 2022. In Proceedings of the 21st Workshop on Biomedical Language Processing, pages 285-297, Dublin, Ireland. Association for Computational Linguistics.
Savery M, Abacha AB, Gayen S, Demner-Fushman D. Question-driven summarization of answers to consumer health questions. Sci Data. 2020;7(1):322. Published 2020 Oct 2. doi:10.1038/s41597-020-00667-z
Jin Q, Dhingra B, Liu Z, Cohen WW, Lu X. PubMedQA: A dataset for biomedical research question answering arXiv preprint arXiv:1909.06146. 2019.
Jin D, Pan E, Oufattole N, Weng WH, Fang H, Szolovits P. What Disease Does This Patient Have? A Large-Scale Open Domain Question Answering Dataset from Medical Exams Applied Sciences. 2021;11:6421.
Ha LE, Yaneva V. Automatic question answering for medical MCQs: Can it go further than information retrieval? RANLP 2019.
Gilson A, Safranek C, Huang T, Socrates V, Chi L, Taylor RA, et al. How Does ChatGPT Perform on the Medical Licensing Exams? The Implications of Large Language Models for Medical Education and Knowledge Assessment. medRxiv. 1 de enero de 2022;2022.12.23.22283901.
Huh S. Are ChatGPT's knowledge and interpretation ability comparable to those of medical students in Korea for taking a parasitology examination?: a descriptive study. J Educ Eval Health Prof 2023;20:1 https://doi.org/10.3352/jeehp.2023.20.1
Antaki F, Touma S, Milad D, El-Khoury J, Duval R. Evaluating the Performance of ChatGPT in Ophthalmology: An Analysis of its Successes and Shortcomings. medRxiv. 1 de enero de 2023;2023.01.22.23284882.
Grupo CTO. Servicio post-mir de corrección de exámenes. Enero 2023. Disponible en: https://medicina.grupocto.es/postmir/
Uhrig A. La elección telemática de plaza MIR 2022 deja 218 vacías: En qué número se agota cada especialidad?. Consalud.es. Enero 2023. Disponible en: https://www.consalud.es/especial-mir/adjudicadas-todas-plazas-mir-2022-en-numero-se-agoto-cada-especialidad_115000_102.html
Baidoo-Anu, D. Education in the Era of Generative Artificial Intelligence (AI): Understanding the Potential Benefits of ChatGPT in Promoting Teaching and Learning. 2023. Disponible en: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4337484
Yue Zhuo T. Exploring AI Ethics of ChatGPT: A Diagnostic Analysis. 2023. Disponible en: https://arxiv.org/abs/2301.12867
Direitos de Autor (c) 2022 Servicio de Publicaciones de la Universidad de Murcia
Este trabalho encontra-se publicado com a Licença Internacional Creative Commons Atribuição-NãoComercial-SemDerivações 4.0.
Os trabalhos publicados nesta revista estão sujeitos aos seguintes termos:
1. O Serviço de Publicações da Universidade de Murcia (o editor) preserva os direitos económicos (direitos de autor) das obras publicadas e favorece e permite a sua reutilização ao abrigo da licença de utilização indicada no ponto 2.
2. Os trabalhos são publicados sob uma licença Creative Commons Atribuição-NãoComercial-NãoDerivada 4.0.
3. Condições de autoarquivamento. Os autores estão autorizados e incentivados a divulgar eletronicamente as versões pré-impressas (versão antes de ser avaliada e enviada à revista) e / ou pós-impressas (versão avaliada e aceita para publicação) de seus trabalhos antes da publicação, desde que favorece sua circulação e difusão mais precoce e com ela possível aumento de sua citação e alcance junto à comunidade acadêmica.
