¿Es capaz “ChatGPT” de aprobar el examen MIR de 2022? Implicaciones de la inteligencia artificial en la educación médica en España

Autores/as

DOI: https://doi.org/10.6018/edumed.556511
Palabras clave: ChatGPT, Examen MIR, Inteligencia artificial, Educación Médica, Formación Postgraduada

Resumen

La inteligencia artificial y los modelos de procesamiento de lenguaje natural han irrumpido con fuerza en el ámbito de la educación médica. Entre ellos, el modelo ChatGPT ha sido utilizado para intentar resolver distintos exámenes de medicina a nivel internacional. Sin embargo, prácticamente no existe literatura en Europa ni países de habla hispana. El presente trabajo pretende evaluar la capacidad de responder preguntas del modelo ChatGPT en el examen MIR 2022. Para ello, se ha llevado a cabo un análisis transversal y descriptivo en el que se han introducido la totalidad de las preguntas del examen MIR 2022 en dicho modelo. ChatGPT ha sido capaz de responder de manera acertada un 51,4% de las preguntas, lo que supone aproximadamente 69 netas en el examen MIR. Según estimaciones para este año, obtendría un 7688, lo que estaría ligeramente por debajo de la mediana de la población presentada, pero que le permitiría pasar la nota de corte y escoger un gran número de especialidades. El resultado es similar a los obtenidos en la bibliografía previa, ligeramente por debajo de los resultados obtenidos por dicha herramienta en los exámenes americanos USMLE. Este tipo de modelos suponen una oportunidad para el aprendizaje de los estudiantes de medicina y los residentes, pero también supone un riesgo en muchos sentidos. Es fundamental formar a los futuros especialistas en la nueva realidad de la inteligencia artificial para que sean capaces de utilizarlas y obtener beneficios de manera razonada y segura.

Descargas

Métricas

Visualizaciones del PDF
6,528
Feb 16 '23Feb 19 '23Feb 22 '23Feb 25 '23Feb 28 '23Mar 01 '23Mar 04 '23Mar 07 '23Mar 10 '23Mar 13 '23Mar 16 '23388
|

Citas

Scott K. Microsoft teams up with openai to exclusively license GPT-3 language model 2020.

Association TWM. Statement on augmented intelligence in medical care. Geneva: Association TWM; 2019.

Standing Committee of European Doctora (CPME) 2019. Policy on AI in Healthcare. Doctors TSCoE: Policy on AI in Health Care. 2019.

https://www.cpme.eu/api/documents/adopted/2019/CPME_AD_Board_16112019_062_FINAL_EN_CPME.AI_.in_.health.care_.pdf

Topol EJ. High-performance medicine: the convergence of human and artificial intelligence. Nat Med. 2019; 25:44-56.

Wartman SA, Donald Combs C. Medical education must move from the information age to the age of artificial intelligence. Acad Med. 2018;93:1107-9.

Avisha Das, Salih Selek, Alia R. Warner, Xu Zuo, Yan Hu, Vipina Kuttichi Keloth, Jianfu Li, W. Jim Zheng, and Hua Xu. Conversational Bots for Psychotherapy: A Study of Generative Transformer Models Using Domain-specific Dialogues. 2022. In Proceedings of the 21st Workshop on Biomedical Language Processing, pages 285-297, Dublin, Ireland. Association for Computational Linguistics.

Savery M, Abacha AB, Gayen S, Demner-Fushman D. Question-driven summarization of answers to consumer health questions. Sci Data. 2020;7(1):322. Published 2020 Oct 2. doi:10.1038/s41597-020-00667-z

Jin Q, Dhingra B, Liu Z, Cohen WW, Lu X. PubMedQA: A dataset for biomedical research question answering arXiv preprint arXiv:1909.06146. 2019.

Jin D, Pan E, Oufattole N, Weng WH, Fang H, Szolovits P. What Disease Does This Patient Have? A Large-Scale Open Domain Question Answering Dataset from Medical Exams Applied Sciences. 2021;11:6421.

Ha LE, Yaneva V. Automatic question answering for medical MCQs: Can it go further than information retrieval? RANLP 2019.

Gilson A, Safranek C, Huang T, Socrates V, Chi L, Taylor RA, et al. How Does ChatGPT Perform on the Medical Licensing Exams? The Implications of Large Language Models for Medical Education and Knowledge Assessment. medRxiv. 1 de enero de 2022;2022.12.23.22283901.

Huh S. Are ChatGPT's knowledge and interpretation ability comparable to those of medical students in Korea for taking a parasitology examination?: a descriptive study. J Educ Eval Health Prof 2023;20:1 https://doi.org/10.3352/jeehp.2023.20.1

Antaki F, Touma S, Milad D, El-Khoury J, Duval R. Evaluating the Performance of ChatGPT in Ophthalmology: An Analysis of its Successes and Shortcomings. medRxiv. 1 de enero de 2023;2023.01.22.23284882.

Grupo CTO. Servicio post-mir de corrección de exámenes. Enero 2023. Disponible en: https://medicina.grupocto.es/postmir/

Uhrig A. La elección telemática de plaza MIR 2022 deja 218 vacías: En qué número se agota cada especialidad?. Consalud.es. Enero 2023. Disponible en: https://www.consalud.es/especial-mir/adjudicadas-todas-plazas-mir-2022-en-numero-se-agoto-cada-especialidad_115000_102.html

Baidoo-Anu, D. Education in the Era of Generative Artificial Intelligence (AI): Understanding the Potential Benefits of ChatGPT in Promoting Teaching and Learning. 2023. Disponible en: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4337484

Yue Zhuo T. Exploring AI Ethics of ChatGPT: A Diagnostic Analysis. 2023. Disponible en: https://arxiv.org/abs/2301.12867

Publicado
16-02-2023
Cómo citar
Carrasco, J. P., García, E., Sánchez, D. A., Porter, E., De La Puente, L., Navarro, J., & Cerame, A. (2023). ¿Es capaz “ChatGPT” de aprobar el examen MIR de 2022? Implicaciones de la inteligencia artificial en la educación médica en España. Revista Española de Educación Médica, 4(1). https://doi.org/10.6018/edumed.556511

Artículos más leídos del mismo autor/a

Publication Facts

Metric
This article
Other articles
Peer reviewers 
2,4 promedio

Reviewer profiles  N/D

Author statements

Author statements
This article
Other articles
Data availability 
N/A
16%
External funding 
N/D
32% con financiadores
Competing interests 
N/D
11%
Metric
Para esta revista
Other journals
Articles accepted 
Artículos aceptados: 85%
33% aceptado
Days to publication 
8
145

Indexado: {$indexList}

Editor & editorial board
profiles
Academic society 
Universidad de Murcia
Editora: 
Ediciones de la Universidad de Murcia (Editum)

PFL

1 2 3 4 5
Not useful Very useful