Diseño, aplicación y control de calidad de un examen OSCE de competencias de cirugía en la revalidación práctica del título de médico cirujano
Palabras clave:
evaluación clÃnica objetiva estructurada, competencia clÃnica, certificación, confiabilidad, validez, cirugÃa.Resumen
Introducción: para revalidar su título en Chile, los médicos graduados en el exterior (MGEs) deben someterse a un examen compuesto de un módulo teórico y otro práctico. Para realizar este último, la Universidad Mayor utiliza la modalidad OSCE. Este formato garantiza apropiados grados de validez, fiabilidad y objetividad si su diseño y aplicación son meticulosos y detallados. Sus resultados deben ser sometidos sistemáticamente a un control de calidad. Este último, un componente crucial de toda evaluación de alta trascendencia, se menciona escasamente en la literatura biomédica nacional. Nuestro objetivo es describir aquí el diseño, administración y análisis psicométrico de un OSCE destinado a evaluar las competencias quirúrgicas generales de (MGEs). Métodos: el OSCE fue diseñado por un equipo multidisciplinario. Se crearon diez estaciones que estaban en correspondencia con las competencias quirúrgicas generales esperadas en un graduado. El análisis psicométrico de los resultados incluyó el uso del coeficiente alfa de Cronbach y la correlación de Pearson. Resultados: los veinte MGEs aprobaron el examen con puntajes entre 64,8 y 96,0%. El coeficiente de Cronbach global fue 0,67. La correlación entre los puntajes de cada estación con el del OSCE global alcanzó significación estadística en todos los casos. Conclusiones: un OSCE que evalúa la competencia quirúrgica general de un médico graduado es factible. Las propiedades psicométricas del examen fueron satisfactorias; sin embargo es aconsejable perfeccionar aún más el proceso de elaboración del examen así como los casos empleados y otros elementos claves.
Citas
Al-Naami MY. (2008). Reliability, validity, and feasibility of the Objective Structured Clinical Examination in assessing clinical skills of final year surgical clerkship. Saudi Medical Journal 29, 1802-1807.
Auewarakul C, Downing SM, Praditsuwan R & Jaturatamrong U. 2005. Item analysis to improve reliability for an internal medicine undergraduate OSCE. Advances in Health Sciences Education. Theory and Practice 10, 105-113.
Behrens C, Morales V, Parra P, Hurtado A. Fernández R. Giaconi E. Santelices L, Armijo S. Furman F. (2018). Diseño e implementación de OSCE para evaluar competencias de egreso en estudiantes de medicina en un consorcio de universidades chilenas. Revista Médica de Chile 146,1197-1204.
Brannick MT1, Erol-Korkmaz HT & Prewett M. (2011). A systematic review of the reliability of objective structured clinical examination scores. Medical Education 45, 1181-1189.
Cronbach LJ & Shavelson RJ: (2004). My current thoughts on coefficient alpha and successor procedures. Educational and Psychological Measurement 64, 391-418.
Daniels VJ & Pugh D (2018) Twelve tips for developing an OSCE that measures what you want. Medical Teacher 40, 1208-1213.
Epstein RM & Hundert EM. (2002). Defining and assessing profesional competence. JAMA 287, 226–235.
Fuller R, Homer M, Pell G & Hallam J. (2016). Managing extremes of assessor judgment within the OSCE. Medical Teacher 27, 1-9.
Grand'Maison P, Lescop J, Rainsberry P, Brailovsky CA, Tudiver F, Rose D, Banks B & Pfortmiller D. (1992). Large-scale use of an objective, structured clinical examination for licensing family physicians. CMAJ 146, 1735-1740.
Harden R, Lilley P & Patricio P. (2016). The definitive guide to the OSCE: the objective structured clinical examination as a performance assessment. 1st ed. Churchill Livingstone: Edinburgh; New York.
Harden RM, Stevenson M, Downie WW & Wilson GM. (1975). Assessment of Clinical Competence using Objective Structured Examination. British Medical Journal 1, 447–451.
Hilliard RI & Tallett SE. 1998. The use of an objective structured clinical examination with postgraduate residents in pediatrics. Archives of Pediatrics and Adolescent Medicine 152, 74-78.
Homer M, Pell G, Fuller R & Patterson J. (2016). Quantifying error in OSCE standard setting for varying cohort sizes: A resampling approach to measuring assessment quality. Medical Teacher 38, 181-188.
Khan KZ, Ramachandran S, Gaunt K & Pushkar P. (2013). The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part I: an historical and theoretical perspective. Medical Teacher 35, 437-446.
Khan KZ, Gaunt K, Ramachandran S & Pushkar P. (2013). The objective structured clinical examination (OSCE): AMEE guide no. 81. Part II: organisation & administration. Medical Teacher 35, 447-463.
Kunakov N & Bozzo S. (2015). La revalidación práctica del título de médico cirujano a través de un método estandarizado: Experiencia de la Universidad de Chile. Revista Médica de Chile 143,1058-1064.
Kunakov N, Moraga L & Ortiz L. (2018). Revalidación de títulos médicos extranjeros: eficacia y eficiencia de un examen colaborativo y estandarizado. Revista Médica de Chile 146, 232-240.
Medical Council of Canada – Le Conseil Médical du Canada (2019). Common mistakes made on Objective Structured Clinical Examination stations. Accedido en: Https://mcc.ca/examinations/common-mistakes-osce/ el 15 de febrero de 2018.
Morales C, Ãlvarez N, Candia P, Celedón F, Meyer L, Daniel K, Lombardic N & Guiraldes E. (2018). Experiencia con el empleo del examen OSCE en el ciclo de evaluación de competencias clínicas de médicos que revalidan su título. Revista Médica de Chile 146, 341-343.
Patrício MF, Julião M, Fareleira F & Carneiro AV. (2013). Is the OSCE a feasible tool to assess competencies in undergraduate medical.education? Medical Teacher 35, 503-514.
Pell G, Fuller R, Homer M & Roberts T. (2016). How to measure the quality of the OSCE: A review of metrics - AMEE guide no. 49. Medical Teacher, 27,1-9.
Roberts C, Newbie D, Jolly B, Reed M & Hampton K. (2006). Assuring the quality of high-stakes undergraduate assessments of clinical competence. Medical Teacher 28, 535–543.
Sibert L1, Mairesse JP, Aulanier S, Olombel P, Becret F, Thiberville J, Peron JM, Doucet J & Weber J. (2001). Introducing the objective structured clinical examination to a general practice residency programme: results of a French pilot study. Medical Teacher 23, 383-388.
Tavakol M & Brennan RL. (2013). Medical education assessment: a brief overview of concepts in generalizability theory. International Journal of Medical Education 4, 221-222.
Tavakol M & Dennick R. (2011). Post-examination analysis of objective tests. Medical Teacher 33, 447-458.
Tavakol M & Dennick R. (2012). Post-examination interpretation of objective test data: monitoring and improving the quality of high-stakes examinations: AMEE Guide No. 66. Medical Teacher 34, e161-e175.
Triviño X1, Vásquez A, Mena A, López A, Aldunate M, Varas M, Lillo R & Wright A. (2002). Aplicación del Examen Clínico Objetivo Estructurado (OSCE) en la evaluación final del internado de pediatría en dos escuelas de medicina. Revista Médica de Chile 130, 817-824.
Turner JL1 & Dankoski ME. (2008). Objective structured clinical exams: a critical review 40, 574-678.
Van der Vleuten C. (2000). Validity of final examinations in undergraduate medical training. BMJ 321, 1217- 1219.
Walters K1, Osborn D & Raven P. (2005). The development, validity and reliability of a multimodality objective structured clinical examination in psychiatry. Medical Education 39, 292-298.
Yeates P & Sebok-Syer S. (2016). Hawks, Doves and Rasch decisions: Understanding the influence of different cycles of an OSCE on students' scores using Many Facet Rasch Modeling. Medical Teacher; 39, 92-99.
Descargas
Publicado
Número
Sección
Licencia
A partir del 1 de octubre 2023, los autores/as conservan sus derechos de autor y garantizan a la revista el derecho de primera publicación de su obra, la que estará simultáneamente sujeta a la Licencia CC BY-SA 4.0 (Ver declaración de Acceso Abierto).
