KOMPETENSVÄRDERING
Mini-CEX - Mini Clinical Evaluation Exercise - Handledare observerar och utvärderar mötet mellan läkare och patient
CBD - Case Based Discussion - Strukturerad diskussion baserad på en journal
DOPS - Direct Obervation of Procedural Skills - Handledare observerar och utvärderar ett praktisk moment, ex lumbalpunktion
360-gradersbedömning - Utbildningsläkaren utvärderas genom att 6 individer (vanligen kollegor och andra yrkesgrupper) fyller i ett formulär som sammanställs av handledare och jämförs med en självskattning.
Specialistkollegium - Specialisterna på en klinik/vårdcentral har ett möte och diskuterar en ST-läkare utifrån ett formulär som fyllts i individuellt i förväg och jämförs med en självskattning.
NYA BEDÖMNINGSINSTRUMENT
Nedanstående instrument är uppbyggda med förslag till bedömningskriterier, fria textkommentarer (narrativ bedömning) samt övergripande skattning av självständighet.
Instrumenten är (liksom andra instrument som är framtagna för svenska förhållande) tyvärr ännu ej validerade men de nya instrumenten bygger på aktuell litteratur enligt nedan. Ur litteraturen framgår att de äldre etablerade instrumenten i nya studier har visat sig ha brister, i synnerhet avseende skalorna. Det finns i stället stöd i litteraturen att fria textkommentarer respektive bedömning av självständighet fungerar bättre och att bedömningskriterier kan vara viktiga för att se målet, för att formulera feedback och utvecklingsplan. (Se nedan för ett urval av referenser)
MINI-CEX (bedömning av anamnes, status och/eller samtal)
Mini-CEX med narrativ bedöming och skattning av självständighet
DOPS (bedömning av praktisk moment)
DOPS med narrativ bedöming och skattning av självständighet
SPECIALISTKOLLEGIUM
(Handledare + övriga specialister + ST-läkare själv gör en sammanlagd bedömning)
Information om metoden
För bedömare (handledare och övriga specialister)
För ST-läkare, självskattning och egen plan
Underlag för feedback efter kollegium
Manual för studierektor
UTBILDNING i BEDÖMNINGSMETODER
För att bedömningar och feedback skall fungera väl kan det behövas utbildning i metoderna, både för bedömare och de som blir bedömda.
Weston, P. S. J., & Smith, C. A. (2014). The use of mini-CEX in UK foundation training six years following its introduction: Lessons still to be learned and the benefit of formal teaching regarding its utility. Medical Teacher. https://doi.org/10.3109/0142159X.2013.836267
Bedömningsmetoder bör ingå i handledarutbildning enligt Socialstyrelsen (ST 2015+2021).
Kontakta oss gärna på info@hjarntanken.se om du eller din klinik/vårdcentral är i behov av utbildning.
Varför behövs nya formulär?
Tidigare artiklar har visat att ex mini-CEX med ca 8-10 bedömningar har en reliabilitet på 0,7 och att man med bättre kriterier kan minska antalet ytterligare.
Norcini, J. J., Blank, L. L., Arnold, G. K., & Kimball, H. R. (1995). The mini-CEX (clinical evaluation exercise): A preliminary investigation. Annals of Internal Medicine, 123(10), 795–799. https://doi.org/10.7326/0003-4819-123-10-199511150-00008
Crossley, J., Johnson, G., Booth, J., & Wade, W. (2011). Good questions, good answers: Construct alignment improves the performance of workplace-based assessment scales. Medical Education, 45(6), 560–569. https://doi.org/10.1111/j.1365-2923.2010.03913.x
I en serie artiklar från Weller med flera anestesiologer i Australien kunde man påvisa att den traditionella mini-CEX-skalan inte fungerade bra. Den tradionella skalan (J. Norcini 1995) som går från otillfredsställande till utmärkt krävde 45 bedömningar för reliabilitet 0,68, vid bedömning av prestation i relation till förväntan 50 bedömningar för realibiltet 0,61 men vid bedömning av självständighet (autonomi) räckte det med 8 bedömningar för 0,7.
Med ytterligare förfining har man vid test av +7800 mini-CEX påvisat att 4 mini-CEX kan räcka för att fånga upp en individ i behov av extra stöd. Förutom skalan utvecklade man också formuläret så att det enbart är en övergripande skattning och instället narrativ bedömning med stöd av bedömningskriterier för varje delområde. I atiklarna framgår delvis stöd för denna förändring.
Weller, J. M., Misur, M., Nicolson, S., Morris, J., Ure, S., Crossley, J., & Jolly, B. (2014). Can i leave the theatre? A key to more reliable workplace-based assessment. British Journal of Anaesthesia, 112(6), 1083–1091. https://doi.org/10.1093/bja/aeu052
Weller, J. M., Castanelli, D. J., Chen, Y., & Jolly, B. (2017). Making robust assessments of specialist trainees’ workplace performance. British Journal of Anaesthesia, 118(2), 207–214. https://doi.org/10.1093/bja/aew412
Weller, J. M., Jolly, B., Misur, M. P., Merry, A. F., Jones, A., Crossley, J. G. M., Pedersen, K., & Smith, K. (2009). Mini-clinical evaluation exercise in anaesthesia training. British Journal of Anaesthesia, 102(5), 633–641. https://doi.org/10.1093/bja/aep055
Behöver man bedömningskriterier?
I denna artikeln beskriver John Norcini vikten av bedömningskriterier kopplat till Hattie och Timberleys Feedbackmodell
Norcini, J., & Burch, V. (2007). Workplace-based assessment as an educational tool: AMEE Guide No. 31. Medical Teacher, 29(9–10), 855–871. https://doi.org/10.1080/01421590701775453
Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81–112. https://doi.org/10.3102/003465430298487
Varför kommentarer i fri text istället för siffror?
Det tycks finnas gott stöd för sk. narrativ bedömning
Hanson, J. L., Rosenberg, A. A., & Lane, J. L. (2013). Narrative descriptions should replace grades and numerical ratings for clinical performance in medical education in the United States. Frontiers in Psychology, 4(NOV), 1–10. https://doi.org/10.3389/fpsyg.2013.00668
Pedagogisk forskning redan på 50-talet har liksom senare studier visat att skriftliga fria textkommentarer till skillnad från sifferbetyg kan förbättra prestationen
Page, E. B. (1958). Teacher comments and student performance: A seventy-four class- room experiment in school motivation. Journal of EducationalPsychology, 49,173-181.
Vilka områden skall bedömas?
Specialistkollegium bygger på de amerikanska kompetensområdena (ACGME) plus några ytterligare områden som i en samlad erfarenhet från Colorado visats vara de vanligaste och viktigaste problemområdena. Man har arbetat med dessa områden i ett remediation program och samlat omfattande erfarenhet och tagit fram effektiva program för att åtgärda bristerna.
Guerrasio, J. (2013). Struggling Medical Learner. (Beskriver deltaljerade program för hur man kan arbeta med specifika problem)
Guerrasio, J., & Aagaard, E. M. (2014). Methods and Outcomes for the Remediation of Clinical Reasoning. Journal of General Internal Medicine, 29(12), 1607–1614. https://doi.org/10.1007/s11606-014-2955-1
Skalor
Inom system där man etablerat EPA och milestones sker bedömningen utifrån grad av självständighet, liksom i Wellers mini-CEX. Det finns många varianter på skalor, den här artikeln samlar en hel del konkreta tips. Skalan bör bland annat vara prospektiv och inte retrospektiv. Artikeln exemplifierar elva olika skalor.
ten Cate, O., Schwartz, A., & Chen, H. C. (2020). Assessing Trainees and Making Entrustment Decisions. Academic Medicine, Publish Ah. https://doi.org/10.1097/ACM.0000000000003427
Mini-CEX och DOPS formulärens skalor är inspirerade av andra skalor, adapterad efter svenska förhållanden och de nivåer som vi praktisk arbetar efter och med ambitionen att de skall passa de flesta specialiteter och förhoppningvis fungera både vid praktiska moment och samtal etc. De är dock inte studerade i nuläget utfrån validitet och reliabilitetsmått. I nuläget har varken mini-CEX, DOPS, CBD, eller specialsitkollegium validerats för svenska förhållanden. Å andra sidan har etablerade studerade internationella instrumnet visats sig ha tydliga brister och nya studier skulle behövas.
Utvecklingsplan
Specialistkollegiet skall leda fram till att man dels lyfter fram det som är välfungerande men också en utvecklingsplan. Ett förslag till plan tas fram, dels av kollegiet och dels av ST-läkaren själv, dessa integreras i dialog med handledare. I Specialsitkollegiet är en internationellt använd mall för utvecklingsplan anpassad och integrerad
Sargeant, J. (2014). Resident Learning/Change Plan. MedEdPORTAL Publications, 1, 1–3. https://www.mededportal.org/publication/10387/
Den planen bygger i sin tur på denna artikel där man visat att om man själv uttrycker en plan för förändring så är chansen större att den genomförs.
Wakefield, J., Herbert, C. P., Maclure, M., Dormuth, C., Wright, J. M., Legare, J., Brett-MacLean, P., & Premi, J. (2003). Commitment to change statements can predict actual change in practice. The Journal of Continuing Education in the Health Professions, 23(2), 81–93. https://doi.org/10.1002/chp.1340230205
