View in EDS

Multisource feedback in residency training: A quantitative study to investigate the feedback conversation.

Saved in:
Bibliographic Details
Title: Multisource feedback in residency training: A quantitative study to investigate the feedback conversation.
Authors: Hennel EK; University of Bern, Institute for Medical Education, Department for Assessment and Evaluation (AAE), Bern, Switzerland.; Schweizerisches Institut für ärztliche Weiter- und Fortbildung SIWF, Bern, Switzerland., Lahner FM; University of Bern, Institute for Medical Education, Department for Assessment and Evaluation (AAE), Bern, Switzerland.; University of Applied Sciences, Department of Health Professions, Bern, Switzerland., Zweifel N; University Children's Hospital Zürich, Department of Surgery, Zürich, Switzerland., Harendza S; University Medical Centre Hamburg-Eppendorf, III. Department of Internal Medicine, Hamburg, Germany., Neuhaus K; University Children's Hospital Zürich, Department of Surgery, Zürich, Switzerland., Huwendiek S; University of Bern, Institute for Medical Education, Department for Assessment and Evaluation (AAE), Bern, Switzerland.
Source: GMS journal for medical education [GMS J Med Educ] 2025 Nov 17; Vol. 42 (5), pp. Doc67. Date of Electronic Publication: 2025 Nov 17 (Print Publication: 2025).
Publication Type: Journal Article
Language: English
Journal Info: Publisher: Gesellschaft für Medizinische Ausbildung in the Association of Scientific Medical Societies (AWMF) Country of Publication: Germany NLM ID: 101676086 Publication Model: eCollection Cited Medium: Internet ISSN: 2366-5017 (Electronic) Linking ISSN: 23665017 NLM ISO Abbreviation: GMS J Med Educ Subsets: MEDLINE
Imprint Name(s): Original Publication: [Erlangen] : Gesellschaft für Medizinische Ausbildung in the Association of Scientific Medical Societies (AWMF), [2016]-
MeSH Terms: Internship and Residency*/methods , Internship and Residency*/standards , Formative Feedback* , Feedback*, Humans ; Surveys and Questionnaires ; Clinical Competence/standards ; Educational Measurement/methods ; Educational Measurement/standards ; Male ; Female
Abstract: Competing Interests: The authors declare that they have no competing interests.
Introduction: Multisource Feedback (MSF) is one form of assessment in medical training. It provides individual feedback based on multiple ratings, which can then be used to develop learning goals during a feedback conversation between supervisor and resident. We conducted this study to investigate how the resident and supervisor set the learning goals and what the learning goals refer to.
Methods: The study comprised 75 sets of MSF, each consisting of 12-15 external ratings per resident and one self-rating per resident. Data included 1015 external ratings and 75 self-ratings. As ten sets missed learning goals, only 65 sets of MSF could be analysed. Data comprised written MSF feedback, including scale-based ratings and narrative comments, structured minutes from the feedback conversations and the resulting learning goals, which were sorted into themes. We used multiple linear regressions to determine the associations between feedback data, conversation topics and learning goals.
Results: Topics were more likely to be discussed as strengths during the feedback conversation if scale-based ratings were high and there were many favourable comments on an item. Topics were more likely to be discussed as areas for improvement if the number of unfavourable comments was high. Topics with many (favourable and unfavourable) comments and topics discussed as an area for improvement were more likely to result in learning goals. We found a number of learning goals beyond the competences on the MSF-questionnaire, that can be understood as connected to Professional Identity Formation.
Conclusion: As the feedback and learning goals clearly exceeded the expected competences from the MSF questionnaire, we see the need for addressing these broader topics of residents' development. Hence, we encourage supervisors and residents to explicitly include Professional Identity Formation topics such as career plans, engagement in research or personal attitudes into regular assessments and feedback conversations. Thus, MSF might be a fitting tool to support professional identity development.
(Copyright © 2025 Hennel et al.)
References: Med Educ. 2009 Sep;43(9):874-82. (PMID: 19709012)
Acad Med. 2012 Sep;87(9):1185-90. (PMID: 22836834)
BMC Med Educ. 2012 Jul 10;12:52. (PMID: 22781214)
Med Teach. 2007 Nov;29(9):855-71. (PMID: 18158655)
BMC Med Educ. 2014 Apr 11;14:76. (PMID: 24725268)
Perspect Med Educ. 2015 Apr;4(2):55-56. (PMID: 25814330)
Med Educ. 2010 Feb;44(2):165-76. (PMID: 20059677)
Med Teach. 2011;33(5):370-83. (PMID: 21517685)
Adv Health Sci Educ Theory Pract. 2009 Aug;14(3):399-410. (PMID: 18528777)
Acad Med. 2003 Oct;78(10 Suppl):S42-4. (PMID: 14557092)
Med Educ. 2019 Feb;53(2):133-142. (PMID: 30328138)
Acad Med. 2019 May;94(5):678-685. (PMID: 30681454)
Med Educ. 2007 Jun;41(6):583-91. (PMID: 17518839)
BMC Med Educ. 2020 Oct 12;20(1):357. (PMID: 33046060)
Med Educ. 2021 Feb;55(2):266-274. (PMID: 32815152)
J Contin Educ Health Prof. 2018 Winter;38(1):32-40. (PMID: 29329147)
J Surg Educ. 2013 Jul-Aug;70(4):475-86. (PMID: 23725935)
Med Teach. 2007 Sep;29(7):642-7. (PMID: 18236250)
Can Med Educ J. 2023 Mar 21;14(1):41-45. (PMID: 36998502)
Med Teach. 2014 Nov;36(11):997-1004. (PMID: 24804910)
Med Educ. 2011 Aug;45(8):843-8. (PMID: 21752081)
Perspect Med Educ. 2020 Feb;9(1):66-70. (PMID: 31848999)
Med Teach. 2021 Jan;43(1):58-67. (PMID: 33054524)
Med Teach. 2011;33(9):744-9. (PMID: 21854151)
Med Educ. 2008 Oct;42(10):1007-13. (PMID: 18823520)
J Appl Psychol. 2004 Jun;89(3):575-81. (PMID: 15161414)
Med Teach. 2006 Nov;28(7):e185-91. (PMID: 17594544)
Med Teach. 2010;32(2):141-7. (PMID: 20163230)
Contributed Indexing: Keywords: formative assessment; multisource feedback; professional identity formation; residency training; workplace-based assessment
Local Abstract: [Publisher, German] Multisource Feedback (MSF) ist ein Bewertungsformat in der medizinischen Aus- und Weiterbildung. Es liefert individuelles Feedback auf Grundlage mehrerer Bewertungen, das dann in einem Feedbackgespräch zwischen der Supervisionsperson und der Person in Weiterbildung zur Entwicklung von Lernzielen verwendet werden kann. Wir haben diese Studie durchgeführt, um zu untersuchen, wie Weiterzubildende und Supervisionspersonen die Lernziele festlegen und worauf sich diese Lernziele beziehen. [Publisher, German] Die Studie umfasste 75 MSF-Datensätze, die pro Person in Weiterbildung aus 12 bis 15 externen Bewertungen und einer Selbstbewertung bestanden. Die Daten umfassten insgesamt 1015 externe Bewertungen und 75 Selbstbewertungen. Da zehn Datensätze keine Lernziele enthielten, konnten nur 65 MSF-Datensätze analysiert werden. Die Datensätze enthielten schriftliches MSF-Feedback, einschliesslich skalenbasierter Bewertungen und narrativer Kommentare sowie strukturierte Protokolle der Feedbackgespräche mit den daraus resultierenden Lernzielen, die nach Themen sortiert wurden. Wir verwendeten multiple lineare Regressionen, um die Zusammenhänge zwischen Feedbackdaten, Gesprächsthemen und Lernzielen zu ermitteln. [Publisher, German] Themen wurden in den Feedbackgesprächen eher als Stärken diskutiert, wenn die skalenbasierten Bewertungen hoch waren und es viele positive Kommentare zu einem Item gab. Themen wurden eher als Bereiche zur Verbesserung diskutiert, wenn die Anzahl der negativen Kommentare hoch war. Themen mit vielen (positiven und negativen) Kommentaren und Themen, die als verbesserungswürdig diskutiert wurden, führten eher zu Lernzielen. Wir fanden eine Reihe von Lernzielen, die über die Kompetenzen des MSF-Fragebogens hinausgehen und im Zusammenhang mit der Entwicklung der professionellen Identität gesehen werden können. [Publisher, German] Da das Feedback und die Lernziele über die im MSF-Fragebogen aufgelisteten Kompetenzen hinausgingen, scheint es uns notwendig, diese umfassenderen Themen, die die Entwicklung der Weiterzubildenden betreffen, anzusprechen. Daher empfehlen wir Supervisionspersonen und Weiterzubildenden, Aspekte der Entwicklung der professionellen Identität wie Karrierepläne, Engagement in der Forschung oder persönliche Haltungen ausdrücklich in regelmässige Bewertungen und Feedbackgespräche einzubeziehen. Auf diese Weise könnte MSF ein geeignetes Instrument sein, um die Entwicklung der professionellen Identität zu unterstützen.
Entry Date(s): Date Created: 20251201 Date Completed: 20251201 Latest Revision: 20251203
Update Code: 20251203
PubMed Central ID: PMC12661491
DOI: 10.3205/zma001791
PMID: 41321804
Database: MEDLINE
Be the first to leave a comment!
You must be logged in first