AI-based Feedback for Medical Studies
Virtuelle Patienten (VPs) verbessern das Blended Learning in der medizinischen Ausbildung. Im Rahmen dieses Projekts werden zwei Feedback-Tools getestet: eine auf NLP basierende Zusammenfassungsanalyse und Dashboards zur Lernanalyse.
Fiche signalétique
- Départements participants Technique et informatique
- Institut(s) Institute for Data Applications and Security (IDAS)
- Unité(s) de recherche IDAS / Applied Machine Intelligence
- Champ thématique stratégique Champ thématique "Transformation numérique centrée sur l'humain"
- Organisation d'encouragement Autres
- Durée (prévue) 01.01.2025 - 31.12.2025
- Direction du projet Prof. Dr. Jürgen Vogel
-
Équipe du projet
Prof. Dr. Jürgen Vogel
Catherine Ikae -
Partenaire
Universität Bern
BeLEARN
Inselspital Bern - Mots-clés Virtual Patients, Medial Studies, Blended Learning, AI, Machine Learning, Text Analysis, NLP, Learning Analytics
Situation
Online-Lerntools sind in der medizinischen Ausbildung weit verbreitet, insbesondere seit der Covid-Pandemie. Ein beliebtes Tool sind „Virtual Patients“ (VPs). Dabei handelt es sich um interaktive Fallbeispiele, in denen Studierende Entscheidungen treffen, wie es ein echter Arzt tun würde. An der Medizinischen Fakultät Bern nutzen alle Medizinstudierenden VPs, beispielsweise in der Notfallmedizin. Moderne Technologie ermöglicht es, zu verfolgen, wie Studierende mit diesen Tools interagieren. Während der VP-Sitzungen beantworten sie Fragen zur Anamnese, zur körperlichen Untersuchung, zu möglichen Diagnosen und zu Behandlungen. Ihre Antworten können aufgezeichnet und später mithilfe von Learning Analytics (LA) analysiert werden, das nach Mustern im Lernverhalten sucht. Außerhalb der Medizin wird LA häufig eingesetzt, um das Engagement der Studierenden in Online-Kursen zu überwachen, in der Ausbildung ist dies jedoch noch selten. Von Studierenden verfasste Freitext-Zusammenfassungen sind ebenfalls nützlich, da sie zeigen, wie gut ein Studierender die Probleme des Patienten versteht und strukturiert – ein Schlüsselelement für gutes klinisches Denken. Während VPs i. A. gut angenommen werden, ist das Feedback ein Bereich, der verbesserungsbedürftig ist. Derzeit erhalten Studierende keinen klaren Überblick über ihre Leistung oder darüber, wie sie im Vergleich zu ihren Kommilitonen abschneiden. Beim Verfassen von Zusammenfassungen sehen sie nur die Antwort eines Experten.
Approche
Wir werden einen Datensatz aus „Virtual Patient“-Fällen (VP) erstellen, die von Medizinstudierenden an der Universität Bern verwendet werden und verschiedene Notfallszenarien abdecken. Zur Analyse der narrativen Zusammenfassungen der Studierenden werden wir NLP-Methoden anwenden und die Texte nach dem SBAR-Schema (Situation, Hintergrund, Beurteilung, Empfehlung) annotieren. Unser Ziel ist es, Modelle zur Merkmalsextraktion und Klassifizierung zu entwerfen, diese zu evaluieren und die Ergebnisse zu visualisieren, um Lernende und Lehrende zu unterstützen. Ein zweiter Prototyp wird Lernanalysen aller VP-Interaktionen anzeigen. Beide Tools werden in Fokusgruppen getestet, um ihre Nützlichkeit für das Feedback zu bewerten.
Résultat
Virtuelle Patienten (VPs) finden in der medizinischen Ausbildung breite Anwendung, doch das Feedback könnte verbessert werden. Wir entwickeln zwei Prototypen für den Blended-Learning-Unterricht: Der eine nutzt NLP, um die zusammenfassenden Berichte der Studierenden zu bewerten und zu visualisieren, der andere zeigt Lernanalysen aller Interaktionen und Antworten der virtuellen Patienten an. Sowohl Studierende als auch Lehrende werden an Fokusgruppen teilnehmen, um zu bewerten, wie hilfreich diese Feedback-Tools sind, wenn sie in medizinische Lehrveranstaltungen integriert werden.
Perspectives
Wir stellen uns vor, dass die Studierenden über ein Dashboard, das alle Daten der Lernanalyse visualisiert, interaktives Feedback erhalten. Darüber hinaus erhalten sie eine individuelle Bewertung ihrer zusammenfassenden Darstellung des jeweiligen Fallbeispiels. Auf diese Weise können die Studierenden besser erkennen, wo ihre Stärken und Schwächen liegen, was die Lernerfahrung insgesamt verbessert und die Lerngeschwindigkeit erhöht. Die Lehrkräfte werden die Ergebnisse des Dashboards nutzen, bevor sie eine synchrone Sitzung moderieren, nachdem die Studierenden die VPs durchgearbeitet haben. So können die Lehrkräfte vor der Sitzung Einblicke in die Leistungen der Studierenden innerhalb der VPs gewinnen, um sich während der synchronen Sitzung auf die Schwächen der Studierenden zu konzentrieren und den Studierenden zudem individuelles Feedback zu geben, da sie besser informiert sind.
