Die Forschenden des Projekts GreifbAR zeigten auf der XR Expo 2024 in Stuttgart, wie Mixed Reality (MR) die feinmotorischen Fähigkeiten im medizinischen Bereich schulen könnte. Dr. Robert Luzsa, wissenschaftlicher Mitarbeiter am Lehrstuhl für Psychologie mit Schwerpunkt Mensch-Maschine-Interaktion der Universität Passau, erklärt die Hintergründe.
Herr Dr. Luzsa, was verbirgt sich hinter dem Projekt GreifbAR?
Wir sind ein Forschungsprojekt der Charité in Berlin, der Universität Passau, wo wir als Psychologinnen und Psychologen für die Evaluation zuständig sind, des Deutschen Forschungszentrums für künstliche Intelligenz und der Agentur NMY, die sich um die technische Umsetzung kümmert. Wir haben zwei Mixed Reality (MR)-basierte Simulatoren entwickelt, die feinmotorische Fähigkeiten im medizinischen Bereich schulen.
Das Erste ist ein Lernsystem für Medizinstudierende?
Genau, mit ihm können angehende Chirurginnen und Chirurgen das Knüpfen chirurgischer Knoten trainieren. Hierfür haben wir die entsprechenden chirurgischen Handbewegungen mithilfe eines volumetrischen Videoverfahrens erfasst. Ebenso haben wir eine Knotenbank, die zu verknotendes Gewebe simuliert, entwickelt. Die Lernenden sehen in der MR-Simulation virtuelle Hände einer Chirurgin beziehungsweise eines Chirurgen, die einen Knoten vormachen. Die Simulation stoppt immer an bestimmten Schlüsselpositionen, die wir zu Beginn in Arbeitsanalysen identifiziert haben. Während die Lernenden die Bewegungen nachmachen, erkennt das System, ob sie die richtige Pose eingenommen haben, also ob Finger- und Fadenpositionen korrekt sind. Bei jedem Schritt gibt das System individuelles Feedback und zeigt anhand von Pfeilen an, in welche Richtung welcher Finger oder Faden bewegt werden sollte.
Wie lernen die Studierenden das denn zurzeit?
Wir wissen aus Befragungen, dass Studierende das Knotenknüpfen aktuell oft sehr unsystematisch lernen. Präsenzseminare vermitteln zwar unabdingbares Handlungswissen, sind jedoch zeit- und personalintensiv. Meistens versuchen Studierende, mit YouTube-Videos zu lernen. Dabei übernehmen sie aber lediglich eine passive Beobachtungsrolle, bei der natürlich das Feedback fehlt. Ein Mixed-Reality-basiertes Trainingskonzept vereint die Vorteile beider Ansätze.
Was war bei dessen Entwicklung die größte Herausforderung?
Bislang waren MR-Anwendungen nicht zur Vermittlung komplexer motorischer Fähigkeiten geeignet, da das räumliche Tracking von Händen und Hand-Objekt-Interaktionen zu ungenau war. Deshalb haben wir die bestehenden Systeme so weiterentwickelt, dass sie nun ein sehr genaues Hand- und Objekttracking ermöglichen. Sie erfassen Handbewegungen zusammen mit den Bewegungen der Objekte räumlich und in Echtzeit. Dies ermöglicht eine vergleichsweise objektive und somit hochwertigere Leistungsbewertung.
Haben Sie das Verfahren bereits getestet?
Ja, wir haben in einer Online-Studie drei Varianten des Lernsystems darauf untersucht, ob sie verständlich und gebrauchstauglich sind, um die am besten bewertete Variante weiterzuentwickeln. Diese Variante enthält Feedback in Form von Pfeilen aber auch Einfärbungen der Hände der Lernenden, etwa bei falschen Bewegungen. Das weiterentwickelte System werden wir mit verschiedenen Stakeholdern, das heißt sowohl Expertinnen und Experten als auch Studierenden, testen und validieren, um sicherzustellen, dass es lernförderlich ist und akzeptiert wird.
Das zweite System richtet sich an angehende operationstechnische Assistentinnen und Assistenten.
Richtig, sogenannte OTAs. Wir haben im Vorfeld ermittelt, dass angehende OTAs etwa 400 verschiedene Instrumente kennen müssen. Sie lernen aber nicht nur die Bestandteile, Unterschiede und Gefahrenpunkte. Sie müssen zudem wissen, welche Instrumente bei welcher Operation gebraucht werden, wie sie genau auf dem Instrumententisch angeordnet sein müssen und wie sie der operierenden Person angereicht werden sollten.
Auch dieses Training erfolgt zurzeit noch analog?
Ja, in den OTA-Schulen stellen die Lehrenden die Instrumente vor und informieren mündlich darüber. Wenn eine ausreichende Menge an Instrumenten verfügbar ist, dann können die Lernenden sie auch selbst mal in die Hand nehmen. Details lesen sie dann in Lehrbüchern oder Präsentationen nach. Unter didaktischen Gesichtspunkten ist gerade Letzteres nicht optimal, wenn die Aufmerksamkeit immer zwischen Objekt und Lernmaterialien hin- und herwandert.
Was macht ihr System anders?
Unsere MR-Applikation trainiert in den drei Modi „Identifikation“, „Anordnung“ und „Anreichen“. Im ersten Level können die OTAs die Instrumente anschauen und entdecken. Direkt am Objekt zeigen wir Basis-Angaben und weitere Informationen an. Hier beantworten wir Fragen wie: Für welche Operation ist es geeignet? Zu welcher Kategorie von Instrumenten gehört es? Was kann es? Im zweiten Level zeigen wir einen Instrumententisch, auf dem die Instrumente an korrekter Position abgelegt werden müssen. Im dritten Level soll dann auch eine virtuelle Hand einer Chirurgin oder eines Chirurgen gezeigt werden, die eine auffordernde Geste macht. Dieser Hand müssen die Lernenden das richtige Instrument im richtigen Neigungswinkel anreichen. Dabei gibt es individualisiertes Feedback. Auch dieses System werden wir im Projekt noch mit Lernenden evaluieren.
Trainieren die OTAs mit virtuellen Instrumenten?
Nein, wir arbeiten mit den tatsächlichen Instrumenten, auf denen aktuell Marker zur Identifikation durch die MR-Applikation angebracht sind. Das DFKI arbeitet an einem Algorithmus zur Bilderkennung, der die Objekte anhand ihrer Form erkennt, und der die Marker überflüssig machen soll. Da sich die Instrumente sehr ähneln, ist das Training des Algorithmus eine echte Herausforderung. Auch schwierig ist die Kantenerkennung aufgrund der abgerundeten Formen und des spiegelnden metallischen Materials.
Wie lautet Ihr Fazit?
Gemischte Realität kann durch individuelles Feedback Qualität und Effektivität der medizinischen Ausbildung verbessern!
Projektsteckbrief
Ergebnissteckbrief
Projekt-Website DFKI
Projekt-Website Charité
Projekt-Website Uni Passau
Das Interview wurde im April 2024 geführt.