Schulung der Feinmotorik in der gemischten Realität
Das Team des Projekts GreifbAR entwickelte zwei Mixed Reality (MR)-basierte Simulatoren, die feinmotorische Fähigkeiten im medizinischen Bereich schulen: Ein Lernsystem für Medizinstudierende trainiert das Knüpfen chirurgischer Knoten. Mithilfe des anderen Systems lernen angehende operationstechnische Assistentinnen und Assistenten das Anreichen, Reinigen und Arrangieren chirurgischer Instrumente.
Im chirurgischen Umfeld verlaufen Ausbildung und Training bislang analog: Die Formate vermitteln zwar unabdingbares implizites und taktiles Wissen, sind jedoch zeit- und personalintensiv. Nutzende digitaler Lernmethoden übernehmen lediglich eine passive Beobachtungsrolle. Ein Mixed-Reality-basiertes Trainingskonzept vereint die Vorteile beider Ansätze und ermöglicht ein automatisiertes und individuelles Feedback über den Lernerfolg. Dieser Ansatz verbessert Qualität und Effektivität der Ausbildung in Gesundheitsberufen.
Um die Anforderungen an die Lernsysteme sowie deren Inhalte und Instruktionen zu erfassen und zu verstehen, befragte das Forschungsteam zunächst Chirurginnen und Chirurgen sowie Ausbildende nach den zu trainierenden Fähigkeiten. Im nächsten Schritt erfasste und analysierte es Handbewegungen von Fachpersonal mithilfe eines volumetrischen Videoverfahrens. So sehen die Lernenden in der MR-Simulation die Bewegungen des Fachpersonals und vollziehen diese nach.
Bislang waren MR-Anwendungen nicht zur Vermittlung komplexer motorischer Fähigkeiten geeignet, da das räumliche Tracking von Händen und Hand-Objekt-Interaktionen zu ungenau war. Die Forschenden entwickelten die bestehenden Systeme aber so weiter, dass sie nun ein sehr genaues Hand- und Objekttracking ermöglichen. Auf diese Weise werden Handbewegungen zusammen mit den Bewegungen der Objekte räumlich und in Echtzeit erfasst. Dies ermöglicht eine vergleichsweise objektive und somit hochwertigere Leistungsbewertung.
Das Forschungsteam überführt die Anwendungen im nächsten Schritt in konkrete Trainings- und Lehrmodule und integriert sie in die Curricula der klinischen Ausbildung an der Charité. Die Anwendungen ersetzen nicht etwa das konventionelle, analoge Training, sondern erhöhen den Kenntnisstand der Lernenden so weit, dass sie effektiver in das fortgeschrittene Training mit chirurgischem Fachpersonal einsteigen können.
Projektsteckbrief
Projekt-Website DFKI
Projekt-Website Charité
Projekt-Website Uni Passau