GreifbAR

Schulung der Feinmotorik in der gemischten Realität

VR macht Chirurgie greifbar.
Gemischte Realitäten unterstützen das Training der Feinmotorik im Bereich der Chirurgie. ©Adobe Stock/RioPatuca Images

Motivation

Die Genauigkeit und Geschicklichkeit der Hand ist für präzise Aufgaben in vielen Bereichen von größter Bedeutung. Bislang sind Anwendungen der gemischten Realität zur Vermittlung von komplexen motorischen Fähigkeiten nicht geeignet. Die verwendeten Ansätze zur Bestimmung der Lage der Hände und in der Hand gehaltener Objekte im Raum sind dafür zu ungenau. Daher werden im Projekt GreifbAR Methoden entwickelt, die weit präziser sind als bisherige Ansätze

Ziele und Vorgehen

Das Ziel des Verbundprojekts ist die Entwicklung eines intelligenten Lernsystems für die gemischte Realität, das Nutzenden die Möglichkeit gibt, präzise motorische Fähigkeiten mit Hilfe eines Simulators zu schulen. Als Anwendungsbereiche sind etwa das Erlernen komplexer Griffe bei Werkzeugen oder das Anfertigen von chirurgischen Knoten vorgesehen. Dazu werden neue Methoden im Bereich der Interaktion zwischen Händen und Objekten erforscht. Sie basieren auf der Auswertung von Videoaufnahmen durch künstliche Intelligenz und ermöglichen erstmalig Feinmanipulationen von Objekten in der gemischten Realität. Dadurch werden Interaktionen als realistischer wahrgenommen, was den Lernerfolg erhöht.

Innovationen und Perspektiven

Die neuartigen Trainingssimulatoren erhöhen zunächst in den beiden Anwendungsbereichen die Qualität der Ausbildung, senken Ausbildungskosten und minimieren Risiken. Das intelligente Lernsystem ist sowohl für die Einarbeitung als auch für die kontinuierliche Schulung von Mitarbeitenden geeignet. Eine Übertragung auf weitere Einsatzfelder ist möglich.