Frau Dr. Elisabeth Peinsipp-Byma vom Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung ist Projektleiterin bei "KonsensOP". Die Vision hinter dem Projekt: Ein intelligenter Assistent unterstützt den Arzt im Operationssaal.
Die Digitalisierung ist in der Medizin angekommen und bietet enorme Möglichkeiten, die Gesundheitsversorgung der Bevölkerung zu verbessern und das Gesundheitspersonal bei ihrer täglichen Arbeit zu entlasten. Ein gelungenes Beispiel dafür ist das Projekt "KonsensOP", vom dem Dr. Elisabeth Peinsipp-Byma im Interview erzählt. Das Interview wurde im September 2019 geführt.
Die Anfangsidee von KonsensOP war ein intelligenter Assistent im Operationssaal, der abhängig vom Stand der Operation und abhängig von der Emotion und Beanspruchung des OP-Teams das jeweilige Teammitglied unterstützt. Da ich aus dem Bereich der angewandten Forschung komme, war für mich die größte Errungenschaft, dass wir Forscher basierend auf dieser Idee zusammen mit den Ärzten des Universitätsklinikums Mannheim ein konkretes Assistenzsystem erarbeiten und zu großen Teilen auch umsetzen konnten. Es unterstützt das OP-Team, indem es während der OP bei Bedarf sofort die erforderlichen Informationen bereitstellt. KonsensOP war ein Grundlagenforschungsprojekt. Die Idee dahinter hat sich als so gut erwiesen, dass eine Übertragung in die angewandte Forschung und später auch in einen echten OP durchaus denkbar ist. Das werte ich als großen Erfolg.
Es waren das Fraunhofer Institut für Optronik, Systemtechnik und Bildauswertung (IOSB), das Karlsruher Institut für Technologie (KIT) und die Universitätsklinik Mannheim am Projekt beteiligt. Die Universitätsklinik hatte die medizinische Leitung. Das KIT entwickelte ein Tool, um den geplanten Workflow zu modellieren und auch die Methoden für den Abgleich mit dem, was tatsächlich im OP passiert. Um das Geschehen im OP zu erfassen, haben alle Partner verschiedene Sensoren verbaut, die die Menschen im OP erfassen. Das sind unter anderem seine Bewegungen, seine Vitalfunktionen oder auch sein Blick. Die Sensorik dient dazu, um zu erkennen, wo jemand steht, was er tut und wie seine Beanspruchung bzw. Emotion ist. Die Auswertung der Sensorik erfolgte durch das KIT und das IOSB. Das Informationssystem, welches bei Bedarf passend zum aktuellen Stand des Workflows Texte, Bilder und Videos anbietet, wurde vom IOSB entwickelt. Das Design wurde zusammen mit der Universitätsklink Mannheim erarbeitet und die Inhalte dafür haben ebenfalls die Mediziner geliefert.
Beim Thema Emotionserkennung haben sich KIT und das IOSB beteiligt. Wir haben dafür Vitalmesssensoren eingesetzt. Aber auch die Blickbewegung, der Durchmesser der Pupille und wie sich Menschen bewegen wurde ausgewertet, um etwas über die Emotionen des Operateurs zu erfahren. Ergänzend zu den Emotionen wurde seine Beanspruchung betrachtet.
Das System bietet immer zum aktuellen Arbeitsschritt der Operation auf einem Großbildschirm die relevante Information an. Es gibt eine Gestenerkennung, bei der man bei Bedarf durch die Informationen wie in einem Buch durch Seiten durchblättern kann. Das Ganze ist also sehr intuitiv und für das OP-Team leicht zu bedienen. Wenn der Arbeitsablauf vom geplanten Ablauf abweicht, gibt das System eine Information heraus.
Die Informationen werden nicht nur auf dem Bildschirm angezeigt, sondern auch in einem Head-up-Display. Der Operateur trägt dafür eine Augmented-Reality-Brille. Zudem kann ihm in der Brille angezeigt werden, ob die normale Länge einer Arbeitsphase überschritten wird. Der Assistent gibt damit dem Arzt einen diskreten Hinweis zur aktuellen Situation, ohne dass das ganze OP-Team es lesen kann und somit der Stress noch erhöht wird.
Leider ist deren Qualität heute noch nicht gut genug zur Darstellung der erforderlichen Informationen. Wir gehen aber davon aus, dass die Weiterentwicklung der Technik diese Möglichkeit zukünftig bieten wird.
Die Idee war, das OP-Team abhängig von seiner Beanspruchung bzw. Emotion zu unterstützen. Hier konnten wir in Experimenten Tendenzen bezüglich der Reaktion auf stressige Situationen erkennen, aber keine signifikanten Ergebnisse feststellen. Hier wären weiterführende Untersuchungen notwendig, um eine klare Aussage zu erhalten.
Nein. Es gibt keine Speicherung der Daten im System. Ein Expertengremium unter Leitung des KIT hat sich in enger Zusammenarbeit mit dem Universitätsklinikum Mannheim um die Bereiche Datenschutz und die ethischen und sozialen Aspekte gekümmert. Am IOSB hat sich eine Arbeitsgruppe mit der technischen Umsetzung des Datenschutzes befasst.
Ja, auf jeden Fall. Das Thema Datenschutz ist von Anfang an im Projekt immer wieder aufgetaucht, da wir Mediziner bei ihrer Arbeit erfassen wollten. Dabei hat sich herausgestellt, dass es auch wichtig ist, bereits bei der Datenerfassung für Experimente eine klare Vorgehensweise zur Einhaltung des Datenschutzes zu haben. Dieses Wissen ist auch im Rahmen des BMBF-Projekts GUIDE in die „Leitlinien für den Datenschutz in der wissenschaftlichen Forschung der Mensch-Technik-Interaktion“ eingeflossen.
Der Assistent wird händisch mit allen Daten befüllt, die für eine bestimmte Operation gebraucht werden. Eine Vision wäre natürlich, dass wir irgendwann die Arbeitsschritte automatisch erfassen und analysieren können und dass diese Informationen dann auch automatisch in die Assistenz integriert werden, ohne dass jemand die Daten von Hand nachpflegen muss. Damit könnte das System viel schneller in einem breiten Bereich angewendet werden. Aber das ist ein Wunsch für ein Nachfolgeprojekt.
Ja selbstverständlich! Wie arbeiten im medizinischen Bereich weiter an Assistenzsystemen und es wäre ein großer Wunsch, auch bei KonsensOP weiterzumachen.
Das System müsste hierfür zuerst in einem entsprechenden realen Umfeld umgesetzt und erprobt werden. Bisher wurden alle Methoden nur in einem Experimentalumfeld erprobt, wo sie sich als durchaus brauchbar erwiesen haben. Aber wie sich die Methoden im Realumfeld bewähren wissen wir erst, wenn wir sie in dieses Umfeld bringen. Dieser nächste Schritt ist deshalb besonders spannend!