Natürliche Gespräche im digitalen Raum ermöglichen
Die Pandemie hat die Schwächen der Online-Kommunikation deutlich gemacht: Zwischenmenschliche Aspekte gehen verloren und die kognitive Belastung ist erhöht. Augmented Reality (AR)-Telepräsenzsysteme können bei wichtigen zwischenmenschlichen Aspekten Abhilfe schaffen, indem sie etwa räumliches Hören, räumliche Darstellung und realitätsnahe Avatare einbinden. Mimik, Gestik und das akustische Erlebnis spielen hierbei eine besondere Rolle.
Die Forschenden im Projekt MULTIPARTIES entwickeln neue Algorithmen, die eine realitätsnahe Wiedergabe von Audiosignalen ermöglichen. Dabei werden individuelle Raumcharakteristiken berücksichtigt. Dazu gehören auch praxistaugliche Technologien zur Erfassung und Wiedergabe individueller Mimik und Gestik, um Avatare besonders realitätsnah und ausdrucksstark gestalten zu können. Im Projekt wird ein „Software Development Kit“ (SDK) entworfen, also notwendige Programmierungswerkzeuge, um die Software auf verschiedenen Hardware-Plattformen einsetzen zu können – z. B. auf Tablets, Smartphones oder mit AR-Brille. Das Ziel ist es, eine universell einsetzbare und wiederverwendbare Softwarebasis für eine natürliche Gesprächsführung zu entwickeln.
Das lebensnahe Erlebnis von Kommunikation in der erweiterten Realität wird durch eine realistische Akustik und Gestik verstärkt. Das SDK kann in verschiedenen Kommunikationsplattformen (z. B. Videotelefonie) und Anwendungen (z. B. virtuelle Sprechstunde) direkt gewinnbringend eingesetzt werden.