Die weltweit größte Virtual-Reality-Konferenz ,IEEE VR‘ hat eine Forschergruppe aus Augsburg und dem neuseeländischen Auckland (Neuseeland) für die Entwicklung eines Software-Verbundsystems ausgezeichnet. Dieser Prototyp ermöglicht es, jammende Musiker an verschiedenen Orten, in Echtzeit zu verbinden. Für die Weiterentwicklung ist das internationale Team, darunter Forschende vom Lehrstuhl für Menschenzentrierte Künstliche Intelligenz der Universität Augsburg, nun auf der Suche nach Probanden.
 

Wenn Musiker zwanglos zusammenkommen, aus dem Stegreif ein paar Akkorde spielen und improvisieren, dann hat das bislang nur reibungslos funktioniert, wenn sich alle am gleichen Ort befanden. „Die Pandemie hat mich und viele andere Musiker voneinander getrennt. Verfügbare Software wie Videokonferenz-Tools sind oft latenzbehaftet, also mit erheblicher zeitlicher Verzögerung, oder geben einem nicht das Gefühl, wirklich in der Nähe eines Menschen zu sein“, sagt Projektinitiator Ruben Schlagowski, wissenschaftlicher Mitarbeiter am Lehrstuhl für Menschzentrierte Künstliche Intelligenz. Sein Ziel lautete deshalb: Ein System zu entwickeln, das Musikern das Gefühl wirklicher Verbundenheit gibt, bis hin zu dem Eindruck, im selben Raum zu musizieren.

Gemischte Realität verbindet natürliche und künstliche Wahrnehmung

Um diesen Anforderungen zu entsprechen, entschieden sich die Forscher, die Möglichkeiten der sogenannten ,Gemischten Realität‘, besser bekannt als ,Mixed Reality‘ (MR) zu nutzen. Die MR vermischt die natürliche Wahrnehmung eines Nutzers mit einer künstlich erzeugten. „Bevor wir einen darauf basierenden Prototyp entwickeln haben, wollten wir erfahren, was sich unsere Zielgruppe von einem System wünscht“, sagt Ruben Schlagowski. Im Vorfeld führte das Forscherteam eine Fokusgruppenstudie durch, die vom Lehrstuhl für Menschzentrierte Künstliche Intelligenz unter der Leitung von Prof. Elisabeth André organisiert und von Forschern vom Empathic Computing Labs in Auckland unter der Leitung von Prof. Mark Billinghurst unterstützt wurde.

Die Forschergruppe bekam unter anderem von Prof. Dr. Susanne Metzner vom Leopold-Mozart-Zentrum Unterstützung. Sie half bei der Akquise von Studienteilnehmern. Die ausgesuchten Musiker – eine Gruppe aus Professionellen und Amateuren – halfen dabei, einen Anforderungskatalog an ein neues System zu erstellen. Während sie mit einem bereits existierenden browserbasierten Online-Jamming-Tool miteinander musizierten, wurden sie in Online-Interviews befragt: Was stört Sie? Welche Elemente fehlen, damit das gemeinsame Musizieren sich so echt wie möglich anfühlt? Ruben Schlagowski sagt: „Das größte Problem war die zeitliche Verzögerung, die das Musizieren erschwert. Zusätzlich wünschten sich die Teilnehmer ein haptisches und visuelles Element.“

Hologramme werden Wirklichkeit

Die Ergebnisse der Studie flossen in einen Prototyp, der sowohl das Problem der Latenz als auch den Wunsch nach haptischer und visueller Wahrnehmung anging. Das dazu verfasste Kurzpapier wurde von der international renommierten Konferenz ,IEEE VR‘ zu den besten vier unter 181 gewählt. Nun wird am Software-Verbundsystem in einer Laborstudie weiter geforscht. An der Universität Augsburg gibt es derzeit zwei benachbarte Labore, in den Musiker das System testen können. Der Clou: Mit speziellen VR-Headsets ausgestattet, werden Hologramme eines Musikers in Echtzeit in die Nutzerumgebung des Mitmusikers projiziert (Stichwort: Augmented Reality, AR). Nicht nur der Mensch wird in den Raum reinteleportiert, sondern auch sein Instrument. „Das Audiosignal wird in Echtzeit übertragen“, erklärt Schlagowski und ergänzt „beim Hologramm hingegen gibt es eine spürbare zeitliche Verzögerung, allerdings in keinem relevanten Umfang.“

Zur Studie reisten bereits Musiker aus ganz Süddeutschland an und nutzten verschiedene Musikinstrumente wie Schlagzeuge, Akkordeons, Geigen, Ukulelen und Gitarren. Aktuell sucht das Forscherteam nach weiteren Probanden – egal ob Profi oder Amateur –, die Lust haben, miteinander zu spielen und damit zur Forschung beizutragen. Es gibt auch eine Aufwandsentschädigung. Bei Interesse zur Studienteilnahme:  dariia.nazarenko@student.uni-augsburg.de