Wir gratulieren unserem Doktoranden Lukas Stappen. Lukas und seine Co-Autoren gewannen den “best Paper Award” der  MMSP 2019, dem IEEE 21st International Workshop on Multimedia Signal Processing.

Lukas präsentierte seine preisgekrönte Arbeit am 27. September in Kuala Lumpur, Malaysia. Unter dem Titel "From Speech to Facial Activity: Towards Cross-modal Sequence-to-Sequence Attention Networks” untersuchte das Paper geeignete Neuronale Netzwerkarchitekturen zur Vorhersage von Facial Action Units (FAU, engl. Für Gesichtsbewegungs-Kodierungssystem) - spezifische kodierte Gesichtsbewegungen beim Menschen - rein aus der Sprache.

Potenzielle Anwendungen solcher Ansätze finden sich in der automatischen Emotionserkennung aus Videodaten in realen Umgebungen. Hier liefern Gesichtsmuskelbewegungen wertvolle Informationen, aus denen deep learning Algorithmen die Gedanken und Gefühle eines Individuums ableiten können. Die Qualität der Erkennung verschlechtert sich deutlich, wenn das Gesicht teilweise verdeckt, verschattet oder ungünstig zur Kamera ausgerichtet ist.

Wenn jedoch die Beziehungen zwischen den Modalitäten bekannt sind, könnte ein cross-modaler Algorithmus verwendet werden, um die fehlenden Informationen zu prognostizieren und damit die Vorhersagequalität zu verbessern. Diese Idee greifen Lukas und seine Co-Autoren auf und entwarfen cross-modale neuronale Netze, die - gemittelt über 8 verschiedene FAUs - einen Unweighted Average Recall (ein Indikator für die Leistungsfähigkeit des Algorithmus) von 65,3% erzielten. Der Preis wurde vom Global Artificial Intelligence Network (GAIN) gesponsert.