Thomas Kiderle M.Sc.
Forschungsinteressen
- Analyse und Synthese von nonverbalem Verhalten
- Computational Humor
- Deep Learning
- Virtuelle Charaktere
LINKS
Projekte
Offene Themen für Abschlussarbeiten und Projektmodule
Die folgenden Themen betreue ich gerne im Rahmen einer Bachelorarbeit, Masterarbeit oder eines Projektmoduls. Der inhaltliche Schwerpunkt kann dabei flexibel angepasst werden, sodass Interessen und Kompetenzen der Studierenden optimal abgedeckt werden.
Darüber hinaus freue ich mich jederzeit über eigene Themenvorschläge, sofern sie eine gewisse Überschneidung mit meinen Forschungsschwerpunkten aufweisen.
Virtueller Zuhörer durch Bewegungssynthese
In diesem Projekt soll ein fotorealistischer virtueller Charakter lernen, wie er einem Sprecher in Echtzeit aufmerksam zuhört und richtig auf den Sprecher reagiert. Dies kann beispielsweise nonverbales Verhalten wie Backchanneling (z.B. Nicken, Lächeln), aber auch die passende Mimik oder Gestik zum aktuellen Kontext umfassen. Zur Visualisierung wird Meta-Human benutzt (Epic Games), für das Machine-Learning State-of-the-Art Methoden aus der Literatur. Das Endergebnis ist eine Live-Pipeline, in welcher der Benutzer eine Geschichte erzählt und die virtuelle Figur in der Zwischenzeit das gelernte Zuhörerverhalten anwendet.
Virtueller Sprecher durch Bewegungssynthese
In diesem Projekt soll ein fotorealistischer virtueller Charakter lernen, wie er beim Sprechen das richtige nonverbale Verhalten zeigt. Da dieses Verhalten manchmal vom Kontext abhängt (z.B. emotional vs. nicht emotional), kann die Mimik oder Gestik für die aktuelle Sprachsequenz variieren. Zur Visualisierung wird Meta-Human benutzt (Epic Games), für das Machine-Learning State-of-the-Art Methoden aus der Literatur. Das Endergebnis ist eine Live-Pipeline, in welcher der virtuelle Charakter eine Geschichte zusammen mit dem gelernten nonverbalen Verhalten vorträgt.
Diskussion mit einem virtuellen Charakter
In diesem Projekt soll eine Pipeline erstellt werden, in welcher ein Nutzer mit einem photorealistischen Charakter ein Gespräch führen kann. Der Charakter soll dabei möglichst passende Antworten geben (z.B. LLM) und mit synchronen Lippenbewegungen sprechen. Die meisten Tools dafür existieren bereits am Lehrstuhl und müssen lediglich zusammengebaut werden. Ein Hauptfokus wird darauf liegen, ein bereits existierendes TTS-System zur Generierung von Lippenbewegungen und Audio einzusetzen.