Silvan Mertes M.Sc.
| Telefon: | +49 (821) 598 - 2342 |
| E-Mail: | silvan.mertes@informatik.uni-augsburg.de |
| Raum: | 2038 (N) |
| Adresse: | Universitätsstraße 6a, 86159 Augsburg |
Forschungsinteressen
- Generative Modelle
- Adversarial Learning
- Deep Learning
- Explainable AI (insbesondere Counterfactual Explanations)
Links
Akademische Aktivitäten
- Reviewtätigkeiten für Transactions on Affective Computing
- Reviewtätigkeiten für ACM Conference on Human Factors in Computing Systems (CHI)
- Reviewtätigkeiten für IEEE Signal Processing Magazine
-
Reviewtätigkeiten für International Conference on Multimodal Interaction (ICMI)
-
Reviewtätigkeiten für Transactions on Audio, Speech and Language Processing
-
Reviewtätigkeiten für Applied Artificial Intelligence
-
Session Chair 2nd International Conference on Deep Learning Theory and Applications (DeLTA’21)
-
Koordinator Human-Centered Production Technologies (im Rahmen des KI-Produktionsnetzwerks Augsburg)
Auszeichnungen
- International Conference on Deep Learning Theories and Applications (DeLTA 2020) - Best Paper Award Paper
- IEEE Virtual Reality (IEEEVR 2022) - Honorable Mention Paper
- Creativity & Cognition (C&C 2022) - Honorable Mention Paper
- ACII A-VB Challenge 2022 "Type" Subtask - 1st Place Paper
- ComParE Challenge 2021 "Escalation Detection" Subtask - 2nd Place Paper
Projekte
Betreute Abschlussarbeiten
- Exploring Tangible User Interfaces for Latent Space Manipulation of Generative Adversarial networks. (Bachelor, 2022, Co-Betreuung)
- Implementation of a Classification Model for Rhythmic Attunement in Music Therapy Sessions. (Bachelor, 2022, Co-Betreuung)
- Generating Counterfactual Explanations for Atari Agents via Generative Adversarial Networks. (Master, 2022, Co-Betreuung)
- Alterfactuals as a Novel Explanation Method for Image Classifiers. (Master, 2021)
- Exploring Opportunities for Musical Creativity Support in VR through Human-Computer-Interfaces and Interaction Design. (Master, 2021, Co-Betreuung)
- Reinforcement Learning Techniques as Enhancement of frame-level Speech Emotion Recognition. (Master, 2021, Co-Betreuung)
- Konträre Chatbotpersonas im internen Businessumfeld: Entwicklung und Präferenzanalyse. (Master, 2021)
- Conditional Human Image Synthesis with Generative Adversarial Networks. (Bachelor, 2020)
Offene Themen für Abschlussarbeiten und Projektmodule
Die folgenden Themen können in Umfang und Ausrichtung flexibel variiert werden, sodass die Durchführung als Bachelorarbeit, Masterarbeit oder Projektmodul möglich ist. Außerdem kann der inhaltliche Schwerpunkt selbstverständlich auf die Interessen des durchführenden Studenten ausgerichtet werden.
Darüber hinaus freue ich mich jederzeit über eigene Themenvorschläge, sofern sie eine gewisse Überschneidung mit meinem Forschungsschwerpunkt aufweisen.
Alterfactual Explanations
Alterfactual Explanations sind ein neuartiger Ansatz, künstliche Intelligenz zu erklären. Hierbei werden Eingabedaten so verändert, dass für die Entscheidung der KI irrelevante Merkmale verändert werden. Ziel dieser Arbeit ist, existierende, GAN-basierte Algorithmen zur Erzeugung von Alterfactual Explanations auf mehrere Datensätze anzuwenden und anschließend das Konzept von Alterfactuals in einer Nutzerstudie zu evaluieren.
Explainable GANs
In dieser Arbeit sollen konventionelle Techniken aus dem Bereich der erklärbaren KI auf Generative Adversarial Nets (GANs) angewandt werden. GANs sind eine Form des Deep Learning, welche darauf abzielt, neue, künstliche und täuschend echte Daten wie z.B. Bilder oder Audio zu erzeugen.
Audio Diffusion Models
Diffusion Models sind die neuester Generation generativer künstlicher Intelligenz, bekannt geworden unter anderem durch Applikationen wie "DALL-E 2" oder "Midjourney". In dieser Arbeit soll untersucht werden, ob mit Hilfe von Diffusion Models Textbeschreibungen zu Audiodaten umgewandelt werden können, so wie es im Bereich der Bildgenerierung bereits verbreitet ist.
Interaktives Lehrsystem mit Diffusion Models
Diffusion Models sind die neuester Generation generativer künstlicher Intelligenz, bekannt geworden unter anderem durch Applikationen wie "DALL-E 2" oder "Midjourney", welche hochwertige Bilder aus Textbeschreibungen generieren können. Mit Hilfe von Diffusion Models ist es außerdem möglich, Teile eines vorhandenen Bildes neu zu generieren ("Inpainting"). In dieser Arbeit soll diese Möglichkeit ausgenutzt werden, um ein interaktives Erklärsystem zu implementieren, indem Diffusion Models und Techniken aus dem Bereich XAI kombiniert werden.
Text-to-Speech mit Diffusion Models
Diffusion Models sind die neuester Generation generativer künstlicher Intelligenz, bekannt geworden unter anderem durch Applikationen wie "DALL-E 2" oder "Midjourney". In dieser Arbeit soll untersucht werden, ob mit Hilfe von Diffusion Models Text zu Audio umgewandelt werden kann, um ein hochqualitatives Text-to-Speech System zu erhalten.
Audio Counterfactual Explanations
In dieser Arbeit soll ein System entwickelt werden, das auf Basis von Latent Vector Evolution (LVE) Erklärungen für KI-Systeme für die Audio-Domäne erzeugt. LVE ist ein auf evolutionären Algorithmen basierendes Verfahren, um GANs zu durchsuchen. Mithilfe dieser Algorithmen sollen Counterfactual Explanations generiert werden. Dies bedeutet, von einer KI bewertete Audiodaten sollen so verändert werden, dass sich die Bewertung der KI ändert. Dadurch wird dem Nutzer des Systems eine „alternative Realität“ gezeigt, die ein besseres Verständnis der KI bewirken soll.
Video Style Conversion mit Diffusion Models
Diffusion Models sind die neuester Generation generativer künstlicher Intelligenz, bekannt geworden unter anderem durch Applikationen wie "DALL-E 2" oder "Midjourney". Diffusion Models können beispielsweise dazu benutzt werden, den Stil eines Bildes zu ändern (z.B. von photorealistisch zu comic-like). In dieser Arbeit soll eine bestehende Diffusion Model Architektur erweitert werden, um den Stil von Videos zu ändern.