Silvan Mertes M.Sc.
Telefon: | +49 (821) 598 - 2342 |
E-Mail: | silvan.mertes@informatik.uni-augsburg.de |
Raum: | 2038 (N) |
Adresse: | Universitätsstraße 6a, 86159 Augsburg |
Forschungsinteressen
- Deep Learning
- Adversarial Learning
- Generative Modelle
- Explainable AI (insbesondere Counterfactual Explanations)
Links
Akademische Aktivitäten
- Reviewtätigkeiten für IEEE Signal Processing Magazine
-
Reviewtätigkeiten für International Conference on Multimodal Interaction (ICMI)
-
Reviewtätigkeiten für Transactions on Affective Computing
-
Reviewtätigkeiten für Transactions on Audio, Speech and Language Processing
-
Session Chair 2nd International Conference on Deep Learning Theory and Applications (DeLTA’21)
-
Themenfeld-Koordinator Human-Centered Production Technologies (im Rahmen des KI-Produktionsnetzwerks Augsburg)
Projekte
Betreute Abschlussarbeiten
- Implementation of a Classification Model for Rhythmic Attunement in Music Therapy Sessions. (Bachelor, 2022, Co-Betreuung)
- Generating Counterfactual Explanations for Atari Agents via Generative Adversarial Networks. (Master, 2022, Co-Betreuung)
- Alterfactuals as a Novel Explanation Method for Image Classifiers. (Master, 2021)
- Exploring Opportunities for Musical Creativity Support in VR through Human-Computer-Interfaces and Interaction Design. (Master, 2021, Co-Betreuung)
- Reinforcement Learning Techniques as Enhancement of frame-level Speech Emotion Recognition. (Master, 2021, Co-Betreuung)
- Konträre Chatbotpersonas im internen Businessumfeld: Entwicklung und Präferenzanalyse. (Master, 2021)
- Conditional Human Image Synthesis with Generative Adversarial Networks. (Bachelor, 2020)
Offene Themen für Abschlussarbeiten und Projektmodule
Die folgenden Themen können in Umfang und Ausrichtung flexibel variiert werden, sodass die Durchführung als Bachelorarbeit, Masterarbeit oder Projektmodul möglich ist. Außerdem kann der inhaltliche Schwerpunkt selbstverständlich auf die Interessen des durchführenden Studenten ausgerichtet werden.
Darüber hinaus freue ich mich jederzeit über eigene Themenvorschläge, sofern sie eine gewisse Überschneidung mit meinem Forschungsschwerpunkt aufweisen.
Kombination von Counterfactual Explanations und Saliency Maps
Counterfactual Explanations für Bild-Klassifikatoren sind Erklärungen für KI-Systeme, welche die Frage beantworten, wie Eingabedaten hätten aussehen müssen, wenn die KI eine Entscheidung getroffen hätte. Hierzu werden die Eingabedaten so verändert, dass sich die Entscheidung der KI ändert. Ein verbreitetes Problem von Counterfactuals ist, dass sich oft auch Merkmale der Daten verändern, die eigentlich keinen direkten Einfluss auf ein Klassifikationsergebnis haben. Eine Möglichkeit zur Adressierung dieses Problems ist es, bei der Erzeugung von Counterfactuals sogenannte "Saliency Maps" mit in die Erzeugung der Counterfactuals einzubeziehen. Saliency Maps können mit verschiedenen Standardverfahren (LRP, LIME, GradCAM) erzeugt werden, und geben an, wie wichtig bestimmte Pixel für eine Klassifikation sind. In dieser Arbeit soll ein GAN-basiertes System entwickelt werden, welches unter Berücksichtigung von Saliency Maps Counterfactuals erzeugt.
Explainable GANs
In dieser Arbeit sollen konventionelle Techniken aus dem Bereich der erklärbaren KI auf Generative Adversarial Nets (GANs) angewandt werden. GANs sind eine Form des Deep Learning, welche darauf abzielt, neue, künstliche und täuschend echte Daten wie z.B. Bilder oder Audio zu erzeugen.
Adversarial Domain Adaptation
Beim Training von Deep-Learning Modellen (Klassifikatoren etc.) braucht man eine große Menge Trainingsdaten. Eine Möglichkeit, viele Trainingsdaten zu verwenden ist, dass man mehrere kleinere Datensätze aggregiert. Wenn man dies macht, werden die trainierenden Modelle allerdings mit großer Wahrscheinlichkeit durch spezifische Eigenheiten der jeweiligen Datensätze beeinflusst. Z.B. könnte es sein, dass ein Datensatz unter stärkerer Beleuchtung aufgenommen wurde als ein anderer, und das Modell bezieht dann so eine eigentlich irrelevante Information mit in die Entscheidungen ein. Im Rahmen dieser Arbeit sollen GANs verwendet werden, um verschiedene Datensätze einander anzugleichen.
Audio Counterfactual Explanations
In dieser Arbeit soll ein System entwickelt werden, das auf Basis von Latent Vector Evolution (LVE) Erklärungen für KI-Systeme für die Audio-Domäne erzeugt. LVE ist ein auf evolutionären Algorithmen basierendes Verfahren, um GANs zu durchsuchen. Mithilfe dieser Algorithmen sollen Counterfactual Explanations generiert werden. Dies bedeutet, von einer KI bewertete Audiodaten sollen so verändert werden, dass sich die Bewertung der KI ändert. Dadurch wird dem Nutzer des Systems eine „alternative Realität“ gezeigt, die ein besseres Verständnis der KI bewirken soll.
Automatic Generation of Climbing Routes
In dieser Arbeit sollen Verfahren des generativen Lernens verwendet werden, um automatisiert Boulder- bzw. Kletter-Routen zu erzeugen. Hierfür sollen Generative Adversarial Networks (GANs) eingesetzt werden, um sowohl komplett neue Routen zu generieren, als auch die Schwierigkeit bestehender Routen anzupassen.
Publikationen
2022 |
Silvan Mertes, Tobias Huber, Katharina Weitz, Alexander Heimerl and Elisabeth André. 2022. GANterfactual - counterfactual explanations for medical non-experts using generative adversarial learning. Frontiers in Artificial Intelligence 5, 825565. DOI: 10.3389/frai.2022.825565 |
Ruben Schlagowski, Kunal Gupta, Silvan Mertes, Mark Billinghurst, Susanne Metzner and Elisabeth André. 2022. Jamming in MR: towards real-time music collaboration in mixed reality. In 2022 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), 12-16 March 2022, Christchurch, New Zealand (virtual event). IEEE, Piscataway, NJ, 854-855. DOI: 10.1109/vrw55335.2022.00278 |
2021 |
Alice Baird, Silvan Mertes, Manuel Milling, Lukas Stappen, Thomas Wiest, Elisabeth André and Björn W. Schuller. 2021. A prototypical network approach for evaluating generated emotional speech. In Hynek Heřmanský, Honza Černocký, Lukáš Burget, Lori Lamel, Odette Scharenborg and Petr Motlicek (Ed.). Interspeech 2021, Brno, Czechia, 30 August - 3 September 2021. ISCA, Baixas, 3161-3165. DOI: 10.21437/interspeech.2021-1123 |
Dominik Schiller, Silvan Mertes, Pol van Rijn and Elisabeth André. 2021. Analysis by synthesis: using an expressive TTS model as feature extractor for paralinguistic speech classification. In Hynek Heřmanský, Honza Černocký, Lukáš Burget, Lori Lamel, Odette Scharenborg and Petr Motlicek (Ed.). Interspeech 2021, Brno, Czechia, 30 August - 3 September 2021. ISCA, Baixas, 486-490. DOI: 10.21437/interspeech.2021-1587 |
Silvan Mertes, Florian Lingenfelser, Thomas Kiderle, Michael Dietz, Lama Diab and Elisabeth André. 2021. Continuous emotions: exploring label interpolation in conditional generative adversarial networks for face generation. In Ana Fred, Carlo Sansone and Kurosh Madani (Ed.). Proceedings of the 2nd International Conference on Deep Learning Theory and Applications, July 7-9, 2021. SciTePress, Setúbal, 132-139. DOI: 10.5220/0010549401320139 |
Tobias Huber, Silvan Mertes, Stanislava Rangelova, Simon Flutura and Elisabeth André. 2021. Dynamic difficulty adjustment in virtual reality exergames through experience-driven procedural content generation. In Keeley Crockett, Sanaz Mostaghim, Dipti Srinivasan and Anna Wilbik (Ed.). 2021 IEEE Symposium Series on Computational Intelligence (SSCI), 5-7 December 2021, Orlando, FL, USA. IEEE, Piscataway, NJ, 1-8. DOI: 10.1109/ssci50451.2021.9660086 |
Pol van Rijn, Silvan Mertes, Dominik Schiller, Peter M. C. Harrison, Pauline Larrouy-Maestri, Elisabeth André and Nori Jacoby. 2021. Exploring emotional prototypes in a high dimensional TTS latent space. In Hynek Heřmanský, Honza Černocký, Lukáš Burget, Lori Lamel, Odette Scharenborg and Petr Motlicek (Ed.). Interspeech 2021, Brno, Czechia, 30 August - 3 September 2021. ISCA, Baixas, 3870-3874. DOI: 10.21437/interspeech.2021-1538 |
Silvan Mertes, Thomas Kiderle, Ruben Schlagowski, Florian Lingenfelser and Elisabeth André. 2021. On the potential of modular voice conversion for virtual agents. In 2021 9th International Conference on Affective Computing and Intelligent Interaction, Workshops and Demos (ACIIW), 28 September – 1 October, 2021, Virtual Event, Nara, Japan. IEEE, Piscataway, NJ, 1-7 DOI: 10.1109/ACIIW52867.2021.9666349 |
Thomas Kiderle, Hannes Ritschel, Kathrin Janowski, Silvan Mertes, Florian Lingenfelser and Elisabeth André. 2021. Socially-aware personality adaptation. In 2021 9th International Conference on Affective Computing and Intelligent Interaction, Workshops and Demos (ACIIW), 28 September – 1 October, 2021, Virtual Event, Nara, Japan. IEEE, Piscataway, NJ, 1-8 DOI: 10.1109/ACIIW52867.2021.9666197 |
Ruben Schlagowski, Silvan Mertes and Elisabeth André. 2021. Taming the chaos: exploring graphical input vector manipulation user interfaces for GANs in a musical context. In AM '21: Audio Mostly 2021, virtual/Trento, Italy, September 1-3, 2021. ACM, New York, NY (International Conference Proceeding Series (ICPS)), 216-223. DOI: 10.1145/3478384.3478411 |
2020 |
Silvan Mertes, Alice Baird, Dominik Schiller, Björn Schuller and Elisabeth André. 2020. An evolutionary-based generative approach for audio data augmentation. In Atanas Gotchev, Dong Tian and Joao Ascenso (Ed.). 2020 IEEE 22nd International Workshop on Multimedia Signal Processing (MMSP), 21-24 Sept. 2020, Tampere, Finland. IEEE, Piscataway, NJ, 1-6. DOI: 10.1109/mmsp48831.2020.9287156 |
Silvan Mertes, Andreas Margraf, Christoph Kommer, Steffen Geinitz and Elisabeth André. 2020. Data augmentation for semantic segmentation in the context of carbon fiber defect detection using adversarial learning. In Ana Fred and Kurosh Madani (Ed.). Proceedings of the 1st International Conference on Deep Learning Theory and Applications - Volume 1: DeLTA, July 8-10, 2020. SciTePress, Setúbal, 59-67. DOI: 10.5220/0009823500590067 |
Dominik Schiller, Silvan Mertes and Elisabeth André. 2020. Embedded emotions - a data driven approach to learn transferable feature representations from raw speech input for emotion recognition. preprint. |
2019 |
Hannes Ritschel, Ilhan Aslan, Silvan Mertes, Andreas Seiderer and Elisabeth André. 2019. Personalized synthesis of intentional and emotional non-verbal sounds for social robots. In 8th International Conference on Affective Computing & Intelligent Interaction (ACII 2019), Cambridge, UK, 3-6 September 2019. IEEE, Piscataway, NJ, 1-7. DOI: 10.1109/ACII.2019.8925487 |