Silvan Mertes M.Sc.

Wissenschaftlicher Mitarbeiter
Lehrstuhl für Menschzentrierte Künstliche Intelligenz
Telefon: +49 (821) 598 - 2342
E-Mail:
Raum: 2038 (N)
Adresse: Universitätsstraße 6a, 86159 Augsburg

Forschungsinteressen

  • Deep Learning
  • Adversarial Learning
  • Generative Modelle
  • Explainable AI (insbesondere Counterfactual Explanations)

Abschlussarbeiten und Projektmodule

Die folgenden Themen können in Umfang und Ausrichtung flexibel variiert werden, sodass die Durchführung als Bachelorarbeit, Masterarbeit oder Projektmodul möglich ist. Außerdem kann der inhaltliche Schwerpunkt selbstverständlich auf die Interessen des durchführenden Studenten ausgerichtet werden.

Darüber hinaus freue ich mich jederzeit über eigene Themenvorschläge, sofern sie eine gewisse Überschneidung mit meinem Forschungsschwerpunkt aufweisen.

 

 

Kombination von Counterfactual Explanations und Saliency Maps

Counterfactual Explanations für Bild-Klassifikatoren sind Erklärungen für KI-Systeme, welche die Frage beantworten, wie Eingabedaten hätten aussehen müssen, wenn die KI eine Entscheidung getroffen hätte. Hierzu werden die Eingabedaten so verändert, dass sich die Entscheidung der KI ändert. Ein verbreitetes Problem von Counterfactuals ist, dass sich oft auch Merkmale der Daten verändern, die eigentlich keinen direkten Einfluss auf ein Klassifikationsergebnis haben. Eine Möglichkeit zur Adressierung dieses Problems ist es, bei der Erzeugung von Counterfactuals sogenannte "Saliency Maps" mit in die Erzeugung der Counterfactuals einzubeziehen. Saliency Maps können mit verschiedenen Standardverfahren (LRP, LIME, GradCAM) erzeugt werden, und geben an, wie wichtig bestimmte Pixel für eine Klassifikation sind. In dieser Arbeit soll ein GAN-basiertes System entwickelt werden, welches unter Berücksichtigung von Saliency Maps Counterfactuals erzeugt.

 

 

Explainable GANs

In dieser Arbeit sollen konventionelle Techniken aus dem Bereich der erklärbaren KI auf Generative Adversarial Nets (GANs) angewandt werden. GANs sind eine Form des Deep Learning, welche darauf abzielt, neue, künstliche und täuschend echte Daten wie z.B. Bilder oder Audio zu erzeugen.

 

 

Adversarial Domain Adaptation

Beim Training von Deep-Learning Modellen (Klassifikatoren etc.) braucht man eine große Menge Trainingsdaten. Eine Möglichkeit, viele Trainingsdaten zu verwenden ist, dass man mehrere kleinere Datensätze aggregiert. Wenn man dies macht, werden die trainierenden Modelle allerdings mit großer Wahrscheinlichkeit durch spezifische Eigenheiten der jeweiligen Datensätze beeinflusst. Z.B. könnte es sein, dass ein Datensatz unter stärkerer Beleuchtung aufgenommen wurde als ein anderer, und das Modell bezieht dann so eine eigentlich irrelevante Information mit in die Entscheidungen ein. Im Rahmen dieser Arbeit sollen GANs verwendet werden, um verschiedene Datensätze einander anzugleichen.

 

 

Audio Counterfactual Explanations

In dieser Arbeit soll ein System entwickelt werden, das auf Basis von Latent Vector Evolution (LVE) Erklärungen für KI-Systeme für die Audio-Domäne erzeugt. LVE ist ein auf evolutionären Algorithmen basierendes Verfahren, um GANs zu durchsuchen. Mithilfe dieser Algorithmen sollen Counterfactual Explanations generiert werden. Dies bedeutet, von einer KI bewertete Audiodaten sollen so verändert werden, dass sich die Bewertung der KI ändert. Dadurch wird dem Nutzer des Systems eine „alternative Realität“ gezeigt, die ein besseres Verständnis der KI bewirken soll.

 

 

Audio Phonem Mapping

Phoneme stellen die kleinsten sprachlichen Einheiten dar. In dieser Arbeit soll ein Konzept entwickelt und implementiert werden, dass Audioaufnahmen menschlicher Sprache in ein zeitliches Mapping von Phonemen überführt.

Projekte

KI-Produktionsnetzwerk

Publikationen

Silvan Mertes
2020 | 2019

2020

Silvan Mertes, Alice Baird, Dominik Schiller, Björn Schuller and Elisabeth André. 2020. An evolutionary-based generative approach for audio data augmentation. DOI: 10.1109/mmsp48831.2020.9287156
PDF | BibTeX | RIS | DOI

Silvan Mertes, Andreas Margraf, Christoph Kommer, Steffen Geinitz and Elisabeth André. 2020. Data augmentation for semantic segmentation in the context of carbon fiber defect detection using adversarial learning. DOI: 10.5220/0009823500590067
PDF | BibTeX | RIS | DOI

Dominik Schiller, Silvan Mertes and Elisabeth André. 2020. Embedded emotions - a data driven approach to learn transferable feature representations from raw speech input for emotion recognition.
PDF | BibTeX | RIS | URL

Silvan Mertes, Tobias Huber, Katharina Weitz, Alexander Heimerl and Elisabeth André. 2020. This is not the texture you are looking for! Introducing novel counterfactual explanations for non-experts using generative adversarial learning.
PDF | BibTeX | RIS | URL

2019

Hannes Ritschel, Ilhan Aslan, Silvan Mertes, Andreas Seiderer and Elisabeth André. 2019. Personalized synthesis of intentional and emotional non-verbal sounds for social robots. DOI: 10.1109/ACII.2019.8925487
PDF | BibTeX | RIS | DOI

Suche