Dr. -Ing. Matthias Kraus

Wissenschaftlicher Mitarbeiter
Lehrstuhl für Menschzentrierte Künstliche Intelligenz
Telefon: +49 821 598 - 2335
E-Mail:
Raum: 2040 (N)
Adresse: Universitätsstraße 6a, 86159 Augsburg

Links

Networking

Forschungsschwerpunkte

  • Conversational AI
  • Proactive Conversation
  • Spoken Dialogue Systems
  • User Modelling
  • Multimodal Interfaces
  • Human-Computer Trust

Lehre

Vorlesungsverzeichnis

(Angewandte Filter: Semester: aktuelles | Dozenten: Matthias Kraus | Vorlesungsarten: alle)
Name Semester Typ
Conversational Artificial Intelligence Wintersemester 2023/24 Vorlesung
Übung zu Conversational Artificial Intelligence Wintersemester 2023/24 Übung

Offene Themen für Abschlussarbeiten und Projektmodule

Die folgenden Themen können in Umfang und Ausrichtung flexibel variiert werden, sodass die Durchführung als Bachelorarbeit, Masterarbeit oder Projektmodul möglich ist. Außerdem kann der inhaltliche Schwerpunkt selbstverständlich auf die Interessen des durchführenden Studenten ausgerichtet werden.

Darüber hinaus freue ich mich jederzeit über eigene Themenvorschläge, sofern sie eine gewisse Überschneidung mit meinem Forschungsschwerpunkt aufweisen.

 

 

Interaktive Arbeitsaufteilung zwischen Mensch und KI

 

 

Die vorliegende Bachelor- oder Masterarbeit zielt darauf ab, die dynamische Zusammenarbeit und Aufgabenverteilung zwischen menschlichen Akteuren und künstlicher Intelligenz (KI) zu erforschen. Die Testumgebung für diese Untersuchung wird die Overcooked AI-Simulation sein, ein Spiel, das komplexe kooperative Aufgaben im Bereich des Kochens simuliert. Zur Modellierung der Interaktion mit der KI wird das Large Language Model ChatGPT verwendet.

Das Ziel dieser Arbeit ist es, verschiedene Aspekte der interaktiven Arbeitsaufteilung zwischen Mensch und KI zu erforschen und zu analysieren. Ein Schwerpunkt liegt auf der Untersuchung, wie effektiv und effizient die Zusammenarbeit zwischen einem menschlichen Spieler und einer KI-Entität in der simulierten Umgebung von Overcooked AI sein kann. Hierbei werden verschiedene Szenarien und Situationen betrachtet, in denen die Aufgabenverteilung und Kommunikation zwischen Mensch und KI notwendig sind, um die Spielziele zu erreichen.

Die Arbeit wird sich mit folgenden Punkten befassen:

  1. Analyse der Overcooked AI-Simulation: Eine detaillierte Untersuchung der Spielmechaniken, Herausforderungen und der Dynamik der kooperativen Aufgaben innerhalb der Spielumgebung.

  2. Implementierung der ChatGPT-Interaktion: Die Integration des Large Language Models ChatGPT in die Overcooked AI-Simulation, um die Kommunikation und Interaktion zwischen dem menschlichen Spieler und der KI zu ermöglichen.

  3. Evaluierung der Zusammenarbeit: Durchführung von Experimenten und Tests, um die Effektivität der interaktiven Arbeitsaufteilung zwischen Mensch und KI zu bewerten. Bewertungskriterien könnten unter anderem die Effizienz, den Erfolg bei der Zielerreichung, die Qualität der Kommunikation und die Anpassungsfähigkeit an verschiedene Szenarien umfassen.

  4. Diskussion und Schlussfolgerungen: Eine kritische Analyse der Ergebnisse, um Erkenntnisse über die Stärken, Schwächen und potenziellen Verbesserungen der interaktiven Arbeitsaufteilung zwischen Mensch und KI in einer simulierten Umgebung zu gewinnen.

Kenntnisse im Bereich der künstlichen Intelligenz, maschinelles Lernen, Spieleentwicklung und MCI sind hilfreich, aber nicht erforderlich. Die Arbeit bietet die Möglichkeit, tiefergehende Erkenntnisse darüber zu gewinnen, wie Mensch und KI effektiv zusammenarbeiten können, um komplexe Aufgaben zu bewältigen, und könnte potenziell zukünftige Anwendungen in verschiedenen Bereichen, einschließlich Spieleentwicklung und kollaborativer KI-Systeme, beeinflussen.

 
 
Proaktive Dialogmodellierung in Assistenzkontexten basierend auf LLMs

 

 

Diese Bachelor- oder Masterarbeit konzentriert sich auf die Konzeption und Entwicklung eines proaktiven Dialogmodells, das auf Large Language Models (LLMs) basiert und in einem Serious Dialogue Game für Projektmanagement-Szenarien integriert wird. Das Ziel besteht darin, einen effektiven Copiloten zu schaffen, der dem Nutzer in einem spielbasierten Kontext bei der Durchführung von Aufgaben im Bereich des Projektmanagements unterstützt.

Das Serious Dialogue Game wird als Testumgebung dienen, in der der Nutzer durch verschiedene Aufgaben und Szenarien geführt wird, die typische Herausforderungen des Projektmanagements darstellen. Der proaktive Copilot, der auf einem LLM basiert, wird in Echtzeit mit dem Nutzer interagieren, um nicht nur auf Anfragen zu reagieren, sondern auch proaktiv Vorschläge zu machen, Ratschläge zu geben und relevante Informationen bereitzustellen, um die Effizienz und den Erfolg bei der Erledigung der Aufgaben zu verbessern.

Die Arbeit umfasst folgende Schwerpunkte:

  1. Konzeption des Serious Dialogue Game: Analyse der Anforderungen an das Spiel und Entwicklung einer Struktur, die typische Projektmanagement-Szenarien abbildet. Hierbei werden Spielmechaniken und Dialogszenarien festgelegt, um den Nutzer durch die Aufgaben zu führen.

  2. Implementierung des Proaktiven Dialogmodells: Integration des proaktiven LLM-basierten Copiloten in das Serious Dialogue Game. Dies umfasst die Entwicklung von Algorithmen und Strategien zur proaktiven Unterstützung des Nutzers, basierend auf kontextbezogenen Vorschlägen, Erklärungen und Entscheidungshilfen.

  3. Evaluierung des Copiloten: Durchführung von Benutzerstudien und Tests, um die Effektivität und Benutzerfreundlichkeit des proaktiven Dialogmodells zu bewerten. Dies umfasst die Messung der Leistung anhand von Kriterien wie der Zielerreichung, der Relevanz der Vorschläge und der Nutzerzufriedenheit.

  4. Analyse und Optimierung: Analyse der Ergebnisse und Identifizierung von Verbesserungsmöglichkeiten für das proaktive Dialogmodell. Dies könnte die Anpassung der Dialogstrategien, die Erweiterung des Wissens des Copiloten oder die Verbesserung der Benutzerinteraktion umfassen.

Kenntnisse in den Bereichen Natural Language Processing (NLP), Dialogsysteme, Spieleentwicklung und Projektmanagement sind hilfreich, aber nicht erforderlich. Die Arbeit bietet die Möglichkeit, innovative Wege zu erforschen, wie proaktive KI-Modelle in Assistenzkontexten eingesetzt werden können, um Benutzer bei komplexen Aufgaben wie Projektmanagement effektiv zu unterstützen. Die Ergebnisse könnten potenziell die Gestaltung zukünftiger KI-gestützter Assistenzsysteme beeinflussen und deren Anwendbarkeit in verschiedenen Bereichen erweitern.

 
 
Nutzerevaluation von LLM-basierten Methoden zur proaktiven Dialogführung
 

 

 

Diese Bachelor- oder Masterarbeit widmet sich der Nutzerevaluation von proaktiven Dialogstrategien, die auf Large Language Models (LLMs) basieren. Der Fokus liegt auf der Untersuchung der Effektivität und Benutzerakzeptanz solcher Strategien in offenen Gesprächen und nicht-kollaborativen Dialogen, insbesondere in Verhandlungsszenarien.

Die Studie umfasst zwei Hauptziele:

  1. Evaluierung von proaktiven Dialogstrategien in offenen Gesprächen: Analyse der Wirksamkeit von proaktiven Themenwechselstrategien, bei denen das LLM während offener Dialoge die Führung übernimmt, um Themen zu wechseln, relevante Informationen vorzuschlagen oder aufkommende Themen zu erkennen und zu behandeln.

  2. Evaluierung von proaktiven Dialogstrategien in nicht-kollaborativen Dialogen (Verhandlungsszenarien): Untersuchung, wie effektiv das LLM in Verhandlungsszenarien eingesetzt werden kann, indem es proaktiv reagiert, Strategien vorschlägt oder Taktiken anbietet, um den Dialogverlauf zu lenken oder eigene Ziele zu erreichen.

Das Studiendesign umfasst folgende Schritte:

  1. Konzeption des Studiendesigns: Definition der Hypothesen, Entwicklung von Szenarien und Dialogstrategien für die proaktive Interaktion des LLMs in offenen Gesprächen und Verhandlungsszenarien.

  2. Auswahl der Teilnehmer: Rekrutierung einer repräsentativen Gruppe von Teilnehmern, die an den Evaluierungsstudien teilnehmen. Dies könnte eine Mischung aus Experten im Bereich der Dialogsysteme und typischen Endnutzern umfassen.

  3. Durchführung der Evaluierungsstudien: Implementierung der Dialogszenarien und Durchführung von Tests mit echten Nutzern, um die Leistung des LLMs bei der proaktiven Dialogführung zu bewerten. Hierbei werden verschiedene Metriken wie die Effektivität der Themenwechsel, die Erfolgsrate in Verhandlungsszenarien und die Nutzerzufriedenheit erfasst.

  4. Analyse und Interpretation der Ergebnisse: Auswertung der gesammelten Daten, statistische Analyse der Ergebnisse und Ableitung von Schlussfolgerungen bezüglich der Wirksamkeit und Akzeptanz der proaktiven Dialogstrategien.

Kenntnisse in den Bereichen Dialogsysteme, Nutzerstudien, Datenanalyse und KI-Evaluation können hilfreich sein, sind aber nicht erforderlich. Die Erkenntnisse aus dieser Arbeit könnten wichtige Einblicke liefern, wie proaktive LLM-basierte Dialogmodelle in offenen Gesprächen und Nicht-kollaborativen Dialogen verbessert werden können. Diese Ergebnisse könnten die Entwicklung zukünftiger Dialogsysteme und KI-gestützter Anwendungen beeinflussen, insbesondere in den Bereichen, in denen Themenwechsel und Verhandlungen eine zentrale Rolle spielen.

 
 
Vorhersage des Mensch-KI Vertrauensverhältnisses unter Verwendung Multi-Modaler Features

 

 

Diese Bachelor- oder Masterarbeit konzentriert sich auf die Vorhersage und Analyse des Vertrauensverhältnisses zwischen Mensch und Künstlicher Intelligenz (KI) unter Verwendung von Multi-Modalen Features in vorhandenen Dialogkorpora. Die Untersuchung zielt darauf ab, mithilfe von Deep Learning-Methoden und unter Einbeziehung linguistischer und para-linguistischer Merkmale das Vertrauensniveau in Interaktionen zwischen Mensch und KI zu schätzen.

Die Arbeit umfasst folgende Schwerpunkte:

  1. Auswahl und Vorbereitung von Dialogkorpora: Identifikation relevanter existierender Multi-Modaler Dialogkorpora. Vorbereitung der Daten für die Analyse, einschließlich der Integration und Vorverarbeitung multi-modaler Features wie Text, Audio, und möglicherweise visuelle Daten.

  2. Definition von linguistischen und para-linguistischen Merkmalen: Identifikation und Extraktion von linguistischen Merkmalen wie Wortwahl, Satzstruktur, und Sprachmuster sowie para-linguistischen Merkmalen wie Tonfall, Sprechgeschwindigkeit, und Betonung aus den Dialogdaten. Diese Merkmale sollen das Vertrauensverhältnis zwischen Mensch und KI erfassen.

  3. Entwurf und Implementierung von Deep Learning-Modellen: Entwicklung von Deep Learning-basierten Modellen zur Vorhersage des Vertrauensniveaus basierend auf den extrahierten multi-modalen Features. Dies könnte die Verwendung von Convolutional Neural Networks (CNNs), Recurrent Neural Networks (RNNs) oder Transformer-Modellen zur Modellierung der multi-modalen Daten umfassen.

  4. Evaluierung und Analyse der Modelle: Durchführung von Experimenten zur Bewertung der Leistungsfähigkeit der entwickelten Modelle bei der Vorhersage des Vertrauensverhältnisses zwischen Mensch und KI. Hierbei wird die Genauigkeit der Vorhersagen anhand von Evaluierungsmetriken wie Genauigkeit, F1-Score oder Bereich unter der ROC-Kurve bewertet.

  5. Interpretation der Ergebnisse: Analyse der Ergebnisse, Interpretation der Bedeutung verschiedener Merkmale für das Vertrauensniveau und Diskussion potenzieller Anwendungen oder Implikationen der Forschungsergebnisse.

Kenntnisse in den Bereichen Deep Learning, Multi-Modale Analyse, Dialogsysteme und KI-Evaluation sind hilfreich, aber nicht erforderlich. Die Erkenntnisse aus dieser Arbeit könnten einen wichtigen Beitrag zur Bewertung und Verbesserung des Vertrauensniveaus zwischen Mensch und KI leisten. Dies könnte die Gestaltung zukünftiger Dialogsysteme und die Entwicklung von KI-Anwendungen, die das Vertrauen der Nutzer stärken, maßgeblich beeinflussen.

Publikationsverzeichnis

2023 | 2022 | 2021 | 2020 | 2019 | 2018 | 2017 | 2016 | 2015

2023

Matthias Kraus, Diana Betancourt and Wolfgang Minker. 2023. Does it affect you? Social and learning implications of using cognitive-affective state recognition for proactive human-robot tutoring. DOI: 10.1109/RO-MAN57019.2023.10309574
BibTeX | RIS | DOI

Matthias Kraus, Nicolas Wagner, Ron Riekenbrauck and Wolfgang Minker. 2023. Improving proactive dialog agents using socially-aware reinforcement learning. DOI: 10.1145/3565472.3595611
BibTeX | RIS | DOI

2022

Nicolas Wagner, Matthias Kraus, Tibor Tonn and Wolfgang Minker. 2022. Comparing moderation strategies in group chats with multi-user chatbots. DOI: 10.1145/3543829.3544527
PDF | BibTeX | RIS | DOI

Martin Porcheron, Minha Lee, Birthe Nesset, Frode Guribye, Margot van der Goot, Roger K. Moore, Ricardo Usbeck, Ana Paiva, Catherine Pelachaud, Elayne Ruane, Björn Schuller, Guy Laban, Dimosthenis Kontogiorgos, Matthias Kraus and Asbjørn Følstad. 2022. Definition, conceptualisation and measurement of trust. DOI: 10.4230/DagRep.11.8.76
PDF | BibTeX | RIS | DOI

Minha Lee, Jaisie Sin, Guy Laban, Matthias Kraus, Leigh Clark, Martin Porcheron, Benjamin R. Cowan, Asbjørn Følstad, Cosmin Munteanu and Heloisa Candello. 2022. Ethics of conversational user interfaces. DOI: 10.1145/3491101.3503699
BibTeX | RIS | DOI

Matthias Kraus, Nicolas Wagner, Nico Untereiner and Wolfgang Minker. 2022. Including social expectations for trustworthy proactive human-robot dialogue. DOI: 10.1145/3503252.3531294
PDF | BibTeX | RIS | DOI

Matthias Kraus, Nicolas Wagner, Wolfgang Minker, Ankita Agrawal, Artur Schmidt, Pranav Krishna Prasad and Wolfgang Ertel. 2022. KURT: a household assistance robot capable of proactive dialogue. DOI: 10.1109/hri53351.2022.9889357
BibTeX | RIS | DOI

Matthias Kraus, Nicolas Wagner and Wolfgang Minker. 2022. ProDial – an annotated proactive dialogue act corpus for conversational assistants using crowdsourcing.
PDF | BibTeX | RIS | URL

Matthias Kraus, Viktoria Dettenhofer and Wolfgang Minker. 2022. Responsible interactive personalisation for human-robot cooperation. DOI: 10.1145/3511047.3536419
BibTeX | RIS | DOI

Matthias Kraus. 2022. User-centred proactive dialogue modelling for trustworthy conversational assistants.
BibTeX | RIS | URL

2021

Matthias Kraus, Bernd Ludwig, Wolfgang Minker and Nicolas Wagner. 2021. Assistenzsysteme. DOI: 10.1515/9783110659948-020
BibTeX | RIS | DOI

Antonio Benítez-Guijarro, Raymond Bond, Frederick Booth, Zoraida Callejas, Edel Ennis, Anna Esposito, Matthias Kraus, Gavin McConvey, Michael McTear, Maurice Mulvenna, Courtney Potts, Louisa Pragst, Robin Turkington, Nicolas Wagner and Huiru Zheng. 2021. Co-creating requirements and assessing end-user acceptability of a voice-based chatbot to support mental health: a thematic analysis of a living lab workshop. DOI: 10.1007/978-981-15-8395-7_15
BibTeX | RIS | DOI

Pascal Bercher, Gregor Behnke, Matthias Kraus, Marvin Schiller, Dietrich Manstetten, Michael Dambier, Michael Dorna, Wolfgang Minker, Birte Glimm and Susanne Biundo. 2021. Do it yourself, but not alone: Companion-Technology for home improvement — bringing a planning-based interactive DIY assistant to life. DOI: 10.1007/s13218-021-00721-x
BibTeX | RIS | DOI

Nicolas Wagner, Matthias Kraus, Niklas Rach and Wolfgang Minker. 2021. How to address humans: system barge-in in multi-user HRI. DOI: 10.1007/978-981-15-9323-9_13
BibTeX | RIS | DOI

Matthias Kraus, Nicolas Wagner and Wolfgang Minker. 2021. Modelling and predicting trust for developing proactive dialogue strategies in mixed-initiative interaction. DOI: 10.1145/3462244.3479906
BibTeX | RIS | DOI

Franziska Babel, Johannes Kraus, Linda Miller, Matthias Kraus, Nicolas Wagner, Wolfgang Minker and Martin Baumann. 2021. Small talk with a robot? The impact of dialog content, talk initiative, and gaze behavior of a social robot on trust, acceptance, and proximity. DOI: 10.1007/s12369-020-00730-0
BibTeX | RIS | DOI

Matthias Kraus, Nicolas Wagner, Zoraida Callejas and Wolfgang Minker. 2021. The role of trust in proactive conversational assistants. DOI: 10.1109/access.2021.3103893
PDF | BibTeX | RIS | DOI

Zoraida Callejas, David Griol, Kawtar Benghazi, Manuel Noguera, María Inés Torres, Raquel Justo, Anna Esposito, Gennaro Cordasco, Raymond Bond, Maurice Mulvenna, Edel Ennis, Siobhan O'Neill, Huiru Zheng, Matthias Kraus, Nicolas Wagner, Wolfgang Minker, Gavin McConvey, Matthias Hemmje, Michael Fuchs, Neil Glackin and Gérard Chollet. 2021. Towards conversational technology to promote, monitor and protect mental health. DOI: 10.21437/iberspeech.2021-32
BibTeX | RIS | DOI

Matthias Kraus, Philip Seldschopf and Wolfgang Minker. 2021. Towards the development of a trustworthy chatbot for mental health applications. DOI: 10.1007/978-3-030-67835-7_30
BibTeX | RIS | DOI

2020

Matthias Kraus, Marvin Schiller, Gregor Behnke, Pascal Bercher, Michael Dorna, Michael Dambier, Birte Glimm, Susanne Biundo and Wolfgang Minker. 2020. "Was that successful?" On integrating proactive meta-dialogue in a DIY-assistant using multimodal cues. DOI: 10.1145/3382507.3418818
BibTeX | RIS | DOI

Matthias Kraus, Fabian Fischbach, Pascal Jansen and Wolfgang Minker. 2020. A comparison of explicit and implicit proactive dialogue strategies for conversational recommendation.
PDF | BibTeX | RIS | URL

Matthias Kraus, Nicolas Wagner and Wolfgang Minker. 2020. Effects of proactive dialogue strategies on human-computer trust. DOI: 10.1145/3340631.3394840
BibTeX | RIS | DOI

Gregor Behnke, Pascal Bercher, Matthias Kraus, Marvin Schiller, Kristof Mickeleit, Timo Häge, Michael Dorna, Michael Dambier, Dietrich Manstetten, Wolfgang Minker, Birte Glimm and Susanne Biundo. 2020. New developments for Robert – assisting novice users even better in DIY projects. DOI: 10.1609/icaps.v30i1.6679
BibTeX | RIS | DOI

2019

Matthias Kraus, Marvin Schiller, Gregor Behnke, Pascal Bercher, Susanne Biundo, Birte Glimm and Wolfgang Minker. 2019. A multimodal dialogue framework for cloud-based companion systems. DOI: 10.1007/978-981-13-9443-0_36
BibTeX | RIS | DOI

Gregor Behnke, Marvin Schiller, Matthias Kraus, Pascal Bercher, Mario Schmautz, Michael Dorna, Michael Dambier, Wolfgang Minker, Birte Glimm and Susanne Biundo. 2019. Alice in DIY wonderland or: instructing novice users on how to use tools in DIY projects. DOI: 10.3233/aic-180604
BibTeX | RIS | DOI

2018

Matthias Kraus, Johannes Kraus, Martin Baumann and Wolfgang Minker. 2018. Effects of gender stereotypes on trust and likability in soken human-robot interaction.
PDF | BibTeX | RIS | URL

Marvin Schiller, Gregor Behnke, Pascal Bercher, Matthias Kraus, Michael Dorna, Felix Richter, Susanne Biundo, Birte Glimm and Wolfgang Minker. 2018. Evaluating knowledge-based assistance for DIY. DOI: 10.18420/muc2018-ws19-0551
BibTeX | RIS | DOI

Gregor Behnke, Marvin Schiller, Matthias Kraus, Pascal Bercher, Mario Schmautz, Michael Dorna, Wolfgang Minker, Birte Glimm and Susanne Biundo. 2018. Instructing novice users on how to use tools in DIY projects. DOI: 10.24963/ijcai.2018/844
BibTeX | RIS | DOI

2017

Marvin Schiller, Gregor Behnke, Mario Schmautz, Pascal Bercher, Matthias Kraus, Michael Dorna, Wolfgang Minker, Birte Glimm and Susanne Biundo. 2017. A paradigm for coupling procedural and conceptual knowledge in companion systems. DOI: 10.1109/companion.2017.8287072
BibTeX | RIS | DOI

Gregor Behnke, Florian Nielsen, Marvin Schiller, Pascal Bercher, Matthias Kraus, Wolfgang Minker, Birte Glimm and Susanne Biundo. 2017. Sloth — the interactive workout planner. DOI: 10.1109/companion.2017.8287077
BibTeX | RIS | DOI

2016

Matthias Kraus. 2016. Mixed-initiative intent recognition using cloud-based cognitive services.
BibTeX | RIS

2015

Louisa Pragst, Stefan Ultes, Matthias Kraus and Wolfgang Minker. 2015. Adaptive dialogue management in the KRISTINA project for multicultural health care applications [Poster Abstract].
BibTeX | RIS | URL

Stefan Ultes, Matthias Kraus, Alexander Schmitt and Wolfgang Minker. 2015. Quality-adaptive spoken dialogue initiative selection and implications on reward modelling. DOI: 10.18653/v1/w15-4649
PDF | BibTeX | RIS | DOI

Suche