Dr. -Ing. Matthias Kraus
Links
Forschungsschwerpunkte
- Conversational AI
- Proactive Conversation
- Spoken Dialogue Systems
- User Modelling
- Multimodal Interfaces
- Human-Computer Trust
Lehre
Vorlesungsverzeichnis
| Name | Semester | Typ |
|---|---|---|
| Conversational Artificial Intelligence | Wintersemester 2023/24 | Vorlesung |
| Übung zu Conversational Artificial Intelligence | Wintersemester 2023/24 | Übung |
Offene Themen für Abschlussarbeiten und Projektmodule
Die folgenden Themen können in Umfang und Ausrichtung flexibel variiert werden, sodass die Durchführung als Bachelorarbeit, Masterarbeit oder Projektmodul möglich ist. Außerdem kann der inhaltliche Schwerpunkt selbstverständlich auf die Interessen des durchführenden Studenten ausgerichtet werden.
Darüber hinaus freue ich mich jederzeit über eigene Themenvorschläge, sofern sie eine gewisse Überschneidung mit meinem Forschungsschwerpunkt aufweisen.
Interaktive Arbeitsaufteilung zwischen Mensch und KI
Die vorliegende Bachelor- oder Masterarbeit zielt darauf ab, die dynamische Zusammenarbeit und Aufgabenverteilung zwischen menschlichen Akteuren und künstlicher Intelligenz (KI) zu erforschen. Die Testumgebung für diese Untersuchung wird die Overcooked AI-Simulation sein, ein Spiel, das komplexe kooperative Aufgaben im Bereich des Kochens simuliert. Zur Modellierung der Interaktion mit der KI wird das Large Language Model ChatGPT verwendet.
Das Ziel dieser Arbeit ist es, verschiedene Aspekte der interaktiven Arbeitsaufteilung zwischen Mensch und KI zu erforschen und zu analysieren. Ein Schwerpunkt liegt auf der Untersuchung, wie effektiv und effizient die Zusammenarbeit zwischen einem menschlichen Spieler und einer KI-Entität in der simulierten Umgebung von Overcooked AI sein kann. Hierbei werden verschiedene Szenarien und Situationen betrachtet, in denen die Aufgabenverteilung und Kommunikation zwischen Mensch und KI notwendig sind, um die Spielziele zu erreichen.
Die Arbeit wird sich mit folgenden Punkten befassen:
-
Analyse der Overcooked AI-Simulation: Eine detaillierte Untersuchung der Spielmechaniken, Herausforderungen und der Dynamik der kooperativen Aufgaben innerhalb der Spielumgebung.
-
Implementierung der ChatGPT-Interaktion: Die Integration des Large Language Models ChatGPT in die Overcooked AI-Simulation, um die Kommunikation und Interaktion zwischen dem menschlichen Spieler und der KI zu ermöglichen.
-
Evaluierung der Zusammenarbeit: Durchführung von Experimenten und Tests, um die Effektivität der interaktiven Arbeitsaufteilung zwischen Mensch und KI zu bewerten. Bewertungskriterien könnten unter anderem die Effizienz, den Erfolg bei der Zielerreichung, die Qualität der Kommunikation und die Anpassungsfähigkeit an verschiedene Szenarien umfassen.
-
Diskussion und Schlussfolgerungen: Eine kritische Analyse der Ergebnisse, um Erkenntnisse über die Stärken, Schwächen und potenziellen Verbesserungen der interaktiven Arbeitsaufteilung zwischen Mensch und KI in einer simulierten Umgebung zu gewinnen.
Kenntnisse im Bereich der künstlichen Intelligenz, maschinelles Lernen, Spieleentwicklung und MCI sind hilfreich, aber nicht erforderlich. Die Arbeit bietet die Möglichkeit, tiefergehende Erkenntnisse darüber zu gewinnen, wie Mensch und KI effektiv zusammenarbeiten können, um komplexe Aufgaben zu bewältigen, und könnte potenziell zukünftige Anwendungen in verschiedenen Bereichen, einschließlich Spieleentwicklung und kollaborativer KI-Systeme, beeinflussen.
Proaktive Dialogmodellierung in Assistenzkontexten basierend auf LLMs
Diese Bachelor- oder Masterarbeit konzentriert sich auf die Konzeption und Entwicklung eines proaktiven Dialogmodells, das auf Large Language Models (LLMs) basiert und in einem Serious Dialogue Game für Projektmanagement-Szenarien integriert wird. Das Ziel besteht darin, einen effektiven Copiloten zu schaffen, der dem Nutzer in einem spielbasierten Kontext bei der Durchführung von Aufgaben im Bereich des Projektmanagements unterstützt.
Das Serious Dialogue Game wird als Testumgebung dienen, in der der Nutzer durch verschiedene Aufgaben und Szenarien geführt wird, die typische Herausforderungen des Projektmanagements darstellen. Der proaktive Copilot, der auf einem LLM basiert, wird in Echtzeit mit dem Nutzer interagieren, um nicht nur auf Anfragen zu reagieren, sondern auch proaktiv Vorschläge zu machen, Ratschläge zu geben und relevante Informationen bereitzustellen, um die Effizienz und den Erfolg bei der Erledigung der Aufgaben zu verbessern.
Die Arbeit umfasst folgende Schwerpunkte:
-
Konzeption des Serious Dialogue Game: Analyse der Anforderungen an das Spiel und Entwicklung einer Struktur, die typische Projektmanagement-Szenarien abbildet. Hierbei werden Spielmechaniken und Dialogszenarien festgelegt, um den Nutzer durch die Aufgaben zu führen.
-
Implementierung des Proaktiven Dialogmodells: Integration des proaktiven LLM-basierten Copiloten in das Serious Dialogue Game. Dies umfasst die Entwicklung von Algorithmen und Strategien zur proaktiven Unterstützung des Nutzers, basierend auf kontextbezogenen Vorschlägen, Erklärungen und Entscheidungshilfen.
-
Evaluierung des Copiloten: Durchführung von Benutzerstudien und Tests, um die Effektivität und Benutzerfreundlichkeit des proaktiven Dialogmodells zu bewerten. Dies umfasst die Messung der Leistung anhand von Kriterien wie der Zielerreichung, der Relevanz der Vorschläge und der Nutzerzufriedenheit.
-
Analyse und Optimierung: Analyse der Ergebnisse und Identifizierung von Verbesserungsmöglichkeiten für das proaktive Dialogmodell. Dies könnte die Anpassung der Dialogstrategien, die Erweiterung des Wissens des Copiloten oder die Verbesserung der Benutzerinteraktion umfassen.
Kenntnisse in den Bereichen Natural Language Processing (NLP), Dialogsysteme, Spieleentwicklung und Projektmanagement sind hilfreich, aber nicht erforderlich. Die Arbeit bietet die Möglichkeit, innovative Wege zu erforschen, wie proaktive KI-Modelle in Assistenzkontexten eingesetzt werden können, um Benutzer bei komplexen Aufgaben wie Projektmanagement effektiv zu unterstützen. Die Ergebnisse könnten potenziell die Gestaltung zukünftiger KI-gestützter Assistenzsysteme beeinflussen und deren Anwendbarkeit in verschiedenen Bereichen erweitern.
Nutzerevaluation von LLM-basierten Methoden zur proaktiven Dialogführung
Diese Bachelor- oder Masterarbeit widmet sich der Nutzerevaluation von proaktiven Dialogstrategien, die auf Large Language Models (LLMs) basieren. Der Fokus liegt auf der Untersuchung der Effektivität und Benutzerakzeptanz solcher Strategien in offenen Gesprächen und nicht-kollaborativen Dialogen, insbesondere in Verhandlungsszenarien.
Die Studie umfasst zwei Hauptziele:
-
Evaluierung von proaktiven Dialogstrategien in offenen Gesprächen: Analyse der Wirksamkeit von proaktiven Themenwechselstrategien, bei denen das LLM während offener Dialoge die Führung übernimmt, um Themen zu wechseln, relevante Informationen vorzuschlagen oder aufkommende Themen zu erkennen und zu behandeln.
-
Evaluierung von proaktiven Dialogstrategien in nicht-kollaborativen Dialogen (Verhandlungsszenarien): Untersuchung, wie effektiv das LLM in Verhandlungsszenarien eingesetzt werden kann, indem es proaktiv reagiert, Strategien vorschlägt oder Taktiken anbietet, um den Dialogverlauf zu lenken oder eigene Ziele zu erreichen.
Das Studiendesign umfasst folgende Schritte:
-
Konzeption des Studiendesigns: Definition der Hypothesen, Entwicklung von Szenarien und Dialogstrategien für die proaktive Interaktion des LLMs in offenen Gesprächen und Verhandlungsszenarien.
-
Auswahl der Teilnehmer: Rekrutierung einer repräsentativen Gruppe von Teilnehmern, die an den Evaluierungsstudien teilnehmen. Dies könnte eine Mischung aus Experten im Bereich der Dialogsysteme und typischen Endnutzern umfassen.
-
Durchführung der Evaluierungsstudien: Implementierung der Dialogszenarien und Durchführung von Tests mit echten Nutzern, um die Leistung des LLMs bei der proaktiven Dialogführung zu bewerten. Hierbei werden verschiedene Metriken wie die Effektivität der Themenwechsel, die Erfolgsrate in Verhandlungsszenarien und die Nutzerzufriedenheit erfasst.
-
Analyse und Interpretation der Ergebnisse: Auswertung der gesammelten Daten, statistische Analyse der Ergebnisse und Ableitung von Schlussfolgerungen bezüglich der Wirksamkeit und Akzeptanz der proaktiven Dialogstrategien.
Kenntnisse in den Bereichen Dialogsysteme, Nutzerstudien, Datenanalyse und KI-Evaluation können hilfreich sein, sind aber nicht erforderlich. Die Erkenntnisse aus dieser Arbeit könnten wichtige Einblicke liefern, wie proaktive LLM-basierte Dialogmodelle in offenen Gesprächen und Nicht-kollaborativen Dialogen verbessert werden können. Diese Ergebnisse könnten die Entwicklung zukünftiger Dialogsysteme und KI-gestützter Anwendungen beeinflussen, insbesondere in den Bereichen, in denen Themenwechsel und Verhandlungen eine zentrale Rolle spielen.
Vorhersage des Mensch-KI Vertrauensverhältnisses unter Verwendung Multi-Modaler Features
Diese Bachelor- oder Masterarbeit konzentriert sich auf die Vorhersage und Analyse des Vertrauensverhältnisses zwischen Mensch und Künstlicher Intelligenz (KI) unter Verwendung von Multi-Modalen Features in vorhandenen Dialogkorpora. Die Untersuchung zielt darauf ab, mithilfe von Deep Learning-Methoden und unter Einbeziehung linguistischer und para-linguistischer Merkmale das Vertrauensniveau in Interaktionen zwischen Mensch und KI zu schätzen.
Die Arbeit umfasst folgende Schwerpunkte:
-
Auswahl und Vorbereitung von Dialogkorpora: Identifikation relevanter existierender Multi-Modaler Dialogkorpora. Vorbereitung der Daten für die Analyse, einschließlich der Integration und Vorverarbeitung multi-modaler Features wie Text, Audio, und möglicherweise visuelle Daten.
-
Definition von linguistischen und para-linguistischen Merkmalen: Identifikation und Extraktion von linguistischen Merkmalen wie Wortwahl, Satzstruktur, und Sprachmuster sowie para-linguistischen Merkmalen wie Tonfall, Sprechgeschwindigkeit, und Betonung aus den Dialogdaten. Diese Merkmale sollen das Vertrauensverhältnis zwischen Mensch und KI erfassen.
-
Entwurf und Implementierung von Deep Learning-Modellen: Entwicklung von Deep Learning-basierten Modellen zur Vorhersage des Vertrauensniveaus basierend auf den extrahierten multi-modalen Features. Dies könnte die Verwendung von Convolutional Neural Networks (CNNs), Recurrent Neural Networks (RNNs) oder Transformer-Modellen zur Modellierung der multi-modalen Daten umfassen.
-
Evaluierung und Analyse der Modelle: Durchführung von Experimenten zur Bewertung der Leistungsfähigkeit der entwickelten Modelle bei der Vorhersage des Vertrauensverhältnisses zwischen Mensch und KI. Hierbei wird die Genauigkeit der Vorhersagen anhand von Evaluierungsmetriken wie Genauigkeit, F1-Score oder Bereich unter der ROC-Kurve bewertet.
-
Interpretation der Ergebnisse: Analyse der Ergebnisse, Interpretation der Bedeutung verschiedener Merkmale für das Vertrauensniveau und Diskussion potenzieller Anwendungen oder Implikationen der Forschungsergebnisse.
Kenntnisse in den Bereichen Deep Learning, Multi-Modale Analyse, Dialogsysteme und KI-Evaluation sind hilfreich, aber nicht erforderlich. Die Erkenntnisse aus dieser Arbeit könnten einen wichtigen Beitrag zur Bewertung und Verbesserung des Vertrauensniveaus zwischen Mensch und KI leisten. Dies könnte die Gestaltung zukünftiger Dialogsysteme und die Entwicklung von KI-Anwendungen, die das Vertrauen der Nutzer stärken, maßgeblich beeinflussen.
Publikationsverzeichnis
|
2022 |
|
Nicolas Wagner, Matthias Kraus, Tibor Tonn and Wolfgang Minker. 2022. Comparing moderation strategies in group chats with multi-user chatbots. DOI: 10.1145/3543829.3544527 |
|
Martin Porcheron, Minha Lee, Birthe Nesset, Frode Guribye, Margot van der Goot, Roger K. Moore, Ricardo Usbeck, Ana Paiva, Catherine Pelachaud, Elayne Ruane, Björn Schuller, Guy Laban, Dimosthenis Kontogiorgos, Matthias Kraus and Asbjørn Følstad. 2022. Definition, conceptualisation and measurement of trust. DOI: 10.4230/DagRep.11.8.76 |
|
Matthias Kraus, Diana Betancourt and Wolfgang Minker. in press. Does it affect you? Social and learning implications of using cognitive-affective state recognition for proactive human-robot tutoring. DOI: 10.48550/arXiv.2212.10346 |
|
Minha Lee, Jaisie Sin, Guy Laban, Matthias Kraus, Leigh Clark, Martin Porcheron, Benjamin R. Cowan, Asbjørn Følstad, Cosmin Munteanu and Heloisa Candello. 2022. Ethics of conversational user interfaces. DOI: 10.1145/3491101.3503699 |
|
Matthias Kraus, Nicolas Wagner, Nico Untereiner and Wolfgang Minker. 2022. Including social expectations for trustworthy proactive human-robot dialogue. DOI: 10.1145/3503252.3531294 |
|
Matthias Kraus, Nicolas Wagner, Wolfgang Minker, Ankita Agrawal, Artur Schmidt, Pranav Krishna Prasad and Wolfgang Ertel. 2022. KURT: a household assistance robot capable of proactive dialogue. DOI: 10.1109/hri53351.2022.9889357 |
|
Matthias Kraus, Nicolas Wagner and Wolfgang Minker. 2022. ProDial – an annotated proactive dialogue act corpus for conversational assistants using crowdsourcing. |
|
Matthias Kraus, Viktoria Dettenhofer and Wolfgang Minker. 2022. Responsible interactive personalisation for human-robot cooperation. DOI: 10.1145/3511047.3536419 |
|
Matthias Kraus, Nicolas Wagner, Ron Riekenbrauck and Wolfgang Minker. in press. Towards improving proactive dialog agents using socially-aware reinforcement learning. DOI: 10.48550/arXiv.2211.15359 |
|
Matthias Kraus. 2022. User-centred proactive dialogue modelling for trustworthy conversational assistants. |
|
2021 |
|
Matthias Kraus, Bernd Ludwig, Wolfgang Minker and Nicolas Wagner. 2021. Assistenzsysteme. DOI: 10.1515/9783110659948-020 |
|
Antonio Benítez-Guijarro, Raymond Bond, Frederick Booth, Zoraida Callejas, Edel Ennis, Anna Esposito, Matthias Kraus, Gavin McConvey, Michael McTear, Maurice Mulvenna, Courtney Potts, Louisa Pragst, Robin Turkington, Nicolas Wagner and Huiru Zheng. 2021. Co-creating requirements and assessing end-user acceptability of a voice-based chatbot to support mental health: a thematic analysis of a living lab workshop. DOI: 10.1007/978-981-15-8395-7_15 |
|
Pascal Bercher, Gregor Behnke, Matthias Kraus, Marvin Schiller, Dietrich Manstetten, Michael Dambier, Michael Dorna, Wolfgang Minker, Birte Glimm and Susanne Biundo. 2021. Do it yourself, but not alone: Companion-Technology for home improvement — bringing a planning-based interactive DIY assistant to life. DOI: 10.1007/s13218-021-00721-x |
|
Nicolas Wagner, Matthias Kraus, Niklas Rach and Wolfgang Minker. 2021. How to address humans: system barge-in in multi-user HRI. DOI: 10.1007/978-981-15-9323-9_13 |
|
Matthias Kraus, Nicolas Wagner and Wolfgang Minker. 2021. Modelling and predicting trust for developing proactive dialogue strategies in mixed-initiative interaction. DOI: 10.1145/3462244.3479906 |
|
Franziska Babel, Johannes Kraus, Linda Miller, Matthias Kraus, Nicolas Wagner, Wolfgang Minker and Martin Baumann. 2021. Small talk with a robot? The impact of dialog content, talk initiative, and gaze behavior of a social robot on trust, acceptance, and proximity. DOI: 10.1007/s12369-020-00730-0 |
|
Matthias Kraus, Nicolas Wagner, Zoraida Callejas and Wolfgang Minker. 2021. The role of trust in proactive conversational assistants. DOI: 10.1109/access.2021.3103893 |
|
Zoraida Callejas, David Griol, Kawtar Benghazi, Manuel Noguera, María Inés Torres, Raquel Justo, Anna Esposito, Gennaro Cordasco, Raymond Bond, Maurice Mulvenna, Edel Ennis, Siobhan O'Neill, Huiru Zheng, Matthias Kraus, Nicolas Wagner, Wolfgang Minker, Gavin McConvey, Matthias Hemmje, Michael Fuchs, Neil Glackin and Gérard Chollet. 2021. Towards conversational technology to promote, monitor and protect mental health. DOI: 10.21437/iberspeech.2021-32 |
|
Matthias Kraus, Philip Seldschopf and Wolfgang Minker. 2021. Towards the development of a trustworthy chatbot for mental health applications. DOI: 10.1007/978-3-030-67835-7_30 |
|
2020 |
|
Matthias Kraus, Marvin Schiller, Gregor Behnke, Pascal Bercher, Michael Dorna, Michael Dambier, Birte Glimm, Susanne Biundo and Wolfgang Minker. 2020. "Was that successful?" On integrating proactive meta-dialogue in a DIY-assistant using multimodal cues. DOI: 10.1145/3382507.3418818 |
|
Matthias Kraus, Fabian Fischbach, Pascal Jansen and Wolfgang Minker. 2020. A comparison of explicit and implicit proactive dialogue strategies for conversational recommendation. |
|
Matthias Kraus, Nicolas Wagner and Wolfgang Minker. 2020. Effects of proactive dialogue strategies on human-computer trust. DOI: 10.1145/3340631.3394840 |
|
Gregor Behnke, Pascal Bercher, Matthias Kraus, Marvin Schiller, Kristof Mickeleit, Timo Häge, Michael Dorna, Michael Dambier, Dietrich Manstetten, Wolfgang Minker, Birte Glimm and Susanne Biundo. 2020. New developments for Robert – assisting novice users even better in DIY projects. DOI: 10.1609/icaps.v30i1.6679 |
|
2019 |
|
Matthias Kraus, Marvin Schiller, Gregor Behnke, Pascal Bercher, Susanne Biundo, Birte Glimm and Wolfgang Minker. 2019. A multimodal dialogue framework for cloud-based companion systems. DOI: 10.1007/978-981-13-9443-0_36 |
|
Gregor Behnke, Marvin Schiller, Matthias Kraus, Pascal Bercher, Mario Schmautz, Michael Dorna, Michael Dambier, Wolfgang Minker, Birte Glimm and Susanne Biundo. 2019. Alice in DIY wonderland or: instructing novice users on how to use tools in DIY projects. DOI: 10.3233/aic-180604 |
|
2018 |
|
Matthias Kraus, Johannes Kraus, Martin Baumann and Wolfgang Minker. 2018. Effects of gender stereotypes on trust and likability in soken human-robot interaction. |
|
Marvin Schiller, Gregor Behnke, Pascal Bercher, Matthias Kraus, Michael Dorna, Felix Richter, Susanne Biundo, Birte Glimm and Wolfgang Minker. 2018. Evaluating knowledge-based assistance for DIY. DOI: 10.18420/muc2018-ws19-0551 |
|
Gregor Behnke, Marvin Schiller, Matthias Kraus, Pascal Bercher, Mario Schmautz, Michael Dorna, Wolfgang Minker, Birte Glimm and Susanne Biundo. 2018. Instructing novice users on how to use tools in DIY projects. DOI: 10.24963/ijcai.2018/844 |
|
2017 |
|
Marvin Schiller, Gregor Behnke, Mario Schmautz, Pascal Bercher, Matthias Kraus, Michael Dorna, Wolfgang Minker, Birte Glimm and Susanne Biundo. 2017. A paradigm for coupling procedural and conceptual knowledge in companion systems. DOI: 10.1109/companion.2017.8287072 |
|
Gregor Behnke, Florian Nielsen, Marvin Schiller, Pascal Bercher, Matthias Kraus, Wolfgang Minker, Birte Glimm and Susanne Biundo. 2017. Sloth — the interactive workout planner. DOI: 10.1109/companion.2017.8287077 |
|
2016 |
|
Matthias Kraus. 2016. Mixed-initiative intent recognition using cloud-based cognitive services. |
|
2015 |
|
Louisa Pragst, Stefan Ultes, Matthias Kraus and Wolfgang Minker. 2015. Adaptive dialogue management in the KRISTINA project for multicultural health care applications [Poster Abstract]. |
|
Stefan Ultes, Matthias Kraus, Alexander Schmitt and Wolfgang Minker. 2015. Quality-adaptive spoken dialogue initiative selection and implications on reward modelling. DOI: 10.18653/v1/w15-4649 |