EndoPlan-3D entwickelt eine KI-gestützte, interaktive 3D-Umgebung zur verbesserten Planung endoskopischer Eingriffe bei gastrointestinalen Frühneoplasien. Durch die KI-gestützte Fusion multimodaler Daten aus Weißlicht-Endoskopie und Endosonographie entstehen individuelle, dynamische 3D-Modelle.
Diese sollen Ärztinnen und Ärzten in einer VR-Umgebung helfen, Tumorgrenzen, kritische Hotspots und optimale Resektionsstrategien sicher zu identifizieren. Die Universität Augsburg leitet im Projekt den partizipativen Designprozess. Durch Interviews und Co-Design-Workshops mit Endoskopie-Expertinnen und -Experten wird eine interaktive 3D-Umgebung entwickelt, die die Operationsvorbereitung praxisnah unterstützt. Sprachdaten aus dem lauten Mitdenken während der Planung werden mithilfe von Large- Language-Modellen analysiert, um sprachgestützte Annotationen zu ermöglichen. Außerdem wird das an der Universität Augsburg entwickelte Annotationstool NovA eingesetzt, um chirurgische Planungsprozesse strukturiert zu erfassen - einschließlich zeitlich markierter kritischer Ereignisse, die für Planung und Durchführung besonders relevant sind.  Darüber hinaus verantwortet die Universität Augsburg die Untersuchung ethischer, rechtlicher und sozialer Aspekte (ELSA) und die Erstellung entsprechender Leitlinien für die klinische Integration.