Das Paper „Haystack: A Panoptic Scene Graph Dataset to Evaluate Rare Predicate Classes” von Julian Lorenz, Florian Barthel, Daniel Kienzle und Rainer Lienhart wurde beim First ICCV Workshop on Scene Graphs and Graph Representation Learning (SG2RL) akzeptiert. Die Autoren präsentieren Haystack, einen neuartigen Datensatz für Scene Graph Generation, der entwickelt wurde, um die Schwachstellen der Evaluation mit aktuellen Scene Graph Datensätzen zu verhindern. Insbesondere zeichnet sich Haystack dadurch aus, dass er seltene Prädikatklassen enthält und auch negative Annotationen beinhaltet. Erst durch diese Eigenschaften können seltene Beziehungen zuverlässig evaluiert werden. Mithilfe der besonderen Struktur des Datensatzes sind die Autoren in der Lage, drei neue Metriken zu definieren, die verwendet werden können, um aussagekräftigere Aussagen über die Modellausgaben zu seltenen Prädikaten zu machen.

Weitere Informationen sind unter https://lorjul.github.io/haystack/ zu finden.

Das Paper mit dem Title "Impact of Pseudo Depth on Open World Object Segmentation with Minimal User Guidance" von Robin Schön, Katja Ludwig und Rainer Lienhart wurde auf dem 2nd Workshop on Learning with Limited Labelled Data for Image and Video Understanding at the CVPR 2023 akzeptiert. In diesem Paper untersuchen die Autoren den Effekt von Pseudotiefenkarten auf die Segmentierung von Objekttypen, welche nicht in den Trainingsdaten vorkamen. Die zu segmentierenden Objekte werden mithilfe von Koordinaten auf der Objektoberfläche identifiziert. Um eine Abhängigkeit von Grundwahrheitstiefenkarten zu vermeiden, werden die Tiefenkarten mit Netzen generiert.

Das Paper mit dem Titel "Detecting Arbitrary Keypoints on Limbs and Skis with Sparse Partly Correct Segmentation Masks" von Katja Ludwig, Daniel Kienzle, Julian Lorenz und Rainer Lienhart wurde auf dem Workshop Computer Vision for Winter Sports auf der IEEE/CVF Winter Conference on Applications in Computer Vision (WACV) 2023 akzeptiert. Die Autoren beschreiben in diesem Paper, wie beliebige Punkte auf den Gliedmaßen und den Ski von Skispringern erkannt werden können. Für die vorgestellte Methode ist ein Datensatz ausreichend, der nur wenige Segmentierungsmasken enthält, und diese müssen auch nur teilweise korrekt sein.

Das Paper mit dem Titel "Pseudo-Label Noise Suppression Techniques for Semi-Supervised Semantic Segmentation" von Sebastian Scherer, Robin Schön und Rainer Lienhart wurde für die British Machine Vision Conference (BMVC) 2023 akzeptiert. In diesem Paper beschreiben die Autoren eine Methode die es ermöglich, den Bedarf an großen gelabelten Datensätzen zu verringern, indem nicht gelabelte Daten in das Training einbezogen werden. Als Anwendung verwenden die Autoren die menschlicher Posenschätzung sowie die semantische Segmentierung, wobei besonderes letzteres interessant ist, da hier die Annotation von Daten äußerst zeitaufwendig ist.

Daniel Kienzle, Julian Lorenz, Katja Ludwig, Robin Schön und Rainer Lienhart vom Lehrstuhl für Maschinelles Lernen und Maschinelles Sehen haben den ersten Platz in der STOIC-Challenge belegt. Das Ziel des Wettbewerbs war es anhand von CT-Scans vorherzusagen, wie sich der Krankheitsverlauf eines Patienten im nächsten Monat entwickeln würde. Umgesetzt wurde dies mit Hilfe von neuronalen Faltungsnetzen und Transferlernen auf verschiedenen Aufgaben.  Organisiert wurde der Wettbewerb von Assistance Publique – Hôpitaux de Paris, Radboud University Medical Center und Amazon Web Services.

Das Paper mit dem Titel "Uplift and Upsample: Efficient 3D Human Pose Estimation with Uplifting Transformers" von Moritz Einfalt, Katja Ludwig und Rainer Lienhart wurde für die IEEE/CVF Winter Conference on Applications in Computer Vision (WACV) 2023 akzeptiert. In diesem Paper beschreiben die Autoren eine Methode, mit der die Berechnungskomplexität von menschlicher Posenschätzung im 3D Raum mit Transformern erheblich reduziert werde kann. Dennoch können damit weiterhin zeitlich konsistente und präzise 3D Bewegungssequenzen rekonstruiert werden.

Das Paper mit dem Titel "COVID detection and severity prediction with 3D-ConvNeXt and custom pretrainings" von Daniel Kienzle, Julian Lorenz, Robin Schön, Katja Ludwig und Rainer Lienhart wurde auf dem Workshop on AI-enabled Medical Image Analysis auf der ECCV 2022 akzeptiert.
In diesem Paper zeigen die Autoren, wie die ConvNeXt Architektur auf die Klassifizierung von 3D-CT Scans angewendet werden kann. Insbesondere werden verschiedene Methoden untersucht um Transferlernen für die Endanwendung auf medizinischen 3D-Daten durchzuführen. Mit den Erkenntnissen aus diesem Paper wurde der zweite Platz in der 1st COVID19 Severity
Detection Challenge und der dritte Platz in der 2nd COVID19 Detection Challenge erreicht.

Wir gratulieren Dr. Stephan Brehm herzlich zur erfolgreichen Verteidigung seiner Dissertation mit dem Titel: Image Manipulation and Image Synthesis: Applications and Use-Cases using Deep Neural Networks.

Wir bedanken uns für die gemeinsame Zeit am Lehrstuhl und wünschen Ihm für die Zukunft alles Gute!

Das Paper mit dem Titel "Synchronized Audio-Visual Frames With Fractional Positional Encoding for Transformers in Video-to-Text Translation" von Philipp Harzig, Moritz Einfalt und Rainer Lienhart wurde für die IEEE International Conference on Image Processing (ICIP) 2022 akzeptiert. In diesem Paper untersuchen die Autoren, wie Audio- und Bildinformation aus Videos besser für die automatisierte Generiererung von textuellen Videobeschreibungen kombiniert werden können.

Call for Papers

-------------------

Fifth International Workshop on Multimedia Content Analysis in Sports

MMSports'22 @ ACM Multimedia

October 10-14, 2022, Lisbon, Portugal

Important Dates

Submission Due:                       July 04, 2022

Acceptance Notification:           July 29, 2022

Camera Ready Submission:     August 21, 2022

Der gesamte Lehrstul gratuliert Dr. Philipp Harzig zur erfolgreichen Verteidigung seiner Dissertation mit dem Titel: Automatic Generation of Natural Language Descriptions of Visual Data: Describing Images and Videos using Recurrent and Self-Attentive Models.

Wir wünschen Ihm auf seinem weiteren Weg alles Gute!