Das Paper „Haystack: A Panoptic Scene Graph Dataset to Evaluate Rare Predicate Classes” von Julian Lorenz, Florian Barthel, Daniel Kienzle und Rainer Lienhart wurde beim First ICCV Workshop on Scene Graphs and Graph Representation Learning (SG2RL) akzeptiert. Die Autoren präsentieren Haystack, einen neuartigen Datensatz für Scene Graph Generation, der entwickelt wurde, um die Schwachstellen der Evaluation mit aktuellen Scene Graph Datensätzen zu verhindern. Insbesondere zeichnet sich Haystack dadurch aus, dass er seltene Prädikatklassen enthält und auch negative Annotationen beinhaltet. Erst durch diese Eigenschaften können seltene Beziehungen zuverlässig evaluiert werden. Mithilfe der besonderen Struktur des Datensatzes sind die Autoren in der Lage, drei neue Metriken zu definieren, die verwendet werden können, um aussagekräftigere Aussagen über die Modellausgaben zu seltenen Prädikaten zu machen.

Weitere Informationen sind unter https://lorjul.github.io/haystack/ zu finden.