Das Paper "TT4D: A Pipeline and Dataset for Table Tennis 4D Reconstruction From Monocular Videos" von Nima Rahmanian, Dvij Kalaria, Daniel Kienzle, Thomas Gossard, Rainer Lienhart und S. Shankar Sastry wurde auf der ACM Multimedia (ACM MM) 2026 angenommen. Die Konferenz findet vom 10. bis 14. November 2026 in Rio de Janeiro (Brasilien) statt.  

Die Autoren präsentieren mit TT4D sowohl eine neuartige Rekonstruktions-Pipeline als auch einen umfangreichen multimodalen Tischtennis Datensatz mit über 140 Stunden Spielzeit aus regulären TV-Übertragungen. Der Datensatz enthält 3D Ball Trajektorien, Ball Spin Annotationen, präzise zeitliche Segmentierung von einzelnen Ballwechseln, und Human Meshes.

Bisherige Rekonstruktionsansätze scheiterten bei ungeschnittenen Videos häufig an der fehleranfälligen zeitlichen Segmentierung von einzelnen Ballwechseln basierend auf 2D Informationen. Die vorgestellte „Lift-First“-Pipeline löst dieses Problem:
1. Full-Sequence Lifting: Ein Transformer-Netzwerk hebt unsegmentierte 2D-Balldetektionen direkt in den 3D-Raum und schätzt zeitgleich den Spin. Fehlende Detektionen durch Verdeckungen werden dabei robust interpoliert.  
2.3D-Zeitsegmentierung & Annotation: Im eindeutigen 3D-Raum lassen sich Schlagzeitpunkte zuverlässig lokalisieren.  

TT4D ermöglicht mit über 210.000 rekonstruierten Ballwechseln völlig neue Anwendungen in der Sportanalytik und in der Robotik.

https://arxiv.org/abs/2605.01234