Marina: Realizing ML-Driven Real-Time Network Traffic Monitoring at Terabit Scale
Unser Paper "Marina: Realizing ML-Driven Real-Time Network Traffic Monitoring at Terabit Scale" wurde im IEEE Transactions on Network and Service Management (TNSM) Journal veröffentlicht. Das Paper beschreibt "Marina", ein System, das zur Verbesserung der Echtzeitüberwachung von Netzwerkverkehr entwickelt wurde, um sowohl die Leistung als auch die Sicherheit für Kunden in großen Netzwerken zu gewährleisten. Es nutzt eine effiziente Datenebene zur Erfassung von Verkehrsstatistiken in Echtzeit und einen leistungsstarken ML-Server für die Durchführung komplexer ML-Modelle, wodurch es mehr als 520,000 gleichzeitige Verbindungen bei einer Gesamtkapazität von 6.4 Tbps überwachen kann und vergleichbare oder bessere Ergebnisse als bestehende Lösungen erzielt. Netzbetreiber benötigen Einblicke in die Verkehrsüberwachung in Echtzeit, um ihren Kunden hohe Leistung und Sicherheit bieten zu können. Es hat sich gezeigt, dass künstliche Intelligenz und maschinelles Lernen (ML) die Sichtbarkeit von Telemetriesystemen verbessern können, insbesondere bei verschlüsseltem Datenverkehr. Die derzeitigen Lösungen sind jedoch nicht in der Lage, die hohen Verkehrsraten und -mengen in großen Netzen zu bewältigen. Um das Paradigma der ML-gesteuerten Netzwerkintelligenz im Terabit-Maßstab zu verwirklichen, entwickeln wir Marina, ein System, das die Überwachung auf eine hocheffiziente Datenebene verteilt, die Verkehrsstatistiken mit Leitungsrate extrahieren kann, und einen leistungsstarken ML-Server, der Überwachungsinferenzen unter Verwendung komplexer ML-Modelle ausführen kann. Wir wenden eine zeitliche Mikroaggregation in Sub-Sekunden- Zeitfenster an und extrahieren momentbasierte Statistiken. Diese ermöglichen es, flexibel genaue ML-basierte Überwachungsentscheidungen während des nächsten Zeitfensters zu treffen. Um die Skalierbarkeit unseres Designs zu demonstrieren, implementieren und evaluieren wir einen Prototyp der Marina-Datenebene auf einem Barefoot Wedge 100BF-65X P4-Switch, der bei voller Switching-Kapazität von 6,4 TBit/s mehr als 520.000 gleichzeitige Datenströme überwachen kann. Wir validieren die durch unsere Marina-Implementierung ermöglichten Analysefunktionen für vier ML-gesteuerte Echtzeit-Überwachungsaufgaben mit einer breiten Palette von Standard-ML-Modellen und erzielen dabei vergleichbare oder bessere Ergebnisse als der Stand der Technik. Paper: Michael Seufert, Katharina. Dietz, Nikolas Wehner, Stefan Geißler, Joshua Schüler, Manuel Wolz, Andreas Hotho, Pedro Casas, Tobias Hoßfeld, Anja Feldmann. "Marina: Realizing ML-Driven Real-Time Network Traffic Monitoring at Terabit Scale". Link zum Paper:
Marina: Realizing ML-Driven Real-Time Network Traffic Monitoring at Terabit ScaleAbstract: