Trends, die auf die Netzwerkplanung Einfluss nehmen 400GbE ist näher als gedacht

10GbE oder 100GbE heute bedeuten, dass der Übergang zu 400GbE noch in weiter Ferne liegt? „Nein“, sagt Ken Hall von Commscope in seinem Blog. Man brauche doch nur einmal die Anzahl der 10GbE-Ports und schnelleren im Rechenzentrum zusammenzählen und stelle schnell fest, dass der Übergang zu 400GbE und darüber hinaus nicht so weit entfernt sein könne.

Die zunehmende Einführung von Cloud-Infrastrukturen und -Services in allen Rechenzentren erfordert mehr Bandbreite, höhere Geschwindigkeiten und geringere Latenzzeiten. Unabhängig vom Markt oder Schwerpunkt müssen Unternehmen die Änderungen in ihrer Enterprise- oder Cloud-Architektur berücksichtigen, die zur Unterstützung der neuen Anforderungen erforderlich sind. Das aber bedeute, so Hall, dass Sie die Trends verstehen müssten, die deren Einführung sowie die neuen Infrastrukturtechnologien treiben.

Bildergalerie

Wenn Manager von Rechenzentren auf den Horizont blicken, sind die Anzeichen für eine Cloud-basierte Entwicklung allgegenwärtig.

• mehr hochleistungsfähige virtualisierte Server

• höhere Bandbreiten und geringere Latenzzeiten

• schnellere Switch-to-Server-Verbindungen

• höhere Uplink-/Backbone-Geschwindigkeiten

• schnelle Erweiterungsmöglichkeiten

Die Unterstützung dieser Veränderungen beginnt mit der Aktivierung höherer Lane-Geschwindigkeiten. Der Übergang von 25 über 50 zu 100GbE und darüber ist inzwischen üblich und beginnt, den Migrationspfad 1/10/40GbE zu ersetzen.

Veränderte Hardware

Innerhalb der Cloud selbst verändert sich auch die Hardware. Die Netzwerke haben sich von mehreren disparaten, wie sie für ein herkömmliches Rechenzentrum typisch gewesen sind, zu einer stärkeren Virtualisierung mit gepoolter Hardware und softwaregesteuertem Management entwickelt. Diese Virtualisierung führt dazu, dass der Zugriff auf Anwendungen und deren Aktivitäten auf dem schnellstmöglichen Weg geleitet werden müssen, was viele Netzwerkmanager zu der Frage zwingt: „Wie entwerfe ich meine Infrastruktur, um diese Cloud-first-Anwendungen zu unterstützen?“

Es sind also immer dieselben grundlegenden Bausteine, um einen klaren Weg von 10GbE über 25GbE zu 50GbE und 100GbE zu definieren. Viele Netzwerkmanager verwenden direktere Verbindungen von Maschine zu Maschine, um die Latenzzeit zu verringern, indem sie die Anzahl der Switches zwischen ihnen reduzieren. Anwendungen sind auf die Zusammenarbeit vieler Maschinen angewiesen, und die Netzwerke, die diese miteinander verbinden, müssen sich weiterentwickeln, um den Anforderungen an Service und Kapazität gerecht zu werden und gleichzeitig die Gesamteffizienz zu verbessern.

Mehr Maschinen direkt miteinander zu verbinden, indem Switches mit hoher Radix verwendet werden, bedeutet weniger Switches (und weniger Kosten und Stromverbrauch). Mit zunehmender Radix können mehr Rechner an einen einzigen Switch angeschlossen werden, ohne dass man sich Gedanken über die Switch-Kapazität oder die Latenzzeit machen muss.

Dies sei, so Hall, eine präzisere Art, die Switch-Kapazität zu betrachten. Switch-Verbindungsgeschwindigkeiten werden auch zunehmend durch Switch-ASICs mit höheren Serialisierungs-/Deserialisierungsgeschwindigkeiten (SerDes) ermöglicht. Zusammengenommen bildet dies eine umfassende Strategie zur Verbesserung der Betriebskapazität und Effizienz von Rechenzentren im Cloud-Maßstab.

Transceiver, Steckverbinder und Chips

Die aktuellen SFP-, SFP+- oder QSFP+-Optiken reichen aus, um Verbindungsgeschwindigkeiten von 200GbE zu ermöglichen. Für den Sprung auf 400GbE ist jedoch eine Verdoppelung der Dichte der Transceiver erforderlich. Hier kommen die Technologien QSFP-Double Density (QSFP-DD) und octal (2 mal ein Quad) small form factor pluggable (OSFP) ins Spiel.

Die QSFP-DD-Transceiver sind mit bestehenden QSFP-Ports abwärtskompatibel. Sie lassen sich mit bestehenden optischen Modulen verbinden, zum Beispiel QSFP+ (40GbE), QSFP28 (100GbE) und QSFP56 (200GbE).

OSFP ermöglicht, wie die QSFP-DD-Optik, die Verwendung von acht statt vier Lanes. Mit beiden Modultypen können Sie 32 Ports in einem 1RU-Panel unterbringen. Zur Unterstützung der Abwärtskompatibilität ist für das OSFP ein OSFP-zu-QSFP-Adapter erforderlich.

Ein wesentlicher Unterschied zwischen den beiden Technologien besteht darin, dass das OSFP auf Anwendungen mit höherer Leistung (<15W) als QSFP-DD (<12W) abzielt. In den MSAs werden verschiedene optische Anschlussoptionen erwähnt: LC-, Mini-LC-, MPO 8-, 12-, 16-, SN-, MDC- und CS-Steckverbinder können je nach der unterstützten Anwendung gewählt werden.

Höhere Flexbilität

Die Vielfalt der Anschlusstechnologieoptionen bietet zudem mehr Möglichkeiten, die zusätzliche Kapazität, die die oktalen Module bieten, aufzuteilen und zu verteilen. Der 12-Faser-MPO (der manchmal mit nur 8 Fasern verwendet wird) konnte 6 Lanes mit je 2 Fasern unterstützen. Viele Anwendungen nutzten jedoch nur 4 Lanes, wie z.B. das 40GBase-SR4 mit 8 Fasern.

Octal-Module haben 8 Lanes und können 8 Maschinenverbindungen unterstützen, während QSFP-Module nur 4 unterstützen. Die Switches entwickeln sich weiter, um mehr Lanes mit höheren Geschwindigkeiten bereitzustellen und gleichzeitig die Kosten und den Stromverbrauch von Netzwerken zu senken. Mit Octal-Modulen können diese zusätzlichen Verbindungen über den 32-Port-Raum eines 1U-Switches angeschlossen werden.

Die Aufrechterhaltung der höheren Radix wird durch die Verwendung von Lane Breakout vom optischen Modul erreicht. MPO16- und 16-Faser-Verkabelungssysteme sind laut Hall ideal geeignet, um dieses neue Netzwerkparadigma zu unterstützen.

Die Steckverbinder

Andere Steckverbinder, die sich lohnen, sind der SN und der MDC. Der SN ist ein Duplex-Glasfaserstecker mit sehr kleinem Formfaktor (VSFF). Er ist für Hyperscale-, Edge-, Enterprise- und Co-Location Data Center Interconnect (DCI)-Anwendungen gedacht.

Diese Steckverbinder verfügen über eine 1,25-mm-Ferrule und sollen flexiblere Breakout-Optionen für optische Hochgeschwindigkeitsmodule bieten. Die SN- und MDC-Steckverbinder können 4 Duplex-Verbindungen zu einem Quad- oder Octal-Transceiver-Modul herstellen. Sie sind jedoch nicht steckbar, und beide Steckverbinder hoffen, der Standardpfad zu VSFF zu werden.

Die ersten Anwendungen für diese Steckverbinder sind in erster Linie in diesem optischen Modul Breakout-Anwendung. Letztlich wird es darauf ankommen, welche Transceiver mit welchen Steckverbindern in Zukunft verfügbar sein werden.

Dem Bedarf an Bandbreite sind keine Grenzen gesetzt. Derzeit ist der begrenzende Faktor ist nicht, wie viel man an der Vorderseite des Switches anschließen kann, sondern wie viel Kapazität der Chipsatz im Inneren liefern kann. Eine höhere Radix kombiniert mit höheren SerDes-Geschwindigkeiten ergibt eine höhere Kapazität.

Der typische Ansatz für die Unterstützung von 100GbE-Anwendungen um 2015 verwendet 128 - 25GbE-Lanes, was eine Switch-Kapazität von 3,2 TB ergibt. Um 400GbE zu erreichen, musste der ASIC auf 256 50GbE-Lanes erhöht werden, was 12,8 Tbit Switch-Kapazität ergibt. Die nächste Stufe – 256 100GbE-Lanes – erhöht auf 25,6 Tbit. Für die Zukunft wird erwogen, die Lane-Geschwindigkeiten auf 200GbE zu erhöhen – eine schwierige Aufgabe, nach Einschätzung von Hall, deren Vollendung einige Jahre dauern werde.

Anpassung der Verkabelung und des Designs der physikalischen Schicht

Der Klebstoff, der alles im Netzwerk zusammenhält, ist die Verkabelung der physikalischen Schicht. Um ihre Leitungen zu erweitern, gehen Rechenzentren über die traditionellen Duplex-Anwendungen hinaus. Je nach den von ihnen unterstützten Anwendungen setzen die Netzwerke mehr 4-, 8- und 16-paarige Konfigurationen ein. Sie verwenden sowohl Singlemode- als auch Multimode-Optik, Duplex-WDM und parallele Verkabelung in Kombination, um eine Vielzahl von Netzwerktopologien zu unterstützen.

Das Ziel ist eine höhere Kapazität und Effizienz. Die optimale Lösung ist unterschiedlich, aber Commscope etwa verfüge über eine Vielzahl von Werkzeugen. Der schwierige Teil bestehe darin, einen Weg zu finden, der vom bestehenden Zustand (oft mit einer sehr großen installierten Basis) zu etwas führt, das mit anderen Netztopologien, Steckertypen und Verkabelungsmodulen wie 16f usw. zwei Schritte voraus sein könnte, überlegt Hall.

In der Zwischenzeit seien flache, faserdichte Spine-Leaf-Konfigurationen für Ost-West-Verkehr mit geringerer Latenz ausgelegt. Der Trend bei Rechenzentren und größeren Unternehmensnetzwerken gehe in Richtung einer glasfaserdichten Mesh-Architektur, die den Ost-West-Verkehr optimiert (oft mit dem 10-Fachen des Nord-Süd-Verkehrs) – immer noch eine Spine-Leaf-Ausrichtung, aber mit weniger Netzwerkschichten und oft mit Blick auf höhere Serveranschlussgeschwindigkeiten.

Neue Möglichkeiten durch Meshes

„Die fortschreitende Entwicklung von Mesh-Architekturen ist nicht so berichtenswert“, sagt Hall. Wenn man jedoch die Vorteile von Switches mit höherer Radix hinzunehme, seien die Auswirkungen erheblich.

In den meisten heutigen Spine-Leaf-Netzwerken speisen die Leaf-Switches die ToR-Switches, die oben in jedem Serverschrank positioniert sind. Dieses Design war optimal für Switches mit niedrigem Radix, die mit niedrigeren Serveranschlussgeschwindigkeiten arbeiten. Ein ToR-Switch würde etwa die Anzahl der Serververbindungen eines Racks bereitstellen – mit kurzen, kostengünstigen Verbindungen zwischen dem Server und dem ToR-Switch.

Der Wechsel zu Switches mit höherem Radix bedeutet, dass zwar immer noch 32 Ports verwendet werden, aber doppelt so viele Lanes für den Anschluss von Servern zur Verfügung stehen. Dies biete eine interessante Möglichkeit, so Hall. Mit den höheren Radix-Switches können Unternehmen nun zu einem Design migrieren, bei dem mehrere ToR-Switches durch weniger Leaf-Switches ersetzt werden, die sich entweder am Ende der Reihe (EoR) oder in der Mitte der Reihe (MoR) befinden. Die Eliminierung einiger Switches bedeutet weniger Hops, geringere Latenzzeiten und ein effizienteres Design.

Die Chance auf Reduktion von Komplexität

Die ideale Lösung für diese Anwendung erfordere, erläutert Hall, dass die Radix mit 8 Verbindungen pro optischem Modul beibehalten werde. Die Beibehaltung niedrigerer Kosten für diese Option werde durch die Verwendung kostengünstigerer MM-Optik sowie durch die neue 400GSR8-Anwendungsunterstützung für 8 50GbE-Serververbindungen über 100 m OM4-Kabel ermöglicht.

Mit Blick auf die Zukunft zielt die Entwicklung des 802.3db aber auf eine Verdopplung der Lane-Geschwindigkeit auf 100GbE über dieselbe MMF-Infrastruktur ab. Dies ist ideal für AI/ML-Pods mit höherer Dichte, die unbedingt viel höhere Server-Netzwerkgeschwindigkeiten benötigen, aber keine längeren Netzwerkverbindungen benötigen, die teurere SM-Optik erfordern würden.

Mit wem reden?

Die Frage ist, was ist wie zu tun? Ein wichtiger erster Schritt besteht darin, eine Bestandsaufnahme Ihres heutigen Netzes vorzunehmen.

• Zum Beispiel sind Patchpanels und Trunkkabel zwischen den Punkten vorhanden, aber wie sieht es mit den Verbindungen aus?

• Haben die Trunk-Kabel Stifte oder nicht?

• Passt die Wahl der Stifte zu den Transceivern, die verwendet werden sollen?

• Wie sieht es mit den Übergängen im Netzwerk aus? MPO-zu-Duplex, einen einzelner MPO zu zwei MPOs?

Apropos zukünftige Anwendungen: Wie sieht die Technologie-Roadmap Ihres Unternehmens aus? Wie viel Vorlauf benötigen Sie, um Ihre Infrastruktur auf die sich entwickelnden Geschwindigkeits- und Latenzanforderungen vorzubereiten? Verfügen Sie über die richtige Anzahl von Glasfasern und die richtige Architektur?

Wer gehört mit an den Tisch? Das Netzwerkteam muss mit seinen Kollegen auf der Infrastrukturseite im Gespräch bleiben. Sie können dabei helfen, zu verstehen, was bereits installiert ist, und auf künftige Anforderungen und Pläne aufmerksam machen.

Für den Comscope-Mann Hall heißt es aber auch: „Es nie zu früh, externe Experten hinzuzuziehen.“

Über den Autor

Ken Hall ist Solutions Architect for Cloud-Scale Data Centers (RCDD NTS) bei Commscope.

(ID:47769654)