Suchen

Netzwerk-Grundlagen – Rechenzentrumsnetze im Umbruch, Teil 10 100 Gigabit Ethernet (100 GbE) – Turbo für virtualisierte Systemumgebungen

Autor / Redakteur: Dr. Franz-Joachim Kauffels / Dipl.-Ing. (FH) Andreas Donner

Die Leistungsexplosion virtueller Server in puncto I/O durch den Einsatz von Virtual I/O und SR-IOV wirft verschiedene neue Fragen auf. Wie kann man z.B. Blade-Systeme, in denen jedes einzelne Server-Blade schon 10 Gb I/O kann, sinnvoll an die Netzwerke anschließen? Welche Qualität müssen Netze haben, wenn sie zum Systembus virtualisierter Systemumgebungen werden sollen? Wie kann man auf dieser Ebene Konvergenz von Ethernet- und FC-Speicherverkehr realisieren? Diesen Aufgaben ist einzig und alleine 100 GbE gewachsen. In diesem Artikel untersuchen wir den aktuellen Entwicklungsstand

Firmen zum Thema

Der Hersteller Reflex Photonics stellte bereits Ende März 2010 einen 100-GbE-Transceiver vor; Bild: Dr. Franz-Joachim Kauffels
Der Hersteller Reflex Photonics stellte bereits Ende März 2010 einen 100-GbE-Transceiver vor; Bild: Dr. Franz-Joachim Kauffels
( Archiv: Vogel Business Media )

Die Anforderungen an eine sinnvolle Vernetzung im RZ steigen ständig, über die Ursachen haben wir ja schon länger berichtet. Im ersten HJ 2010 bekam die Diskussion jedoch eine neue Dimension. Durch die Einführung von I/O-Virtualisierung auf der Grundlage von SR-IOV können wir nicht länger von „harmlosen“ virtualisierten Servern mit geringer I/O-Fähigkeit ausgehen. Vielmehr können einzelne Server jetzt in Bereiche zwischen 20 und 30 Gbit/s I/O vordringen und es gibt schon jetzt Server-Blades mit 10 Gbit/s I/O-Leistung für ein Blade.

Im Frühjahr gab es eine durch einen Tolly-Test angefeuerte Auseinandersetzung zwischen HP und Cisco. Kern waren Aussagen um die tatsächliche I/O-Leistung dieser Systeme, also des HP Blade Systems und des Cisco UCS. Wir wollen hier dazu gar nicht Stellung nehmen. Interessant ist aber, dass beide Kontrahenten behaupten, dass ein maximal konfiguriertes System eine I/O-Leistung von aggregaten 80 Gbit/s. hat. Und an diesem Wert sind vom Grundsatz her auch keine Zweifel angebracht.

Bildergalerie

Spannend ist aber doch die Frage, wie man ein solches voll ausgerüstetes Blade System (oder UCS, oder Blade Center) sinnvoll an ein Netz anschließen kann. Blickt man jetzt auf das, was die Hersteller machen, sieht man tatsächlich die Absicht, hier 16-20 10 GbE-Adapter in das System zu stopfen. Das kann doch wohl nicht die Lösung sein!

In diesem Artikel möchte ich die Welt von 100 G genauer unter die Lupe nehmen, denn für die genannten Blade Systeme wäre natürlich ein Anschluss mit 2 konvergierten 100 G Adaptern, die normalen Ethernet-Verkehr und FC-Speicherverkehr gleichzeitig abwickeln, das einzig Sinnvolle. Und so wird es auch kommen.

Die Perspektive dieser Ausführungen sind die nächsten 3-5 Jahre, um Planungssicherheit zu schaffen. Demgemäß kommen wir auch zu Schlussfolgerungen, die Sie unmittelbar in die Planung einfließen lassen können, auch wenn Sie nicht sofort damit beginnen, 100 G zu verlegen.

Wir überspringen 40 GbE

Bei Corporate Networks führen wir ja zur Zeit eine Diskussion, ob man die 40 GbE nicht einfach überspringen und statt dessen von 10 GbE direkt auf 100 GbE gehen sollte. Dafür spricht vieles, gegen 40 GbE spricht aber vor allem, dass die Provider diese Diskussion bereits hatten und zu Ungunsten von 40 G entschieden haben. Für Provider war es immer günstiger, 4 X 10 GbE statt 1 X 40 GbE zu nehmen. 40 G ist schon länger eine Datenrate in der synchronen Netzwerkhierarchie der ITU (OC-768) und große Provider haben heute Netze, die allesamt mit 40 G pro Wellenlänge eines DWDM-Systems arbeiten können, es wird aber wegen der hohen Kosten für die Schnittstellen nicht so oft benutzt, wie man annehmen möchte.

Man sollte nie vergessen, dass 40 und 100 GbE gleichzeitig entwickelt werden. Es gibt einen gewissen Vorsprung für 40 G, der aber nur aus der Tatsache resultiert, dass diese Datenrate für SONET schon seit Jahren verfügbar ist. Vieles davon braucht man aber für Corporate Networks nicht.

Genau wie bei den Providern werden auch CN-Kunden 40 GbE nur zögerlich einsetzen. Dadurch kommt die Stückzahl für geringe Preise nicht zustande. Ein 40 GbE-Adapter für MMF-SR wird zu Beginn mindestens das 2,6 bis 3,5-fache eines vergleichbaren 10 GbE Adapters kosten. Das macht also nur dann einen Sinn, wenn es Anwendungen gibt, die über ein Link-aggregiertes 4 X 10 GbE partout nicht mehr zu betreiben sind oder man zu wenig Kabel hat. Es werden immer wieder Anwendungen wie IPsec genannt, aber inwieweit diese bei Ihnen wirklich in kritischem Umfang vorliegen, müssen Sie selbst prüfen. Wie gesagt: der Preis für 40 GbE-Adapter wird kaum schnell fallen.

Schauen wir jetzt nach vorne, so etwa 24 Monate oder weniger. In diesem Zeitraum werden mehr Betreiber merken, dass sie mit 10 GbE und auch mit LAG nicht mehr weiter kommen. Dann schauen sie sich die verfügbaren 100 GbE Adapter an und werden sehen, dass diese ebenfalls im Preisbereich von 2,6 bis 3,5 für vergleichbare 10 GbE Adapter liegen. In den 100 GbE Adaptern ist nämlich prinzipiell nichts anderes drin als in den 40 GbE Adaptern.

Der Standard IEEE 802.3 ba unterstützt nämlich eine weitgehende Parallelisierung. Ein 40 GbE-Adapter ist bis auf wenige Teile ein 4 X 10 GbE-Adapter und ein 100 GbE-Adapter ist dann analog z.B. ein 10 X 10 GbE bzw. 5 X 20 GbE oder 4 X 25 GbE Adapter. Das kann man sehen, wenn man sich die Adapter genau anschaut und hören, wenn man mit den Herstellern spricht.

Integration von Komponenten bedeutet, dass man für das gleiche Geld eben in die Breite geht, anstatt schneller zu werden. IEEE 802.3 ba sorgt dafür, dass der überwiegende Teil eines Transceivers in billiger CMOS-Elektronik ausgeführt werden kann. Daher gelten hier die gleichen Randbedingungen wie z.B. bei Prozessoren. Ein 8-Core Prozessor-Chip ist nur am Anfang teurer als ein 4-Core Chip. Und das ist bei 100 G eben genau so.

Also wird der überwiegende Teil der Benutzer von 10 GbE unmittelbar auf 100 GbE umsteigen, auch deswegen, weil 100 GbE wieder die alte Regel „zehnfache Leistung zum dreifachen Preis“ einhält.

Welche Konsequenzen ergeben sich dadurch schon jetzt für Corporate Networks? Schaffen Sie als neue Switches nur Geräte an, die „100 G ready“ sind, so wie Sie privat auch schon „HD ready“ Fernseher gekauft haben, bevor es ein dichtes HD-Programm gab. Nur so stehen Sie auch in 3 bis 5 Jahren noch auf der sicheren Seite. Als Fasern reichen OM3 oder Standard SMF. Drähte haben in Zukunft im RZ nichts mehr zu suchen.

weiter mit: Die 100 GbE-Varianten für Corporate Networks

Die 100 GbE-Varianten für Corporate Networks

In einem Artikel der Grundlagenreihe hatte ich den Standard IEEE 802.3ba ja schon vorgestellt. Wir können also hier direkt zu den interessierenden Varianten übergehen.

Bei den 100 GbE-Varianten unterscheiden wir zwischen denen, die für Corporate Networks besonders interessant sind und denen für Provider Netze. Aus historischen Gründen haben die Provider-Varianten ein bis zwei Jahre Entwicklungsvorsprung.

100 GBASE-CR10 Übertragung auf 10 Kanälen mit jeweils 10 G über mindestens 10m. Dazu benötigt man 2 X 10 Leitungen.

Diese Version wurde zwar im Standard definiert und es gibt auch Hersteller, die entsprechende Stecker gezeigt haben. Insgesamt ist das aber eine eher exotische Variante und sie ist auch wirklich an den Haaren herbeigezogen. Ein Transceiver besteht dann aus 10 nebeneinander gepappten elektrischen 10 GBASE-CX Transceivern.

100 GBASE-SR10 optische Übertragung auf 10 Kanälen mit jeweils 10 G über mindestens 100m OM-3 MMF. Man benötigt 2 X 10 Fasern.

Diese Variante ist nur unwesentlich eleganter als das CR-Pendant. Es gibt aber durchaus normierte Bündelfaserbauarten mit z.B. 24 Fasern, die das unterstützen. Auch hier wurden entsprechende Stecker gezeigt und das Ganze macht einen so fertigen Gesamteindruck, dass man annehmen kann, dass es auch in Stückzahl gebaut und eingesetzt wird. Von der Verkabelung her ergeben sich eigentlich keine wesentlichen Vorteile gegenüber 10 X 10 GbE, aber die Anzahl der Wartungspunkte verringert sich um den Faktor 10 und der Stromverbrauch um den Faktor 6-7. Werden derartige Komponenten preiswert angeboten, reicht alleine das für einen möglichen sinnvollen Einsatz. Abbildung 1 zeigt die Grundkonstruktion für 100 und 40 GbE. Die Transmitterspezifikationen sind dann natürlich harmlos und entsprechen im Wesentlichen denen von 10 GBASE-SR, siehe Abbildung 2. Auch der Receiver stellt die Konstrukteure nicht wirklich auf den Prüfstand.

Selbst unter pessimistischen Annahmen ergibt sich die Reichweite von 2-100 m über 2.000 MHz*km OM-3 MMF.

Der Reflex Photonics 100 GBASE-SR 10 Transceiver aus Abbildung 4 hat einen Anschluss für ein genormtes Ribbon Cable mit 24 MMFs. Er arbeitet besonders energieeffizient und verbraucht weniger als 8 Watt, das ist also nur unwesentlich mehr als bei einem einzelnen 10 G-Adapter. Man kann abschätzen, dass ein mit diesem Transceiver ausgestatteter 100 GBASE-SR 10 Adapter höchstens 12 bis 15 W verbraucht, also etwas so viel wie drei in dieser Hinsicht sparsame 10 G-Adapter. Der Witz an diesem Transceiver ist, dass er mit einem VCSEL-Feld arbeitet. Die Vorzüge von VCSEL-Feldern wurden in der Grundlagenreihe ja ausführlich beschrieben.

Durch die VCSEL-Felder lässt sich der Adapter alternativ als 10 X 10 G oder als 1 X 100 G Transceiver betreiben. Das ist z.B. sehr interessant für eine Integration in Blade Systeme, weil man dann einfach jedem Prozessor Blade einen eigenen 10G-Kanal geben kann und sich im Blade System oder ToR nicht um ein „Zusammenswitchen“ bemühen muss.

Der Transceiver überwindet mindestens 100m auf OM3 Ribbon Cable. So gibt es der Hersteller an. Mit einem OM4 Ribbon Cable lassen sich aber sicher mehr als 200m voneinander entfernte Geräte verbinden, würde Reflex Photonics noch LRM-Schaltungen einbringen, kämen wir auf ca. 600m.

Von außen sieht der Transceiver sehr unspektakulär aus, wie eine Tafel Schokolade aus Aluminium, auch mit diesen Abmessungen. Das wird nicht so bleiben, der nächst kleinere Formfaktor ruft schon laut.

Das Wichtige an diesem Transceiver ist aber, dass er zeigt, dass 100 GBASE-SR10 als preiswerte Lösung für Corporate Networks verfügbar ist.

Wie kommt ein solcher Transceiver nun in unsere Netze? Naja, durch Kooperationen. Reflex Photonics arbeitet eng mit Infinera zusammen, und Infinera arbeitet eng mit Juniper zusammen. Da Juniper schon einen 100 G-Adapter für Provider-Zwecke hat, der die gesamte notwendige Logik in den spezialisierten 50 G ASIC-Steuerprozessoren besitzt, ist es sehr wahrscheinlich, dass Juniper diesen Transceiver mit dem Rest vom Provider-Board kombiniert, um schnell und kostengünstig eine Lösung für Corporate Networks, hier besonders für die Inter Switch Links der Virtual Chassis bauen und anbieten zu können.

100 GBASE-SR4 parallele CWDM-Übertragung von 4 Lanes mit je 25 Gbit/s. auf einer Monomode Faser um 850 nm herum bei einer Reichweite von einigen Hundert Metern.

Diese Variante ist wegen der verfügbaren 30 Gbit/s. VCSELs sehr weit gediehen, gehört aber schon zu denen, die im Standard nicht explizit erwähnt werden. Die Kosten werden 5-6 X 10 GBASE-SR betragen, lieferbar ab ca. 2011

Die 100 G-Varianten für Provider-Netze

Wie schon gesagt, wurde mit der Entwicklung dieser Varianten zwischen ein und zwei Jahren vor der Entwicklung der Varianten für Corporate Networks begonnen. Daher ist es kein Wunder, dass der erste fertige industriell verfügbare Adapter schon am 8.6.2009 von Juniper vorgestellt wurde. Besonders interessant an diesem Abschnitt ist, dass wir einen Blick in die innere Konstruktion eines integrierten Transceivers werfen können.

  • 100 GBASE-LR4 parallele CWDM-Übertragung von 4 Lanes mit je 25 Gbit/s. auf einer Single Mode Faser um 1.300 nm herum bei einer Reichweite von 10km. Diese Variante ist wegen der verfügbaren 30 Gbit/s. VCSELs sehr weit gediehen. Die Kosten werden 6 X 10 GBASE-LR betragen, lieferbar ab ca. 2010
  • 100 GBASE-ER4 parallele CWDM-Übertragung von 4 Lanes mit je 25 Gbit/s. auf einer Single Mode Faser um 1.310 nm oder mit DWDM um 1550 nm herum bei einer Reichweite von 40 km. Hier müssen zurzeit noch DFB-Laser benutzt werden, die Kosten sind entsprechend höher.

Die vierkanaligen CWDM-Varianten unterscheiden sich lediglich durch Art und Qualität der verwendeten Strahlungsquellen und Modulatoren. Wie schon erwähnt sind die ER-Varianten die am weitesten gediehenen, weil sie auch am dringensten benötigt werden.

Der erste kommerziell verfügbare 100 G-Transceiver wurde am 8.6.2009 von Juniper vorgestellt.

Zurück zu Teil 9