Suchen

Netzwerk-Grundlagen – Rechenzentrumsnetze im Umbruch, Teil 1 Virtualisierung, I/O-Konsolidierung und Speicher-Konvergenz – das 1x1 des Rechenzentrums

Autor / Redakteur: Dr. Franz-Joachim Kauffels / Dipl.-Ing. (FH) Andreas Donner

Noch nie hat es eine Zeit mit vergleichbar vielen neuen Anforderungen an RZ-Netze gegeben wie heute. Web-Architekturen, Virtualisierung, I/O-Konsolidierung und Speicher-Konvergenz sind hier die wichtigsten Schlagworte. Durch sie wird das RZ-Netz zum Systembus. Aber was heißt das für Bandbreite, Latenz, Reaktionsfähigkeit, Sicherheit, Struktur und Betrieb?

Firmen zum Thema

Mit der Virtualisierung wird das Netzwerk mehr und mehr zum Systembus
Mit der Virtualisierung wird das Netzwerk mehr und mehr zum Systembus
( Archiv: Vogel Business Media )

Im Internet gibt es viele zusammenhanglose Informationen zu den anstehenden Veränderungen im Rechenzentrum. Allerdings läuft man hier gerne Gefahr, vor lauter Bäumen den Wald nicht zu sehen, vor allem, weil „Systemleute“ und „Netzwerker“ auf einmal übergreifende Problemstellungen bekommen, die es so vorher nicht gab. Ziel dieser Beitragsreihe ist es daher, Betroffenen alle Einflussfaktoren, Technologien und Möglichkeiten in einer gewissen Gesamtheit zu eröffnen und in verständlicher Weise näher zu bringen.

Der Beginn der Virtualisierung

Zunächst war die Idee ganz harmlos. In einem üblichen RZ stehen Hunderte kleiner alter Server mit kleinen alten Platten. Diese ersetzt man durch neue leistungsfähige Systeme und bildet die Funktionen der alten Server über Virtualisierung auf die neuen ab. Dabei kann man z.B. zehn bis 20 alte Server auf einen neuen bringen. Eine schöne Zugabe sind dann noch, wie ich sie gerne nenne, die „Komfortfunktionen“ der Virtualisierungssoftware. Hierzu zählt bspw. die Möglichkeit zum unterbrechungsfreien Betrieb.

Bildergalerie
Bildergalerie mit 8 Bildern

Insgesamt lassen sich so Platz in der Größenordnung von Turnhallen und viel Geld durch bessere Energie-Effizient und einen vereinfachten Betrieb sparen. Darum ist die Virtualisierung heute so beliebt.

Man merkt dann allerdings schnell, dass es damit alleine nicht getan ist, sondern die alten Platten auch auf moderne Speichersysteme abgebildet werden müssen. Doch hier bietet der Markt wirklich alles für jeden Geschmack und jedes Budget.

Zu den Risiken und Nebenwirkungen gehört dann aber, dass das bestehende RZ-Netz den neuen Aufgaben nicht mehr gewachsen ist. Prima, denkt sich der Betreiber, dann kaufe ich eben das nächst schnellere Ethernet. Aber damit ist es leider nicht getan. Alleine die Koexistenz der bisherigen Daten und dem neuen Speicherverkehr (den gab es ja vorher wegen der singulären isolierten Platten gar nicht) führt zu einer erheblichen Steigerung der Anforderungen. Hinzu kommt, was aber viele gerne übersehen: die Virtuellen Maschinen kommunizieren ebenfalls fleißig und wandern sogar von einem Server zum nächsten, wenn man die Komfortmerkmale nutzen möchte.

Neue Web-Architekturen erfordern vernetzte Server

Neue Web-Architekturen setzen hochgradig vernetzte Server voraus, auf die die einzelnen Elemente für die Unterstützung dynamischer Umgebungen verteilt werden. Nimmt man das zusammen, kommt man zu folgender wichtigen Erkenntnis:

RZ-Netze können nicht wie bisher durch eine Extrapolation der bestehenden Last-Situation auf die nächsten Jahre weiterentwickelt werden. Durch Virtualisierung, Konsolidierung und Konzentration entstehen neue Verkehrsströme erheblichen Umfangs, die es vorher gar nicht gab!

weiter mit: Eine IT-Revolution wie bei der Einführung des PC

Eine IT-Revolution wie bei der Einführung des PC

Die aktuelle Diskussion über Virtualisierung, I/O-Konsolidierung und dazu passende Netze erinnert mich in ihrer Tragweite an die Diskussionen um PC-Netze in den frühen 80er Jahren des letzten Jahrhunderts. PCs waren grade neu, DOS und Windows kannten weder Netze noch Multitasking und das Internet war noch weit weg. Im RZ herrschte IBM. Damals hat der Hersteller Novell die Welt genauso aufgemischt wie VMware heute.

Betroffene Betreiber hatten zunächst auch hier große Verständnisprobleme. Letztlich gab es für Unternehmen nur zwei wirkliche Alternativen: die Schaffung einer völlig neuen DV-Welt mit PCs, Servern, NetWare und Ethernet oder die Einbindung der PCs in IBMs SNA. Die so genannten mittleren Systemebenen mit UNIX-Rechnern waren zwar technisch oft sehr elegant, rückwirkend betrachtet statistisch aber eher unwesentlich. Wir wissen wie es ausgegangen ist: die neue Netzwerkstruktur mit Ethernet hat sich massiv durchgesetzt.

Wir stehen jetzt wieder an einer solchen Schwelle. Ethernet als solches wird zwar nicht verschwinden wie SNA, weil es auch in anderen Bereichen extrem verbreitet und durch die Standardisierung nicht von einem einzigen Hersteller anhängig ist. Den Umbruch im RZ und die sich am Horizont bereits abzeichnende Welle der Endgeräte-Virtualisierung wird es aber nicht ohne wesentliche Veränderungen überstehen.

Und wir sehen die Neuauflage eines alten Problems: Server werden üblicherweise von anderem Personal geplant, aufgebaut und betrieben als Netze. Beide Gruppen sprechen wenig miteinander, es gibt (oder gab) hierzu ja auch eher selten einen Anlass. Doch der Trend zur Virtualisierung mischt diese heile Welt auf.

Virtualisierung, I/O-Konsolidierung, SAN-Integration, Netzleistung und Netzstrukturierung hängen in einem bisher noch nie gekannten Maß zusammen und in ihrem Erfolg voneinander ab. Ich versuche einmal, das kurz zu charakterisieren.

Die Abhängigkeiten

Die Virtualisierung hat, wenn sie richtig durchgeführt wird, erhebliche betriebliche Vorzüge für das Server-Umfeld und ist ein wichtiges Instrument zur möglichen Senkung der allgemeinen Betriebskosten. Immerhin können diese im Lebenszyklus eines Servers ein Vielfaches seines Anschaffungspreises ausmachen.

Blickt man eine Stufe tiefer in die Virtualisierungskonzepte, sind diese wieder von mehreren Faktoren wesentlich abhängig: der I/O-Konsolidierung einschließlich der erfolgreichen Integration von Speichersystemen, der Hardware-Unterstützung aus der Prozessorarchitektur und der generellen Netzleistung sowie einer Netzstrukturierung, die sehr geringe Reaktionszeiten beim Umgang mit Fehlern aufweist.

Man kann das einfach auch so zusammenfassen: das Netzwerk wird zum Systembus für das virtuelle Gesamtsystem.

Durch die Änderung seiner Rolle ändern sich auch die Anforderungen an das Netz dramatisch. Normalerweise sind die Netzwerker gewohnt, mögliche Anforderungen an ein Netz systematisch zu bestimmen und das Netz entsprechend auszulegen. In diesem Fall ist das aber nicht so einfach.

Von der rein übertragungstechnischen Perspektive können wir uns auf die Ethernet-Entwicklung verlassen. 10 Gigabit Ethernet gibt es in ungefähr zehn Varianten vom Rack bis zur 40km-Strecke und man wird sicher eine passende Kombination finden. Einschlägige Hersteller bieten auch entsprechend leistungsfähige Switches an und die Erweiterung auf 40/100 GbE steht vor der Tür. Aber damit ist es leider nicht getan.

Ich habe die Virtualisierungsthematik daher auf der Suche nach Indizien, die für eine zukünftige Netzwerkplanung von Bedeutung sein könnten, angepackt.

weiter mit: Die Auswirkungen der Virtualisierung auf die Netzwerkplanung

Die Auswirkungen der Virtualisierung auf die Netzwerkplanung

Dabei bin ich zunächst einmal darauf gestoßen, dass die aktuelle Situation durchaus mit dem Zustandekommen des Milchpreises beim Discounter vergleichbar ist: alle mischen irgendwie mit, jeder (Kühe, Bauern, Minister, Verbraucher, Molkereien, EU und Discounter) findet sich besonders wichtig und am Ende kommt alle anders.

Mit VMware, Citrix und Microsoft gibt es drei wesentliche Player für Virtualisierungssoftware. Sie bemühen sich zwar redlich darum, konstruktive Unterschiede herauszustellen, aber letztlich ist das alles tagesaktuell. Sagen wir die Hersteller A und B unterscheiden sich in der Konstruktion der Treibersoftware für die HBAs. Der Unterschied führt dazu, dass A in Tests besser ist als B. Dann kommt der Hardware-Hersteller X und unterstützt die Software von B durch einen besseren Hardwarezugriff. Das Ergebnis ist klar: die Kombination von B und X ist schneller. Jetzt schauen die Besitzer von A in die Röhre. Sie müssen darauf warten, dass X oder ein anderer Hersteller Y die Software von A ebenso unterstützen. Schließlich kommt der Netzwerkhersteller C und sagt, dass alles nur dann besser würde, wenn man Server, Netz und Steuerungssoftware nur von ihm kauft. Dazu bietet er dann neuerdings auch Server an. Das ärgert den Server- und Netzwerkhersteller H und der schlägt entsprechend zurück.

Eine Seifenoper ist nichts dagegen!

Die Frage ist doch: machen wir die Entscheidung, morgens Müsli zu essen, von den Einflussmöglichkeiten des bayerischen Landwirtschaftsministers auf die EU-Kommission abhängig? Wohl kaum !

Uns so müssen wir es auch bei der Gestaltung der RZ-Netze halten:

  • Abkopplung von allzu kurzlebigen Tagesdiskussionen
  • Abkopplung von Herstellerinitiativen
  • Hinwendung zu rein standardisierten Lösungen

Natürlich müssen wir dabei auch Diskussionen und Initiativen berücksichtigen, aber nicht im Hinblick auf kurzfristige Ergebnisse, sondern im Hinblick auf langfristige Konsequenzen.

Die ersten Teile dieser Reihe stellen Virtualisierungskonzepte und I/O-Konsolidierung in den Mittelpunkt. Anhand eines (im Rahmen allgemeiner Betrachtungen von Betriebssystemen üblichen) Prozessmodells gelingt es, die für ein Netzwerk wesentlichen Konsequenzen und Zusammenhänge der Entwicklung herauszuarbeiten.

Macht man das so, fällt sofort auf, dass die existierenden Virtualisierungsprodukte ganz erhebliche Lücken und Probleme haben. Diese Lücken müssen in den nächsten Monaten und Jahren geschlossen werden, sonst gibt das insgesamt nichts.

weiter mit: Kernelemente der Virtualisierung

Kernelemente der Virtualisierung

Ein Kernelement jeder Virtualisierungssoftware ist der Hypervisor. Er erzeugt die Laufzeitumgebungen für die Virtuellen Maschinen. In diesem Zusammenhang ist er auch für die Kommunikation und den Speicherzugriff der VMs zuständig. Ohne geeignete Hardware-Unterstützung ist er in beiden Fällen verloren und würde zum Engpass. Dieses Thema steht aber erst am Anfang. Intel und AMD machen hier viel, aber es ist auch noch ein gutes Stück Entwicklung bis zu einer dauerhaft tragfähigen Lösung.

Ein weiteres wichtiges Kern-Konzept im Rahmen der Virtualisierung ist die Möglichkeit, VMs über verschiedene Maschinen hinweg zu bewegen, die VMs also wandern zu lassen. Ohne wandernde VMs können verschiedene betriebliche Vorzüge einer virtualisierten Umgebung nicht erzielt werden. Dabei werden ein Problem und ein Loch sichtbar: die VMs müssen bei ihrer Wanderung bestimmte Informationen über ihre bisherige Umgebung mitnehmen, damit sie in der nächsten Umgebung wieder arbeiten könnte. Damit das überhaupt funktioniert, gibt es dafür Lösungen von Cisco und Brocade. Doch so kann das nur eine Übergangslösung sein, denn diese Funktionen gehören in den Hypervisor.

Das Loch tut sich bei der Hardware-Abhängigkeit auf. Um möglichst ungehindert auf der Hardware arbeiten zu können, haben die Hersteller von Virtualisierungssoftware den Hardware Abstraction Layer (HAL) durchlöchert oder ganz weggelassen. Ein HAL ist aber eine wesentliche Errungenschaft bei der Konstruktion von Betriebssystemen: er ermöglicht den Betrieb eines Betriebssystems auf unterschiedlichen Maschinen. Heute ist die Wanderung von VMs dadurch extrem beschränkt, dass Ausgangspunkt und Ziel einer Wanderung über identische Prozessoren verfügen müssen – eben weil ein HAL fehlt.

Wir haben also schon zwei Punkte ausgemacht, die dazu führen werden, dass sich die Virtualisierungsprodukte in den nächsten Monaten und Jahren nochmals erheblich verändern werden:

Integration von systemübergreifenden Kommunikationsmechanismen in die Hypervisoren

  • Schaffung von HALs

I/O-Funktionen

Ein weiterer Bereich ist die Hardware-Unterstützung von I/O-Funktionen. Der überwiegende Teil der bis Ende 2009 aufgebauten Virtualisierungslösungen benutzt letztlich den Hypervisor auch als virtuellen Switch. Damit wird er aber erheblich zusätzlich und – wie wir sehen werden – auch unnütz belastet. Dies führt zu einer reduzierten I/O-Leistung der betroffenen Server.

In 2009 haben sich die Hersteller dieses Problems endlich angenommen und den schon seit 2007 bestehenden Standard SR-IOV (Single Root I/O Virtualization) von PCI-SIG einerseits in die Hardware gebracht und andererseits in die Virtualisierungssoftware integriert. Ab Ende 2009 stehen nunmehr Rack- und Blade-Server (z.B. auf Intel Xeon 5500) bereit, deren I/O-Leistung durch die Virtualisierung nicht mehr leidet. Das hat erhebliche Implikationen auf die gesamte Netzwerkstruktur.

Hinzu kommen natürlich noch andere Themen, wie z.B. die Klärung von Abhängigkeiten zwischen Basis-Betriebssystemen wie LINUX, die ja immer noch die Grundlage für lauffähige Systeme bilden, und der Virtualisierungssoftware oder der weite Bereich der System-Sicherheit.

Dennoch kann man aus diesem Feld von „Moving Targets“ eine Reihe von Konsequenzen für die Netzwerke ableiten, die von den aktuellen Diskussionen und der weiteren Entwicklung der Virtualisierungssoftware abgekoppelt werden können:

  • Virtualisierung und I/O-Konsolidierung hängen eng zusammen
  • I/O-Konsolidierung bedeutet, dass wir mit einem Standard-Ethernet nicht mehr auskommen, es muss ggf. erheblich angereichert werden

Virtualisierung und I/O-Konsolidierung führen damit zur Notwendigkeit einer höheren Netzwerk-Grundqualität, mit:

  • verlustarmer Übertragung,
  • Latenzarmut,
  • hoher Grundleistung, mindestens 10 GbE,
  • hohem Strukturierungsgrad und
  • extrem schneller Reaktion bei Fehlern

weiter mit: Virtualisierung bedeutet Re-Zentralisierung

Virtualisierung bedeutet Re-Zentralisierung

Virtualisierung bedeutet Re-Zentralisierung. Und was heute im Server-Umfeld geschieht wird uns mit hoher Wahrscheinlichkeit auch noch hinsichtlich der Endgeräte erwarten.

Ich habe die Darstellungen im weiteren Verlauf der Serie mit Produkten aus der Welt von VMware angereichert, um da nicht scheinbar völlig zusammenhanglos zu arbeiten. Dies heißt aber keinesfalls, dass ich VMware den Produkten von Citrix oder Microsoft vorziehe. Es sind nur tagesaktuelle Beispiele.

In weiteren Teilen der Reihe geht es dann, sozusagen fast zur Entspannung um die neuen Entwicklungen bei 10, 40 und 100 Gigabit Ethernet. Hier hat es aktuell vor allem durch die Integration Optischer Elemente erhebliche Fortschritte gegeben, die den durch die Standardisierung vorgegebenen Ansatz des „Skalierbaren Ethernet“ wirklich in unsere Geräte bringen. Selbst wer sich nicht für die Technik interessiert, wird die Kostensenkungen und die Minimierung der Formfaktoren begrüßen. Außerdem lassen sich natürlich klare Aussagen hinsichtlich der Verkabelung ableiten.

I/O-Konsolidierung

In den letzten zwei Jahren mussten wir leider feststellen, dass hinsichtlich der I/O-Konsolidierung Anspruch und Wirklichkeit auseinanderdriften. Das wesentliche neue Konzept ist hier FCoE. FCoE benötigt aber u.a. „Lossless Ethernet“, um arbeiten zu können. Um es kurz zu machen: auch nach zwei Jahren Entwicklung hat IEEE das Ziel der Schaffung von Methoden für eine wirklich und immer verlustfreie Übertragung nicht erreicht. Also haben dann Szenarien existiert, in denen FCoE in einer begrenzten Umgebung vielleicht doch meist irgendwie funktionieren könnte. Als theoretischer Fundamentalist in solchen Fragen bewerte ich das alles jedoch als Murks.

Dennoch gibt es jetzt eine zufriedenstellende Lösung: INCITS hat für die Standardisierung durch ANSI einen neuen Standard für FC-Backbones entwickelt, FC-BB-5. Dieser umfasst auch FCoE. Statt darauf zu warten, dass IEEE vielleicht doch irgendwann einmal das Ei des lossless Columbus findet, macht FC-BB-5 Folgendes:

  • Genaue Definitionen für Umgebungen
  • Einschränkung der Funktionalität auf die Unterstützung der FC-Klassen 2 und 3, das sind nach Angaben von INCITS die, die man meist benötigt
  • Schaffung von Kontrollprozeduren, die schädliche Einwirkungen der Ethernet-Umgebung auf die FC-BB-Umgebung abwenden. Dazu gehören nicht nur Paketverluste, sondern auch Fehlfunktionen durch fehlgeleitete Adressen

Damit wird der Weg für die I/O-Konsolidierung endlich planungssicher!

Wir haben grade darüber schon viel diskutiert. Dabei sind andere Themen, die die grundsätzliche Strukturierung betreffen, etwas liegengeblieben. Dabei sind sie von hoher Bedeutung nicht nur innerhalb des RZs, sondern auch, wenn man über den Tellerrand hinausblickt. Denn es gibt bereits viele verschiedene Ansätze, die jetzt alle in einer Phase irgendwo zwischen Standardisierungsvorschlag und Produkt stecken.

2010 ist hier ein entscheidendes Jahr. Es gab noch nie so viele Standards, um die man sich kümmern musste, weil jeder für sich oder einige in Gruppen entscheidenden Einfluss auf die Gestaltung zukunftsfester Netze haben. Ganz wichtig sind hier zwei Gruppen:

  • Die Strukturierungsprotokolle zur Ablösung von Spanning Tree wie PLSB von IEEE und TRILL von IETF. Sie führen zu völlig neuen Möglichkeiten der latenzarmen Netzstrukturierung.
  • Die Protokolle zum Umgang mit konvergierten Datenströmen. Es ist nicht alleine damit getan, verschiedene Verkehrsarten wie LAN, SAN oder IPC auf einer Leitung zusammen laufen zu lassen. Man benötigt Instrumente zur Steuerung des nunmehr konvergierten Netzes. Dazu dient die Protokollsuite DCB (Data Center Bridges) von IEEE

Für Betreiber und Planer von RZ-Netzen stehen tiefgreifende Entscheidungen an. Die Hochrüstung der Datenrate ist dabei weniger das Problem. Die Strukturierungsprotokolle, vor allem DCB, lassen sich nicht mehr durch einfachen Software-Upgrade bestehender Switches implementieren und auch bekannte und weit verbreitete Switchmodelle können diese Stufe konstruktiv nicht mehr erreichen. Bei Neuanschaffungen muss also unbedingt darauf geachtet werden, dass diese neuen Protokolle angemessen unterstützt werden.

Im nächsten Teil der Reihe kommen wir zur Virtualisierung.

Weiter zu Teil 2