Standardisierte Leistungsmessung für Softwaresysteme ISO 14756 konforme Lasttests mit s_aturn

Ist Ihre Online-Anwendung wirklich bereit für den Ansturm zur Primetime? Ein Lasttest nach der Norm ISO 14756 ist das professionelle Werkzeug, um die Leistungsfähigkeit und Stabilität eines Systems objektiv zu bewerten. Und so geht’s!

Die Basis jedes ausgiebigen Tests sind die Beachtung allgemeiner Grundlagen eine gründliche Testvorbereitung. Und, bevor auch nur ein virtueller Benutzer das System betritt, ist eine sorgfältige Planung unerlässlich. Folgendes sind die fundamentalen Bausteine eines erfolgreichen Lasttests.

Das richtige Team: Wer muss involviert sein?

Ein professioneller Lasttest ist keine Einzelaufgabe, sondern erfordert ein interdisziplinäres Team, um aussagekräftige Ergebnisse zu erzielen.

• Testmanager/Performance Engineer: Er hält alle Fäden zusammen, plant den Test, definiert die Ziele und ist am Ende derjenige, der die Ergebnisse interpretiert und bewertet.

• Entwickler & Architekten: Sie kennen die Anwendung im Detail. Wenn Performance-Engpässe auftreten, können sie am besten die Ursache identifizieren.

• Systemadministratoren: Sie stellen sicher, dass die Testumgebung korrekt konfiguriert ist und überwachen während des Tests systemnahe Metriken wie CPU-, Speicher- und Netzwerkauslastung.

• Fachbereich/Product Owner: Er definiert die Business-Anforderungen und Akzeptanzkriterien und hilft bei der Identifizierung der wichtigsten Geschäftsvorfälle.

Definition der Testfälle (Use Cases)

Die Kunst besteht darin, sich auf die wesentlichen Anwendungsfälle zu konzentrieren.

• Häufig genutzte Anwendungsfälle: Dies sind die Aktionen, die Benutzer ständig durchführen (z.B. Produktsuche, Login). Hier gilt oft die 80/20-Regel.

• Business-kritische Anwendungsfälle: Das sind die Prozesse, die direkt umsatzrelevant sind (z.B. Bestellprozess, Registrierung).

• Ressourcen-intensive Anwendungsfälle: Aktionen, von denen bekannt ist, dass sie das System stark beanspruchen (z.B. ein Daten-Export).

Die Testumgebung

Die Testumgebung ist entscheidend für die Validität der Ergebnisse. Sie sollte so weit wie möglich der Produktivumgebung entsprechen.

• Hardware: Identische Server-Spezifikationen und Netzwerk-Konfigurationen sind Voraussetzung.

• Software: Die gleichen Versionen von Betriebssystem, Datenbank, Webserver etc. müssen verwendet werden.

• Daten: Ein realistischer, anonymisierter Datenbestand ist unerlässlich.

Voraussetzungen für einen validen Test

• Stabiler Software-Stand: Getestet wird ein "Release Candidate" oder ein ähnlich stabiler Stand. Ein "Code-Freeze" ist der ideale Zustand.

• Dedizierte Hardware: Die Testumgebung muss während des Tests exklusiv für den Lasttest reserviert sein.

• Ausreichend Testdaten und Testbenutzer: Es muss eine ausreichende Menge an Testdaten (z.B. Kundennummern) und Testbenutzern zur Verfügung stehen, um realistische, parallele Zugriffe ohne Datenkonflikte simulieren zu können.

Was ein Lasttest NICHT ist (Wichtige Abgrenzung)

• Ein Lasttest ist kein Funktionstest: Wir prüfen nicht, ob eine Funktion korrekt arbeitet, sondern wie schnell sie unter Last antwortet.

• Ein Lasttest ist kein Security-Test: Wir prüfen nicht, ob das System angreifbar ist, sondern ob es stabil bleibt.

• Ein Lasttest ist kein Usability-Test: Die Benutzerfreundlichkeit ist nicht Gegenstand der Untersuchung.

Die Umsetzung: Lastmodellierung nach ISO 14756

Nachdem die Grundlagen geschaffen sind, geht es an die konkrete Modellierung der Last. Die ISO 14756 liefert hierfür den methodischen Rahmen und eine präzise Terminologie, um realitätsnahe und reproduzierbare Tests zu gewährleisten. Es handelt sich hierbei um ein benutzerorientiertes Verfahren, das das zu testende System als Blackbox betrachtet. Das bedeutet, der Fokus liegt ausschließlich auf den messbaren Antwortzeiten aus der Perspektive des Endbenutzers, nicht auf der internen Funktionsweise der Software.

Die Kernkomponenten nach ISO-Norm

Die Norm definiert klare Begriffe für die beteiligten Systeme:

• SUT (System Under Test): Dies ist das Testobjekt. Es umfasst alle Komponenten der Anwendungsinfrastruktur, die zur Antwortzeit beitragen – vom Load Balancer über den Web- und Applikationsserver bis hin zur Datenbank.

• RTE (Remote Terminal Emulator): Dies ist die Lasttreiber-Infrastruktur. Sie besteht aus der Hard- und Software, die die Benutzer simuliert und die Last auf das SUT ausübt. Eine wesentliche Aufgabe des RTE ist neben der Lasterzeugung auch die Validierung der Messergebnisse, um die Korrektheit des Testlaufs selbst sicherzustellen. Dazu gehört die Prüfung, ob die vorgegebenen Denkzeiten und der definierte Mix der Use Cases eingehalten wurden, sowie die Berechnung von Konfidenzintervallen für die Antwortzeiten.

Definition des Lastmodells nach ISO 14756

Der Kernpunkt ist die Erstellung eines validierten Lastmodells, das das reale Nutzerverhalten so exakt wie möglich abbildet. Hierfür verwendet die Norm spezifische Begriffe:

• User Type & Benutzerzahlen: Für den Lasttest ist die Anzahl der gleichzeitig aktiven Benutzer (Concurrent Users) zur Spitzenzeit entscheidend. Die ISO geht hier aber einen Schritt weiter und definiert verschiedene User Types. Ein User Type repräsentiert eine bestimmte Benutzergruppe mit einem spezifischen Verhaltensmuster. So kann es mehrere User Types geben, die verschiedene Chain Types (siehe unten) in einem vorgegebenen Anteil ausführen, z.B.: 10 % Neukunden (führen hauptsächlich Registrierungen durch), 50 % Sachbearbeiter (fokussiert auf Vertragsbearbeitung), 39 % Kundenbetreuer (fokussiert auf Kundenbearbeitung) und 1 % Analysten (erstellen Reports).

• Chain Type & Task Type: Ein Chain Type (Anstelle von Use Case) beschreibt eine sequenzielle Abfolge von Benutzerinteraktionen (den so genannten Task Types), die einen Geschäftsprozess abbilden. Ein Task Type ist eine einzelne Aktivität (z.B. "Daten eingeben und speichern"), der eine eigene Preparation Time und eine eigene Timeliness Function zugeordnet wird.

• Durchsatz (Throughput): Wie oft wird eine Aktivität pro Zeiteinheit erfolgreich ausgeführt (z.B. 5 Bestellungen pro Sekunde)? Dieser Wert leitet sich aus den Geschäftszahlen und Analytics-Daten ab und ist ein zentrales Akzeptanzkriterium.

• Preparation Time (Think Time): Dies ist der wichtigste Punkt für einen realistischen Test nach ISO-Standard. Die Pausen zwischen den Benutzeraktionen werden in der Norm als "Preparation Time" bezeichnet. Das Weglassen dieser Pausen führt zu einer unrealistisch hohen und konstanten Last.

• Timeliness Function (Zeitklassen und Bewertungen): Dies ist die zentrale Methode zur Bewertung der Performance. Statt eines starren Grenzwertes (z.B. "unter 2 Sekunden") besteht eine Timeliness Function aus einer oder mehreren Zeitklassen, die eine prozentuale Verteilung der Antwortzeiten vorgeben. Ein typisches Beispiel wäre:
  - 50 % aller Antwortzeiten müssen < 1 Sekunde,
  - 80 % aller Antwortzeiten müssen < 3 Sekunden und
  - 100 % aller Antwortzeiten müssen < 5 Sekunden sein.
  Aus diesen Vorgaben leitet die ISO drei zentrale Bewertungskennzahlen (Ratings) ab, die das Ergebnis des Tests quantifizieren. Das Grundprinzip ist dabei immer das Verhältnis des gemessenen Werts zur Vorgabe: Ein Ergebnis größer oder gleich 1 ist in Ordnung, ein Ergebnis kleiner als 1 ist nicht in Ordnung.

• R_TH (Throughput Rating): Bewertet, ob der gemessene Durchsatz dem vorgegebenen Zieldurchsatz entspricht.

• R_ME (Mean Execution Time Rating): Bewertet, ob die durchschnittliche Antwortzeit dem aus den Zeitklassen errechneten Erwartungswert entspricht.

• R_TI (Timeliness Rating): Bewertet auf Basis der Anzahl termingerechter Aufträge, ob die prozentualen Vorgaben der Zeitklassen eingehalten wurden.

Der Nutzen für den Auftraggeber: Mehr als nur Zahlen

Wenn diese Punkte sauber definiert und modelliert sind, verfügt man über ein validiertes Lastmodell und ein leistungsfähiges Testwerkzeug. Der eigentliche Wert für den Auftraggeber entsteht jedoch erst durch die nachhaltige Nutzung dieser Artefakte:

• Wiederholbarkeit und Regressionstests: Ein einmal erstellter Lasttest kann beliebig oft wiederholt werden. Dies ist besonders wertvoll, um die Performance nach Software-Updates oder Konfigurationsänderungen zu überprüfen (Regressionstests). Voraussetzung hierfür ist eine Testumgebung, deren Datenzustand einfach zurückgesetzt werden kann (z.B. durch DB-Snapshots), um bei jedem Lauf identische Startbedingungen zu schaffen.

• Vergleichbarkeit und Architekturentscheidungen: Die standardisierten Messergebnisse ermöglichen objektive Vergleiche. So können unterschiedliche Architekturen, Hardware-Ausstattungen oder Datenbanksysteme unter identischer Last gegenübergestellt werden, um fundierte technologische Entscheidungen zu treffen. Der Test wird so vom reinen Prüfmittel zum strategischen Werkzeug.

Die Werkzeuge in der Praxis: Ein Beispiel

Die methodische Strenge der ISO 14756 erfordert ein leistungsfähiges RTE-Werkzeug, das in der Lage ist, die komplexen Lastmodelle präzise abzubilden und die Ergebnisse normkonform zu validieren. Ein Beispiel für eine solche Software ist s_aturn der Firma Zott + Co GmbH.

Als spezialisierte RTE-Software erfüllt s_aturn die hier beschriebenen Anforderungen. Die Architektur basiert auf einem Controller-Agenten-System, das auf Linux-Basis eine verteilte und skalierbare Lasterzeugung ermöglicht. Dieser Aufbau erlaubt die Simulation von Lastszenarien mit mehreren zehntausend gleichzeitigen Benutzern und stellt sicher, dass die Messergebnisse präzise validiert werden, um die Korrektheit des Testlaufs zu garantieren.

Über den Autor

Dieter Kalchschmid ist über 35 Jahre bei der Zott+Co. GmbH tätig und verantwortet dort den Bereich Last- und Performancetests. Sein Studium der Wirtschaftsinformatik (BA) absolvierte er berufsbegleitend. Seine fachlichen Schwerpunkte liegen in der Konzeption und Durchführung von normgerechten Lasttests für und bei Kunden sowie in der strategischen Weiterentwicklung des hauseigenen Lasttreibers s_aturn.

(ID:50629332)