Der Lasttesttreiber des s_aturn-Systems erzeugt reproduzierbare Multiuser-Lasten im Blackboxverfahren nach DIN 66273/ ISO 14756.
Der Zugriff auf das Testobjekt erfolgt über TCP/IP.

DIN 66273/ ISO 14756, die Grundlage der s_aturn Technologie

Beschreibung des Verfahrens und der Bewertungsgrößen der DIN 66273/ISO 14756

Definition eines theoretischen Referenzsystems

durch Festlegung eines Anforderungsprofils. Dieses umfasst Aufträge und die dazugehörigen Zeitvorgaben.

Mit den Denkzeiten werden Wartezeiten eines Benutzers nachgebildet (z.B. Text lesen), bevor die nächste Aktion durchgeführt wird. Beispiel: Denkzeit für Auftragsart Flugbuchung: 30 sec.

Die Antwortzeitforderung ist die Zeit, die ein Benutzer bereit ist auf eine Systemreaktion zu warten.
Hier soll festgelegt werden, wie lange die Bearbeitung eines Auftrags dauern darf. Dabei sollen sinnvolle Zeitforderungen vorgegeben werden: bei einem Kundengespräch in einem Reisebüro stört eine Bearbeitungszeit für eine Platzbuchung von 5 bis 10 Sekunden sicher niemand, wogegen eine Bearbeitungszeit von einer hundertstel Sekunde wenig praktischen Nutzen hat. Die Antwortzeitforderungen werden bei der DIN 66273 in Form von Zeitklassenschemata vorgegeben, in welchen angegeben wird, welcher Anteil der Antwortzeiten welchen Grenzwert nicht überschreiten darf.

Beispiel: Antwortzeitforderung für Auftragsart Flugbuchung:

• 40 % nicht länger als 5 sec
• 80 % nicht länger als 15 sec
• 100 % nicht länger als 30 sec

Die Anzahl der Zeitklassen, die in einer Antwortzeitforderung verwendet werden (im Beispiel sind es 3), kann der Anwender entsprechend seinen Bedürfnissen frei wählen. Nicht jeder Benutzer einer Benutzergruppe soll die gleiche Folge von Aufträgen mit jeweils gleichen Denkzeiten eingeben. Dies würde einem völlig praxisfremden Synchronarbeiten der Benutzer entsprechen. Vielmehr werden die Aufträge aus einem definierten Vorrat zufällig zusammengestellt und auch die Denkzeiten werden - unter Vorgabe eines Mittelwertes und einer Streuung - daraus von einem Zufallsgenerator ermittelt. Dabei muss selbstverständlich die Tatsache berücksichtigt werden, dass bestimmte Aufträge nur in einer bestimmten Reihenfolge durchführbar sind (Bildung von Auftragsketten).

Die Bewertung der Messdaten während der Messung erfolgt nun gegen das Referenzsystem:

Aus den Soll-Daten und den Ist-Daten werden die Bewertungsgrössen der DIN berechnet:

• Der Durchsatz L1 beschreibt die Anzahl der bearbeiteten Aufträge in der Zeiteinheit (Norm-Denkzeit+Norm-Antwortzeit)

• Die Durchlaufzeit L2 gibt die mittlere Antwortzeit im Verhältnis zur definierten Referenz wieder

• Die Termintreue L3 gibt den Anteil der termingerecht erledigten Aufträge im Verhältnis zur Anzahl der erteilten Aufträge an.

Die DIN-Bewertungsgrössen sollten nicht unter einem Wert von 1.0 liegen. Ein Wert unter 1.0 bedeutet, dass für die betrachtete Auftragsart das System nicht den vorher im Anforderungsprofil aufgestellten Forderungen entspricht.

Um die Grenzlast eines Systems zu ermitteln führt man eine Messreihe durch, bei der die Zahl der simulierten Benutzer so lange gesteigert wird, bis mindestens eine der DIN-Bewertungsgrössen unter 1.0 fällt.

Im Bild rechts ist in einem Beispiel der Verlauf der DIN-Bewertungs-grössen abhängig von der Benutzerzahl dargestellt. Die Kurven 1, 2 und 3 stellen den Verlauf für 3 verschiedene Auftragsarten dar. Diejenige DIN-Bewertungsgrösse, die bei der niedrigsten Benutzerzahl unter 1 sinkt, ist die Antwortzeitbewertung L2 von Auftragsart drei (bei etwa 270 Benutzern).

Wo genau die Bewertungsgrössen nicht der Norm entsprechen, kann aus den zur Auswertung der Messungen erzeugten Grafiken entnommen werden: Ergebnisse s_aturn

Neben den eigentlichen Bewertungsgrössen enthält eine DIN-Auswertung noch eine Reihe von Kontrollwerten.

Performanceanalyse unter Last mit s_aturn

• Umfassende Möglichkeiten zur Konfiguration individueller Messungen mit unserer graphischen Benutzeroberfläche s_qusi

• Das Verhalten der simulierten Benutzer entspricht dem realer Benutzer gegenüber der Applikation wie z.B. Browser oder SAPGUI.

• Durch die effiziente Implementierung von s_aturn können mit wenig Resourcen sehr hohe Lasten erzeugt werden.

• Messungen von 10.000 und mehr konkurrierenden Benutzern

• Kompakte Ergebnisse eines Lasttests mit s_aturn durch die Bewertung von DIN Grössen.

• Darstellung von Antwortzeitverläufen, Antwortzeithistogrammen, Antwortzeitsummenhistogrammen.

• Durchführung von Messreihenauswertungen und verteilten Messungen zwischen Master und Slaves.

• Automatische Generierung von Messberichten

Basiert die Messung auf einem angemessenen Referenzmodell, geben die Daten des Monitoring Hinweise auf Ursachen im System, wie z.B. Engpässe bei den Systemressourcen, Prozessorlasten und Speicherplatz.

Mit unserer graphischen Benutzeroberfläche s_qusi kann die Messung auf komfortable Weise konfiguriert, durchgeführt und ausgewertet werden. Bei der Konfiguration individueller Messungen ist es sinnvoll, die Aktionen bei der Aufzeichnung in Einzelschritte zu unterteilen, welche den späteren s_aturn - Auftragsarten entsprechen. Definiert werden Auftragsketten (Abfolgen von Auftragsarten) und Denkzeiten. Für die verschiedene Gewichtung einzelner Transaktionen können verschiedene Benutzertypen definiert werden, die nach Belieben kombiniert werden und in Folgen von Auftragsarten und Zyklen abgearbeitet werden. Im Zeitklassenschema wird festgelegt, wieviel Prozent der Aufträge in welcher Zeit erledigt sein müssen.

Durchführung einer s_aturn Messung

Aus den Aufzeichnungen eines Benutzerdialogs durch den Kunden oder Zott+Co GmbH generiert s_aturn unter Laborbedingung eine Last, die direkt gegen ihr System getrieben wird. Änderungen am Testobjekt selbst bleiben unnötig, da der Lasttreiber nach dem Black-Box-Verfahren testet. Der Testbetrieb findet unter realistischen Bedingungen statt, sodass die gewonnenen Erkenntnisse auch auf den Normalbetrieb mit echten Benutzern übertragbar bleiben.

Der Lasttesttreiber simuliert Benutzer unter Berücksichtigung der konfigurierten Denkzeiten ein zufälliges Verhalten. So lassen sich auch tausende von Benutzern mit unterschiedlichen Anwendungsprofilen ohne grossen Aufwand simulieren. Individuelle Eingaben wie z.B. Namen und Passwörter werden durch den Lasttesttreiber zur Laufzeit substituiert. Die Messung mit s_aturn setzt an verschiedenen Punkten des Testobjektes an. Neben den Antwortzeiten ermittelt s_aturn auch ein Profil ihres Systems unter Belastung, das für die spätere Auswertung wichtige Details über die Internas des Testobjekts während des gesamten Testlaufs liefert.

Der s_aturn Performancemonitor sammelt, parallel zum Lasttest, Metriken der Systeme, die das Testobjekt repräsentieren.