Ergebnisse eines s_aturn Lasttests

Leistungsbeurteilung von komplexen IT-Systemen nach DIN 66273 / ISO 14756:

Vorteile der Verwendung des DIN Vorgehensmodells:

  • Standardisierung der Lasttest-Messung
  • Vergleichbarkeit von DV-Systemen
  • Bewertung des Testobjekts über ein theoretisches Referenzmodell
  • Validierung der Messergebnisse durch ein in der DIN/ISO definiertes Verfahren zur Leistungs- bewertung, das zu objektiven Kennzahlen führt
  • Aussagen über die Leistungsfähigkeit von DV-Systemen
  • Schaffung von Transparenz

Kompakte Ergebnisse durch die Bewertung der DIN Grössen:

Tatsächliche Belastung B Die tatsächliche Belastung B beschreibt das Verhältnis zwischen der Anzahl der erteilten Aufträge einer Auftragsart und der Dauer der Messung.
Referenz Belastung beta Vom Kunden definierte, theoretische Referenzbelastung
Mittelwert Durchlaufzeit t_AN Mittelwert der gemessenen Durchlaufzeit
Referenz-Durchlaufzeit t_Ref Vor der Messung definierte Referenz-Durchlaufzeit
Durchsatz pünktlich erledigter Aufträge E Anzahl der zeitgerecht erledigten Aufträge einer Auftragsart je Zeiteinheit
Durchsatz-Bewertungszahl L1 Die Kennzahl L1 errechnet sich aus dem Verhältnis von tatsächlicher Belastung (B) zur definierten Referenzbelastung (beta).
Durchlaufzeit-Bewertungszahl L2 Die Kennzahl L2 errechnet sich aus dem Verhältnis von t_Ref und t_AN.
Termintreue L3 Die Kennzahl L3 beschreibt die Termintreue, d.h. das Verhältnis der zeitgerecht erledigten Aufträge zur Anzahl der erteilten Aufträge in der Messzeit. Dabei bedeutet der Wert 1.0, dass die Durchlaufzeit- forderungen zu 100% erreicht worden sind.

Darstellung exemplarischer Ergebnisse aus verschiedenen s_aturn Messungen:

  • Zyklenauswertung
  • Darstellung der Ergebnisse einer Auswertung
    • Ergebnisse der Auswertung im ASCII-Format
    • Graphische Ergebnisse der Auswertung
      • Antwortzeitverlauf
      • Antwortzeithistogramm
      • Antwortzeitsummenhistogramm
  • Messreihenauswertung
  • Messbericht
  • Verteilte Messung

Zyklenauswertung: Ansicht der Auftragsarten in verschiedenen Farben im Messbereich

In der Zyklenauswertung werden die Lebenslinien der einzelnen Benutzer und die Verwendung der zyklisch abgearbeiteten Auftragsarten durch die Benutzer dargestellt.

Antwortzeitverlauf : Antwortzeiten der beendeten Transaktionen im Messintervall

Auf der Abszisse ist der Zeit- punkt im Messinterval aufge- tragen, die Ordinate weist die erzielte Antwortzeit in Sekun- den auf. Im Verlaufsdiagramm lassen sich Engpässe durch Antwortzeitspitzen erkennen.

Antwortzeithistogramm: Antwortzeiten als in Klassen eingeteilte Balken

Die Abszisse weist die Klasseneinteilung der Antwortzeiten in Sekunden auf, auf der Ordinate lässt sich die Anzahl der durchgeführten Aufträge in der jeweiligen Klasse ablesen.

Antwortzeitsummenhistogramm: Prozentuale Anzahl erledigter Aufträge pro Zeiteinheit

Auf der Abszisse befindet sich die Antwortzeit in Sekunden und auf der Ordinate der prozentuale Anteil gemessen an der Gesamtanzahl der Aufträge für diese Auftragsart.

Übersicht der Ergebnisse einer Messung in tabellarischer Form

Detaillierte Tabellen und verschiedenste Graphen zu den einzelnen Messungen können gewählt werden.
Aus den Tabellen lassen sich, neben den Messergebnissen, die Mittelwerte, Streuungen der Denkzeiten und der Ketten- anteile, sowie deren Konfidenzintervalle ablesen.

Ergebnistabelle einer s_aturn Messung

Auswertung der Messungen:

Die farbliche Darstellung der Tabelle zeigt, inwieweit die konfigurierten Forderungen eingehalten wurden.

Messreihenauswertung

Durch Auswahl mehrerer Messergebnisse in der GUI s_qusi kann man Messungen in Vergleich zueinander darstellen.

Dadurch werden neben den Tabellen zusätzlich Übersichts- grafiken, die Resultate über alle ausgewerteten Messläufe der Messreihe enthalten, erzeugt:

  • DIN Grafiken: Es wird zusätzlich eine graphische Übersicht der DIN/ISO Bewertungsgrössen der Einzelmessungen angezeigt.
  • Die Histogramme aller Messläufe werden in einem Diagramm nebeneinander dargestellt.
  • Die Summenhistogramme der Einzelmessungen werden in einer Grafik übereinandergelegt, sodass eine übersichtliche Darstellung zur Beurteilung der Güte der Antwortzeiten entsteht.

Verteilte Messung

s_aturn kann verteilte Messungen generieren, durchführen und auswerten.

Hierzu wird ein Treibersystem als Master definiert, welcher die gesamte Steuerung der Messung übernimmt. Die Last wird zentral generiert und ausgewertet. Die Last wird auf den Slaves gestartet. Die Verteilung der zu simulierenden User auf die Slaves wird entsprechend der Prozentangaben automatisch berechnet.

Automatische Generierung Messbericht

Das Dokument beschreibt den Aufbau und die enthaltenen Komponenten des Systems zum Zeitpunkt der Durchführung der Messungen. Die Hard- und Software des zu prüfenden Systems inklusive Betriebssystem und Netzwerkinfrastruktur wird dabei als Testobjekt bezeichnet. Die im Text enthaltenen Abbildungen und Tabellen dokumentieren die Ergebnisse der Messungen.

Die Layout-Dateien sind im LaTeX -Format abgelegt und können bei Bedarf angepasst werden. Der Messbericht kann so nach eigenem Wunsch gestaltet werden und auch durch ein Update mit neuen Mess- Ergebnissen versorgt werden.

Ein Messbericht umfasst:

  • Definition der Messungen: Übersicht über den strukturellen Aufbau der Last durch Auftragsarten, Auftragsketten, Benutzertypen, Mengenangaben über Benutzer und Zeitvorgaben. Außerdem wird der Fluß dynamischer Daten den Auftragsarten zugeordnet und eine Übersicht über die durchgeführten Messungen aufgelistet. Definition eines theoretischen Referenzmodells.
  • Ergebnisse der DIN-Messungen: Über die farbliche Markierung der Messwerte in den Tabellen erhalten Sie eine Bewertung Ihrer Messung, ob die Forderungen des Referenzsystems eingehalten wurden oder eine Abweichung vom Referenzmodell vorliegt. Dies zeigt Problemstellen auf, die unbedingt analysiert werden sollten. So geben die Daten des Monitoring Hinweise auf Ursachen im System, wie z.B. Engpässe bei den Systemressourcen, Prozessorlasten und Speicherplatz.
  • Ergebnisse des System-Monitoring: Während der Messungen wurden in 5-Sekunden-Intervallen die Auslastung der CPU, des Arbeitsspeichers und des Netzwerks mitprotokolliert. Diese Daten können helfen wichtige Zusammenhänge zwischen der Auslastung des Testobjekts und seinem Verhalten zu interpretieren.
  • Auswertung der Messung: In der Auswertung werden die Ergebnisse dargestellt in Tabellen und Diagrammen zu Antwortzeitverläufen, Antwortzeithistogrammen, Summenhistogrammen und Vergleichsauswertungen verschiedener Messungen. Es wird die Bewertung nach DIN grafisch dargestellt im Hinblick auf das theoretische Referenzmodell.
  • Anhänge zur Erläuterung einer Messung nach DIN 66273/ISO 14756 und Glossar mit Begriffsdefinitionen.