Testumgebung auf bekannten Status setzen
Zweck:
|
Die Testumgebung genau einrichten, um die Ausführung der Testsuite vorzubereiten.
|
Richten Sie die Testumgebung ein, um sicherzustellen, dass alle erforderlichen Komponenten (Hardware, Software, Tools,
Daten etc.) konfiguriert, verfügbar und betriebsbereit sind und den richtigen Status für den Test aufweisen.
Normalerweise erfolgt ein einfaches Zurücksetzen der Umgebung (z. B. der Registry und anderer Konfigurationsdateien),
eine Wiederherstellung zugrunde liegender Datenbanken auf den erforderlichen Status und die Konfiguration aller
Peripheriegeräte (z. B. das Einlegen von Papier in Drucker). Einige Aufgaben können automatisch ausgeführt werden,
andere Aspekte erfordern normalerweise einen Benutzereingriff.
Die Verwendung von Umgebungsunterstützungstools, die z. B. für die Erfassung von Festplatten-Images und die
Wiederherstellung eingesetzt werden, erweist sich in diesem Zusammenhang als sehr effektiv.
|
Optionen für Ausführungstools setzen
Zweck:
|
Die Tools für die Testsuite-Ausführung passend konfigurieren.
|
Legen Sie die Ausführungsoptionen der unterstützenden Tools fest. Je nach Differenziertheit des Tools können viele
Optionen in Betracht zu ziehen sein. Werden diese Optionen nicht richtig gesetzt, kann das zur Folge haben, dass die
Nützlichkeit und der Wert der Testprotokolle und anderer Ergebnisse abnehmen. Sie sollten möglichst versuchen, diese
Tooloptionen und -einstellungen zu speichern, damit sie basierend auf einem oder mehreren zuvor festgelegten Profilen
einfach erneut geladen werden können. Bei automatische Testausführung müssen Sie möglicherweise viele verschiedene
Einstellungen berücksichtigen, wie z. B. die Geschwindigkeit, mit der der Test ausgeführt werden sollte.
Bei manuellen Tests müssen Sie sich oft nur an Überwachungssystemen für Änderungsanfragen und Problemstellungen
anmelden oder einen neuen, eindeutigen Eintrag in einem Unterstützungssystem für die Ergebnisprotokollierung
partitionieren. Geben Sie den Namen, die Position und den Status des Testprotokolls an, das für die Aufzeichnung
verwendet werden soll.
|
Testsuite-Ausführung planen
Zweck:
|
Den richtigen Zeitpunkt für den Beginn der Testausführung bestimmen.
|
In vielen Fällen, in denen die Testausführung beaufsichtigt werden kann, kann die Testsuite relativ bedarfsgerecht
ausgeführt werden. Dann muss bei der Zeitplanung wahrscheinlich die Arbeit anderer Tester berücksichtigt werden. Das
betrifft sowohl andere Teammitglieder als auch andere Testteams, die die Testumgebung gemeinsam nutzen. In diesem
Kontext müssen bei der Testausführung normalerweise auch vereinzelte Rücksetzungen der Umgebung berücksichtigt werden.
Wird jedoch eine automatische Testausführung gewünscht oder muss die Ausführung vieler Tests, die auf verschiedenen
Maschinen parallel ausgeführt werden, koordiniert werden, ist möglicherweise ein automatischer Zeitplanungsmechanismus
erforderlich. Sie können dann die Funktionen Ihres Tools für automatische Testdurchführung nutzen oder Ihre eigenen
Dienstprogrammfunktionen entwickeln, um die erforderliche Zeitplanung zu ermöglichen.
|
Testsuite ausführen
Zweck:
|
Die in der Testsuite enthaltenen Tests durchführen und ihren Abschluss überwachen.
|
Die Ausführung der Testsuite hängt davon ab, ob die Tests automatisch oder manuell durchgeführt werden. In allen Fällen
werden die während der Testimplementierungsaufgaben entwickelten Testsuites entweder für die automatische
Testdurchführung oder als Arbeitsanleitung für die manuelle Testdurchführung verwendet.
|
Testsuite-Ausführung bewerten
Zweck:
|
Prüfen, ob die Testsuite abgeschlossen oder anormal angehalten wird, und feststellen, ob
Fehlerberichtigungsmaßnahmen erforderlich sind.
|
Die Testausführung wird beendet, wenn eine der folgenden Bedingungen zutrifft:
-
Normal: Alle Tests werden wie geplant abgeschlossen.
-
Anormal oder vorzeitig: Die Testprozeduren oder -Scripts wurden nicht vollständig wie geplant ausgeführt. Wenn ein
Test anormal beendet wird, sind die Testprotokolle, aus denen die Testergebnisse abgerufen werden, möglicherweise
nicht zuverlässig. Die Ursache einer anormalen Beendigung muss identifiziert werden. Falls nötig, müssen der Fehler
korrigiert und die Tests erneut ausgeführt werden.
|
Wiederherstellung nach angehaltenem Test durchführen
Zweck:
|
Die passende Korrekturmaßnahme bestimmen, um die Wiederherstellung nach angehaltener Test-Suite-Ausführung
durchzuführen; falls erforderlich, das Problem beheben, die Wiederherstellung durchführen und die Testsuite
erneut ausführen.
|
Führen Sie die folgenden Schritte aus, um bei gestoppten Tests eine Wiederherstellung durchzuführen:
Überprüfen Sie die Testprotokolle und andere Ausgabe auf Vollständigkeit und Genauigkeit. Stellen Sie fest, wo die
Fehler aufgetreten sind und untersuchen Sie die Fehler.
Bei der automatischen Testdurchführung gibt es zwei Kategorien angehaltener Tests:
-
Schwerwiegende Fehler. Das System fällt aus (Netzfehler, Hardwareausfälle und Ähnliches).
-
Testfehler. Diese liegen vor, wenn ein Teil eines Tests innerhalb einer Testsuite nicht wie beabsichtigt ausgeführt
werden kann.
Wenn bei der Testdurchführung ein anormales Verhalten auftritt, das einer dieser Kategorien zuzuordnen ist, können die
folgenden Symptome auftreten:
-
Bei der Ausführung der Testsuite werden viele unerwartete Aktionen ausgeführt bzw. viele unerwartete Fenster
aufgerufen.
-
Die Testumgebung scheint nicht oder nur langsam zu reagieren oder befindet sich in einem unerwünschten Status (ist
blockiert oder abgestürzt).
Umgehen Sie die Symptome, bis Sie die eigentliche Fehlerursache ermitteln können.
Fehler können in den vom Test verwendeten Eingabedaten, im Test selbst oder in anderen Testaspekten, z. B. in den
Einstellungen für die Testumgebung oder das Laufzeittool, ermittelt werden. Normalerweise wird bei der Korrektur eines
Fehlers in einem Testaspekt der richtige Status für alle häufigen Testaspekte verlangt.
Nach Abschluss der Problemuntersuchung haben Sie möglicherweise einen oder mehrere Fehler entdeckt, die behoben werden
müssen. Wenn Sie permanente Korrekturen in der Umgebung, in den Testdaten oder im Test selbst durchführen möchten, wird
empfohlen, jeden Testaspekt in einem bekannten Status wiederherzustellen, bevor Sie mit den permanenten Korrekturen
beginnen. Damit stellen Sie sicher, dass keine zusätzlichen, unerwünschten oder ungültigen Änderungen in der Umgebung
mit dem bekannten Status auftreten können.
Sichern Sie nach Durchführung der notwendigen Änderungen nach Bedarf die Test- und Sicherungsdaten oder die
begleitenden Eingabedaten und die Testumgebung.
Planen Sie die Testsuite erneut und führen Sie sie erneut aus. Je nachdem, welcher Wiederherstellungsprozess verfügbar
ist (falls überhaupt vorhanden), können Sie die Testsuite an einem Zwischenpunkt erneut starten, anstatt sie am Beginn
erneut starten zu müssen. Beachten Sie, dass die Wiederherstellung der Testausführung an einem Zwischenpunkt
normalerweise bedeutet, dass eine Art Prozedur für partielle Wiederherstellung implementiert und dauerhaft gepflegt
werden muss.
Bestätigen Sie, dass die Testsuite bis zum Abschluss ausgeführt wird. Wenn noch immer Probleme auftreten, arbeiten Sie
die folgenden Unterabschnitte durch, die das Thema "Wiederherstellung nach angehaltenen Tests" vervollständigen, bis
alle Probleme gelöst sind.
|
Testprotokolle auf Vollständigkeit und Genauigkeit überprüfen
Zweck:
|
Feststellen, ob die Testsuite-Ausführung nützliche Testinformationen generiert hat und, falls nicht, die
entsprechende Korrekturmaßnahme identifizieren.
|
Wenn die Tests abgeschlossen sind, müssen Sie die Testergebnisse überprüfen, um sicherzustellen, dass sie zuverlässig
sind und keine erfassten Fehler, Warnungen oder unerwarteten Ergebnisse durch externe Einflüsse (auf das Testziel)
ausgelöst wurden, z. B. durch falsche Konfiguration oder ungültige Testdaten.
Bei GUI-gesteuerten automatischen Tests können folgende allgemeine Testfehler auftreten:
-
Testprüffehler. Treten auf, wenn das tatsächliche Ergebnis nicht mit dem erwarteten Ergebnis übereinstimmt.
Überprüfen Sie, ob die Prüfmethode(n) sich nur auf die wesentlichen Elemente und / oder Merkmale konzentrieren und
nehmen Sie gegebenenfalls Änderungen vor.
-
Unerwartete GUI-Fenster. Treten aus verschiedenen Gründen auf. Der häufigste Fehler ist, dass ein anderes
GUI-Fenster aktiv ist als das erwartete oder die Anzahl der angezeigten GUI-Fenster höher ist als erwartet.
Vergewissern Sie sich, dass die Testumgebung wie beabsichtigt für die richtige Testausführung konfiguriert und
initialisiert wurde.
-
Fehlende GUI-Fenster. Dieser Fehler liegt vor, wenn erwartet wird, dass ein - nicht notwendigerweise aktives
- GUI-Fenster bereitgestellt wird, dies jedoch nicht geschieht. Vergewissern Sie sich, dass die Testumgebung wie
beabsichtigt für die richtige Testausführung konfiguriert und initialisiert wurde. Überprüfen Sie, ob die fehlenden
Fenster aus dem Testziel entfernt werden bzw. wurden.
Wenn die erfassten Fehler auf Probleme mit den Testarbeitsergebnissen oder der Testumgebung zurückzuführen sind, müssen
Sie die entsprechende Korrekturmaßnahme ergreifen und den Test erneut ausführen.
Wenn Sie anhand des Testprotokolls feststellen können, dass die Fehler auf echte Fehler im Testziel zurückzuführen
sind, ist der Ausführungsabschnitt der Aufgabe abgeschlossen.
|
Testumgebung in bekanntem Status wiederherstellen
Zweck:
|
Sicherstellen, dass die Umgebung nach der Testsuite-Ausführung ordnungsgemäß zurückgesetzt wird.
|
Der nächste Schritt ist die Wiederherstellung der Umgebung im ursprünglichen Status (siehe ersten Schritt).
Normalerweise erfolgt ein einfaches Zurücksetzen der Umgebung (z. B. der Registry und anderer Konfigurationsdateien),
eine Wiederherstellung zugrunde liegender Datenbanken auf den erforderlichen Status usw. und Aufgaben wie das Einlegen
von Papier in Drucker. Einige Aufgaben können automatisch ausgeführt werden, andere Aspekte erfordern normalerweise
einen Benutzereingriff.
|
Rückverfolgbarkeitsbeziehungen verwalten
Zweck:
|
Wirkungsanalyse und Untersuchungsberichte für die verfolgten Elemente erstellen
|
Aktualisieren Sie unter Verwendung der Rückverfolgbarkeitsanforderungen, die im Testplan festgehalten sind, die
Rückverfolgbarkeitsbeziehungen nach Bedarf. Ein guter Ausgangspunkt ist, die Rückverfolgbarkeit im Kontext einer
Messung des Testumfangs oder der Testabdeckung zu untersuchen. Allgemein wird empfohlen, die Messung des Testumfangs
gegen die bei der Testplanung ermittelten Motivationen durchzuführen.
Testsuites können auch zu den definierten Testfällen, die Sie realisieren, zurückverfolgt werden. Sie können auch zu
Elementen der Anforderungen, der Softwarespezifikation, des Designs oder der Implementierung zurückverfolgt werden.
Welche Beziehungen Sie für das Zurückverfolgen auch als wichtig ermittelt haben, Sie müssen den Status der Beziehungen,
die während der Testsuite erstellt wurden, aktualisieren.
|
Ergebnisse auswerten und prüfen
Zweck:
|
Überprüfen, ob die Aufgabe ordnungsgemäß ausgeführt wurde und die resultierenden Arbeitsergebnisse
annehmbar sind.
|
Wenn Sie Ihre Arbeit beendet haben, kann es vorteilhaft sein zu prüfen, ob diese Arbeit hinreichend nutzbringend oder
eine reine Papierverschwendung war. Sie sollten bewerten, ob die Qualität Ihrer Arbeit angemessen ist und ob der Umfang
der Arbeit ausreicht, um eine Hilfestellung für die Teammitglieder zu bieten, die sie als Arbeitsvorgabe verwenden
sollen. Verwenden Sie nach Möglichkeit die RUP-Prüflisten, um zu überprüfen, ob Qualität und Umfang "gut genug" sind.
Legen Sie den Personen, die nachgeordnete Aufgaben ausführen müssen und auf Ihre Arbeitsvorgaben angewiesen sind, einen
Zwischenstand Ihrer Arbeiten zur Prüfung vor. Wählen Sie dafür einen Zeitpunkt, der eine Einbeziehung von
Änderungswünschen oder die Berücksichtigung von Problemstellungen zulässt. Bewerten Sie Ihre Arbeit auch anhand der
Arbeitsergebnisse, die für Sie die wichtigsten Vorgaben waren, um sicherzugehen, dass Sie diese präzise und ausreichend
dargestellt haben. Vielleicht lassen Sie Ihre Arbeit ja dahingehend vom Autor dieser Arbeitsergebnisse prüfen.
Vergessen Sie nicht, dass RUP ein iterativer Bereitstellungsprozess ist und dass sich in vielen Fällen
Arbeitsergebnisse über einen längeren Zeitraum entwickeln. Es ist daher in der Regel nicht nötig und manchmal sogar
kontraproduktiv, ein Arbeitsergebnis, das für die unmittelbar folgenden Arbeiten nur teilweise oder gar nicht benötigt
wird, bereits vollständig und abschließend zu definieren. Es ist sehr wahrscheinlich, dass die umgebende Situation für
das Arbeitsergebnis sich noch ändern wird und die bei Erzeugung des Arbeitsergebnisses gültigen Annahmen sich als
fehlerhaft erweisen, so dass eine abschließende Gestaltung des Arbeitsergebnisses einen unnötigen Arbeitsaufwand und
teures Nacharbeiten bedeuten würde. Sie sollten auch nicht zu viel Zeit auf die Darstellung verwenden, sondern sich
eher auf den Inhalt konzentrieren. In Projektumgebungen, bei denen die Präsentation wichtig ist und als
Projektliefergegenstand einen wirtschaftlichen Wert hat, könnten Sie für die Darstellungsaufgaben eine administrative
Ressource nutzen.
|
|