Überblick
Dieser Toolmentor beschreibt, wie die Ergebnisse eine Testausführung in Rational Test RealTime analysiert werden. Der
Wert früher und häufig ausgeführter Tests ist nicht fassbar, wenn das Ergebnis der Testaktivitäten nicht schnell und
einfach interpretiert und nicht darauf reagiert werden kann.
Mit der Verwendung von Technologie mit Einfügen von Quellcode und Quellcodeanalyse ist Rational Test RealTime in der
Lage, seine Komponententests und Laufzeitanalysefunktionen direkt auf die Quellcodeebene zu konzentrieren. Es wurde
eine Vielzahl von Features hinzugefügt, um sicherzustellen, dass Fehlfunktionen schnell isoliert werden und der
zugehörige Quellcode einfach und effizient bearbeitet werden kann:
-
Der Quellcode kann im Texteditor von Test RealTime geöffnet und modifiziert werden.
-
Mit Versionssteuerungsprogrammen (z. B. Rational ClearCase) kann versionsgesteuerter Code ein- und ausgecheckt
werden.
-
Es ist ein direkter Zugriff auf Änderungsmanagementprogramme (z. B. ClearQuest) möglich, um Mängel und
Verbesserungsvorschläge zu melden.
Diese Features werden zusammen mit den Analyseberichten verwendet, die von den Testtools erzeugt werden. Jede
Schlüsselfunktion von Test RealTime - Komponententest, Systemtest, Speicherprofilermittlung, Leistungsprofilermittlung,
Code-Coverage-Analyse, Laufzeit-Trace, statische Metrikgenerierung - hat einen eigenen Bericht. Diese Berichte
enthalten Informationen, die aus einer Reihe von Protokolldateien, die von Quellcode-Parsern, Quellcodeinstrumentoren,
Testscriptgeneratoren, Testscriptcompilern, Ziel-Deployment-Ports und Berichtsgeneratoren erzeugt werden, extrahiert
werden. Diese Dateien können automatisch beim Abschluss eines Durchlaufs von Test RealTime oder manuell geöffnet
werden.
Jeder Bericht ist so gestaltet, dass er direkt interpretierbar ist und eine schnelle und effiziente Problemdiagnose und
-behebung ermöglicht.
Berichtstypen
Die Berichtsanalyse wird für jedes Test-RealTime-Feature beschrieben. Sofern relevant, werden auch Unterschiede bei den
Berichten aufgrund der verwendeten Programmiersprache beschrieben:
Wenn Sie diese Berichte auf der Registerkarte "Project Browser" im Fenster "Project" auf der rechten Seite der
Benutzerschnittstelle von Test RealTime öffnen möchten, klicken Sie mit der rechten Maustaste auf einen Testknoten und
wählen Sie "View Report->Test" aus. Gehen Sie wie folgt vor, um diese Berichte über das Menü von Test RealTime zu
öffnen:
-
Wählen Sie im Menü "File->Browse Reports" aus.
-
Wählen Sie in der Funktionsleiste die Schaltfläche "Add" aus.
-
Wählen Sie in der Dropdown-Liste "Files of Type" den Eintrag Report aus.
-
Wählen Sie die Dateien mit der Erweiterung .xrd aus, die den Berichten entsprechen, die Sie anzeigen möchten.
-
Klicken Sie auf die Schaltfläche "Open".
Wenn Sie diese Berichte in der Befehlszeile öffnen möchten, geben Sie die jeweilige Datei mit der Erweiterung .xrd
einfach als Parameter in der Befehlszeile studio an.
Der Bericht setzt sich aus zwei Hauptabschnitten zusammen, einem Abschnitt mit einer Zusammenfassung und einem
Abschnitt mit Details.
-
Summary - Dieser Abschnitt enthält Informationen wie die Positionen der Berichtsdateien, die Zeit der
Ausführung sowie Zähler für die bestandenen und gescheiterten Tests.
-
Component Test Details - Dieser Abschnitt enthält für Komponententests Informationen zu den Treibern,
Services, Funktionen, Methoden und Prozeduren, die getestet werden. Der Bericht enthält für jeden Eintrag einige
oder alle der folgenden Informationen. Dies richtet sich nach Quellensprache und ausgewählten Optionen:
-
Ein Testabschnitt, der einen Überblick enthält und zusammenfasst, ob der Test erfolgreich war oder nicht.
-
Ein Abschnitt mit Variablenwerten, der die gefundenen Werte für die einzelnen Variablen enthält.
-
Wenn eine Code-Coverage-Analyse durchgeführt wurde, ein Abschnitt zur Identifizierung von nicht getestetem
Code.
-
Zusätzliche Informationen zur Vertragssicherung (d. h. Asserts) und Prüfabfragen für C++ und Java.
-
System Test Details - Für Systemtests werden die folgenden Unterabschnitte bereitgestellt:
-
Ein Initialisierungsabschnitt, in dem die Schritte zum Öffnen einer Verbindung zu der zu testenden
Komponente detailliert beschrieben sind.
-
Mindestens ein Szenarioabschnitt, in dem die tatsächlich ausgeführten Tests detailliert beschrieben werden.
Szenarioblöcke können verschachtelt sein.
-
Ein Abschnitt zur Beendigung, in dem die Schritte zum Beenden der Verbindung mit der zu testenden
Komponente detailliert beschrieben werden.
Der Report Explorer der Benutzerschnittstelle von Test RealTime kann zur Navigation im Testbericht verwendet werden.
Klicken Sie doppelt auf einen Knoten, der für Sie von Interesse ist. Mit der Menüoption "Test Report" und der
Funktionsleiste können Sie den Bericht so filtern, dass nur Fehler angezeigt werden. Mehrere Abschnitte des
Testberichts sind über Hyperlinks mit dem Testscript verbunden. Klicken Sie einfach mit der rechten Maustaste auf die
Abschnitte, bei denen das Maussymbol in Form einer Hand dargestellt wird.
Ausführliche
Informationen zum Anzeigen von Testberichten finden Sie im Rational Test RealTime User Guide in den Abschnitten
des Kapitels "Automated Testing->Component Testing", in denen der Testbericht beschrieben wird.
Ausführliche
technische Informationen zur Arbeit mit Berichtsdateien finden Sie im Rational Test RealTime Reference Guide in
den Abschnitten, in denen die verschiedenen Testberichtgeneratoren beschrieben werden. Lesen Sie insbesondere die Seite
"File Types" im Anhang.
Speicherprofilberichte für alle unterstützten Sprachen (C, C++ und Java) werden in XML-basierten Dateien im Ordner
"Project" bzw. im Ordner "TDP" gespeichert.
Wenn Sie diese Berichte auf der Registerkarte "Project Browser" im Fenster "Project" auf der rechten Seite der
Benutzerschnittstelle von Test RealTime öffnen möchten, klicken Sie mit der rechten Maustaste auf einen Testknoten und
wählen Sie "View Report->Memory Profile" aus.
Gehen Sie wie folgt vor, um diese Berichte über das Menü von Test RealTime zu öffnen:
-
Wählen Sie im Menü "File->Browse Reports" aus.
-
Wählen Sie in der Funktionsleiste die Schaltfläche "Add" aus.
-
Wählen Sie in der Dropdown-Liste "Files of Type" den Eintrag Memory Profiling aus.
-
Wählen Sie die Dateien aus, die Sie anzeigen möchten.
-
Wiederholen Sie bei Bedarf die Schritte 2 bis 4.
-
Klicken Sie im Fenster "Report Browser" auf die Schaltfläche "Open".
Wenn Sie diese Berichte in der Befehlszeile öffnen möchten, geben Sie die Dateien, an denen Sie interessiert sind,
einfach als Parameter in der Befehlszeile studio an.
Der Bericht setzt sich aus zwei Hauptabschnitten zusammen, einem Abschnitt mit einer Zusammenfassung und einem
Abschnitt mit Details.
-
Summary - Ein Histogramm- und textbasierter Berichtsabschnitt, der die Gesamtanzahl der zugeordneten und
freigegebenen Blöcke und Bytes sowie die maximale Anzahl zugeordneter Blöcke und Bytes zu einer Zeit angibt.
-
C and C++ Details - In diesem Abschnitt wird jeder Fehler und jede Warnung mit dem zugehörigen Aufruf-Stack
aufgelistet. Der Aufruf-Stack wird beginnend mit der zuletzt aufgerufenen Funktion bzw. Methode angezeigt. Alle
Funktionen bzw. Methoden im Aufruf-Stack haben einen Hyperlink zum Quellcode.
-
Java Details - Eine Liste mit allen Methoden, denen seit der letzten Momentaufnahme Objekte zugeordnet
wurden. In der Basistabelle sind die Anzahl der Objekte und die zugehörigen Bytes, die für jede Methode seit der
letzten Methode reserviert wurden, sowie die Gesamtanzahl der Objekte und Bytes aufgelistet, die für alle Methoden
und ihre untergeordneten Methoden reserviert wurden.
Der Report Explorer der Benutzerschnittstelle von Test RealTime kann zur Navigation im Testbericht verwendet werden.
Klicken Sie doppelt auf einen Knoten, der für Sie von Interesse ist. Mit der Menüoption "Test Report" und der
Funktionsleiste können Sie den Bericht so filtern, dass nur Fehler angezeigt werden. Mehrere Abschnitte des
Testberichts sind über Hyperlinks mit dem Testscript verbunden. Klicken Sie einfach mit der rechten Maustaste auf die
Abschnitte, bei denen das Maussymbol in Form einer Hand dargestellt wird.
Ausführliche
Informationen zum Anzeigen von Speicherprofilberichten finden Sie im Rational Test RealTime User Guide im
Kapitel "Runtime Analysis->Memory Profiling".
Ausführliche
technische Informationen zur Arbeit mit Berichtsdateien finden Sie im Rational Test RealTime Reference Guide in
den Abschnitten, in denen die verschiedenen Testberichtgeneratoren beschrieben werden. Lesen Sie insbesondere die Seite
"File Types" im Anhang.
Leistungsprofilberichte für alle unterstützten Sprachen (C, C++ und Java) werden in XML-basierten Dateien im Ordner
"Project" bzw. im Ordner "TDP" gespeichert.
Wenn Sie diese Berichte auf der Registerkarte "Project Browser" im Fenster "Project" auf der rechten Seite der
Benutzerschnittstelle von Test RealTime öffnen möchten, klicken Sie mit der rechten Maustaste auf einen Testknoten und
wählen Sie "View Report->Memory Profile" aus.
Gehen Sie wie folgt vor, um diese Berichte über das Menü von Test RealTime zu öffnen:
-
Wählen Sie im Menü "File->Browse Reports" aus.
-
Wählen Sie in der Funktionsleiste die Schaltfläche "Add" aus.
-
Wählen Sie in der Dropdown-Liste "Files of Type" den Eintrag Performance Profiling aus.
-
Wählen Sie die Dateien aus, die Sie anzeigen möchten.
-
Wiederholen Sie bei Bedarf die Schritte 2 bis 4.
-
Klicken Sie im Fenster "Report Browser" auf die Schaltfläche "Open".
Wenn Sie diese Berichte in der Befehlszeile öffnen möchten, geben Sie die Dateien, an denen Sie interessiert sind,
einfach als Parameter in der Befehlszeile studio an.
Der Bericht ist folgendermaßen aufgebaut: Im oberen Teil jedes Berichts finden Sie ein Tortendiagramm, das die
einzelnen Funktionen/Methoden (bis zu 6) zeigt, die mindestens 5 % der Gesamtausführungszeit beanspruchen. Unterhalb
des Tortendiagramms befindet sich eine sortierbare Tabelle, in der die einzelnen Funktionen/Methoden und verschiedene
zugehörige Statistiken aufgelistet sind. Wenn Sie auf eine Spaltenüberschrift klicken, wird die vollständige Liste nach
dem Inhalt dieser Spalte sortiert. Wenn Sie auf einen Funktions- bzw. Methodennamen klicken, wird der entsprechende
Quellcode angezeigt. Keiner der angezeigten Werte ist notwendigerweise gut oder schlecht. Lange Ausführungszeiten von
Funktionen oder Ausführungszeiten von Zielfunktionen und ihren abhängigen Funktionen deuten lediglich auf potenzielle
ineffiziente Algorithmen und damit auf Kandidaten für die Optimierung hin.
Ausführliche
Informationen zum Anzeigen von Leistungsprofilberichten finden Sie im Rational Test RealTime User Guide im
Kapitel "Runtime Analysis->Performance Profiling".
Ausführliche
technische Informationen zur Arbeit mit Berichtsdateien finden Sie im Rational Test RealTime Reference Guide in
den Abschnitten, in denen die verschiedenen Testberichtgeneratoren beschrieben werden. Lesen Sie insbesondere die Seite
"File Types" im Anhang.
Code-Coverage-Analyseberichte für alle unterstützten Sprachen (C, C++, Ada und Java) werden in XML-basierten Dateien im
Ordner "Project" bzw. im Ordner "TDP" gespeichert.
Wenn Sie diese Berichte auf der Registerkarte "Project Browser" im Fenster "Project" auf der rechten Seite der
Benutzerschnittstelle von Test RealTime öffnen möchten, klicken Sie mit der rechten Maustaste auf einen Testknoten und
wählen Sie "View Report->Memory Profile" aus.
Gehen Sie wie folgt vor, um diese Berichte über das Menü von Test RealTime zu öffnen:
-
Wählen Sie im Menü "File->Browse Reports" aus.
-
Wählen Sie in der Funktionsleiste die Schaltfläche "Add" aus.
-
Wählen Sie in der Dropdown-Liste "Files of Type" den Eintrag Code Coverage aus.
-
Wählen Sie die Dateien aus, die Sie anzeigen möchten.
-
Wiederholen Sie bei Bedarf die Schritte 2 bis 4.
-
Klicken Sie im Fenster "Report Browser" auf die Schaltfläche "Open".
Wenn Sie diese Berichte in der Befehlszeile öffnen möchten, geben Sie die Dateien, an denen Sie interessiert sind,
einfach als Parameter in der Befehlszeile studio an.
Der Bericht ist in zwei Hauptbereiche unterteilt, Source und Rates:
-
Source - Auf der Registerkarte "Source" werden zwei Ebenen von Informationen zur Codeabdeckung angezeigt:
-
Wenn der Stammordner ausgewählt ist, wird die Gesamtcodeabdeckung in Form eines Balkendiagramms
zusammengefasst.
-
Wenn im Berichtsfenster ein anderer Knoten ausgewählt ist, wird auf der Registerkarte "Source" ein
farbcodierte Anzeige verwendet, um die abgedeckten Code von nicht abgedecktem Code zu unterscheiden. Auf
der Registerkarte "Source" werden Informationen zum ausgewählten Knoten angezeigt.
-
Rates - Auf der Registerkarte "Rates" wird die Codeabdeckung für jede Funktion/Methode/Prozedur in Form von
Prozentwerten angezeigt.
Ausführliche
Informationen zum Anzeigen von Code-Coverage-Analyseberichten finden Sie im Rational Test RealTime User Guide im
Kapitel "Runtime Analysis->Code Coverage".
Ausführliche
technische Informationen zur Arbeit mit Berichtsdateien finden Sie im Rational Test RealTime Reference Guide in
den Abschnitten, in denen die verschiedenen Testberichtgeneratoren beschrieben werden. Lesen Sie insbesondere die Seite
"File Types" im Anhang.
Laufzeit-Trace-Berichte für alle unterstützten Sprachen (C, C++ und Java) werden in XML-basierten Dateien im Ordner
"Project" bzw. im Ordner "TDP" gespeichert.
Wenn Sie diese Berichte auf der Registerkarte "Project Browser" im Fenster "Project" auf der rechten Seite der
Benutzerschnittstelle von Test RealTime öffnen möchten, klicken Sie mit der rechten Maustaste auf einen Testknoten und
wählen Sie "View Report->Memory Profile" aus.
Gehen Sie wie folgt vor, um diese Berichte über das Menü von Test RealTime zu öffnen:
-
Wählen Sie im Menü "File->Browse Reports" aus.
-
Wählen Sie in der Funktionsleiste die Schaltfläche "Add" aus.
-
Wählen Sie in der Dropdown-Liste "Files of Type" den Eintrag Trace Files aus.
-
Wählen Sie die Dateien aus, die Sie anzeigen möchten.
-
Wiederholen Sie bei Bedarf die Schritte 2 bis 4.
-
Klicken Sie im Fenster "Report Browser" auf die Schaltfläche "Open".
Wenn Sie diese Berichte in der Befehlszeile öffnen möchten, geben Sie die Dateien, an denen Sie interessiert sind,
einfach als Parameter in der Befehlszeile studio an.
Der Laufzeit-Trace-Bericht ist ein Ablaufdiagramm aller Ereignisse, die während der Ausführung der Anwendung bzw. des
Testcodes eingetreten sind. Dieses Ablaufdiagramm verwendet eine Notation aus der Unified Modeling Language und kann
damit zu Recht als UML-basiertes Ablaufdiagramm bezeichnet werden. Vertikale Linien sind Lebenslinien. Jede Lebenslinie
stellt eine Java-Objektinstanz dar. Die erste, in Form eines Balkens dargestellte Lebenslinie ist die "Welt", d. h. das
Betriebssystem. Horizontale Linien verbinden die einzelnen Lebenslinien miteinander. Grüne Linien sind
Konstruktoraufrufe, schwarze Linien Methodenaufrufe, rote Linien Rückgabewerte von Methoden, blaue Linien
Destruktoraufrufe und orangefarbige Linien Erwartungen. Wenn Sie den Mauszeiger auf einen Methodenaufruf setzen,
erscheint der vollständige Text. Jeder Aufruf und jede Rückgabe eines Aufrufs ist mit einer Zeitmarke versehen. Alle
vertikalen und horizontalen Linien sind über einen Hyperlink mit dem überwachten Quellcode verbunden. Mit der
Menüoption "Runtime Trace->Filters" können Sie Filter erstellen, die den Laufzeit-Trace-Bericht übersichtlicher
machen.
Ausführliche
Informationen zum Anzeigen von Laufzeit-Trace-Berichten finden Sie im Rational Test RealTime User Guide im
Kapitel "Runtime Analysis->Runtime Tracing".
Ausführliche
technische Informationen zur Arbeit mit Berichtsdateien finden Sie im Rational Test RealTime Reference Guide in
den Abschnitten, in denen die verschiedenen Testberichtgeneratoren beschrieben werden. Lesen Sie insbesondere die Seite
"File Types" im Anhang.
Speicherprofilberichte für alle unterstützten Sprachen (C, C++ und Java) werden in XML-basierten Dateien im Ordner
"Project" bzw. im Ordner "TDP" gespeichert.
Wenn Sie diese Berichte auf der Registerkarte "Project Browser" im Fenster "Project" auf der rechten Seite der
Benutzerschnittstelle von Test RealTime öffnen möchten, klicken Sie mit der rechten Maustaste auf einen Testknoten und
wählen Sie "View Report->Memory Profile" aus.
Gehen Sie wie folgt vor, um diese Berichte über das Menü von Test RealTime zu öffnen:
-
Wählen Sie im Menü "File->Browse Reports" aus.
-
Wählen Sie in der Funktionsleiste die Schaltfläche "Add" aus.
-
Wählen Sie in der Dropdown-Liste "Files of Type" den Eintrag Metric aus.
-
Wählen Sie die Dateien aus, die Sie anzeigen möchten.
-
Wiederholen Sie bei Bedarf die Schritte 2 bis 4.
-
Klicken Sie im Fenster "Report Browser" auf die Schaltfläche "Open".
Wenn Sie diese Berichte in der Befehlszeile öffnen möchten, geben Sie die Dateien, an denen Sie interessiert sind,
einfach als Parameter in der Befehlszeile studio an.
Der Bericht ist in die zwei Ebenen Dateisicht und Objektsicht unterteilt:
-
Dateisicht - Wenn der Stammordner ausgewählt ist, wird für jede ausgewählte Datei ein Balkendiagramm einer
der sieben Halstead-Metriken angezeigt. Die angezeigte Metrik kann über das Menü geändert werden. Wenn ein anderer
Knoten ausgewählt ist, werden statische Metriken, die für diesen Knoten spezifisch sind, angezeigt.
-
Objektsicht - Wenn der Stammordner ausgewählt ist, wird ein Graph angezeigt. Dieser Graph vergleicht
bestimmte statische Metriken für jede Funktion/Methode, die über das Menü geändert werden können. Wenn ein anderer
Knoten ausgewählt ist, werden statische Metriken, die für diesen Knoten spezifisch sind, angezeigt.
Ausführliche
Informationen zum Anzeigen statischer Metrikberichte finden Sie im Rational Test RealTime User Guide im Kapitel
"Runtime Analysis->Static Metrics".
Ausführliche
technische Informationen zur Arbeit mit Berichtsdateien finden Sie im Rational Test RealTime Reference Guide in
den Abschnitten, in denen die verschiedenen Testberichtgeneratoren beschrieben werden. Lesen Sie insbesondere die Seite
"File Types" im Anhang.
|