Guide d'utilisation de l'outil: Analyse des résultats de test à l'aide de Rational Test RealTime
Ce guide d'utilisation d'outil explique comment analyser les résultats de l'exécution d'un test à partir de Rational Test RealTime.
Outil: Rational Test RealTime
Relations
Eléments connexes
Description principale

Présentation

Ce guide d'utilisation d'outil explique comment analyser les résultats de l'exécution d'un test à partir de Rational Test RealTime. L'intérêt des tests précoces et fréquents n'est pas valable si les résultats de l'activité de test ne peuvent pas être rapidement et facilement interprétés, et des actions effectuées par la suite.

En utilisant une technologie d'insertion de code source ainsi qu'une analyse de code source, Rational Test RealTime est en mesure de se concentrer sur ses tests de composants et sa fonction d'analyse d'exécution directement au niveau du code source. Plusieurs fonctions ont été ajoutées afin d'assurer une isolation rapide des défaillances et un travail facile et efficace sur le code source associé :

  • un code source peut être ouvert et modifié dans l'éditeur de texte Test RealTime.
  • des programmes de contrôle des versions (comme Rational ClearCase) peuvent être manipulés de façon à archiver/réserver du code versionné.
  • des programmes de gestion des changements (comme ClearQuest) peuvent sont directement accessibles pour réaliser des soumissions de défauts et des demandes d'amélioration

Ces fonctions sont utilisées avec les rapports d'analyse produits par les outils de test. Chaque fonction clé du test de composants Test RealTime, du test du système, du profilage de la mémoire, du profilage de la performance, de l'analyse de la couverture du code, du suivi de l'exécution et de la génération de mesures statiques fait l'objet d'un rapport. Ces rapports contiennent des informations extraites d'un certain nombre de fichiers journaux générés par des analyseurs de code source, des instruments de code source, des générateurs de scripts de test, des compilateurs de scripts de test, des ports de déploiement cible et des générateurs de rapports. Ces fichiers peuvent être ouverts automatiquement par Test RealTime à la fin d'une exécution, ou peuvent être ouverts manuellement.

Chaque rapport est conçu pour être immédiatement interprétable afin d'assurer le diagnostic et la résolution rapides et efficaces des problèmes.

Types de rapports

L'analyse du rapport pour chaque fonction Test RealTime sera abordée. Le cas échéant, les différences de rapport en raison du langage de programmation utilisé seront abordées :

Test des composants et test du système

Pour ouvrir ces rapports avec l'onglet Navigateur Projet dans la fenêtre Projet à droite de l'interface utilisateur Test RealTime, faites un clic droit sur un noeud de test et sélectionnez Visualiser le rapport->Test. Pour ouvrir ces rapports avec le menu Test RealTime :

  1. Sélectionnez l'élément de menu Fichier->Parcourir les rapports.
  2. Sélectionnez le bouton de la barre d'outils Ajouter.
  3. Sélectionnez Rapport dans les fichiers de la liste déroulante Type
  4. Parcourez, puis sélectionnez les fichiers .xrd correspondant aux rapports que vous souhaitez visualiser
  5. Cliquez sur le bouton Ouvrir

Pour ouvrir ces rapports à partir de la ligne de commande, traitez simplement chaque fichier .xrd comme un paramètre de la ligne de commande studio.

Le rapport est organisé en deux sections principales, une section de résumé suivie d'une section détaillée.

  • Résumé - La section de résumé contient des informations comme les emplacements de fichiers de rapport, l'heure d'exécution du test et un compte-rendu résumé des tests réussis et échoués.

  • Détails du test des composants - Pour les tests des composants, cette section fournit des informations sur les lecteurs, services, fonctions, méthodes et procédures testés. Pour chaque élément, le rapport contient une partie ou toutes les informations suivantes, en fonction de la langue source et des options sélectionnées :
    • une section de test qui fournit une présentation et résume le résultat du test
    • une section de valeurs variables, qui indique la valeur acquise pour chaque variable.
    • si l'analyse de la couverture de code a été effectuée, une section de couverture de code
    • des informations supplémentaires au sujet des requêtes de contrat (comme l'assertion), de validation et de vérification pour C++ et Java

  • Détails du test du système - Pour les tests de système, les sous-sections suivantes sont indiquées :
    • une section Initialisation, qui détaille les étapes de l'ouverture d'une connexion vers le composant testé.
    • une ou plusieurs section(s) Scénario, qui détaille(nt) les tests réels qui ont été effectués. Les blocs de scénarios peuvent être imbriqués.
    • une section Fin, qui détaille les étapes de l'interruption de la connexion au composant testé.

L'explorateur de rapports de l'interface utilisateur Test RealTime peut être utilisé pour naviguer dans le rapport de test (double-cliquez sur n'importe quel noeud d'intérêt) ; l'élément de menu Rapport de test et la barre d'outils vous permettent de filtrer le rapport afin de visualiser uniquement les défaillances. Plusieurs sections du rapport de test comportent des hyperliens vers le script de test ; il suffit de faire un clic droit sur les sections dans lesquelles l'icône de la souris est représentée par une main.

manuel d'aide Pour obtenir des informations détaillées sur la visualisation de rapports de test, consultez le Guide de l'utilisateur Rational Test RealTime et reportez-vous au chapitre Test automatisé->Test des composants, dans les sections concernant le rapport de test.

manuel d'aide Pour obtenir des informations techniques détaillées sur la gestion des fichiers de rapport, consultez le Guide de référence Rational Test RealTime, notamment les sections qui concernent les différents générateurs de rapports de test. Consultez en particulier la page Annexes->Types de fichiers.

Profilage de la mémoire

Les rapports de profilage de la mémoire pour tous les langages pris en charge - C, C++ et Java - sont stockés dans des fichiers XML dans le dossier Projet ou le dossier TDP, en fonction du langage.

Pour ouvrir ces rapports avec l'onglet Navigateur Projet dans la fenêtre Projet à droite de l'interface utilisateur Test RealTime, faites un clic droit sur un noeud de test et sélectionnez Visualiser le rapport->Profil de la mémoire.

Pour ouvrir ces rapports avec le menu Test RealTime :

  1. Sélectionnez l'élément de menu Fichier->Parcourir les rapports.
  2. Sélectionnez le bouton de la barre d'outils Ajouter.
  3. Sélectionnez Profilage de la mémoire dans les Fichiers de la liste déroulante Type.
  4. Naviguez puis sélectionnez les fichiers que vous souhaitez visualiser.
  5. Répétez les étapes 2 à 4 si nécessaire.
  6. Cliquez sur le bouton Ouvrir dans la fenêtre Navigateur Rapports.

Pour ouvrir ces rapports à partir de la ligne de commande, il suffit de traiter le ou les fichier(s) que vous souhaitez visualiser comme des paramètres vers la ligne de commande studio.

Le rapport est organisé en deux sections principales, une section de résumé suivie d'une section détaillée.

  • Résumé - Une section de rapport de texte et d'histogramme indiquant le nombre total de blocs et d'octets attribués et libérés, ainsi le nombre maximal de blocs/octets attribués à une heure donnée.

  • Détails C et C++ - Chaque erreur et chaque avertissement est répertorié, avec sa pile d'appels associée. La pile d'appels est indiquée avec la dernière fonction/méthode appelée mentionnée auparavant : toutes les fonctions/méthodes de la pile d'appels comportent des hyperliens vers le code source

  • Détails Java - Une liste est présentée pour chaque méthode qui a attribué des objets depuis la dernière capture d'écran. Le tableau de base indique le nombre d'objets et d'octets associés attribués depuis la dernière capture d'écran pour chaque méthode, ainsi que le nombre total d'objets et d'octets attribués par chaque méthode et ses descendants (par ex. méthodes enfants de la méthode parent).

L'explorateur de rapports de l'interface utilisateur Test RealTime peut être utilisé pour naviguer dans le rapport de test (double-cliquez sur n'importe quel noeud d'intérêt) ; l'élément de menu Rapport de test et la barre d'outils vous permettent de filtrer le rapport afin de visualiser uniquement les défaillances. Plusieurs sections du rapport de test comportent des hyperliens vers le script de test ; il suffit de faire un clic droit sur les sections dans lesquelles l'icône de la souris est représentée par une main.

manuel d'aide Pour obtenir des informations détaillées sur la visualisation de rapports de profilage de mémoire, consultez le Guide de l'utilisateur Rational Test RealTime et reportez-vous au chapitre Analyse de l'exécution->Profilage de la mémoire.

manuel d'aide Pour obtenir des informations techniques détaillées sur la gestion des fichiers de rapport, consultez le Guide de référence Rational Test RealTime, en vous concentrant sur les sections concernant les différents générateurs de rapports de test. Consultez en particulier la page Annexes->Types de fichiers.

Profilage de la performance de l'application

Les rapports de profilage de la mémoire pour tous les langages pris en charge - C, C++ et Java - sont stockés dans des fichiers XML dans le dossier Projet ou le dossier TDP, en fonction du langage.

Pour ouvrir ces rapports avec l'onglet Navigateur Projet dans la fenêtre Projet à droite de l'interface utilisateur Test RealTime, faites un clic droit sur un noeud de test et sélectionnez Visualiser le rapport->Profil de la mémoire.

Pour ouvrir ces rapports avec le menu Test RealTime :

  1. Sélectionnez l'élément de menu Fichier->Parcourir les rapports.
  2. Sélectionnez le bouton de la barre d'outils Ajouter.
  3. Sélectionnez Profilage de la performance dans les Fichiers de la liste déroulante Type.
  4. Naviguez puis sélectionnez les fichiers que vous souhaitez visualiser.
  5. Répétez les étapes 2 à 4 si nécessaire.
  6. Cliquez sur le bouton Ouvrir dans la fenêtre Navigateur Rapports.

Pour ouvrir ces rapports à partir de la ligne de commande, il suffit de traiter le ou les fichier(s) que vous souhaitez visualiser comme des paramètres vers la ligne de commande studio.

Le rapport est organisé comme suit : au-dessus de chaque rapport figure un diagramme à secteurs qui détaille chaque fonction/méthode (jusqu'à six) mobilisant 5 % ou plus de la durée d'exécution totale. En dessous du diagramme à secteurs se trouve un tableau qui répertorie chaque fonction/méthode et plusieurs statistiques associées. Un clic de souris sur l'en-tête d'une colonne permet de trier la liste globale en fonction du contenu de cette colonne ; un clic sur n'importe quelle fonction/méthode dénommée permet d'ouvrir le code source correspondant. Aucune valeur n'est nécessairement bonne ou mauvaise - de longues durées d'exécution de fonction, ou des durées d'exécution de fonction cible + descendante soulignent simplement des algorithmes qui peuvent être inefficaces, donc à optimiser.

manuel d'aide Pour obtenir des informations détaillées sur la visualisation de rapport de profilage de la performance, consultez le Guide de l'utilisateur Rational Test RealTime et reportez-vous au chapitre Analyse de l'exécution ->Profilage de la performance.

manuel d'aide Pour obtenir des informations techniques détaillées sur la gestion des fichiers de rapport, consultez le Guide de référence Rational Test RealTime, en vous concentrant sur les sections concernant les différents générateurs de rapports de test. Consultez en particulier la page Annexes->Types de fichiers.

Analyse de la couverture de code

Les rapports d'analyse de couverture de code pour tous les langages pris en charge - C, C++, Ada et Java - sont stockés dans des fichiers XML dans le dossier Projet ou le dossier TDP, en fonction du langage.

Pour ouvrir ces rapports avec l'onglet Navigateur Projet dans la fenêtre Projet à droite de l'interface utilisateur Test RealTime, faites un clic droit sur un noeud de test et sélectionnez Visualiser le rapport->Profil de la mémoire.

Pour ouvrir ces rapports avec le menu Test RealTime :

  1. Sélectionnez l'élément de menu Fichier->Parcourir les rapports.
  2. Sélectionnez le bouton de la barre d'outils Ajouter.
  3. Sélectionnez Couverture de code dans les Fichiers de la liste déroulante Type.
  4. Naviguez puis sélectionnez les fichiers que vous souhaitez visualiser.
  5. Répétez les étapes 2 à 4 si nécessaire.
  6. Cliquez sur le bouton Ouvrir dans la fenêtre Navigateur Rapports.

Pour ouvrir ces rapports à partir de la ligne de commande, il suffit de traiter le ou les fichier(s) que vous souhaitez visualiser comme des paramètres vers la ligne de commande studio.

Le rapport est organisé en deux composants principaux, un composant Source et un composant Taux.

  • Source - L'onglet Source reflète deux niveaux d'informations relatives à la couverture de code :
    • Lorsque le dossier Racine est sélectionné, l'onglet Source résume le taux de couverture de code global à l'aide d'un diagramme de Gantt.
    • Lorsqu'un autre noeud dans la fenêtre Rapport est sélectionné, l'onglet Source utilise un affichage codé en couleurs pour révéler quel code a été couvert ou pas. L'onglet Source affiche les informations relatives au noeud sélectionné.

  • Taux - L'onglet Taux découpe le niveau de couverture pour chaque fonction/méthode/procédure en pourcentages.

manuel d'aide Pour obtenir des informations détaillées sur la visualisation des rapports de couverture de code, consultez le Guide de l'utilisateur Rational Test RealTime et reportez-vous au chapitre Analyse de l'exécution ->Couverture de code.

manuel d'aide Pour obtenir des informations techniques détaillées sur la gestion des fichiers de rapport, consultez le Guide de référence Rational Test RealTime, en vous concentrant sur les sections concernant les différents générateurs de rapports de test. Consultez en particulier la page Annexes->Types de fichiers.

Suivi de l'exécution

Les rapports de suivi de l'exécution pour tous les langages pris en charge - C, C++ et Java - sont stockés dans des fichiers XML dans le dossier Projet ou le dossier TDP, en fonction du langage.

Pour ouvrir ces rapports avec l'onglet Navigateur Projet dans la fenêtre Projet à droite de l'interface utilisateur Test RealTime, faites un clic droit sur un noeud de test et sélectionnez Visualiser le rapport->Profil de la mémoire.

Pour ouvrir ces rapports avec le menu Test RealTime :

  1. Sélectionnez l'élément de menu Fichier->Parcourir les rapports.
  2. Sélectionnez le bouton de la barre d'outils Ajouter.
  3. Sélectionnez Fichiers de suivi dans les Fichiers de la liste déroulante Type.
  4. Naviguez puis sélectionnez les fichiers que vous souhaitez visualiser.
  5. Répétez les étapes 2 à 4 si nécessaire.
  6. Cliquez sur le bouton Ouvrir dans la fenêtre Navigateur Rapports.

Pour ouvrir ces rapports à partir de la ligne de commande, il suffit de traiter le ou les fichier(s) que vous souhaitez visualiser comme des paramètres vers la ligne de commande studio.

Le rapport de suivi de l'exécution est un diagramme de séquence de tous les événements qui se sont produits lors de l'exécution de l'application ou du code de test. Ce diagramme de séquence utilise une notation empruntée au langage Unified Modeling Language, et peut donc être correctement appelé diagramme de séquence UML. Les lignes verticales sont des lignes de vie ; chaque ligne de vie représente une instance d'objet Java. La première ligne de vie, représentée par un diagramme à bâtons, est considérée comme le "monde" - c'est-à-dire le système d'exploitation. Les lignes horizontales relient une ligne de vie à une autre. Les lignes vertes sont des appels de constructeur, les lignes noires sont des appels de méthode, les lignes rouges sont des retours de méthode, les lignes bleues sont des appels de destructeur et les lignes oranges des exceptions. Déplacer la souris sur n'importe quel appel de méthode pour voir le texte complet. Chaque appel et retour d'appel est horodaté. Chaque ligne verticale et horizontale comporte un hyperlien vers le code source surveillé. L'élément de menu Suivi de l'exécution->Filtres peut être utilisé pour créer des filtres qui facilitent la gestion du rapport de suivi de l'exécution.

manuel d'aide Pour obtenir des informations détaillées sur la visualisation de rapports de suivi de l'exécution, consultez le Guide de l'utilisateur Rational Test RealTime et reportez-vous au chapitre Analyse de l'exécution->Suivi de l'exécution.

manuel d'aide Pour obtenir des informations techniques détaillées sur la gestion des fichiers de rapport, consultez le Guide de référence Rational Test RealTime, en vous concentrant sur les sections concernant les différents générateurs de rapports de test. Consultez en particulier la page Annexes->Types de fichiers.

Mesures statiques

Les rapports de profilage de la mémoire pour tous les langages pris en charge - C, C++ et Java - sont stockés dans des fichiers XML dans le dossier Projet ou le dossier TDP, en fonction du langage.

Pour ouvrir ces rapports avec l'onglet Navigateur Projet dans la fenêtre Projet à droite de l'interface utilisateur Test RealTime, faites un clic droit sur un noeud de test et sélectionnez Visualiser le rapport->Profil de la mémoire.

Pour ouvrir ces rapports avec le menu Test RealTime :

  1. Sélectionnez l'élément de menu Fichier->Parcourir les rapports.
  2. Sélectionnez le bouton de la barre d'outils Ajouter.
  3. Sélectionnez Mesure dans les Fichiers de la liste déroulante Type.
  4. Naviguez puis sélectionnez les fichiers que vous souhaitez visualiser.
  5. Répétez les étapes 2 à 4 si nécessaire.
  6. Cliquez sur le bouton Ouvrir dans la fenêtre Navigateur Rapports.

Pour ouvrir ces rapports à partir de la ligne de commande, il suffit de traiter le ou les fichier(s) que vous souhaitez visualiser comme des paramètres vers la ligne de commande studio.

Le rapport est organisé en deux niveaux, la vue Fichier et la vue Objet :

  • Vue Fichier - Lorsque le dossier Racine est sélectionné, un diagramme à barres d'une des sept mesures Halstead est affiché pour chaque fichier sélectionné. La mesure particulière qui s'affiche peut être modifiée avec le menu. Lorsqu'un autre noeud est sélectionné, les mesures statiques spécifiques à ce noeud sont affichées.

  • Vue Objet - Lorsque le dossier Racine est sélectionné, un diagramme est affiché. Ce diagramme compare certaines mesures statiques pour chaque fonction/méthode - ceci peut être modifié avec le menu. Lorsque tout autre noeud est sélectionné, les mesures statiques spécifiques à ce noeud sont affichées.

manuel d'aide Pour obtenir des informations détaillées sur la visualisation des rapports de mesures statiques, consultez le Guide de l'utilisateur Rational Test RealTime et reportez-vous au chapitre Analyse de l'exécution->Mesures statiques.

manuel d'aide Pour obtenir des informations techniques détaillées sur la gestion des fichiers de rapport, consultez le Guide de référence Rational Test RealTime, en vous concentrant sur les sections concernant les différents générateurs de rapports de test. Consultez en particulier la page Annexes->Types de fichiers.