Guide d'utilisation de l'outil: Exécution de suites de tests à l'aide de Rational Robot
Ce guide d'utilisation explique comment utiliser Rational Robot pour exécuter des suites de tests (en réexécutant un ou plusieurs scripts de test) et comment analyser les résultats de l'exécution des tests.
Outil: Rational Robot
Relations
Description principale

Présentation

Ce guide d'utilisation de l'outil est applicable sous Microsoft Windows 98/2000/NT 4.0.

Pour exécuter les scripts de test enregistrés ou programmés à l'aide de Rational Robot, effectuez-les à nouveau.

  1. Répétition du script de test
  2. Affichage des résultats dans le journal TestManager
  3. Analyse des résultats de points de vérification à l'aide des comparateurs

1. Répétition du script de test

Lorsque vous réexécutez un script, Rational Robot effectue à nouveau vos actions enregistrées et automatise l'exécution du test. L'automatisation vous permet de tester chaque nouvelle construction de votre application plus rapidement et plus rigoureusement qu'avec le mode manuel. Cela réduit le temps de test et augmente à la fois la couverture et la cohérence globale.

Les scripts de test sont réexécutés plusieurs fois au cours du cycle de vie du test :

  • Implémentation de test - Réexécutez les scripts pour vérifier qu'ils fonctionnent comme vous le souhaitez, en utilisant la construction de l'application en cours de test utilisée pour l'enregistrement. Vous vérifiez ainsi la ligne de base du comportement prévu pour cette application.
  • Exécution de test et régression - Réexécutez les scripts afin de comparer la dernière construction de l'application en cours de test avec la ligne de base établie lors de l'implémentation du test. La répétition continue de tous les scripts de test au cours du cycle de développement permet de détecter les éventuelles différences qui auraient pu s'introduire dans l'application depuis la dernière construction. Ces différences peuvent être évaluées afin de déterminer s'il s'agit de véritables incidents ou de changements délibérés.

Avant de réexécuter les tests, Rational Robot compile automatiquement un script de test s'il a changé depuis sa dernière exécution.

Pour plus d'informations sur la préparation de l'environnement de test pour la réexécution des scripts de test, consultez le guide d'utilisation Configuration de l'environnement de test dans Rational Robot.

Pour réexécuter un script de test :

  1. Cliquez sur le bouton Réexécuter le script dans la barre d'outils. La boîte de dialogue Réexécuter apparaît.
  2. Saisissez le nom du script de test ou sélectionnez-le dans la liste.

Pour changer les options de réexécution, cliquez sur Options de l'interface graphique.

Lorsque vous avez fini, cliquez sur OK.
Pour plus d'informations sur les options de réexécution, consultez le guide d'utilisation Configuration de l'environnement de test dans Rational Robot.

  1. Cliquez sur OK pour continuer.
  2. Si la boîte de dialogue Spécifier les informations de journal apparaît, procédez de la manière suivante :
  • Sélectionnez une construction dans la liste. Pour créer une nouvelle construction, cliquez sur le bouton Générer sur la droite.
  • Sélectionnez un dossier Journal de test dans la liste. Pour créer un dossier Journal de test, cliquez sur le bouton Dossier journal sur la droite.
  • Acceptez le nom du Journal de test par défaut, qui est le même que le nom du script de test, ou saisissez un nouveau nom.
  • Cliquez sur OK.
  1. Si un message vous demande si vous souhaitez écraser le journal, cliquez sur Oui.

Remarque : pour mettre fin à la répétition du script de test, appuyez sur la touche F11. Rational Robot reconnaît cette touche uniquement lorsqu'il réexécute des commandes orientées objet. La touche F11 n'interrompt pas la répétition des scripts lors des actions de bas niveau.

2. Affichage des résultats dans le journal TestManager

Une fois que la réexécution est terminée, utilisez le journal de test TestManager pour visualiser les résultats de cette réexécution, notamment les échecs des points de vérification, les échecs de procédure, les abandons et toutes les autres informations relatives à la réexécution.

Pour contrôler les informations du journal de test et afficher celui-ci, vous pouvez définir des options dans l'onglet Journal de la boîte de dialogue Options de réexécution de l'interface graphique :

  • Pour mettre à jour votre projet avec les résultats de la réexécution, sélectionnez Envoyer les résultats de la réexécution au journal.
  • Pour afficher le journal automatiquement après la réexécution, sélectionnez Afficher le journal après la réexécution.

Si cette option n'est pas sélectionnée, vous pouvez afficher le Journal de test après la réexécution en cliquant sur Outils > Test Rational > Rational TestManager.

Si la réexécution des scripts de test s'est soldée par des erreurs, la cause spécifique de l'erreur doit être identifiée.

Les scripts de test ayant échoué sont signalés dans le Journal de test par Echec (en rouge) dans la colonne Résultats, ou par Avertissement (en jaune). Il existe plusieurs classes de défaillances d'exécution devant être résolues : les erreurs bloquantes, les erreurs de script et les défaillances de point de vérification. Les erreurs bloquantes indiquent souvent que les problèmes concernent la configuration de l'environnement de test plutôt que le script lui-même. Examinez la configuration de l'environnement de test, isolez la défaillance et résolvez le défaut correspondant. La résolution des erreurs de script de test peut nécessiter des opérations de maintenance de script de test. Les défaillances de points de vérification (lors de l'implémentation de test) indiquent en général qu'il faut changer les paramètres des points de vérification ou signalent une différence entre l'état souhaité des éléments de test cible lorsque le script a été enregistré et l'état de ces éléments lorsqu'il a été réexécuté. Voir la section suivante pour analyser les points de vérification.

Vous pourrez trouver des informations supplémentaires concernant les cas d'erreur dans la boîte de dialogue Propriétés des événements à enregistrer. Ouvrez cette boîte en sélectionnant un événement du journal de test et en cliquant sur Afficher > Propriétés.

Pour chaque script de test dans lequel une défaillance (ou un avertissement) a été constatée, examinez les informations relatives à la défaillance et, si nécessaire, éditez le script de test (voir la Section 3. Editer le script de test si nécessaire ci-dessus). Le script de test et Rational Robot peuvent être ouverts à partir du journal de test en cliquant sur Afficher > Script.

Une fois que vous avez édité le script de test, vous devez reconfigurer l'environnement sur son état initial approprié (Guide d'utilisation : Configuration de l'environnement de test dans Rational Robot) (Voir l'étape : Réexécuter le script).

3. Analyse des résultats de points de vérification à l'aide des comparateurs

Utilisez les comparateurs pour analyser les résultats des points de vérification. Pour ouvrir un comparateur à partir du journal de test TestManager :

  1. Dans la colonne Evénements à enregistrer, sélectionnez un point de vérification et cliquez sur Afficher > Point de vérification. Le comparateur approprié apparaît. Vous pouvez également ouvrir les comparateurs à partir de Rational Robot en double-cliquant sur un point de vérification dans le volet Actifs. Cependant, lorsque vous ouvrez un comparateur de cette façon, vous pouvez visualiser uniquement le fichier de la ligne de base.
  2. Les différences entre la ligne de base et les résultats réels seront mises en évidence.
  3. Analysez les différences et déterminez le cours approprié de l'action, notamment :
    (Remarque : les actions disponibles se distingueront par leur type de point de vérification.)
  • Copier la propriété dans la ligne de base : copiez la propriété réelle individuelle en cours et écrasez la propriété de la ligne de base.
  • Copier toutes les propriétés dans la ligne de base : copiez toutes les valeurs actuelles des propriétés et écrasez toutes les propriétés de la ligne de base.
  • Editez la propriété individuelle (menu, valeur, etc.) en double-cliquant dessus et en saisissant une valeur différente.
  • Editez la liste de propriétés (pour identifier les propriétés devant être enregistrées par le point de vérification).
  • Créez ou modifiez des masques.
  1. Une fois que vous avez effectué les changements appropriés dans le comparateur, cliquez sur Fichier > Enregistrer la ligne de base pour enregistrer les changements, puis sur le bouton Quitter pour fermer le comparateur.

Après avoir édité le script de test ou les points de vérification, vous devez reconfigurer l'environnement sur son état initial approprié (Guide d'utilisation : Configuration de l'environnement de test dans Rational Robot) (voir l'étape : Réexécuter le script).