Affectation d'un état connu à l'environnement de test
Objectif :
|
Configurer avec précision l'environnement de test en préparation de l'exécution de la suite de tests.
|
Configurez l'environnement de test de telle sorte que tous les composants requis (éléments matériels, logiciels,
outils, données, etc.) soient présents, disponibles et prêts dans l'environnement de test, que leur état soit correct,
afin que les tests puissent être exécutés. Pour cela, vous devez notamment rétablir l'environnement de base (registre
et autres fichiers de configuration), restaurer l'état connu des bases de données, et configurer les unités
périphériques éventuelles (chargement du papier dans les imprimantes, par exemple). Certaines tâches peuvent être
exécutées automatiquement, mais d'autres nécessitent une intervention humaine.
L'utilisation d'outils comme les outils d'enregistrement d'image de disque dur sont très efficaces pour la gestion de
cet effort.
|
Définition des options des outils d'exécution
Objectif :
|
Configurer les outils utilisés pour l'exécution de la suite de tests.
|
Définissez les options d'exécution des différents outils. En fonction du degré de sophistication de l'outil, le nombre
d'options peut être élevé. Si vous ne configurez pas correctement ces options, cela risque de diminuer l'utilité et la
valeur des journaux de tests et des autres résultats obtenus. Dans la mesure du possible, essayez de conserver options
d'outils et ces configurations afin de pouvoir les recharger facilement sous la forme de profils prédéterminés. Dans le
cas d'outils d'exécution de tests automatisés, les configurations requises peuvent être nombreuses (comme par exemple
la vitesse d'exécution).
Dans le cas de tests manuels, il suffit souvent de consigner les demandes de modification ou de partitionner une
nouvelle entrée unique dans un système de consignation des résultats. Vous devez affecter un nom, un emplacement et un
état au journal de test à utiliser.
|
Planification de l'exécution de la suite de tests
Objectif :
|
Déterminer l'heure appropriée pour le début de l'exécution des tests.
|
Lorsque l'exécution des tests peut être assistée, la suite de tests peut être exécutée sur demande. Dans ce cas, la
planification tient compte de facteurs tels que le travail des autres testeurs, des autres membres de l'équipe et des
autres équipes de test qui font partie de l'environnement de test. L'exécution des tests implique alors de fréquentes
redéfinitions de l'environnement.
Lors de l'exécution de tests automatisés ou lorsque de nombreux tests sont exécutés simultanément sur des machines
différentes et doivent être coordonnés, vous devez recourir à une planification automatisée. Pour cela, vous avez le
choix entre utiliser les fonctions de votre outil d'exécution de tests automatisés et développer vos propres fonctions
de planification.
|
Exécution de la suite de tests
Objectif :
|
Exécuter les tests contenus dans la suite de tests et vérifier leur achèvement.
|
L'exécution de la suite de tests est différent selon qu'ils sont exécutés automatiquement ou manuellement. Dans les
deux cas, les suites de tests développées au cours des tâches d'implémentation des tests sont utilisées pour exécuter
les tests automatiquement ou pour guider l'exécution manuelle des tests.
|
Evaluation de l'exécution de la suite de tests
Objectif :
|
Déterminer si la suite de tests a été exécutée jusqu'à son terme ou s'est arrêtée de façon anormale et si
une action corrective est requise.
|
L'exécution des tests se termine dans l'une des deux situations suivantes :
-
Situation normale : tous les tests sont exécutés en totalité.
-
Situation anormale ou fin prématurée : les tests ne sont pas exécutés en totalité. Lorsque des tests prennent fin
de façon anormale, les journaux de test portant les résultats de test peuvent être défectueux. Vous devez
identifier la cause de l'arrêt anormal et, en cas de besoin, corriger l'erreur et réexécuter les tests.
|
Reprise après interruption des tests
Objectif :
|
Déterminer l'action corrective à entreprendre pour effectuer une reprise après l'arrêt de l'exécution d'une
suite de tests et, en cas de besoin, corriger l'erreur et réexécuter la suite de tests.
|
Pour effectuer une reprise après l'arrêt de tests, effectuez les opérations suivantes :
Examinez les journaux de tests et les autres sorties pour vérifier qu'ils sont complets et précis. Identifiez et
examinez les erreurs.
En cas de tests automatisés, il existe deux catégories d'arrêts de tests :
-
Erreurs fatales : le système tombe en panne (panne réseau, panne matérielle, etc.)
-
Echec de test : une partie de test intégré à une suite de tests ne peut pas être exécutée.
Lorsque l'un de ces comportements anormaux se produit pendant l'exécution des tests, cela peut signaler la présence des
symptômes suivants :
-
un grand nombre d'actions imprévues se produit pendant l'exécution de la suite de tests
-
l'environnement de test ne répond pas, est lent ou porte un état non désiré (comme par exemple en panne).
Examinez les symptômes jusqu'à ce que vous puissiez déterminer la cause du problème.
Les erreurs peuvent se trouver dans les données d'entrée du test, dans le test lui-même ou dans d'autres aspects du
test tels que l'environnement ou les paramètres des outils. Pour corriger une erreur survenue dans l'un des aspects
d'un test, il est souvent nécessaire que l'état approprié soit présent dans tous les autres aspects du test.
Votre recherche a peut-être permis de détecter une ou plusieurs défaillances nécessitant une correction. Avant
d'apporter des corrections permanentes à l'environnement, aux données de test ou au test lui-même, restaurez l'état de
chaque aspect du test. Cela permet d'éviter que des modifications supplémentaires non souhaitées ou incorrectes soient
introduites dans l'environnement.
Après avoir apporté les modifications requises, enregistrez le test et sauvegardez les données d'entrée ainsi que
l'environnement de test.
Replanifiez et réexécutez la suite de tests. En fonction du processus de reprise disponible, vous pouvez relancer
l'exécution de la suite de tests à partir d'un point intermédiaire plutôt que du début. Notez que pour pouvoir relancer
l'exécution de tests à partir d'un point intermédiaire, vous devez généralement implémenter et gérer une procédure de
reprise partielle.
Confirmez que la suite de tests est exécutée en totalité. Si les problèmes persistent, réexaminez les sous-sections qui
composent la section Effectuer une reprise après l'arrêt de tests jusqu'à ce que tous les problèmes soient résolus.
|
Examen de l'achèvement et de la précision des journaux de tests
Objectif :
|
Déterminer si l'exécution de la suite de tests a généré des informations de test utiles et dans le cas
contraire, identifier l'action corrective à entreprendre.
|
Au moment de l'exécution initiale des tests, vous devez revoir les journaux de test pour vous assurer qu'ils sont
fiables et qu'ils portent mention des échecs, avertissements ou résultats inattendus qui n'ont pas été causés par des
influences externes (comme par exemple une configuration incorrecte de l'environnement ou des données d'entrée
erronées).
Pour les tests automatisés, les échecs de test les plus fréquents sont notamment les suivants :
-
Echecs de vérification - cela se produit lorsque le résultat réel et le résultat escompté ne correspondent
pas. Assurez-vous que les méthodes de vérification utilisées concernent uniquement les éléments essentiels et/ou
les propriétés et apportez les modifications requises, le cas échéant.
-
Ouverture inattendue de fenêtres de l'interface graphique utilisateur - cela se produit pour plusieurs
raisons. Le plus souvent, cela se produit lorsqu'une autre fenêtre est active ou que le nombre de fenêtres ouvertes
est plus élevé que prévu. Dans ce cas, vérifiez que l'environnement de test a été configuré et initialisé en vue de
l'exécution des tests.
-
Fenêtres manquantes - cette défaillance se produit lorsqu'une fenêtre qui devrait être disponible (sans
nécessairement être active) ne l'est pas. Dans ce cas, vérifiez que l'environnement de test a été configuré et
initialisé en vue de l'exécution des tests. Assurez-vous que les fenêtres manquantes ont été retirées de la cible
de test.
Si les défaillances signalées sont imputables à des erreurs identifiées dans les produits de test ou à des problèmes
liés à l'environnement de test, l'action corrective appropriée doit être exécutée et les tests doivent être relancés.
Si le journal des tests permet de déterminer que les échecs sont eux-mêmes dus à des échecs dans les éléments de test
cible, la part d'exécution de la tâche s'achève.
|
Restauration de l'état connu de l'environnement de test
Objectif :
|
Vérifier que l'environnement est correctement rétabli après l'exécution de la suite de tests.
|
(Voir la première étape) Vous devez rétablir l'état d'origine de l'environnement. Pour cela, vous devez notamment
rétablir l'environnement de base (registre et autres fichiers de configuration), restaurer l'état connu des bases de
données, et exécuter des tâches telles que le chargement de papier dans les imprimantes. Certaines tâches peuvent être
exécutées automatiquement, mais d'autres nécessitent une intervention humaine.
|
Gestion des relations de traçabilité
Objectif :
|
Permettre la réalisation d'une analyse d'impact et la génération de rapports d'évaluation sur les
éléments tracés.
|
Utilisez les exigences de traçabilité mentionnées dans le plan de test pour mettre à jour les relations de traçabilité.
Pour cela, vous pouvez mesurer l'étendue des tests (ou taux de couverture des tests). Nous recommandons généralement de
prendre comme base de cette mesure les motivateurs découverts lors de la planification.
Les séries de tests peuvent également être tracées par rapport aux cas de test qu'elles réalisent. Elles peuvent être
tracées par rapport à certains éléments d'exigences (spécification, conception ou implémentation logicielle).
Quelles que soient les relations à tracer, vous devrez mettre à jour l'état des relations établies pendant
l'implémentation de la suite de tests.
|
Evaluation et vérification des résultats
Objectif :
|
Vérifier que la tâche a été correctement réalisée et que les produits qui en résultent sont acceptables.
|
Maintenant que vous avez achevé le travail, il serait utile de vérifier que ce travail a suffisamment de valeur et que
vous n'avez pas simplement consommé de grandes quantités de papier. Vous devez déterminer si votre travail est d'une
qualité correcte et s'il est suffisamment achevé pour que les membres de l'équipe puissent l'utiliser comme entrée pour
leur propre travail. A chaque fois que cela est possible, utilisez les listes de contrôle fournies dans RUP pour
vérifier que la qualité et l'achèvement sont acceptables.
Faites en sorte que les personnes qui effectuent des tâches en aval et qui se fondent sur votre travail en tant
qu'entrée prennent part à la revue de votre travail intermédiaire. Effectuez cette revue pendant que vous avez encore
du temps disponible pour prendre les mesures qui répondent à leurs préoccupations. Vous devez également évaluer votre
travail par rapport aux produits d'entrée clés pour vous assurer que vous les avez précisément et suffisamment
représentés. Il peut être utile que l'auteur du produit d'entrée révise votre travail sur cette base.
Gardez à l'esprit que le processus RUP est un processus itératif de livraison et que, dans la plupart des cas, les
produits évoluent avec le temps. A ce titre, il n'est pas habituellement nécessaire, et c'est même souvent
contre-productif, de concevoir en totalité un produit qui ne sera que partiellement utilisé ou pas du tout utilisé dans
l'immédiat. Cela vient du fait qu'il existe une grande probabilité pour que la situation qui entoure le produit change
et que les hypothèses émises lors de la création du produit s'avèrent incorrectes, avant même l'utilisation du produit,
occasionnant une perte d'efforts et un retravail coûteux. Evitez également le piège consistant à utiliser trop de
cycles pour la présentation au détriment de la valeur du contenu. Dans les environnements de projet où la présentation
a une importance et une valeur économique en tant que livrable du projet, vous pouvez envisager d'utiliser des
ressources administratives pour réaliser les tâches de présentation.
|
|