Pilotage de l’exécution de tests automatisés depuis Squash TM


Automatisation d’un cas de test Squash TM

Sans utilisation de workflow d’automatisation Squash

Pour qu’un cas de test soit utilisable par Squash Orchestrator, il faut que le panneau Automatisation de l’onglet Information de la page de consultation d’un cas de test soit correctement renseigné :

../_images/tc-automated-space.png
  • Technologie du test automatisé : Liste déroulante permettant de choisir la technologie utilisée pour exécuter le cas de test. Dans cette version, seuls les choix Robot Framework et Junit sont fonctionnels.

  • URL du dépôt de code source : L’adresse du dépôt de source où se trouve le projet.

  • Référence du test automatisé : Correspond à l’emplacement du test automatisé dans le projet. Cette référence doit respecter un format propre à la technologie de test employée (voir ici).


Avec utilisation de workflow d’automatisation Squash

Cas de test classique

Pour qu’un cas de test soit utilisable par Squash Orchestrator, il doit être automatisé à partir de l’espace Automatisation (Automaticien) via trois colonnes à renseigner :

../_images/autom-workspace-columns.png
  • Tech. test auto. : Liste déroulante permettant de choisir la technologie utilisée pour exécuter le cas de test. Dans cette version, seuls les choix Robot Framework et Junit sont fonctionnels.

  • URL du SCM : L’adresse du dépôt de source où se trouve le projet.

  • Ref. test auto. : Correspond à l’emplacement du test automatisé dans le projet. Cette référence doit respecter un format propre à la technologie de test employée (voir ici).

Avertissement

Un problème connu de la version est que le remplissage automatique par Squash TM ne met pas le nom du repo en tête de la référence du test automatisé. Il est nécessaire et doit donc être ajouté manuellement par l’utilisateur. Le nom correspond à la dernière partie de l’URL du dépôt de code source.

Cas de test BDD ou Gherkin

Les informations du panneau Automatisation sont remplis automatiquement lors de la transmission d’un script BDD ou Gherkin à un gestionnaire de code source distant. Ils sont également modifiables à tout moment par l’utilisateur.


Spécificités pour l’automatisation suivant le framework d’automatisation

Automatisation avec Robot Framework

Pour lier un cas de test Squash TM à un test automatisé Robot Framework, le champ Référence du test automatisé du bloc Automatisation du cas de test doit avoir la forme suivante :

[1] / [2] # [3]

Avec :

  • [1] : Nom du projet sur le dépôt de source.

  • [2] : Chemin et nom du fichier de test Robot Framework à partir de la racine du projet (avec son extension .robot).

  • [3] : Nom du cas de test à exécuter dans le fichier .robot.

Ci-dessous un exemple de fichier .robot et l’automatisation du cas de test Squash TM associé :

../_images/robot-test-case-with-param-1.png
../_images/robot-test-case-with-param-2.png

Automatisation avec JUnit

Pour lier un cas de test Squash TM à un test automatisé JUnit, le champ Référence du test automatisé du bloc Automatisation du cas de test doit avoir la forme suivante :

[1] / [2] # [3]

Avec :

  • [1] : Nom du projet sur le dépôt de source.

  • [2] : Nom qualifié de la classe de test.

  • [3] : Nom de la méthode à tester dans la classe de test.

Ci-dessous un exemple de classe de test et l’automatisation du cas de test Squash TM associé :

../_images/junit-test-case-with-param-1.png
../_images/junit-test-case-with-param-2.png

Exécution d’un plan d’exécution depuis Squash TM

Cette fonctionnalité n’est pas disponible dans la version 1.0.0.alpha1.

Il est néanmoins possible de déclencher un plan d’exécution Squash TM depuis un pipeline Jenkins. Référez-vous au guide utilisateur de Squash DEVOPS.


Remontées de résultats après exécution d’un plan d’exécution Squash TM

Quel que soit la façon dont le plan d’exécution est déclenché (depuis Squash TM ou depuis un pipeline Jenkins), vous avez en fin d’exécution une remontée de résultats au sein de Squash TM qui diffère suivant si vous êtes sous licence Squash AUTOM Community ou Squash AUTOM Premium.


Squash AUTOM Community

Après exécution d’un plan d’exécution Squash TM (Itération ou Suite de Test), les informations suivantes sont mises à jour :

  • Mise à jour du statut des ITPI.

  • Mise à jour du statut de la suite automatisée.

  • Les rapports d’exécution des différents ITPI sont accessibles depuis l’onglet de consultation des suites automatisées :

../_images/automated-suite-tab.png

Cependant, voici ce qu’il ne se passe pas :

  • Création d’une nouvelle exécution pour chaque ITPI qui a été exécuté.


Squash AUTOM Premium

Si vous disposez des composants Squash AUTOM Premium, vous avez accès à deux types de remontées d’informations :

  • Légère (valeur par défaut).

  • Complète.

Le choix du type de remontée se fait par projet en accédant à la configuration du plugin Squash TM Result Publisher depuis l’onglet Plugins de la page de consultation d’un projet :

../_images/plugin-complete-switch.png

Remontée d’information Légère

En choisissant la remontée d’information Légère, les informations suivantes sont mises à jour après exécution d’un plan d’exécution Squash TM (Itération ou Suite de Test) :

  • Mise à jour du statut des ITPI.

  • Mise à jour du statut de la suite automatisée.

  • Les rapports d’exécution des différents ITPI sont accessibles depuis l’onglet de consultation des suites automatisées :

../_images/automated-suite-tab.png

Cependant, voici ce qu’il ne se passe pas :

  • Création d’une nouvelle exécution pour chaque ITPI qui a été exécuté.


Remontée d’information Complète

En choisissant la remontée d’information Complète, les informations suivantes sont mises à jour après exécution d’un plan d’exécution Squash TM (Itération ou Suite de Test) :

  • Mise à jour du statut des ITPI.

  • Création d’une nouvelle exécution pour chaque ITPI.

  • Mise à jour du statut de la suite automatisée.

  • Les rapports d’exécution des différentes exécutions sont accessibles depuis l’onglet de consultation des suites automatisées ou depuis l’écran de consultation de l’exécution (ils sont présents dans les pièces jointes).

../_images/iteration-execution-tab.png
../_images/iteration-execution-detail.png