Chez Hightest, on sait tous ce qu’est un plan de test, comme on sait tous ce qu’est un wombat ; certains en ont déjà vu en vrai, d’autres non, et ça ne nous empêche pas de faire du test. Ça vous choque ?
Le plan de test est peut-être le livrable le plus ingrat de notre métier. Comme l’écrivent des testeurs de Google dans « How Google Tests Software ? », les managers traînent avec eux des plans de test comme un enfant garde toujours son doudou avec lui. Ces documents les rassurent, mais ils ne leur accordent pas d’attention particulière, et se plaignent seulement quand ils ne sont pas là.
C’est exagéré ? Il doit quand même y avoir un fond de vérité…
Le plan de test est-il un ennemi de la qualité ?
En contexte agile notamment, mais aussi plus généralement, on comprend les risques que présenterait le fait de toujours produire un volumineux plan de test.
Un tel document peut représenter un risque projet, en ralentissant les équipes de test qui devront s’attacher à longuement rédiger ce référentiel. Et pour quel gain, si personne ne le lit ?
Il pourrait aussi présenter un risque produit, en verrouillant en quelque sorte les testeurs à un engagement à tester d’une certaine façon, au lieu de constamment faire l’effort de s’adapter au produit. En pratique d’ailleurs, la rédaction d’un plan de test en bonne et due forme n’est pas systématique.
Il n’est donc pas si étonnant que de nombreux testeurs n’aient jamais écrit ou même lu un plan de test au sens traditionnel. Faut-il en conclure que ce livrable mérite d’être rangé au grenier ?
Mais au fait, qu’est-ce qu’un plan de test ?
Voici la définition d’un plan de test d’après le « Glossaire CFTL/ISTQB des termes utilisés en tests de logiciels » (août 2012), citant IEEE 829 :
Document décrivant l’étendue, l’approche, les ressources et le planning des activités de test prévues. Il identifie entre autres les éléments et caractéristiques à tester, l’affectation des tâches, le degré d’indépendance des testeurs, l’environnement de test, les techniques de conception des tests et les techniques de mesure des tests à utiliser ainsi que tout risque nécessitant la planification de contingence. Il constitue la documentation du processus de planification de test.
Un template de plan de test correspondant à cette approche pourrait donc suivre la trame suivante :
- Introduction
- Présentation de l’équipe de test et de ses liens avec les autres parties prenantes
- Présentation de l’applicatif à tester
- Présentation des bases de test et de leur traçabilité avec les tests
- Liste des fonctionnalités à tester
- Liste des fonctionnalités à ne pas tester
- Techniques de conception des tests
- Techniques d’évaluation des tests
- Critères de testabilité
- Conditions de refus de la version
- Liste des livrables de test
- Liste des tâches de test en regard avec les personnes impliquées
- Risques projet et risques produit
- Planning
- Environnements requis
- Besoins spécifiques en outils
- Besoins spécifiques en formations
- Besoin spécifiques en prestations
En somme, l’ensemble des informations « méta » qui touchent à la phase de test à venir. Chacune est digne d’intérêt, mais on voit qu’il y en a beaucoup.
Revoir la définition du plan de test ?
On attend peut-être trop de choses différentes d’un seul et même document. Cette liste comprend des éléments qui aident à la coordination inter-équipes, d’autres qui ne concernent que les testeurs. Il y a des parties qui concernent le projet, d’autres qui sont tournées vers le produit.
Pour « sauver le plan de test », il faudrait peut-être trier ces divers éléments afin d’isoler ce qui sera utile au niveau contractuel et ce qui servira de ligne de conduite pour les testeurs. C’est dans cette direction notamment qu’est parti Google.
Un plan de test au service des testeurs
Comment s’en sort Google
« How Google Tests Software ? » Le titre de ce livre est intimidant. A première vue, il laisse penser que Google travaille avec des méthodologies si sophistiquées qu’elles seront totalement inaccessibles aux « plus petits ». Surprise : leur façon de concevoir les plans de test est applicable à la plus petite équipe projet, et elle ne requiert même pas une heure. Ici, le plan de test est un document qui aide les testeurs à concevoir leurs cas de test, une trame opérationnelle à laquelle ils pourront se référer dans le temps, quitte à la faire évoluer. Avec la méthode ACC développée par Google, on va créer non pas un document de type cale-porte, mais une cartographie légère, exploitable et droit-au-but sur laquelle les testeurs pourront se baser pour écrire leurs tests.
La méthode ACC de Google : un plan de test pour ceux qui n’en ont pas le temps
La méthode ACC se base sur trois concepts : les Attributs, les Composants et les Capabilités. Ces trois concepts vont permettre de dresser un schéma de ce qu’on va avoir besoin de tester.
James Whittaker rapporte que l’exercice ne durerait pas plus de 30 minutes. Alors, on se lance ?
Les attributs : des mots pour dire « comment » c’est
La première étape du plan de test ACC est de lister les attributs de l’application.
Qu’entend-on par attribut ? Tout simplement les adjectifs dont on souhaiterait qualifier l’application en production. Des exemples ?
- Accessible
- Adaptatif
- Durable
- Facile
- Graphique
- Interactif
- Interopérable
- Navigable
- Pédagogique
- Pertinent
- Rapide
- Sécurisant
- Social
- …
Afin de garantir un maximum d’adhésion de la part des parties prenantes (et certainement d’éviter des débats sans fin), l’ouvrage suggère de tirer cette liste d’attributs de documents existants, par exemple des supports issus du marketing.
Les composants : des mots pour dire « ce que » c’est
Deuxième étape du plan de test ACC : lister les composants de l’application.
Peut-être plus simples à trouver, les composants sont les noms des fonctionnalités. Cette liste est généralement facile à trouver : on peut la tirer de cahier des charges, story-mappings, user stories, spécifications…
Ceci dit, il est intéressant de revoir cette liste. Plus généralement, ce qui va avoir du sens ici, c’est de créer une liste des entités pouvant donner lieu à des tests spécifiques.
Par exemple, si votre liste de fonctionnalités comprend « Page des nouveautés » et « Page de recherche enregistrée », et que les deux donnent lieu à des notifications, il vous faudra peut-être ajouter l’élément « Notifications » à votre liste de composants, même si cela ne figure pas dans la liste des fonctionnalités.
Les capabilités : au final, ce qu’on peut faire avec l’application
Dernière étape : lister les capabilités de l’application.
Les capabilités représentent les activités effectuées via ou par l’application ; elles sont exprimées par des verbes d’action.
La particularité de ces capabilités, c’est qu’elles se trouvent à la croisée des attributs et des composants. Par exemple, on peut imaginer que sur un client de messagerie, la capabilité « Recevoir les mails commerciaux dans un dossier dédié » correspond au composant « Liste des courriels » et à l’attribut « Bien organisé ».
Ce qui nous permet de ranger ces trois notions dans un tableau à double entrée !
Nous allons tout de suite rendre les choses plus concrètes en présentant un plan de test ACC.
Un exemple de plan de test ACC
Pour cet exemple, nous allons prendre comme exemple l’application FromageZone. FromageZone est une boutique en ligne qui permet d’acheter du fromage en s’aidant des avis d’autres utilisateurs.
Voici le support commercial de FromageZone :
Nous retenons ici 3 attributs : « Intelligent », « Simple » et « Social ». Nous allons aussi prendre la liberté d’extrapoler le terme « commander » en ajoutant l’attribut « Sécurisé », car il est impossible d’imaginer un e-commerce sans notion de sécurité des transactions.
En outre, FromageZone est une application de e-commerce dont les fonctionnalités sont les suivantes :
- Achat
- Gestion du compte utilisateur
- Liste des fromages
- Détails d’un fromage
En combinant les attributs et les composants, on peut ensuite formaliser les capabilités, ce qui nous donne notre plan de test ACC :
| Intelligent | Sécurisé | Simple | Social | |
| Achat | Payer en ligne en toute sécurité | Passer commande en suivant un parcours simple | ||
| Gestion du compte utilisateur | Gérer de manière sécurisée ses préférences de paiement | Modifier simplement ses informations utilisateur | ||
| Liste des fromages | Visionner en premier les fromages les plus pertinents par rapport à mon profil | Naviguer dans la recherche de fromages en étant efficacement guidé | Partager les résultats d’une recherche de fromage | |
| Détails d’un fromage | Visionner mon pourcentage de chances d’aimer ce fromage
Visionner les commentaires les plus pertinents sur le fromage |
Visionner simplement toutes les informations du fromage | Donner son avis sur le fromage |
Chacune des cases non vides devra donner lieu à des tests.
Comment utiliser le plan de test ACC ?
Visualiser les risques
Outre le guidage de la rédaction des tests, l’ouvrage mentionne aussi la possibilité de se servir du plan de test ACC pour visualiser les risques. Chaque case sera verte, jaune ou rouge, en fonction de la moyenne des indices de risque de l’ensemble de ses capabilités. Plus simple que ça, c’est impossible !
Guider les tests exploratoires
De par sa forme tabulaire, le plan de test ACC se prête également bien à l’exercice des tests exploratoires. Lors d’une session, le testeur aura loisir de se concentrer sur une « tranche » horizontale ou verticale de ce tableau.
Limites du plan de test ACC
Certes, l’exercice du plan de test ACC pourra parfois sembler artificiel : par exemple, une capabilité pourra correspondre à deux attributs différents. Il y a également des capabilités dont on saura qu’elles existent, mais qu’on ne pourra pas lier aux attributs cités.
Il est aussi compliqué de savoir comment introduire les tests non-fonctionnels à cette approche sans faire exploser le nombre de colonnes. Ci-dessus nous prévoyions des tests de sécurité (voire également des tests d’utilisabilité), mais quid des tests de performance, de charge, d’accessibilité ?
Le plan de test ACC reste un exercice intéressant à faire, qui permet d’avoir une autre approche sur le produit. Une manière aussi de tester de nouveau une application comme si c’était la première fois.
Conclusion
Une façon de sauver le plan de test serait de convertir ce document protéiforme en un document de travail centré sur une et une seule problématique opérationnelle. Le plan de test ACC de Google est une possibilité parmi d’autres d’aller dans ce sens. Quand le plan de test traditionnel propose de répondre à la très large question « Comment vont se passer les tests ? », cette variante se concentre sur « Que faudra-t-il tester ? ».
Et vous, quelle place donnez-vous au plan de test dans vos projets ?
Le Véritable Plan de Test