Les cas tordus du champ de numéro de téléphone

Le numéro de téléphone est un grand classique des formulaires, ce n’est pas le champ le plus complexe à tester. Toutefois, c’est l’un de ceux où l’on rencontre régulièrement des problèmes, d’où l’idée de lui consacrer un article !

Une petite anecdote pour commencer

Récemment, une personne de notre entourage achetait en ligne un billet de train. Au moment de renseigner son numéro de téléphone, impossible : le formulaire refusait obstinément la valeur saisie. Trop courte, visiblement, alors même que l’indicatif calédonien avait bien été sélectionné dans la liste. Pour contourner le problème, elle a saisi le numéro français d’un proche résidant en métropole, et la commande est passée.

C’est exactement le genre de bug qui transforme un simple achat en source d’irritation pour une partie de la clientèle. Et c’est typiquement ce qu’un bon jeu de données aurait dû détecter !

Qu’est-ce qui compose un numéro de téléphone ?

Au niveau international, la référence est la norme E.164 de l’UIT (Union internationale des télécommunications). Elle pose deux règles simples mais essentielles :

  • un numéro complet comporte au maximum 15 chiffres (hors préfixe) ;
  • il s’écrit sous la forme indicatif pays + numéro national.

L’indicatif pays fait de 1 à 3 chiffres. Le numéro national a une longueur qui dépend entièrement du pays.

Le piège n°1 : supposer que tous les numéros ont la même longueur

C’est l’erreur de notre site de billets de train. En métropole, on a l’habitude des numéros à dix chiffres. Mais d’un pays à l’autre, ce nombre varie énormément. Voici quelques exemples :

– 4 chiffres : Niue (+683)

– 6 chiffres : Nouvelle-Calédonie (+687)

– 7 chiffres : Islande (+354)

– 8 chiffres : Norvège (+47)

– 9 chiffres : Espagne (+34)

– 11 chiffres : Chine (+86)

Coder en dur « un numéro = 10 chiffres », c’est s’assurer d’exclure une partie de la population. La règle de longueur doit dépendre du pays sélectionné.

Piège n°2 : une mise en forme mal gérée

Deux difficultés se rejoignent ici. D’abord, le zéro. En France comme dans beaucoup de pays, le 0 initial est un préfixe national d’acheminement : on le compose en interne, mais il saute dès qu’on passe à l’international. Le 06 12 34 56 78 devient +33 6 12 34 56 78, sans le zéro. Faut-il alors saisir le 0 ? L’indicatif ? Les deux ? C’est une source classique d’interrogations, avec possiblement des données hétérogènes à la clé.

De plus, un numéro peut s’écrire de multiples façons différentes : avec des espaces, des points, des tirets, voire des parenthèses… Plutôt que de tenter d’accepter puis de nettoyer toutes ces variantes (et de risquer d’en oublier) notre préconisation est plutôt de :

– n’autoriser que les chiffres dans le champ : tout caractère non numérique est bloqué dès la frappe (pensez à tester la lettre « e » qui passe parfois à travers les mailles du filet…) ;

– utiliser intelligemment les placeholders pour lever le doute sur le format attendu ;

– afficher un masque de saisie, pour encore plus de confort (faire en sorte par exemple qu’une petite espace s’affiche entre chaque paire de chiffres).

Conclusion

Un champ de numéro de téléphone ne réclame pas des trésors d’ingéniosité, mais un peu d’attention là où on n’en met pas spontanément. Varier les pays, les longueurs et les modes de saisie dans vos jeux de données suffit à débusquer l’essentiel de ces problèmes. Bons tests !

TMMi n’est pas un modèle rigide, mais une pizza

« TMMi ». Que vous a évoqué cet acronyme la première fois que vous l’avez lu ? Probablement un standard très strict, applicable uniquement aux très grosses organisations, et peut-être trop rigide pour suivre le rythme effréné des changements que vit constamment le monde de l’informatique, surtout à l’ère de l’agilité… et surtout à l’ère de l’IA.

Est-ce mérité ? On ne va pas faire durer le suspense : non. Dans cet article, nous allons voir pourquoi TMMi reste un référentiel tout à fait pertinent, à condition de comprendre comment il fonctionne réellement. Car bien souvent, ce qu’on reproche à TMMi, c’est en réalité une idée qu’on s’en fait sans l’avoir vraiment étudié !

D’où vient cette réputation ?

TMMi (Test Maturity Model integration) est un modèle de maturité dédié au processus de test. Il permet de situer son organisation sur une échelle de 1 (très faible maturité, niveau « initial ») à 5 (très forte maturité, niveau « En optimisation »). Cela peut évoquer de lourdes démarches d’audit, d’épais classeurs qui prennent la poussière, des certifications accrochées au mur et dont la moitié de l’entreprise ignore même la signification, et qui ne servent à rien d’autre que se faire un peu mousser…

Mais si on regarde de plus près la mécanique du modèle, on comprend que l’idée n’est pas de coller une étiquette et de poser des jalons artificiels. Il s’agit plutôt de dessiner une perspective et d’insuffler des dynamiques vivantes, au plus près des objectifs réels de l’organisation.

Structure de TMMi

TMMi structure la maturité du test en 5 niveaux. Le niveau 1, c’est la case départ  : même une entreprise qui ne ferait aucun test pourrait « prétendre » à ce niveau. Ainsi, chaque niveau sauf le premier contient ce qu’on appelle des « domaines de processus », qui représentent des grands axes de travail. Au total, on compte 16 domaines de processus.

À leur tour, chacun des domaines de processus contient des objectifs… qui eux-mêmes contiennent des pratiques… qui elles-mêmes peuvent être détaillées en sous-pratiques et exemples de produits d’activité (autrement dit, des documents ou artefacts qui retracent cette activité). Un peu partout, on peut aussi trouver des notes, des exemples, des références.

Trop de jargon ?

C’est ici en effet que beaucoup de gens décrochent. Tout ça commence à ressembler à une énorme montagne de cases à cocher, et on peut avoir peur de se perdre dans les branches de cette arborescence.

Mais qu’il faut s’accrocher parce qu’il y a une subtilité qui fait tout basculer !

TMMi… c’est comme une pizza

Embarquons-nous dans la métaphore la plus hasardeuse de l’histoire de ce blog, avec nos excuses par avance aux personnes qui en savent plus que nous sur les pizzas.

Le modèle TMMi, nous venons de le voir, dispose d’une structure où les éléments s’emboîtent les uns dans les autres. Les niveaux de maturités contiennent des domaines de processus, qui contiennent des objectifs, qui contiennent des pratiques, qui contiennent des sous-pratiques et des exemples de produits d’activité.

C’est la même chose pour les pizzas : la pâte soutient la base (base crème ou base tomate), et la base soutient les différents ingrédients.

Et les éléments de TMMi, comme les ingrédients de la pizza, ont différents statuts.

Les éléments requis

Les domaines de processus sont requis pour atteindre un niveau de maturité. Et pour qu’un domaine de processus soit validé, il faut que ses objectifs soient remplis ; ces objectifs sont également requis.

On imagine difficilement une pizza sans pâte.

Exemple TMMi : le niveau 2 de TMMi contient 5 domaines de processus, dont « Politique et stratégie de test ». Ce domaine de processus présente 3 objectifs : « Établir une politique de test », « Établir une stratégie de test » et « Établir des indicateurs de performance du test ». Tout ça, c’est requis.

Les éléments attendus

Sous les objectifs requis, on trouve les pratiques, et c’est ici qu’arrive la nuance la plus importante. Les pratiques ne sont pas des composants requis, mais attendus.

Citons le modèle :

Les composants attendus décrivent ce qu’une organisation doit généralement mettre en œuvre pour satisfaire à un composant requis. Les composants attendus guident ceux qui mettent en œuvre des améliorations ou effectuent des évaluations. […] Les pratiques décrites ou des alternatives acceptables à ces pratiques doivent être présentes dans les processus planifiés et mis en œuvre de l’organisation, avant que les objectifs puissent être considérés comme atteints.

~Le modèle TMMi, p. 14. Le gras et le soulignement sont de notre initiative.

Relisez bien : ou des alternatives acceptables. Autrement dit, TMMi ne dit jamais « Faites exactement ceci, de cette façon ». Il dit « Voici une pratique attendue, et si vous faites autrement tout en respectant l’esprit de la démarche, c’est recevable ». TMMi est souple par nature. Juste assez souple pour que les intentions du modèle restent au cœur de la démarche, et non les détails du « comment », qui restent à la discrétion des organisations.

Ainsi, toute pizza qui se respecte a une base, mais ça peut être une base tomate ou une base crème. Ce qui est attendu, c’est que la pâte soit recouverte d’une couche uniforme et goûteuse ; c’est à vous de voir laquelle est la meilleure pour votre contexte.

Exemple TMMi : une des pratiques de l’objectif « Établir une politique de test » est « Définir la politique de test ». Le texte qui l’accompagne est le suivant :

Une politique de test, alignée avec la politique de l’entreprise (qualité), est définie en fonction des objectifs de test et approuvée par les parties prenantes.

~Le modèle TMMi, p. 27

Il est tout à fait possible ici d’accepter des alternatives. Si votre entreprise n’a pas de politique de test à part entière, mais dispose d’un document dont certains passages sont conformes à ce qu’on attend d’une politique de test, alors la pratique peut être validée.

Les éléments informatifs

Tous les autres composants que nous avons cités sont informatifs. Ceux-là ne sont jamais obligatoires lors d’une évaluation. Ils existent dans le modèle TMMi pour illustrer, donner des pistes concrètes, montrer ce que d’autres organisations ont mis en place. Il faut comprendre ça comme « il arrive que les équipes procèdent ainsi », et non comme une consigne. Les modalités d’application étant infinies, TMMi se garde bien de les imposer.

Et tout ça rappelle le nombre extrêmement varié de choix d’ingrédients et d’assaisonnements qu’on peut répandre sur notre pizza.

Exemple TMMi : parmi les sous-pratiques de la pratique « Définir la politique de test », on trouve « Clairement séparer le test du débogage dans la politique de test ». C’est une simple option, à prendre seulement si ça vous paraît pertinent.

Alors, trop rigide ?

TMMi se compose donc de trois étages : ce qui est requis (les domaines de processus et les objectifs, intouchables), ce qui est attendu (les pratiques, avec leurs alternatives possibles) et ce qui est informatif (les éléments purement indicatifs).

Ce qu’on reproche à TMMi — la lourdeur, la rigidité, l’inadaptation au terrain repose donc sur une lecture bien superficielle.

La Fondation TMMi apporte d’ailleurs un parfait exemple de cette souplesse, avec son document TMMi dans le monde agile. Il ne faut surtout pas lire ce document comme un erratum, une mise à jour ou encore une reculade par rapport à tout ce qui est dit dans le modèle TMMi. C’est bien au contraire une éclatante illustration de la souplesse du modèle.

Envie de vraiment maîtriser TMMi ?

Si cet article vous a donné envie d’aller plus loin que les idées reçues sur TMMi, nous avons développé une plateforme de e-learning entièrement dédiée à TMMi, pour s’approprier le modèle pas à pas, sans s’y perdre. Laissez-nous un commentaire si vous souhaitez en savoir plus !

Formation au test logiciel : inter ou intra-entreprise ?

Vous souhaitez monter en compétences sur le test logiciel. Peut-être visez-vous une certification ISTQB (International Software Testing Qualifications Board) ou TMMi (Test Maturity Model integration). Et très vite, une question se pose sur les modalités de la formation : faut-il rejoindre une session inter-entreprises, ouverte à des personnes venues d’horizons divers, ou organiser une session en intra-entreprise, réservée à vos équipes ? Les deux formats préparent aux mêmes certifications, mais ne produisent pas tout à fait les mêmes effets… Faisons le point sur leurs forces et leurs limites !

La formation inter-entreprises

Ses atouts

Le premier bénéfice de ce format est humain. Réunir des profils venus d’entreprises, de secteurs et de cultures de test différents crée une richesse d’échanges qu’on ne peut pas reproduire en vase clos. Une personne confrontée à un problème de gestion des tests entendra peut-être comment une autre l’a résolu dans un contexte tout à fait différent. Ces rencontres élargissent les perspectives et donnent des clés supplémentaires.

Le choix de ce format est d’autant plus pertinent quand peu de personnes d’une même organisation sont concernées.

Aussi, davantage de personnes dans une même session, c’est davantage de questions et d’interactions, qui favorisent bien souvent l’ancrage des connaissances en vue de passer les certifications !

Ses limites

Le revers de cette ouverture, c’est un contenu plus générique. Le programme ne peut pas s’adapter aux spécificités de votre organisation, ni s’appuyer directement sur vos cas concrets, encore moins sur des informations confidentielles. Les exemples restent volontairement « standard », et les discussions spontanées qui ont lieu sont nécessairement contraintes par ces aspects.

À noter

Un autre élément à prendre en compte est que la formation se déroule dans un lieu neutre, et non dans les locaux de votre organisation. Il faut anticiper le déplacement des personnes.

La formation intra-entreprise

Ses atouts

Le format intra-entreprise, quant à elle, se distingue par sa capacité d’adaptation. Le contenu peut s’ancrer dans votre réalité : vos applications, vos processus, vos cas de test, y compris des sujets sensibles qu’on n’aborderait jamais devant un public extérieur. La théorie du syllabus se relie alors directement à votre pratique.

Il vous est d’ailleurs possible de demander des adaptations au moment où vous planifiez cette formation. Si vous souhaitez avant tout former vos équipes sur la méthodologie, sans forcément leur faire passer les certifications, le contenu de la formation pourra être ajusté, en faisant l’impasse sur les tests blancs notamment.

Ses limites

Le risque principal est l’entre-soi. À rester entre collègues, on se prive du regard extérieur et des idées venues d’ailleurs. C’est d’autant plus vrai dans les organisations où l’équipe de test est très réduite. Former une ou deux personnes d’une organisation, pourquoi pas (nous l’avons déjà fait et le referons !), en revanche cela réduit les échanges possibles.

Un autre écueil est que, lors de telles formations, si elles se passent sur le lieu de travail habituel des personnes, celles-ci risquent de se laisser rattraper plus facilement par leur quotidien. Elles conservent leur PC portable habituel, reçoivent leurs mails et y répondent… Autant de micro-interruptions qui nuisent à la qualité de leur apprentissage. Attention à cet aspect !

À noter

Les formations préparant au passage de certifications ont un rythme soutenu. Il est très intéressant de pouvoir s’appuyer sur des exemples internes pour illustrer les concepts, toutefois il n’est pas possible de digresser trop longtemps. Un équilibre sera trouvé entre la théorie et le quotidien.

Dans un cas comme dans l’autre…

Nous remarquons toujours, au moins une fois par session, un décalage entre le vocabulaire utilisé dans les syllabus et celui utilisé dans les organisations. C’est parfaitement normal. Une partie du travail consiste à prendre du recul vis-à-vis du vocabulaire, et de s’attacher plutôt aux concepts et aux intentions spécifiques des textes de référence.

En formation inter-entreprises, cela permet de se rendre compte que des mots différents au sein de plusieurs organisations peuvent recouvrir les mêmes objectifs, et s’attacher à bien décortiquer ceux-ci en priorité. ISTQB et TMMi proposent certes une lingua franca permettant à des QA de tous horizons de se comprendre, mais n’imposent jamais de détruire le vocabulaire interne d’une organisation. Cela serait parfaitement contre-productif, et mal vécu par les personnes qui utilisent ce vocabulaire de bonne foi depuis des années.

En formation intra-entreprise, les jeux de miroir sont forcément moins nombreux, mais cela facilite également la « traduction ». La formatrice ou le formateur peut ensuite, au cours de la session, plus facilement faire référence au vocabulaire de l’entreprise.

Un exemple classique de décalage entre le vocabulaire standard et celui de « la vraie vie »

ISTQB parle de « tests de régression », et jamais de « tests de non régression », une formule pourtant très souvent utilisée en pratique (avec son célèbre acronyme « TNR »). Bien qu’il soit intéressant de comprendre pourquoi cette formule est privilégiée dans les syllabus, il est inutile de corriger systématiquement les personnes qui emploient l’autre expression !

Conclusion

Il n’y a pas de format qui soit meilleur dans l’absolu, seulement un format plus adapté à votre situation. Dans les deux cas, la certification visée reste la même.

Nous vous souhaitons bonne route sur votre chemin d’apprentissage ! Contactez-nous si vous souhaitez vous former au test logiciel.

Cet autre article pourrait vous plaire : Les 3 bénéfices ultra-concrets des certifications.

Avis aux têtes en l’air – pre-commit et GitLeaks à la rescousse

N’est pas Cédric qui veut, certaines erreur se font silencieusement et provoquent des failles qui peuvent mettre du temps à être détectées…

Notamment, il suffit d’un instant d’inattention pour commiter un secret (fichier .env, clé SSH, jeton d’API…) dans un dépôt Git. Ce genre d’étourderie peut être commise aussi bien par les devs que par les QA ! Heureusement, il existe des manières d’empêcher ce genre de chose d’arriver. Dans cet article, nous vous montrons comment mettre en place une protection locale avec deux outils : pre-commit et GitLeaks.

Et, pour précision, cette solution est 100 % gratuite.

Les outils utilisés

pre-commit

pre-commit est un gestionnaire de hooks Git qui s’exécute juste avant la création d’un commit.

Son rôle n’est pas de détecter les secrets lui-même ; il orchestre l’exécution d’outils de contrôle. Et en l’occurrence…

GitLeaks

GitLeaks est un outil de détection de secrets. Il recherche notamment :

  • des clés d’accès cloud ;
  • des jetons ;
  • des clés privées ;
  • des mots de passe ;
  • des motifs correspondant à des secrets connus.

Comment les deux fonctionnent ensemble

Le principe est le suivant :

Installation

Prérequis

Vérifier que Git et Python sont installés (on vous donne toutes les commandes, on est comme ça nous…)

git --version
python --version

1. Installer pre-commit

pip install pre-commit

Vérifier :

pre-commit --version

2. Configurer GitLeaks avec pre-commit

À la racine du dépôt Git, créer un fichier .pre-commit-config.yaml avec le contenu suivant :

repos:
  - repo: https://github.com/gitleaks/gitleaks
    rev: v8.30.1
    hooks:
      - id: gitleaks

Lors du premier commit, pre-commit télécharge automatiquement la version définie et la place dans son cache local. L’intérêt : toute l’équipe utilise exactement la même version de GitLeaks, indépendamment de l’environnement de développement de chaque personne. Cela évite par exemple qu’un poste tourne avec une version ancienne, dotée de moins de règles de détection.

3. Installer le hook Git

Toujours à la racine du dépôt :

pre-commit install

Le résultat attendu :

pre-commit installed at .git/hooks/pre-commit

À partir de maintenant, chaque git commit déclenchera automatiquement GitLeaks.

Tester la protection

Créer un fichier (nommé « test » pour plus d’originalité) contenant un faux secret, par exemple une clé SSH créée pour l’occasion et qui ne servira jamais à rien.

Puis, essayez de commiter ce nouveau fichier.

Le commit est refusé :

La sortie de commande indique quel fichier et à quelle ligne se trouve le secret.

Sympa non ?

Une protection locale à compléter

Attention : le hook pre-commit protège efficacement les postes de développement, mais il ne constitue pas une garantie absolue. Une personne peut techniquement contourner un hook avec :

git commit --no-verify

ou tout simplement oublier d’installer les hooks sur un nouveau poste.

Pour une protection complète, il est recommandé de cumuler :

  • un contrôle pre-commit sur les machines de développement ;
  • une analyse des secrets dans la CI/CD ;
  • des contrôles côté plateforme Git lors des pull requests.

Conclusion

Avec quelques minutes de configuration, pre-commit et GitLeaks déplacent la détection des secrets au meilleur endroit : avant leur enregistrement dans Git. La configuration est légère, reproductible et adaptée au travail en équipe ; chaque poste applique automatiquement les mêmes règles et la même version de l’outil, sans installation supplémentaire de GitLeaks.

Et vous, avez-vous déjà retrouvé un secret oublié au fond d’un historique Git ?

Fintech, test et IA : les takes incontournables de Daura Rady

Cette semaine, nous vous présentons un profil brillant qui publie régulièrement sur l’IA et le testing. Daura Rady a un background fintech et une expertise métier et technique rare. Elle porte aujourd’hui plusieurs casquettes : QA Automation Engineer, crowdtester, créatrice de contenu IA et testing. Dans cette interview, vous découvrirez des clés que vous pourrez vous aussi actionner dans votre quotidien de QA pour progresser. Bonne lecture !

Présentation

Comment es-tu arrivée dans le métier du test ? Où en es-tu aujourd’hui ?

Je suis arrivée à la QA par la finance, pas par l’informatique. Et c’est ce détour qui a façonné ma conviction la plus forte : tester, ce n’est pas vérifier qu’un produit fonctionne, c’est gérer un risque.

La finance m’a appris le poids du risque, l’automatisation m’a appris à choisir les bons risques à couvrir, le crowdtesting m’a appris que le terrain réel casse toujours les certitudes de laboratoire, et l’IA m’apprend aujourd’hui à superviser des systèmes capables de tester à ma place. C’est ce fil rouge qui relie tout ce qui suit.

Mission et vision du métier

Si tu devais résumer ton rôle en une seule mission, ce serait laquelle ?

Ma mission, c’est de traduire la complexité technique en confiance business. Quand un produit sort en production sans incident, quand un utilisateur fintech termine son parcours sans friction, quand une équipe livre sereinement parce qu’elle sait que les risques majeurs sont couverts, c’est là que je vois l’impact réel de mon travail.

Derrière cette phrase, deux enjeux me guident : protéger le business et protéger l’image de marque. Un incident en prod dans la fintech, ce n’est pas un ticket Jira qui clignote en rouge. C’est un client qui part, une amende ACPR, une obligation DSP2 qui te tombe dessus.

Et mon rôle va plus loin que l’exécution. Je veux vulgariser les bonnes pratiques de QA et d’automatisation, parce que trop d’équipes confondent encore automatiser et couvrir. Tu peux avoir 500 tests verts et zéro confiance dans ta prod. À long terme, j’ai envie de transmettre, de former, et de construire mes propres outils pour rendre le testing plus intelligent.

Une bonne QA ne se mesure ni au nombre de scripts qu’elle écrit, ni au nombre de bugs qu’elle détecte, mais au nombre de bugs qu’elle empêche d’exister.

Où se situent, pour toi, les frontières du rôle de QA ?

Pour moi, la QA couvre toute la chaîne, de l’écriture du besoin jusqu’au monitoring de production, et même au-delà.

Le shift left, c’est intervenir au refinement : challenger la User Story, proposer des critères d’acceptance testables, repérer les zones floues avant que la première ligne de code soit écrite. Une ambiguïté non levée à ce stade, c’est un bug garanti en prod.

Le shift right, c’est ne pas s’arrêter au go-live : lire les dashboards de monitoring, surveiller les alertes, aller chercher le feedback utilisateur là où il vit vraiment, sur l’App Store, dans les avis Google, sur les forums. Les utilisateurs réels voient ce que nos tests ne voient pas.

Entre les deux : le design technique, les revues de testabilité, l’automatisation, la CI/CD, la collaboration permanente avec les devs et les PO. La QA n’est pas une étape de fin de chaîne, c’est une fonction transversale.

Et je vais plus loin que la transversalité. Je ne vois pas la QA comme une simple fonction de contrôle au service du PO ou du PM. Je la vois aussi comme une fonction de construction du produit. Quand je challenge une User Story au refinement, que je débusque une incohérence métier, que je propose un parcours alternatif ou que je défends l’utilisateur réel face à une logique trop théorique, je ne me contente pas de valider, je participe à façonner le produit. Mon passage par la finance et l’accompagnement de startups SaaS sur leur vision produit me font lire une fonctionnalité avec les yeux d’un product builder : est-ce que ça crée de la valeur, est-ce cohérent, est-ce que ça sert vraiment l’utilisateur, avant même de me demander si c’est testable. Le PO porte le quoi et la valeur métier, le dev porte le comment, et la QA garde le pourquoi : pourquoi cette feature existe, et pour qui elle ne doit jamais casser.

La QA n’est pas la police du code. C’est le garde-fou du business, du besoin jusqu’au feedback utilisateur.

L’IA dans sa pratique quotidienne

Peux-tu nous raconter ton cheminement, de la découverte des modèles à la maîtrise que tu as aujourd’hui ?

Mon rapport à l’IA n’a pas commencé avec le buzz récent sur les agents. Il a commencé bien plus tôt, dans un contexte qui n’a rien à voir avec le testing : la finance.

Dès 2021, dans mes fonctions en investissement, j’utilisais déjà les modèles d’OpenAI (GPT-3, alors en bêta, bien avant le lancement grand public de ChatGPT fin 2022) comme copilote de réflexion. Rédiger des emails, structurer des analyses, dégrossir une note d’investissement de cinquante pages : l’IA me faisait gagner un temps considérable sur la production pure, pour que je puisse concentrer mon énergie là où elle compte vraiment, l’analyse, le raisonnement, la négociation. C’est là que j’ai compris une chose que je garde encore aujourd’hui : l’IA n’est pas là pour penser à ta place, elle est là pour te libérer du temps de cerveau.

J’ai gardé ce réflexe en basculant vers la QA. Fin 2024, début 2025, je développais un générateur de cas de test à partir de User Stories, en branchant directement les API d’OpenAI. L’idée était simple : prendre une US brute, la structurer avec un prompt, et en sortir des scénarios Gherkin avec les cas nominaux, les cas négatifs et les edge cases. Le projet est resté privé sur mon repo Git, puis une mission a pris le dessus et je l’ai mis en pause. Mais il m’a laissé une conviction : l’IA n’a d’intérêt en QA que si elle résout un vrai problème de terrain. De cette conviction est né mon laboratoire personnel : un espace d’expérimentation où je propulse la gestion des tests au niveau supérieur grâce à l’apprentissage automatique (Machine Learning) et au traitement du langage naturel (Natural Language Processing). Depuis, l’écosystème a mûri.

Concrètement, j’utilise le traitement du langage naturel pour que mes outils de test « lisent » et comprennent les rapports de bugs ou les scénarios écrits en français par les humains. En parallèle, j’exploite l’apprentissage automatique pour analyser l’historique de l’application et prédire précisément là où le code risque de casser.

Avec le Model Context Protocol, un agent peut piloter un navigateur via l’accessibility tree plutôt que via des screenshots : c’est déterministe, auditable, exploitable pour le testing. J’ai publié plusieurs carrousels pour expliquer cette architecture à la communauté, notamment la différence entre Playwright MCP et l’approche CLI classique.

Ce qui m’intéresse, ce n’est pas l’IA gadget, c’est l’IA qui résout des problèmes concrets :

  • générer des scénarios depuis des US, pour gagner du temps en design de tests ;
  • self-healing des locators, pour réduire la maintenance des suites ;
  • analyse des traces d’échec en CI, pour diagnostiquer la flakiness plus vite ;
  • évaluation des sorties de LLM, avec des outils comme Promptfoo, parce que tester un système non déterministe demande une autre discipline que tester du code classique.

J’utilise aussi l’IA comme outil de montée en compétence. Quand je veux démystifier un concept, je me le fais expliquer à trois niveaux : comme à un enfant, en contexte terrain, puis en vision expert. Cette méthode m’a fait progresser vite sur le MCP, les patterns avancés de Playwright et les architectures de tests distribués.

Je me positionne sur ce que la communauté appelle l’AI Supervisor. Une senior QA en 2026 n’écrit plus uniquement des scripts : elle calibre des agents, relit leurs traces pour vérifier que leur logique colle à l’intention métier, et encode la connaissance produit dans des prompts et des skills.

En 2026, le job n’est plus d’écrire des scripts. C’est de calibrer l’agent, de lire ses traces, et de garantir que sa logique reflète le risque métier réel.

Les grandes leçons de l’automatisation

Quelles sont les plus grandes leçons que tu as apprises en automatisation ?

Leçon numéro un, celle que j’aimerais graver au-dessus du bureau de chaque QA junior : la stratégie d’automatisation passe avant l’outil.

Beaucoup d’équipes sautent sur Playwright, écrivent 200 tests E2E en trois mois, et héritent d’une suite lente, flaky, ingérable. Le problème vient rarement de l’outil, il vient de l’absence de stratégie. Trois préalables avant d’automatiser sérieusement :

  • un environnement stable, parce que si ton env de test tombe un jour sur trois, tes tests ne mesurent plus la qualité du produit, ils mesurent la météo de ton infra ;
  • une couverture unitaire existante, sinon toute la pyramide bascule vers le E2E, lent et fragile ;
  • un risk-based testing assumé, parce qu’on ne peut pas tout automatiser et qu’il faut couvrir d’abord les parcours qui portent le chiffre d’affaires, la conformité, les données sensibles.

Leçon numéro deux : la flakiness n’est pas une fatalité, c’est un symptôme. Un test instable révèle presque toujours autre chose : un wait mal posé, un DOM dynamique mal géré, une API lente, ou une couche de cache qui sert des assets périmés (un classique que j’ai détaillé dans un carrousel, parce que peu de gens y pensent). La vraie réponse à la flakiness n’est jamais le retry aveugle, c’est le déterminisme : attendre une réponse réseau précise avec waitForResponse, poller un état avec expect.poll, plutôt que de poser un waitForTimeout au hasard.

Leçon numéro trois : les tests API offrent le meilleur retour sur investissement. Rapides, déterministes, indépendants du rendu. Et l’API est souvent le vrai contrat, même derrière une UI. Sur un exercice où je devais tester les GitHub Issues, j’ai découvert que toute l’interface communique exclusivement en GraphQL. Plutôt que de me battre avec le DOM, j’ai testé en attaquant directement la couche GraphQL et en gardant l’UI pour les parcours critiques : approche hybride, tests bien plus rapides et bien plus stables. Avant d’empiler du E2E, je regarde toujours ce que je peux sécuriser au niveau API.

Tester en environnement financier

Qu’est-ce que ça change concrètement dans ta manière de tester ?

Ça change tout. Et soyons clairs : le plus difficile, ce n’est pas la technique de test. C’est la priorisation et l’analyse de risque. Parce qu’en environnement financier, le plus difficile n’est pas la technique de test. C’est la priorisation. Entre les parcours d’authentification, les données personnelles, les opérations financières, les règles de conformité et les multiples profils utilisateurs, tout semble important. La vraie compétence consiste à comprendre le métier suffisamment bien pour identifier les risques qui méritent le plus d’attention.

Le piège est exactement là. Quand tout paraît critique, deux réflexes mortels apparaissent : soit tu essaies de tout tester, et tu te noies dans une suite lente et impossible à maintenir, soit tu te paralyses. La compétence qui sépare une QA junior d’une senior dans ce contexte, c’est de trancher : distinguer ce qui semble critique de ce qui l’est vraiment. Je m’appuie sur une lecture impact x probabilité, mais le plus dur n’est pas la matrice, c’est la discipline et la compréhension métier qu’il faut pour assumer de dire « voilà ce qu’on couvre en premier, et voilà pourquoi », et pour le défendre devant un PO ou un métier qui te jure que tout est prioritaire.

Au-delà de la priorisation, deux réflexes que la finance m’a ancrés :

  • Les combinaisons métier sont infinies, il faut échantillonner intelligemment. Sur un produit d’épargne salariale, ou sur une plateforme de gestion de crédit, il y a des millions de combinaisons. Je travaille par personas calibrés sur la base client réelle : quels profils représentent 80 % du volume ? Ce sont eux que je couvre d’abord.
  • La conformité n’est pas une option. RGPD, DSP2, KYC, AML, piste d’audit : ce sont des exigences testables, pas des annexes juridiques qu’on lit à la fin.

Un exemple qui résume bien tout ça : sur une application d’analyse d’appels d’offres, je devais vérifier la cohérence entre les montants affichés dans un dashboard et ceux générés dans un export Excel. Les règles métier évoluaient régulièrement, donc l’enjeu n’était pas d’automatiser aveuglément chaque formule. L’objectif était plutôt de sécuriser un contrat stable : à règle donnée, les montants visibles à l’écran devaient rester cohérents avec ceux de l’export.

J’ai donc commencé par des contrôles manuels pour comprendre les cas sensibles, puis j’ai identifié les vérifications automatisables : cohérence écran/export, totaux, arrondis et cas à fort impact métier. L’automatisation ne remplaçait pas l’analyse métier, elle sécurisait les régressions sur les règles déjà validées.

Mon métier, c’est de tester des systèmes où les bugs coûtent de l’argent réel. Un test qui passe n’est pas une garantie. Un test pensé pour couvrir le bon risque, c’est une assurance.

Le crowdtesting, un accélérateur de compétences

Comment le crowdtesting vient enrichir ta manière de tester ?

Le crowdtesting, c’est l’une des meilleures écoles terrain pour un testeur. Ça ne tient pas sur un CV classique, mais ça transforme la pratique.

En mission, on travaille souvent dans un cadre stable : même application, mêmes environnements, mêmes interlocuteurs, pendant des mois. En crowdtesting, c’est l’inverse, et c’est là toute sa force : un effet d’accélération. Tu enchaînes une multitude de projets sur un temps très court. En quelques semaines, j’ai pu tester plus de types de produits, de devices et de parcours utilisateurs que sur une année de mission classique. Chaque session est un mini-laboratoire : nouveau produit, nouvelles règles, nouveaux bugs à comprendre en quelques minutes. Ce que ça m’apporte :

  • une exposition multi-domaine (UX, accessibilité, paiement, IoT, embarqué) et l’habitude d’aller droit au risque dès la première minute ;
  • du device testing réel, parfois sur du matériel envoyé physiquement chez moi, ce qu’on n’a jamais en mission classique ;
  • une rigueur de bug report non négociable, parce qu’un rapport flou ou non reproductible est rejeté, point ;
  • une veille produit permanente, en testant des produits concurrents ou des marchés différents, ce qui construit une base de référence sur les patterns UX et les erreurs classiques de parcours.

Cette exposition construit quelque chose qu’aucune formation ne donne : une bibliothèque mentale de patterns. À force de voir des dizaines de produits, tu reconnais instantanément les zones qui cassent, les erreurs de parcours récurrentes, les angles morts d’accessibilité. Et tu apprends à te brancher sur un produit inconnu en quelques minutes, puis à aller droit au risque. C’est exactement la compétence d’une senior : changer de contexte vite et repérer le danger tout de suite.

Le crowdtesting m’a surtout appris une chose : un bug mal expliqué est presque aussi inutile qu’un bug non trouvé.

J’y ai gagné en rigueur, en vitesse d’analyse, et surtout en clarté : savoir reproduire, isoler, prioriser et documenter un problème pour qu’un développeur puisse agir vite.

Le crowdtesting n’était pas un complément à mes missions. C’était un véritable laboratoire d’apprentissage.

Une anomalie marquante

Est-ce qu’il y a une anomalie qui t’a particulièrement marquée ?

Le bug qui m’a le plus appris n’est pas le plus spectaculaire. C’est celui qui m’a forcée à comprendre qu’un test ne mesure pas toujours ce qu’on croit.

Sur un pipeline Jenkins, une suite passait systématiquement en local et échouait de façon intermittente en CI. Réflexe de tout le monde : relancer, puis blâmer les tests. Moi, j’ai ouvert les logs.

Deux problèmes combinés. L’agent Jenkins était sous-dimensionné en CPU et mettait trois fois plus de temps à rendre les pages que ma machine de dev. Et un proxy VPN bloquait silencieusement le chargement d’assets CSS externes. Résultat : l’application s’affichait sans styles, et les sélecteurs Playwright ne trouvaient plus les éléments dans un DOM partiellement rendu.

Ce cas m’a appris qu’un test qui échoue en CI n’est pas automatiquement un test flaky. Il peut révéler un écart réel entre l’environnement local et l’environnement d’exécution : ressources plus lentes, dépendances réseau, configuration différente ou rendu incomplet.

Depuis, je ne classe jamais un échec comme “instable” sans analyser les logs, les traces et les différences d’environnement.

La leçon colle exactement à ma vision du métier : un test qui échoue en CI n’est pas forcément un mauvais test, c’est parfois le meilleur signal que tu aies sur l’état réel de ton environnement. Le travail d’une QA, c’est de savoir faire la différence.

Ce qui lui plaît dans la QA

Qu’est-ce qui te plaît le plus dans le métier de QA aujourd’hui ?

Ce qui me plaît, c’est le croisement entre technique, stratégie et impact métier.

J’ai un background finance, pas informatique. En basculant vers la QA, j’ai dû apprendre à coder, comprendre les architectures, lire des logs, automatiser, construire des frameworks, tester des API, maîtriser les pipelines. Personne ne me l’a offert. Alors quand je construis aujourd’hui un framework Playwright avec fixtures typées, page objects, API helpers, gestion du storage state et pipeline multi-environnement, je sais d’où je viens, et ça donne du sens.

Ensuite, la variété. Dans une même semaine, je peux écrire un test Playwright TypeScript, débugger un pipeline Jenkins, challenger une User Story au refinement, documenter un risque métier, et finir par un carrousel LinkedIn pour vulgariser un concept. Je ne retrouve ce spectre dans aucun autre métier tech.

Enfin, l’impact business direct. Quand je détecte un bug sur un parcours de souscription critique avant la prod, je n’ai pas juste fait mon job : j’ai évité une perte de revenu, une plainte client, un ticket régulateur. Voir l’impact de son travail en euros et en image de marque, c’est rare dans la tech.

Le préjugé qu’elle veut combattre

Quel préjugé souhaiterais-tu combattre dans la QA ?

Celui qui dit que la QA, c’est la fin de la chaîne. L’étape qui vient après le dev, juste pour valider. C’est faux, et c’est coûteux.

Une bonne QA intervient dès le besoin et ne s’arrête pas au go-live, je l’ai dit plus haut. Le chiffre qui devrait clore le débat : corriger un bug en production coûte de dix à cent fois plus cher que de l’éviter au refinement¹. Pourtant, la plupart des équipes traitent encore la QA comme une validation finale, pas comme une fonction de prévention.

L’autre préjugé, c’est que la QA serait moins technique que le dev. Concevoir un framework scalable, avec interception réseau, parallélisation, gestion d’authentification et pipeline multi-environnement, c’est coder au même niveau qu’un développeur. La différence n’est pas le niveau technique, c’est l’intention : le dev construit le comportement attendu, la QA cherche à prouver où ce comportement casse.

La QA moderne n’est pas une fonction de validation. C’est une discipline d’ingénierie et de gestion du risque.

Conseil à quelqu’un qui débute

Que conseillerais-tu à une personne qui débute dans la QA ?

Je vais être directe, parce que c’est ce qui m’aurait aidée au début.

Un : commence par la pensée critique, pas par l’automatisation. Apprends à challenger une User Story, à poser les bonnes questions, à raisonner en cas négatifs et edge cases. Automatiser sans comprendre ce qu’on teste, c’est produire du bruit, pas de la valeur.

Deux : le crowdtesting est une école accélérée. Des plateformes comme Tester Work, uTest, Testio ou Tryber t’apprennent à écrire un vrai bug report, à tester sur de vrais devices, et tu es payée pour apprendre.

Trois : choisis une stack et maîtrise-la. En 2026, l’écosystème qui paie et qui dure, c’est Playwright en TypeScript, plus du testing API, plus une bonne base CI/CD. N’essaie pas d’apprendre Cypress, Selenium, Appium et Postman en même temps. Maîtrise une stack à fond, puis élargis.

Quatre : expose-toi. LinkedIn, carrousels, blog, communauté. Pas pour la vanité, pour la crédibilité. Produire du contenu m’a obligée à structurer ma pensée, vérifier mes sources, challenger mes propres convictions. Et ça ouvre des portes en entretien.

Cinq : utilise l’IA comme accélérateur d’apprentissage, pas comme béquille. Fais-lui expliquer un concept à trois niveaux, puis confronte toujours ses réponses à la documentation officielle et au terrain.

La QA, ça s’apprend en questionnant, en cassant, et en comprenant pourquoi ça casse. Pas en récitant des définitions.

_________________________________

¹Finding and fixing a software problem after delivery is often 100 times more expensive than finding and fixing it during the requirements and design phase.” Source : Boehm, B., & Basili, V. R. (2001). Software Defect Reduction Top 10 List. IEEE Computer, 34(1), 135-137.

_________________________________

Merci à Daura pour cette passionnante interview. Nous vous invitons chaleureusement à la suivre sur LinkedIn pour découvrir ses contenus sur l’IA et le test logiciel.

« Test Cedric » : 3 leçons qui font du bien

« Test Cedric » a fait le tour du web en quelques heures. Ces deux mots ont été envoyés dans une notification du Crédit Agricole, hier, le mardi 9 juin. Des millions de personnes la reçoivent, et bon nombre, intriguées, cliquent dessus. Et sous cet afflux inopiné… l’appli tombe. Cette histoire nous en rappelle d’autres, par exemple la notification de l’application Air France du 24 janvier 2022, « Test de Julien à nouveau ». Vous vous en souvenez ?

Certes, ce n’est pas un bug logiciel, mais une confusion d’environnements. C’est ce qui se passe ensuite que nous trouvons riche d’enseignements.

 

Leçon 1 : un incident bien géré rend plus sympathique qu’un parcours sans accroc

Cette idée peut être contre-intuitive, surtout dans notre métier où on a plutôt tendance à rechercher l’irréprochabilité.

En 1966, le psychologue Elliot Aronson met en évidence ce qu’on appelle l’effet pratfall (« pratfall » signifiant « gaffe »). Une personne perçue comme compétente devient plus sympathique lorsqu’elle commet une petite maladresse. La faille la rend humaine, donc attachante.

Le Crédit Agricole a appliqué ce principe à la lettre. La marque a présenté ses excuses, puis a réagi avec humour : nouvelle photo de profil, et surtout un nouveau nom, « Cédric Agricole ». Une grande banque, institution sérieuse s’il en est, qui se moque gentiment d’elle-même, c’est exactement la petite gaffe assumée qui fait basculer la perception du côté de la sympathie.

À noter que l’effet pratfall n’a lieu que si la boulette est commise par une personne (ou une organisation, en l’occurrence) disposant initialement d’une bonne image. On peut d’ailleurs analyser les choses à l’envers : le fait que le web rie de bon cœur à la réponse du Crédit Agricole ne fait que confirmer de la bonne réputation de cette banque de manière générale. Un établissement déjà connu pour de nombreux faux pas aurait plutôt provoqué des moqueries et du dédain.

Ce phénomène a un cousin du côté du marketing des services : le paradoxe de la récupération de service (« service recovery paradox »), étudié au début des années 1990 par les chercheurs Michael McCollough et Sundar Bharadwaj. Bien réparé, un incident peut laisser une clientèle plus satisfaite (et plus fidèle) que si rien ne s’était passé.

 

Leçon 2 : la transparence et l’humour fonctionnent mieux que le silence

Le chercheur américain William Benoit a recensé les stratégies possibles que mettent en œuvre les marques lors d’une crise. Ces stratégies sont développées dans sa théorie de la restauration d’image (« image repair theory », ou « image restoration theory »). Deux d’entre elles sautent aux yeux ici.

La première est nommée « mortification » (un terme dont la connotation est moins dramatique en anglais qu’en français…) Cela consiste dans le fait de reconnaître la faute et s’excuser, sans chercher d’excuse bancale. Le Crédit Agricole est bien passé par là, en s’excusant pour la gêne occasionnée.

La seconde, c’est la réduction du caractère offensant (« reducing offensiveness »), et l’humour en est un levier redoutable. En transformant l’incident en plaisanterie collective, la marque a requalifié l’événement. Ce qu’on retient, ce n’est pas une banque qui a planté, mais l’humour dont elle a pu faire preuve.

Une très bonne infographie sur la théorie de la restauration d’image est disponible à cette adresse.

 

Leçon 3 : ne jamais accabler la personne derrière l’erreur

C’est sans doute la leçon la plus précieuse, et la plus transposable à nos équipes. Pendant que le public s’amusait à plaindre Cédric (et Burger King, toujours adepte du newsjacking, à lui suggérer plaisamment de postuler dans leur entreprise…), le Crédit Agricole a répliqué que l’entreprise ne laisse personne tomber, surtout pas Cédric.

Derrière la blague, on devine un vrai message de culture interne. L’idée n’est pas de déresponsabiliser, mais de reconnaître qu’une équipe qui permet à une seule personne de tout faire tomber a un problème de processus, pas un problème de personnel. Défendre publiquement Cédric, c’est envoyer un signal clair : ici, on a le droit de se tromper ; on peut parler des échecs. On évite ainsi les effets boule de neige qu’impliqueraient une dissimulation d’un problème. Les intérêts de l’entreprise et des personnes qui y travaillent convergent admirablement sur ce point !

 

Conclusion

La notification « Test Cedric » n’était pas un bug, mais cet incident dessine une réaction adéquate possible face à un vrai bug en prod : expliquer sans se cacher, dédramatiser sans minimiser (si la situation s’y prête), et protéger les personnes plutôt que les pointer du doigts.

Et vous, avez-vous déjà transformé un incident en occasion de renforcer la confiance, en interne ou auprès de votre clientèle ?

Échange avec Matthieu Delamourd, gérant de Hightest Polynésie

Matthieu Delamourd est le nouveau gérant de Hightest Polynésie, fondée en 2022. Découvrez son passionnant parcours et son quotidien au Fenua !

Matthieu, à quels besoins répond Hightest Polynésie ?

La Polynésie vit depuis quelques années une accélération numérique majeure. Les entreprises et administrations déploient des services en ligne de plus en plus avancés pour répondre aux attentes de leurs usagers et clients. La qualité et la sécurisation de ces lancements devient un enjeu majeur pour l’économie numérique du Fenua.

Un bug critique en production, que ce soit, sur une application bancaire, un CRM, un ERP ou une plateforme de l’administration publique, ce n’est pas juste un problème informatique : c’est une perte immédiate de chiffre d’affaires, une baisse de productivité interne et une dégradation de la confiance.

Hightest répond précisément à cela : nous intervenons comme un garde-fou. Nous apportons aux décideurs locaux l’assurance que leurs systèmes critiques sont robustes, performants et prêts à absorber la charge avant leur mise en production.

Tu as exercé le métier du test sous 4 fuseaux horaires différents… Constates-tu des particularités locales en Polynésie ?

Les exigences techniques et la rigueur méthodologique sont universelles, que l’on travaille à Paris, Montréal, Nouméa ou Papeete. En revanche, la Polynésie se distingue selon moi par deux aspects fondamentaux : d’une part l’importance du contact humain dans les collaborations au quotidien. Au Fenua, les acteurs économiques sont très interdépendants. Dans ce contexte où tout le monde se connaît, la confiance se gagne par l’exemplarité : une confidentialité stricte et un professionnalisme irréprochable sont le socle de notre réputation.

À cela s’ajoute la dimension du marché local qui nécessite une intégration rapide et profonde de l’écosystème local afin de rester compétitif et au fait des évolutions des besoins du marché.

Ces deux aspects nécessitent de bâtir une relation de confiance solide, reposant sur des compétences maitrisées et des relations humaines transparentes et sincères.

En quoi se distingue ton approche pour améliorer la qualité ?

La démarche qualité et le test logiciel reposent sur des référentiels internationaux stricts – comme ISTQB – qui garantissent la rigueur des processus. C’est le socle indispensable. Malgré cela, ce qui m’a permis de me distinguer jusqu’ici sur le terrain, c’est une approche articulée autour de trois forces majeures :

  • Une agilité pluridisciplinaire me permettant de naviguer couramment entre la gestion de projets complexes, les impératifs de la relation commerciale et la pure maîtrise technique. Cette triple compétence me permet de comprendre les enjeux des équipes de développement tout en restant aligné sur les objectifs stratégiques des directions métiers.
  • La création et le maintien d’une relation client durable. Dans notre écosystème en Polynésie, la technique sans l’humain ne fonctionne pas. Je mise sur une proximité réelle, une forte flexibilité face aux imprévus des projets et une grande fiabilité. Être présent sur la durée, parfois depuis plusieurs années sur le même projet, permet de devenir un partenaire de confiance plutôt qu’un simple prestataire de passage.
  • Une appétence technique forte et tournée vers l’avenir. Je ne me contente pas des approches traditionnelles. Ma priorité est l’industrialisation des tests via des frameworks d’automatisation modernes. Aujourd’hui, cela passe par l’intégration concrète de l’Intelligence Artificielle dans nos processus. L’IA agit comme un accélérateur majeur pour générer du code de test, analyser les anomalies et optimiser les cycles de validation, permettant d’offrir une réactivité inédite sur le marché.

Quelles sont tes ambitions et projets pour Hightest Polynésie ?

Mes ambitions se structurent autour de la consolidation et de l’ouverture.

À court terme, l’objectif est de réaffirmer notre position de partenaire de premier rang sur nos marchés historiques, notamment auprès des grandes directions publiques et des grands acteurs du l’écosystème du Fenua où nos services ont su faire leur preuves.

En parallèle, je souhaite parvenir à faciliter l’accès à la QA pour le secteur privé notamment. Je souhaite démocratiser la démarche qualité et convaincre les acteurs locaux qu’y investir dès les premières phases de leurs projets n’est pas un centre de coût, mais un levier de rentabilité et un accélérateur de déploiement.

À moyen terme, j’ambitionne par ces deux grands axes, de garantir la pérennité et la croissance d’Hightest sur le territoire, par la fidélisation de nouveaux clients et le recrutement de nouveaux consultants afin d’en faire un acteur incontournable de l’économie numérique au Fenua.

_________________________________

Merci à Matthieu pour cet échange !

Mr Suricate en 15 questions-réponses

Vous envisagez d’automatiser les tests de votre organisation et vous souhaitez vous tourner vers une solution no-code ? Mr Suricate pourrait répondre à votre besoin ! Nous avons eu l’opportunité de tester l’outil et d’échanger avec l’équipe pour approfondir des points.

Ci-dessous, vous trouverez toutes les questions que nous nous sommes posées au sujet de Mr Suricate, et les réponses que nous pouvons vous apporter aujourd’hui. Merci à Stéphane Cabot, François-Xavier Le Gal et Fanny Namand !

1. Mr Suricate, qu’est-ce que c’est ?

Mr Suricate est un outil no-code qui permet d’automatiser ses scénarios de test depuis une plateforme web. Les interactions avec le navigateur sont gérées par le framework Playwright, et Appium pour les applis mobiles, mais le code est à tout moment invisible.

L’interface de création de scénario de test se présente comme un espace de travail où on peut assembler des blocs par glisser-déposer.

Les blocs sont classés par catégories. On retrouve par exemple dans une catégorie tous les blocs nécessitant l’usage de la souris (faire un clic simple ou double sur un élément, faire un clic droit, survoler…)

Une fois le scénario créé, il est possible de l’exécuter depuis l’interface.

Voici à quoi ressemble un de nos scénarios de test.

2. Quels types d’applications peuvent être testés avec Mr Suricate ?

Mr Suricate permet d’automatiser des tests sur des applications web et mobiles.

Pour les applications web, les tests peuvent être lancés sur Chrome, Firefox, Edge et Safari. Une version de chaque navigateur est disponible.

3. Peut-on tester des applications non exposées sur Internet ?

C’est une des premières questions qu’on a posées ! En effet, les environnements de test sont inaccessibles en-dehors du réseau de leur organisation. Plusieurs solutions peuvent être envisagées :

  • whitelisting d’IP
  • utilisation d’un VPN
  • mise en place d’un proxy
  • déploiement d’agents directement dans l’infrastructure du client

Un déploiement on-premise n’est encore proposé à ce jour, mais pourrait l’être si la demande client était suffisante.

4. Les scénarios sont-ils facilement maintenables ?

C’était une de nos questions principales au moment de se lancer sur l’outil. La crainte était de créer un patrimoine de tests rempli d’étapes redondantes, occasionnant de longues et fastidieuses maintenances.

L’outil permet de créer des blocs réutilisables, nommés les MetaBlocks. Il est donc envisageable d’optimiser le temps de maintenance par ce biais.

À noter que Mr Suricate déconseille de faire s’appeler entre eux les MetaBlocks, même si c’est techniquement possible.

5. Cet outil no-code est-il facile à prendre en main pour tout type de profil ?

Attention, “no-code” ne signifie pas “no-courbe-d’apprentissage” !

L’interface nécessite un temps pour prendre ses marques, mais devient assez rapidement facile à utiliser.

Il paraît important de prévoir un temps pour maîtriser les notions de sélecteur, comme avec un outil d’automatisation scripté. Un profil sans expérience préalable en automatisation gagne ainsi à réaliser une petite mise à niveau en amont.

6. Peut-on injecter des paramètres dans les scénarios ?

Oui, il est possible de charger un jeu de données, que ce soit des données configurées une à une, ou via un fichier CSV.

7. Quel niveau de complexité de scénario est-il possible d’atteindre avec l’outil ?

C’est une question qu’on se pose naturellement quand on entend « no-code » ; on craint de ne pas pouvoir faire ce qu’on veut aussi facilement qu’en scriptant nos scénarios.

Mr Suricate s’attache à rendre disponibles l’ensemble des fonctionnalités qu’on peut attendre d’un framework d’automatisation des tests :

  • Interactions poussées avec le navigateur
  • Conditions, boucles
  • Transformations de variables
  • Vérifications poussées

Il faut tout de même soulever une limitation naturelle inhérente à ce type d’outil ; quand il est simple d’intégrer une bibliothèque tierce au sein d’un projet d’automatisation scriptée, cela n’est pas directement possible via une plateforme no-code.

Ce qui pourrait nous gêner de notre point de vue, c’est l’absence aujourd’hui de solution permettant de communiquer directement avec la base de données de l’environnement de test.

Aujourd’hui, cette fonctionnalité n’est pas envisagée, pour des raisons de sécurité.

La vérification du contenu d’un document téléchargé est également une fonctionnalité qu’on peut retrouver au sein d’une bibliothèque tierce, mais qui n’est pas disponible aujourd’hui avec Mr Suricate.

8. Peut-on exécuter des tests en parallèle ?

Oui, l’exécution parallèle est supportée.

9. Faut-il installer l’outil sur son poste de travail ?

Non, tout se fait depuis la plateforme web, donc aucune installation n’est nécessaire sur le poste de travail.

10. Avec quels outils s’intègre Mr Suricate ?

À ce jour, Mr Suricate s’intègre avec GitLab, Jenkins, Microsoft Azure, Slack, Discord, Jira, Salesforce, Hubspot, WordPress, Magento et Wix.

La liste des outils disponibles pour intégration est disponible sur cette page. Cette liste est amenée à continuer de s’étoffer.

11. Quel est le cœur de cible de l’outil aujourd’hui ?

Ce qui peut surprendre, c’est que Mr Suricate est utilisé aussi bien par des profils techniques ayant une compétence en automatisation scriptée, que par des profils découvrant l’automatisation.

Une résistance initiale a pu être constatée par Mr Suricate auprès de certains profils techniques, mais cela diminue avec l’usage lorsque les bénéfices de l’outil se font sentir. L’avantage le plus visible concerne la maintenance, qui devient beaucoup plus facilement accessible à d’autres profils. Le fait de partager les mêmes blocs aide aussi, en limitant les variations de pratiques d’une personne à l’autre.

12. Pour quelle taille d’équipe cet outil est-il adapté ?

À ce jour, Mr Suricate est utilisé au sein d’équipes de toutes tailles (de 1 à 50 personnes).

13. Où sont hébergées les données ?

En France et en Belgique.

14. Peut-on récupérer ses tests si on décide d’arrêter d’utiliser l’outil ?

Oui ; un plan de réversibilité existe avec export des scénarios de test.

15. Combien ça coûte ?

Les tarifs sont à voir avec l’équipe Mr Suricate.

__________________________________

Merci encore à l’équipe de Mr Suricate pour les réponses apportées !

Portrait de Matthieu Bridoux, créateur de Mission Playwright

Matthieu Bridoux, dans le test depuis plus d’une décennie, combine une activité de testeur et une activité de formateur. Dans ce cadre, il a développé une plateforme d’entraînement à Playwright : Mission Playwright, qui propose désormais une large gamme d’exercices pratiques. Une initiative précieuse dans le monde du test francophone ! Matthieu a accepté de répondre à nos questions sur cette plateforme et sur sa pratique du test.

Les origines de Mission Playwright

Hightest : Qu’est-ce qui t’a donné envie de créer ces exercices Playwright en ligne ?

Matthieu Bridoux : Tout est parti d’un constat terrain : quand j’enseigne l’outil Playwright en formation, les apprenants manquent de terrain d’entraînement réaliste. Les exercices qu’on trouve en ligne sont souvent trop simples, trop statiques, ou pas du tout représentatifs de ce qu’on rencontre en mission. Je voulais un endroit où on puisse s’entraîner sur de vrais scénarios – des formulaires capricieux, des éléments dynamiques, des comportements asynchrones, bref, la vraie vie.

Il y a aussi un problème plus concret avec les sites d’entraînement existants : ils sont truffés de publicités. Et ce n’est pas qu’une question de confort visuel, ces pubs interfèrent directement avec les scripts d’automatisation. Un banner qui s’affiche au mauvais moment, une popup qui bloque l’interaction… et le test plante. Ce n’est pas ce qu’on veut faire vivre à quelqu’un qui apprend.

En parallèle, en tant que testeur en mission, je me retrouvais régulièrement dans une situation frustrante : je voulais tester rapidement une fonctionnalité précise de Playwright comme gérer un upload de fichier, simuler un drag and drop mais je n’avais pas d’application sous la main pour le faire. 

Donc j’avais besoin d’un bac à sable fiable, propre et ciblé où je peux aller directement sur l’exercice qui m’intéresse, valider mon approche, et une fois que la solution fonctionne, la réutiliser sereinement sur l’application de mon client si besoin.

Hightest : Comment as-tu procédé ?

Matthieu Bridoux : Honnêtement, j’aurais pu passer des semaines à construire ça de zéro. Mais j’ai fait un choix pragmatique : j’ai utilisé Lovable, un outil de génération d’interfaces par IA.

Ce qui m’a convaincu, c’est sa rapidité. En décrivant les comportements que je voulais, un champ qui apparaît sous condition, un tableau paginé, une modale avec délai, je pouvais avoir un composant fonctionnel en quelques minutes. Pour quelqu’un qui pense en cas de test plutôt qu’en composants React, c’est un game changer.

Mon workflow était simple : je réfléchissais d’abord au type de difficulté que je voulais entraîner chez l’automaticien, je le décrivais à Lovable, j’ajustais, et je passais à l’exercice suivant. La valeur que j’apporte, c’est la pédagogie et l’expertise métier, pas la technique.

Ce projet m’a aussi confirmé quelque chose : l’IA ne remplace pas le testeur, elle lui enlève les frictions pour qu’il se concentre sur ce qui compte vraiment.

Témoignage d’un apprentissage

Hightest : Peux-tu nous parler d’une mission qui t’a particulièrement marqué dans ton parcours de testeur ?

Matthieu Bridoux : La mission qui me vient immédiatement, c’est celle où j’ai mis les mains dans Playwright pour la toute première fois.

J’arrivais avec une vraie expérience en automatisation, mais plutôt sur des outils no-code notamment Cerberus. Donc j’avais les réflexes du testeur automaticien, la logique de couverture, la rigueur sur les parcours critiques… mais pas le code. Passer à Playwright, c’était changer de registre.

Ce qui est intéressant, c’est que je me suis formé en autonomie. Pas de formation officielle, pas de mentor désigné. Je me suis appuyé sur la doc, sur mes expérimentations, et surtout sur la communauté QA interne de mon client. Ces échanges informels avec d’autres automaticiens ont été précieux. C’est souvent là qu’on débloque les vrais problèmes, ceux que la doc ne couvre pas.

Au bout de trois mois, je me sentais vraiment à l’aise. Ce qui m’a confirmé ce sentiment, ce n’est pas tant d’avoir tout compris, c’est d’avoir développé le réflexe de débloquer rapidement. Dès qu’un problème surgissait, je savais où chercher, comment isoler, comment résoudre.

Et concrètement, les résultats étaient là :

  • Mes parcours critiques automatisés
  • Intégrés dans une CI/CD
  • Avec un rapport automatisé dans XRAY
  • Et des notifications Slack en temps réel

Cette mission m’a appris que la courbe d’apprentissage sur Playwright est raide au début, mais qu’elle s’aplatit vite si on est entouré et qu’on pratique vraiment. C’est d’ailleurs une des convictions qui m’a poussé à créer mon accompagnement sur Playwright.

L’IA dans tout ça ?

Hightest : Quelle est l’utilisation que tu fais de l’IA aujourd’hui, dans le cadre de tes missions de test, mais aussi dans ton quotidien de formateur ?

Matthieu Bridoux : Mon usage de l’IA est pragmatique et ancré dans le quotidien. Je l’utilise quand elle me fait vraiment gagner du temps.

En mission, je travaille actuellement sur des tests d’application mobile avec Appium. Et mon réflexe dès qu’une erreur apparaît en console, c’est de la soumettre directement à Claude IA. Plutôt que de passer de longues minutes à éplucher la doc ou chercher sur Stack Overflow, j’obtiens une explication contextualisée et des pistes de correction rapidement. L’important pour moi, c’est de comprendre pourquoi ça plante, pas juste corriger en aveugle.

Côté Playwright, j’ai réalisé un POC autour des agents IA où plusieurs agents collaborent : l’un rédige les cas de test, un autre génère les scripts, un autre les corrige. C’est encore expérimental, mais les résultats sont prometteurs. La vraie question maintenant c’est de valider ça sur un projet concret avec toute sa complexité. J’ai aussi Claude Code dans ma liste de choses à tester prochainement, ça m’intéresse particulièrement pour voir ce que ça donne sur des projets d’automatisation bout en bout.

Au quotidien dans mon éditeur, j’utilise GitHub Copilot sur VS Code. L’autocomplétion change vraiment le rythme d’écriture, on code plus vite, et ça réduit la charge mentale sur les parties répétitives.

Ce que je retiens de tout ça : l’IA est un accélérateur. L’expertise du testeur reste indispensable pour poser les bonnes questions et valider ce qui est produit.

Prise de hauteur

Hightest : Comment dirais-tu que le monde du test a évolué depuis que as débuté ta carrière ?

Matthieu Bridoux : Avec 12 ans dans le métier, j’ai une perspective assez large sur ce chemin parcouru et honnêtement, l’évolution est massive.

Quand j’ai commencé, mon quotidien c’était HP ALM : on rédigeait des cas de test, on les exécutait manuellement, on remontait les anomalies. C’était rigoureux, structuré, mais lent. Et surtout, l’automatisation était encore un sujet de niche, on en parlait peu et peu d’équipes la pratiquaient vraiment, et la CI/CD c’était presque de la science-fiction pour la plupart des projets.

Aujourd’hui, c’est un autre monde. L’automatisation est devenue une attente de base sur la plupart des missions. La CI/CD est partout. Les testeurs doivent comprendre les pipelines, savoir intégrer leurs tests dans un workflow DevOps, lire du code. Le profil du testeur a profondément changé — on est passé d’un métier de vérification à un métier de qualité intégrée dans le delivery.

Et maintenant on voit arriver l’IA par-dessus tout ça. Une nouvelle couche de transformation qui s’accélère encore.

Ce qui me frappe le plus, c’est que le fond du métier reste le même — comprendre le risque, protéger l’utilisateur, poser les bonnes questions. Mais les outils et les compétences attendues ont été complètement redéfinis. C’est ce qui rend ce métier stimulant : il ne se fige jamais.

____________________

Merci à Matthieu Bridoux d’avoir répondu à nos questions ! Si vous souhaitez vous entraîner, rendez-vous donc sur Mission Playwright.

Solutions du jeu d’immersion

Il y a quelques mois, nous vous avons proposé un jeu d’immersion pour jongler avec les concepts du syllabus ISTQB CTAL TM. Le suspense a assez duré, voici les réponses aux questions ! 🙂

Comme prévu, nous avons également cité vos meilleures réponses.

À la lecture de ces mails, parmi les 7 activités qui constituent le processus de test standard, auxquelles avez-vous la certitude d’avoir participé dernièrement ?

Rappelons d’abord ce que sont ces 7 activités :

  • Planification des tests
  • Pilotage et contrôle des tests
  • Analyse de test
  • Conception des tests
  • Implémentation des tests
  • Exécution des tests
  • Activités de clôture des tests

Les mails permettent d’identifier 4 de ces activités :

Planification des tests

Le plan de test de Servmanyax est évoqué plusieurs fois.

Pilotage et contrôle des tests

Le décalage de la mise en production de Wafwaf est acté suite aux « éléments fournis lors de la dernière sprint review ». Cette mesure correspond à une action corrective, typique du contrôle des tests.

Implémentation des tests

L’automatisation des tests sur l’appli Wafwaf est évoquée.

Activités de clôture des tests

La rétrospective évoquée par Anna Drénalin fait partie des activités de clôture des tests.

Considérez-vous que le plan de test de l’application Servmanyax est validé ? Pourquoi ?

“Le plan de test doit être accepté par toutes les parties prenantes et, par conséquent, les désaccords entre elles doivent être résolus.”

La DSI Jessica Scroute, absente, n’a pas lu le plan de test.

Le DSI adjoint Sam Eum, absent également, approuve le plan de test mais ne l’a pas lu non plus.

Il n’est donc pas validé.

Vos réponses

Une personne anonyme commente élégamment l’attitude de Sam Eum : « On appelle ça du management par tampon encreur » !

Quel est le SDLC du projet Servmanyax ?

Comme l’a dit une personne anonyme, « hybride ou pseudo-agile presque« .

En effet ! Le vocabulaire agile parsème les mails de l’organisation, pourtant certaines pratiques témoignent d’une culture plus traditionnelle. En témoigne le mail de Jacques Antan : « On me met un peu la pression pour avoir des chiffres précis des coûts par fonctionnalité, en amont du lancement. »

Nous vous renvoyons au syllabus CTAL-TM, qui aborde les SDLC hybrides.

Suivant les bons conseils de votre collègue Yves, vous décidez d’organiser un atelier d’identification des risques. Qui serait-il pertinent de consulter pour l’identification et l’analyse des risques, et pourquoi ?

  • Farah Antastique, CEO – Si possible. Le contexte ne permet pas de savoir si elle participe à ce genre de réunion. Dans le doute, l’inviter serait une bonne idée.
  • Jessica Scroute, DSI – Elle a été sollicitée sur la relecture du plan de test, c’est donc normal qu’elle participe à cet atelier
  • Sam Eum, DSI adjoint – Idem
  • Charles Apricorne, RSSI – Cette partie prenante est susceptible d’apporter un éclairage unique sur sa spécialité, la sécurité informatique
  • Jacques Antan, chef de projet et Product Owner ParapluY et Servmanyax – Cette partie prenante est incontournable pour le projet
  • John Okari, administrateur système – Impliquer cette partie prenante est essentiel pour anticiper les risques liés à la mise en production (et limiter les frictions historiques)
  • Léonard Ampion, responsable du pôle UX – Cette partie prenante sera impliquée sur le projet, notamment pour les enjeux liés à l’accessibilité
  • Yves Olanda, QA – Pour apporter un regard complémentaire sur les risques qualité
  • Giani Ustatif, fondateur et gérant du restaurant Le Tofu fou (peut être remplacé par Marion) – En tant que client final
  • Marion Outarde, directrice du restaurant Le Tofu fou (peut être remplacée par Giani) – En tant que cliente finale

Quels sont les risques PROJET que vous anticipez d’ores et déjà ?

Nous avions listé celles-ci :

  • Absence ou indisponibilité de parties prenantes clés (cf Jessica, mais aussi Sam qu’il a fallu relancer pour la relecture du plan de test)
  • Risque de changement d’exigences ou d’objectifs stratégiques (cf Sam et les changements d’avis concernant l’accessibilité)
  • Risque lié au manque de préparation ou de clarté dans le plan de test (cf remarques de Yves)
  • Risque de surcharge ou de pression sur les ressources (cf Jacques Antan)
  • Risque de communication insuffisante ou tardive (cf en interne cf John Okari, et en externe Giani Ustatif)
  • Résistance au changement par le personnel, car le personnel du restaurant n’est pas impliqué !
  • Relations tendues entre équipes (cf John Okari)
  • Flou autour du SDLC (discours très orienté agile alors que dans les faits, on est plutôt sur de l’hybride non assumé)

Vos réponses

D’autres risques ont été relevés en complément :

  • « Grégoire est parti. 5 ans d’expérience envolés et visiblement pas de passation. La connaissance elle est partie avec lui. »
  • Le fait que le PO de Servmanyax soit aussi PO d’un autre produit pourrait nuire à sa disponibilité sur le projet.

Quels sont les risques PRODUIT que vous anticipez d’ores et déjà ?

Voici ceux que nous avions listés. Notez que les risques produit comprennent des risques fonctionnels et non fonctionnels.

  • Réservation en double du même shift
  • Portabilité insuffisante (affichage imparfaitement géré en fonction de la taille de l’écran)
  • Accessibilité insuffisante
  • Fuite de données personnelles via la messagerie
  • Accès non autorisé au tableau de bord
  • Indicateurs incorrects dans le tableau de bord
  • Perte de performance des équipes ou abandon de l’outil en raison d’un temps de chargement trop élevé
  • Faible engagement du personnel à cause de la complexité des fonctionnalités
  • Produit non conforme aux valeurs du personnel
  • Non-respect des règles RGPD
  • Non-respect du droit du travail

Vos réponses

D’autres risques ont été identifiés (toujours en anonyme) :

  • « La gamification avec les points convertibles en bons cadeaux. Ça sent le calcul foireux et la faille d’exploitation à plein nez. »
  • « La marque blanche. Chaque resto va vouloir sa customisation. Faut anticiper les régressions à chaque variante. »
  • « Et la gestion des shifts avec pré-réservation et validation manager. Si deux serveurs réservent le même créneau et que le système gère mal le conflit, c’est la cata côté utilisateur. »

L’organisation où vous travaillez semble souffrir de nombreux défauts. Toutefois, quels sont les points forts que vous lui trouvez ?

Effectivement, Tekmanyax n’est pas l’entreprise modèle, ni pour le test, ni pour la méthode agile, ni pour l’organisation de manière générale ! En revanche, voici quelques points sur lesquels que nous avions noté et que vous pourriez capitaliser si vous y travailliez :

  • L’entreprise s’intéresse activement aux tests non fonctionnels
    • Sécurité (embauche de RSSI)
    • Utilisabilité (stratégie d’accessibilité)
  • Des compétences en test sont déjà présentes (cf Yves Olanda)
  • Plusieurs mails montrent une bonne volonté, une disponibilité et une collaboration active :
    • Yves (QA) est un bon soutien.
    • Le RSSI est disponible et ouvert à la discussion
    • Un service communication existe, qui pourrait éventuellement être mobilisé pour passer des informations sur les tests.
    • Les remerciements et les encouragements sont fréquents, même s’il existe par ailleurs des conflits.

Vos réponses

D’autres points ont été soulevés en complément, en anonyme encore :

  • L’implication du Tofu Fou, même si elle pourrait être améliorée
  • “Y’a des vraies rétros, des sprint reviews, du feedback client. Anna ramène des muffins au daily. C’est con mais ça compte.”
  • “Y’a de la transversalité. Le QA bosse avec les devs, le PO, le client. C’est pas chacun dans son couloir…”
  • “L’accessibilité est une priorité affichée. C’est pas encore clair sur le niveau WCAG mais au moins c’est sur la table. Y’a un stagiaire UX dédié et un responsable identifié.”

« Les noms des collabs » a aussi été noté comme un atout, nous vous remercions pour cette appréciation de notre humour 😋

Quel facteur d’hygiène favoriserait la stabilité de l’équipe de test ?

Une rémunération convenable (c’est la frustration de Grégoire Ateau à ce sujet qui provoque son départ).

Vos réponses

Alexandrine rappelle : « L’absence de ces facteurs ne motive pas… mais leur présence évite la démotivation et le turnover ».

Que pensez-vous de la proposition de Grégoire en ce qui concerne l’outil d’accessibilité dont il parle ?

Un rappel de ce que dit Grégoire :

J’ai entendu dire qu’on allait enfin s’attaquer à la question de l’accessibilité. C’est une bonne nouvelle et je pense que ce serait bien qu’on utilise l’outil Accessilly. C’est vraiment pas une grosse dépense par rapport à ce que ça va nous apporter. La licence n’est pas chère du tout (100 € par an), et puis on peut tout installer sur notre SI, donc on serait autonomes pour gérer l’appli. Qu’est-ce que t’en penses ? T’en parles à Samuel à l’occasion ?

Grégoire n’évoque à aucun moment les exigences de l’organisation en termes d’outillage d’accessibilité. À ce stade, ces exigences sont d’ailleurs encore en chantier.

De plus, il a une vision très restreinte des coûts qu’implique un outil. La licence est une chose, les coûts de maintenance et de formation (notamment) en est une autre. Il y a également d’autres coûts initiaux à prendre en compte ; en effet, si le logiciel doit être intégré dans le SI, cela nécessite de faire intervenir l’équipe d’exploitation, ce qui n’est pas anodin. Demandez son avis à Jacques Okari !

Vos réponses

Se pose aussi, bien sûr, la question de la gouvernance.

Une personne commente en anonyme : « Grégoire est parti. Donc qui va installer, configurer, maintenir l’outil ? Qui a la compétence ? Lucas le stagiaire ? Léonard le responsable UX ? »

La conclusion d’Yves est-elle correcte au sujet de la maintenance des tests Dynoz ? Si oui, expliquez-la ; si non, expliquez pourquoi.

Voici un rappel de la problématique exposée par Yves :

Pour la maintenance des tests auto de l’appli Dynoz, ça risque d’être vraiment coûteux. Au vu des fois précédentes, je chiffre ça à 100 jours de travail. On comptait déléguer ça à la boîte de prestation habituelle à 500 € / jour, je te laisse faire le calcul… Les scripts de test ont tous été développés par cette boîte avec leur outil open-source qu’on ne connaît pas du tout, dans leur syntaxe zarbi qu’on ne connaît pas du tout non plus, mais je pense que ça vaudrait le coup (et le coût…) de monter en compétences dessus histoire d’être autonomes et de ne pas se ruiner. T’en parles à Samuel ?

Quelques jours plus tard, Yves revient, triomphal :

Ok, j’ai la réponse de la boîte de prestation au sujet de Dynoz. La formation à l’outil et au projet d’automatisation durerait 10 jours, toujours à 500 € la journée. On pourrait demander une formation pour toute l’équipe de test, donc 10 personnes (et pas pour Grégoire d’après ce que j’ai cru comprendre…) Autant te dire que pour 10 fois moins cher, on devient capables de maintenir les tests de Dynoz ! Super non ? Tiens, si tu veux des chiffres, je me souviens de comment on calcule le ROI.
(Bénéfices – Coûts récurrents) / Coût initial * 100
Soit : (50 000 – 0) / 5 000 * 100 = un ROI de 1 000 % !!!
Yves Olanda, QA
PS : Bon, pour être réaliste je pense que vu la complexité de la chose, même après une formation on ne pourra pas bosser aussi rapidement que la boîte de presta, en tous cas pas dès le début. Ce que la boîte fait en 2 jours, on le fera probablement en 3. Mais bon, c’est déjà top !

1000 % de ROI je te dis !

Aïe aïe aïe ! Bien sûr que c’était trop beau pour être vrai, et plus de la moitié d’entre vous ont bien flairé le piège.

Le coût de formation fournie par la société de prestation est bel et bien 10 fois inférieur au coût de la prestation. Toutefois, cette analyse est superficielle et doit être complétée.

2 éléments majeurs sont omis par Yves :

  • Les coûts d’opportunité : pendant que l’équipe de test sera formée et maintiendra ces automates, elle ne pourra rien faire d’autre. Ce sont 150 jours-personne internes qui seront ainsi bloqués pour la maintenance, et 100 jours-personne (10 jours pour 10 personnes) qui seront bloqués pour la formation, soit 250 jours qui seront consacrés à ce sujet, et pas à autre chose.
    (150 jours sont prévus pour la maintenance et non 100, car 2 jours pour la société de prestation aguerrie = 3 jours pour le personnel interne selon l’estimation d’Yves)
  • Le personnel interne a aussi un coût. Il faut mettre en balance les 500 € / jour-personne de la société de prestation, non pas avec une somme de 0 € / jour-personne pour les internes, mais comme l’indique Jacques dans son mail, plutôt 200 €.

Le coût de la prestation est donc de 50 000 €, mais si la formation et la maintenance en interne était choisie à la place, cela pourrait tout de même coûter… 55 000 € !

Ce nombre est calculé ainsi :

  • 25 000 € de coût initial
    • 5000 € de coût de formation, fournie par la société de prestation
    • 10 jours * 10 personnes * 200 € pour la main d’œuvre interne en formation : 20 000 €
  • 30 000 € de coût récurrent
    • 150 jours * 200 € par personne pour la maintenance = 30 000 €

Selon ce calcul plus réaliste, le ROI de l’internalisation des 100 jours de test est le suivant :

(Bénéfices – Coûts récurrents) / Coût initial * 100

(50 000 – 30 000) / 25 000 * 100, soit… 80 %, bien inférieur aux 1 000 % estimés par Yves.

80 % de ROI, ce n’est bien sûr pas mauvais. Toutefois, choisir ce scénario demanderait tout de même une analyse approfondie.

Facteurs favorables Facteurs défavorables
L’appli Dynoz va avoir régulièrement besoin de maintenance L’appli Dynoz risque d’être décommissionnée à moyen terme.
Le personnel interne a exprimé son souhait d’être formé sur cette technologie (facteur de motivation) Le personnel interne considère dans sa majorité que Dynoz et tout son environnement technique sont vieillissants et peu enthousiasmants. On sait déjà que c’est un outil avec une « syntaxe zarbi », propre à cette société de prestation. Prudence…
Les décisionnaires déplorent les délais de mobilisation de la société de prestation ; bien souvent, il faut attendre plusieurs semaines avant qu’elle soit disponible Le personnel interne, même s’il est formé, n’aura pas suffisamment de temps à consacrer à Dynoz. Dans sa majorité, il apprécie de pouvoir s’appuyer sur des compétences externes qui permettent d’alléger sa charge de travail.
Les équipes internes connaissent bien le périmètre fonctionnel de Dynoz. Les équipes internes ne connaissent pas du tout le périmètre fonctionnel de Dynoz, et la documentation est à ce jour lacunaire. Des coûts supplémentaires en transfert de connaissances et en documentation seraient nécessaires.
Les équipes de test sont relativement stables dans le temps et partagent efficacement les connaissances. Les personnes restent en moyenne 2 ou 3 ans dans l’entreprise, ce qui nécessiterait d’autres formations régulièrement.

Vos réponses

Une personne anonyme suppose qu’Yves n’a pas bien compris les modalités des coûts de formation : « La formation c’est 10 jours à 500 euros par jour pour 10 personnes. 10 x 500 x 10 ça fait 50 000 euros, pas 5 000. Il a oublié un zéro quelque part. » Il est possible en effet qu’Yves ait mal compris la réponse de la société de prestation, à la faveur sans doute d’un biais de confirmation !

_____________________________

Merci à toutes les personnes qui ont participé au jeu ! Souhaitez-vous qu’on en prépare un autre sur une thématique différente ?