Un avis ? Un commentaire ?
Cet espace est pour vous.
La certification ISTQB est un passage obligé pour une très grande partie des QA. Et tout le monde s’est déjà posé la question, à l’approche de l’examen, “Ai-je suffisamment révisé ?”, “Où trouver d’autres tests blancs” ? Chez Hightest, nous avons nous aussi rencontré cette problématique, ce qui nous a donné envie de concevoir et partager des tests blancs à chaque fois que nous avons préparé un examen.
Ce n’est toutefois pas le sujet de cet article… en effet, ici on va parler d’une toute nouvelle plateforme avec une forte ambition : fournir tellement de questions d’examen qu’il serait presque impossible d’épuiser le stock avant le jour J ! Le code Rousseau de l’ISTQB a un nom qui claque : KickTest. La plateforme est en ligne depuis hier, avec un code promo pour la découvrir gratuitement jusqu’au 31 janvier : FREEKICKTESTJANUARY !
C’est en 2020 qu’Aurélien Haye et trois de ses amis ont l’idée de créer une plateforme pour aider les QA à réviser ISTQB. Le principe est simple et au plus près des besoins : fournir des questions qui ressemblent au maximum au format de celles de l’examen, classées par chapitre, avec possibilité de réviser de manière ciblée. En effet, à l’issue d’un examen, on ne sait pas précisément à quelles questions on a répondu faux, mais on obtient une note par chapitre.
Le projet a maturé pendant 4 ans. Aujourd’hui, il est en ligne et permet de réviser avec 3 formules au choix : une formule d’un mois pour réviser en autodidacte, une formule de 4 jours pour accompagner les formations qui en général ont cette durée, et une formule de 24h pour faire un maximum de révisions, l’avant-veille idéalement !
L’équipe compte 4 personnes : Aurélien Haye, Enrico Guazzini, Florian Hyvernault et Jonathan Jato. À savoir : un développeur, un designer / graphiste et 2 qualiticiens qui ont rédigé les quiz. “Chacun est resté dans sa spécialité et on a trouvé au fil du temps notre rythme et notre manière de collaborer”, témoigne Aurélien Haye.
6000 questions d’examen : vous ne risquez pas d’en venir à bout avant un bon moment. Pour rédiger tout ça, l’équipe n’a pas ménagé ses efforts. Vous vous demandez si une IA a fait partie de la team ? Aurélien répond :
Nous avons créé l’intégralité de nos quiz à la main. D’ailleurs, un quiz c’est un peu plus qu’une simple question puisqu’il faut des propositions de réponses, une explication pour que les concepts derrière le quiz soient compris, éventuellement des pièce-jointes, etc. Nous avons testé la production de quiz assistés par l’IA mais les résultats n’ont pas été probants, la grande majorité des quizs générés par les LLM s’est avérée erroné voir complètement fausse. Je pense que les données dont disposent les principales IA sont insuffisantes et que ça explique ces mauvais résultats.
Par contre nous avons collaboré avec d’autres qualiticiens pour augmenter notre rythme de production de quiz et l’équipe est montée jusqu’à 4 rédacteurs (en comptant les 2 de l’équipe historique, NDLR). Ça a plutôt bien fonctionné de ce côté.
Nous avons demandé à Aurélien s’il y avait eu des idées abandonnées au fil du temps, ou au contraire de nouvelles idées qui ont émergé au fil du développement de la plateforme. Au cours de ce travail de longue haleine, la réponse est évidemment positive.
Au début, on sous-estimait beaucoup la charge de travail nécessaire pour produire une plateforme comme KickTest. Nous avions une idée moins précise de ce qu’on voulait faire et on partait un peu dans tous les sens. Par exemple, on voulait aussi intégrer un comparateur d’outils spécialisés dans les tests au sein de la plateforme. Ce n’était pas une mauvaise idée mais ça n’avait rien à voir avec l’entraînement sur les certifications qualité. Nous avons aussi beaucoup fait évoluer notre stack technique et le rendu graphique tout au long du développement. Comme pas mal de projets, on a itéré pour progresser et on va continuer de le faire. Pour finir avec une idée que nous avons eue en cours de route, c’est la conception de l’administration qui sera invisible pour l’utilisateur mais qui va grandement faciliter notre travail en back office pour gérer la création et la mise à jour de nos quiz, examens blancs et plein d’autres items propres à KickTest.
Un conseil souvent donné aux entreprises ces dernières années est de se focaliser sur un seul besoin pour l’honorer complètement, et la plateforme KickTest est bel et bien allée dans ce sens.
À ce jour, KickTest permet de réviser 2 examens : ISTQB Fondation et ISTQB Analyste de test. Toutefois, KickTest ne va pas s’arrêter là, et de nombreuses améliorations et contenus complémentaires sont en route. Aurélien Haye en parle :
On a beaucoup de projets dans les cartons.
Pour le court terme : on veut améliorer l’aspect visuel des résultats d’examens blancs et compléter les informations contenues dans cette page pour apporter plus de valeur à l’utilisateur. On travaille également sur l’intégration d’un glossaire intelligent qui trouvera pas mal de synergies avec nos quiz pour offrir à nos utilisateurs une meilleure expérience et un meilleur apprentissage. Au niveau de nos contenus, on souhaite compléter notre catalogue avec les certifications Testeur agile technique, Scrum.org (PSM & PSPO) et TMMI.
Pour le moyen terme : on planche fort sur la partie administration dont je parle plus haut, c’est un sacré investissement en temps et en énergie mais qui paiera sur le long terme. On continuera à produire des quiz pour d’autres certifications en parallèle.
Évidemment, on ne pouvait pas s’empêcher de poser la question… Comment cette plateforme de test est-elle testée ? La réponse d’Aurélien aborde à la fois les vérifications de la qualité technique de la plateforme et la validation de la pertinence des questions :
Au niveau du développement, nous avons une couverture de tests unitaires qui nous assure un minimum de sécurité même si on peut faire beaucoup mieux à ce niveau dans les mois à venir. En interne, nous avons fait pas mal de sessions de test et de tests non-scriptés qui nous ont permis de détecter pas mal d’anomalies. Puis nous avons collaboré avec certains experts du test pour leur faire essayer KickTest. Enfin, on a fait des bêta tests en conditions réelles avec des étudiants qui passaient leur certification, les résultats ont été globalement assez positifs et le retour d’information riche.
La plateforme KickTest est toute jeune et va continuer d’évoluer, toutefois nous vous conseillons d’aller y faire un tour dès maintenant, pour vous-mêmes ou pour les personnes que vous souhaitez former ! Merci à Aurélien pour les réponses apportées, vous pouvez le contacter sur LinkedIn si vous souhaitez en savoir davantage sur la plateforme ou vous rapprocher de l’équipe en vue d’un partenariat.
Cet espace est pour vous.