Une étude annuelle sur le monde du test logiciel
Le premier World Quality Report (en bon français, rapport mondial sur l’assurance qualité) a été publié en 2009 par Capgemini. D’année en année, l’étude s’est étoffée, a gagné en moyens et en notoriété. En 2017, le World Quality Report, c’est :
- 1660 seniors de l’IT interrogés
- 32 pays représentés (dont la France, avec 150 personnes interrogées)
- Une photographie à l’instant T de l’assurance qualité dans les organisations publiques et privées de plus de 1000 employés
- Des focus par thème, mais aussi par type d’entreprise
- Des recommandations pour faire face aux problématiques actuelles du métier
Bref, un panorama intéressant à décoder, en gardant tout de même à l’esprit que cette année l’étude a été commanditée par la Sogeti et Capgemini, en partenariat avec l’éditeur Microfocus. Ce pure-player a notamment développé Silk Test et, plus dernièrement, racheté un large portefeuille de logiciels d’Hewlett-Packard Enterprise, dont Loadrunner. Ce qui n’est pas neutre…
Notre article fait le point sur trois sujets brûlants dans le domaine du test logiciel : les transformations du métier induites par l’émergence de l’agilité, le défi encore peu exploré des tests mobiles et les challenges liés à l’automatisation des tests.
Le boom du test agile
Les chiffres du test agile
En développement comme en test, le World Quality Report révèle que l’agilité a le vent en poupe. 95% des répondants affirment mettre en oeuvre des pratiques de test agile, au moins sur une partie de leurs projets. 37% des entreprises pratiquent le test exploratoire.
Les pratiques devOps aussi sont également en expansion, et sont désormais représentées dans 88% des entreprises interrogées. Cependant, elles ne touchent jamais la totalité des projets, et concernent moins de 20% des projets dans 47% de l’ensemble des entreprises.
De nouvelles contraintes
Face à cette transformation, les forces vives du test tendent à se décentraliser, et affrontent notamment trois problématiques :
- La création d’environnements de test idoines et de jeux de données réalistes, qui notamment respectent les lois en vigueur (« QA teams need to help their organizations comply with new data laws such as the EU’s General Data Protection Regulation », ce qui nous rappelle une fois de plus l’aspect juridique du métier de testeur). Cette problématique rend également difficile l’automatisation des tests et les tests mobiles.
- La réutilisation et la répétition des tests au fil des itérations
- Le manque de méthodologie de test agile
Même si la décentralisation du test présente de nombreux avantages, le WQR conseille aux grandes organisations de conserver un organe central (un « TEC » ou « Test Excellence Center ») afin d’harmoniser les pratiques, de capitaliser sur les réussites et de réaliser des POCs.
Automatisation des tests : un horizon impossible ?
Les chiffres de l’automatisation des tests
Le World Quality Report de 2017 révèle que presque la moitié des entreprises (48%, et jusqu’à 57% des entreprises spécialisées dans les télécoms, les médias et les divertissements), se trouvent trop dépendantes des tests manuels. Et effectivement, le chiffre peut étonner : seuls 16% des cas de test fonctionnels sont automatisés !
Parmi les difficultés le plus fréquemment rencontrées, on retrouve :
- Le manque d’outils et méthodes d’automatisation
- L’intégration de différents outils de tests
- La complexité du cycle de vie du logiciel
Autant de challenges qui freinent l’avancement des projets d’automatisation, et augmentent année après année le manque à gagner.
Des pistes pour mieux automatiser les tests
Face à ce constat, le World Quality Report conseille de s’armer de patience. Le rapport indique que parmi les entreprises ayant mis en oeuvre une stratégie d’automatisation des tests, celles dont la démarche a été la plus fructueuse ont commencé par des projets-pilotes autonomes (à l’inverse d’une approche « big bang »).
Il est aussi conseillé de prendre au sérieux la formation en automatisation des tests des équipes qualité, où d’importantes lacunes sont constatées.
Enfin, la présence d’une réelle stratégie et la transparence des reportings des tests automatisés sont cités comme des critères de réussite majeurs.
Tests mobiles : ça pourrait bouger plus
C’est ce qui ressemble à la cinquième roue du carrosse : 52% des répondants n’ont pas assez de temps pour mener des tests mobiles. 47% pointent un manque de méthodologie dans le domaine, 46% ne disposent pas d’équipements adéquats. 5% des organisations interrogées ne font même aucun test mobile.
Ces chiffres sont étonnants, à l’heure où des solutions open-source telles qu’Appium, ou des IDE performants et gratuits comme Katalon, permettent de mettre en oeuvre à moindre coût des stratégies de test mobile, y compris en externalisant la gestion des hardwares (avec par exemple AWS Device Farm, Xamarin Test Cloud ou Kobiton).
Un point intéressant à relever est que les tests non-fonctionnels sont bien représentés dans le domaine du test mobile :
- 53% des stratégies incluent des tests de performance
- 43%, des tests de sécurité
- 39%, des tests de compatibilité
- 38%, des tests de portabilité,
Contre 48% pour les tests d’interface utilisateur.
Plongée dans le passé : quoi de neuf depuis 2009 ?
L’automatisation des tests était déjà source d’embarras
Certaines choses ne changent pas : en 2009, les entreprises étaient déjà frustrées par leur taux d’automatisation des tests. Le World Quality Report indiquait en effet que 50% des entreprises n’avaient pas atteint leurs objectifs d’automatisation 3 ans après avoir acquis les outils ad hoc. En cause : le manque de plannification, de stratégie sur le long terme et de formation des testeurs. A l’époque, des solutions d’automatisation existaient déjà depuis une quinzaine d’année.
… mais la vision de l’automatisation a mûri
Il existait à l’époque un aspect qui peut maintenant nous étonner : dans l’édition de 2009, la majorité des personnes interrogées pensaient que l’automatisation des tests pourrait aider à réduire la taille de l’équipe de test. Une corrélation qui de nos jours paraît naïve, et qui a d’ailleurs totalement disparu dans l’édition de cette année.
On est sortis de la crise…
Dans le WQR de 2009 transparaît un sentiment d’inquiétude lié à la crise. L’agilité est directement assimilée à un gain pécuniaire, les robots de test semblent voués à remplacer les humains… Il est réjouissant de constater qu’en 2017, ce biais a disparu (au profit d’autres que nous n’identifierons sans doute, hélas, qu’en 2025).
… et on a découvert tant d’autres choses
Pour faire bref, voici quelques mots que l’on ne trouvait pas encore dans la première édition du World Quality Report :
- Mobile
- API
- Load testing
- DevOps (et pour cause, le mot a été inventé deux mois après la parution du WQR de 2009 !)
La sécurité applicative, la performance et le cloud sont brièvement évoqués, mais on ne les retrouve pas plus loin que dans l’introduction. Bref, depuis la première édition du WQR, le métier du test n’a eu de cesse de s’étoffer. Multidisciplinaire en pratique, il l’est devenu de plein droit au fil des années.
Conclusion
Certes, il n’est pas toujours facile de comprendre comment sont générés les chiffres du World Quality Report. « Nous ne pratiquons pas le test agile » : ils étaient 2% à l’affirmer en 2015, contre 31% en 2016 (!) et maintenant 5% en 2017… Mais malgré ce genre de bizarreries que l’on retrouve tout du long, ainsi que quelques partis pris qui s’expliquent par les commanditaires de l’étude (par exemple l’évocation de TMap, mais pas d’ISTQB) le WQR reste un document utile pour prendre la température du monde du test et comprendre les problématiques auxquelles font face aujourd’hui les grandes organisations. Une analyse qui s’avère encore plus intéressante lorsqu’on la met en parallèle avec les éditions précédentes. Alors bonne lecture !
Ressources
World Quality Report de 2009 (pdf)
World Quality Report de 2017 (formulaire de téléchargement)