Test blanc ISTQB GenAI en ligne

1 - Quelle technologie d'intelligence artificielle utilise un système basé sur des règles pour imiter la prise de décision humaine ?

1. À des modèles compacts avec moins de paramètres que les grands modèles de langage.
2. À la quantité de texte au total, mesurée en tokens, que le modèle peut prendre en compte lors de la génération de réponses.
3. Aux représentations numériques des tokens qui encodent leurs relations sémantiques, syntaxiques et contextuelles dans un format adapté au traitement par les modèles d'IA générative.
4. Au processus qui consiste à décomposer un texte en unités plus petites appelées tokens.

4 - Les LLMs utilisent une architecture de réseau neuronal connue sous le nom de modèle...

5 - Quels sont les composants que comprend généralement un prompt structuré pour le test logiciel ?

1. Plan, actions, vérifications
2. Rôle, contexte, instructions, données d'entrée, contraintes, format de sortie
3. Besoin, spécification, outils à utiliser, biais à éviter, format de sortie
4. Persona, critères d'entrée, action à prévoir, critères de sortie, format de sortie

6 - Amélia utilise l'IAG pour générer un automate de test. Afin de parvenir à un résultat optimal, elle itère plusieurs fois avec l'IA pour optimiser son prompt. Quelle expression décrit le mieux cette pratique ?

7 - Quel type de prompt agit comme un ensemble de commandes qui définit le comportement, la personnalité et les paramètres opérationnels du LLM ?

8 - Camille utilise l'IAG pour générer des cas de test, mais constate que ces cas de test ne couvrent pas entièrement la partition d'équivalence valide et invalide d'une classe de données. Quelle métrique d'évaluation des résultats de l'IA générative se retrouve impactée par ce constat ?

9 - Lors de la génération de critères d'acceptation pour une User Story, un LLM interprète incorrectement la structure logique d'une phrase et produit un critère d'acceptation qui ne convient pas au contexte. Comment s'appelle ce type de problème ?

10 - Christophe se sert d'un prompt à plusieurs reprises. Il constate que le LLM produit des résultats dont il considère qu'ils présentent trop de variations. En se basant sur le syllabus, quel conseil faudrait-il donner à Christophe dans cette situation ?

1. Envisager de changer de LLM
2. Abaisser la température pendant la génération de réponses
3. Ajuster la longueur du prompt
4. Réaliser des tests A/B pour comparer ce prompt avec des versions légèrement modifiées

11 - Parmi les pratiques suivantes, laquelle ne représente pas un vecteur d'attaque dans les processus et outils de test de l'IA générative ?

12 - Quelle directive spécifie les exigences relatives à la gestion des systèmes d'IA au sein d'une organisation ?

13 - Laquelle de ces affirmations sur les Retrieval-Augmented Generation (RAG) est fausse ?

1. La technologie RAG améliore les LLMs en intégrant des sources de données supplémentaires dans leur processus de génération de réponses.
2. La technologie RAG vise améliorer la pertinence et la précision des résultats des LLMs.
3. Dans la phase de traitement des prompts utilisateur, un système RAG fonctionne selon un processus en trois étapes : récupération, génération, rétroaction.
4. Le RAG dans les tests logiciels permet à l'infrastructure de test basée sur LLM d'accéder aux sources de données de l'entreprise.

1. Le fine-tuning peut être appliqué à des SLM au même titre qu'à des LLM.
2. Cette technologie présente un risque de surajustement.
3. Le fine-tuning permet d'acquérir des connaissances et des nuances spécifiques au domaine.
4. Le fine-tuning permet de réduire l'impact environnemental de la technologie IA ajustée.

17 - L'IA fantôme peut entraîner des risques. Lequel de ces risques n'est pas cité dans le syllabus ?

1. L'utilisation d'outils d'IA non approuvés nuit au développement des savoir faire dans l'organisation.
2. Les outils d'IA personnels peuvent présenter des lacunes en matière de sécurité
3. L'utilisation d'outils d'IA non approuvés peut entraîner la non-conformité aux normes et réglementations de l'industrie
4. L'utilisation d'outils d'IA assortis d'accords de licence peu clairs peut exposer les utilisateurs de LLM à des litiges en matière de propriété intellectuelle

18 - La sélection des technologies LLM pour les tâches de test nécessite un examen attentif de plusieurs critères clés. Lequel des critères suivants n'est pas cité dans le syllabus ?

1. Le coût récurrent de l'outil
2. La communauté et les autres moyens d'assistance qui existent pour cet outil
3. Le potentiel de fine-tuning de l'outil
4. La conformité à la norme ISO 42001

19 - L'adoption de l'IA générative au sein d'une organisation de test implique trois phases clés. Lesquelles ?

1. Découverte, initiation et définition de l'utilisation, utilisation et itération
2. Planification, action et vérification
3. Initialisation et diagnostic, planification et mise en œuvre, apprentissage
4. Planning, mise en œuvre et rétrospective

20 - Laquelle de ces affirmations concernant l'évolution des processus de test dans les organisations de test basées sur l'IA est fausse ?

1. Les testeurs évoluent de manière à devenir des spécialistes des tests assistés par l'IA.
2. Les tâches de test de l'équipe de test incorporent la revue de l'ensemble des résultats basés sur l'IA, le remaniement des prompts et la maintenance des bibliothèques de prompts spécifiques aux tests.
3. Les responsables des tests accompagnent le changement de manière adaptée afin que leurs équipes de test centrent avant tout leurs efforts sur le développement de leurs connaissances en matière d'IA.
4. Les responsables des tests tiennent compte de l'IA dans leur stratégie de test, dans la gestion des risques et dans le suivi et le contrôle des tests.