Formation ISTQB - Testeur Certifié Extension Niveau Fondation - Test d'Intelligence Artificielle (IA) - Avec certification

Jour 1 - Matin

Introduction à l'IA

• Définition de l'IA et de l'effet de l'IA
• IA étroite, générale et super IA
• Systèmes basés sur l'IA et systèmes conventionnels
• Les technologies de l'IA
• Frameworks de développement de l'IA
• Matériel pour les systèmes basés sur l'IA
• L'IA en tant que service (AIaaS)
• Modèles pré-entraînés
• Normes, réglementations et IA

Exemples de travaux pratiques (à titre indicatif)

• Exercice pratique réalisé
• Comparaison entre systèmes classiques et systèmes basés sur l'IA via une étude de cas
• Questions de types QCM
• 5 questions portant sur les différentes notions abordées dans cette partie
• Correction en groupe

Caractéristiques de qualité des systèmes basés sur l'IA

• Flexibilité et adaptabilité
• Autonomie
• Evolution
• Biais
• Ethique
• Effets secondaires et piratage de récompense
• Transparence, interprétabilité et explicabilité
• Sûreté et IA

Exemples de travaux pratiques (à titre indicatif)

• Exercice pratique réalisé
• Analyse de l'impact des biais et de l'interprétabilité dans un système d'IA de recommandation
• Questions de types QCM
• 5 questions portant sur les différentes notions abordées dans cette partie
• Correction en groupe

Jour 1 - Après-midi

Machine Learning (ML) - Vue d'ensemble

• Formes de ML
• Workflow ML
• Sélectionner une forme de ML
• Facteurs impliqués dans la sélection d'un algorithme ML
• Sur-ajustement et sous-ajustement

Exemples de travaux pratiques (à titre indicatif)

• Exercice pratique réalisé
• Choix d'un algorithme de ML adapté à un problème de détection de fraude
• Questions de types QCM
• 5 questions portant sur les différentes notions abordées dans cette partie
• Correction en groupe

Jour 2 - Matin

ML - Données

• Préparation des données dans le cadre du workflow ML
• Ensembles de données d'apprentissage, de validation et de test dans le workflow ML
• Problèmes de qualité des données
• La qualité des données et son effet sur le modèle ML
• Etiquetage des données pour l'apprentissage supervisé

Exemples de travaux pratiques (à titre indicatif)

• Exercices pratique réalisé
• Améliorer la qualité des données pour mieux entraîner une IA simple (exemple : reconnaître des fruits)
• Questions de types QCM
• 5 questions portant sur les différentes notions abordées dans cette partie
• Correction en groupe

Jour 2 - Après-midi

ML - Métriques de performance fonctionnelle

• Matrice de confusion
• Métriques supplémentaires de performance fonctionnelle ML pour la classification, la régression et le clustering
• Limites des métriques de performance fonctionnelle ML
• Sélection des métriques de performance fonctionnelle de ML
• Suites de benchmarks pour ML

Exemples de travaux pratiques (à titre indicatif)

• Exercice pratique réalisé
• Evaluer les performances d'un modèle de prédiction simple à l'aide d'exemples concrets (prédire la météo, reconnaître des objets)
• Questions de types QCM
• 5 questions portant sur les différentes notions abordées dans cette partie
• Correction en groupe

Jour 3 - Matin

ML - Réseaux neuronaux et tests

• Réseaux neuronaux
• Mesures de couverture pour les réseaux neuronaux

Exemples de travaux pratiques (à titre indicatif)

• Exercices pratiques réalisés
• Observer comment un réseau de neurones apprend à reconnaître des images simples (exemple : chiffres ou animaux)
• Questions de types QCM
• 5 questions portant sur les différentes notions abordées dans cette partie
• Correction en groupe

Test des systèmes basés sur l'IA - Vue d'ensemble

• Spécification des systèmes basés sur l'IA
• Niveaux de test des systèmes basés sur l'IA
• Données de test pour tester les systèmes basés sur l'IA
• Test des biais d'automatisation des systèmes basés sur l'IA
• Documenter un modèle ML
• Tester la dérive du concept
• Choisir une approche de test pour un système ML

Exemples de travaux pratiques (à titre indicatif)

• Exercice pratique réalisé
• Imaginer et préparer un plan de test simple pour vérifier le bon fonctionnement d'une IA (exemple : une IA qui trie des e-mails)
• Questions de types QCM
• 5 questions portant sur les différentes notions abordées dans cette partie
• Correction en groupe

Jour 3 - Après-midi

Test des caractéristiques de qualité spécifiques à l'IA

• Les défis du test des systèmes d'auto-apprentissage
• Test des systèmes autonomes basés sur l'IA
• Tester les biais algorithmiques, les biais d'échantillonnage et les biais inappropriés
• Les défis du test des systèmes probabilistes et non-déterministes basés sur l'IA

Exemples de travaux pratiques (à titre indicatif)

• Questions de types QCM
• 5 questions portant sur les différentes notions abordées dans cette partie
• Correction en groupe

Jour 4 - Matin

Test des caractéristiques de qualité spécifiques à l'IA - Suite

• Les défis du test des systèmes complexes basés sur l'IA
• Tester la transparence, l'interprétabilité et l'explicabilité des systèmes basés sur l'IA
• Test d'oracles pour les systèmes basés sur l'IA
• Objectifs des tests et critères d'acceptation

Exemples de travaux pratiques (à titre indicatif)

• Exercice pratique réalisé
• Identifier et discuter des biais possibles dans une application d'IA du quotidien (exemple : suggestions de vidéos ou de musique)
• Questions de types QCM
• 5 questions portant sur les différentes notions abordées dans cette partie
• Correction en groupe

Jour 4 - Après-midi

Méthodes et techniques pour le test des systèmes basés sur l'IA

• Attaques adverses et empoisonnement des données
• Tests par paire
• Tests dos à dos
• Test A/B
• Test métamorphiques
• Test basé sur l'expérience des systèmes basés sur l'IA
• Sélectionner les techniques de test pour les systèmes basés sur l'IA

Exemples de travaux pratiques (à titre indicatif)

• Exercice pratique réalisé
• Explorer comment une IA peut être trompée et comment la rendre plus robuste (exemple : modification d'images pour tromper une reconnaissance)
• Questions de types QCM
• 5 questions portant sur les différentes notions abordées dans cette partie
• Correction en groupe

Environnements de test pour les systèmes basés sur l'IA

• Environnements de test pour les systèmes basés sur l'IA
• Environnements de test virtuels pour les tests d'IA

Exemples de travaux pratiques (à titre indicatif)

• Exercice pratique réalisé
• Imaginer un environnement simple pour tester une IA (exemple : tester un robot virtuel dans un jeu de labyrinthe)
• Questions de types QCM
• 5 questions portant sur les différentes notions abordées dans cette partie
• Correction en groupe

Jour 5 - Matin

Utilisation de l'IA pour les tests

• Technologies d'IA pour le test
• Utiliser l'IA pour analyser le reporting des défauts
• Utiliser l'IA pour la génération de cas de test
• Utiliser l'IA pour l'optimisation des suites de tests de régression
• Utiliser l'IA pour la prédiction des défauts
• Utiliser l'IA pour le test des interfaces utilisateurs

Exemples de travaux pratiques (à titre indicatif)

• Exercice pratique réalisé
• Découvrir comment une IA peut aider à créer ou améliorer des tests (exemple : générer automatiquement des idées de tests pour une application simple)
• Questions de types QCM
• 5 questions portant sur les différentes notions abordées dans cette partie
• Correction en groupe

Jour 5 - Après-midi

Préparation à la certification

• Présentation du dispositif d'examen (en présentiel ou à distance)
• Examen blanc de 20 questions
• Réalisation d'un examen blanc complet
• Correction en groupe commentée par le formateur
• Conseils méthodologiques
• Trucs et astuces pour réussir un QCM !

Passage de la certification

• Comme le précise le document "tableau de la structure et des règles des examens" de l'ISTQB, l'examen de certification est un QCM de 40 questions, en français, et il est nécessaire d'obtenir au moins 65% du nombre maximum de points possibles pour obtenir le certificat
• La durée est de 2 heures mais un temps additionnel peut être accordé aux personnes pouvant présenter :
• Une pièce d'identité valide émise par un pays dont le français n'est pas la langue maternelle ou,
• Un certificat de type "RQTH" (reconnaissance de la qualité de travailleur handicapé)
• Celui-ci peut être effectué :
• Sur tablette ou au format papier à la fin de la formation si la formation est organisée en présentiel
• A distance à une date et heure au choix, si la formation est organisée à distance ou si le candidat le souhaite