Fundamentals & Test Process

Fondamentaux & Processus de test

Plan du cours:

• Objectifs et Principes des tests
• Processus de test
• Types de test
• Niveaux de test
• Le test dans le cycle de vie du développement logiciel SDLC
• Outils de support aux tests

Objectifs du test

• Prévenir les défauts.
• Détecter les défauts et les défaillances.
• Acquérir de la confiance.
• Fournir les informations nécessaires aux parties prenantes pour faciliter leurs décisions (Go/NoGo).
• Réduire le risque de dysfonctionnement.
• Améliorer la qualité.

Test et débogage

• Tester (Testeur) is different than Debugger (Developper).
• Tester executes tests to cause defects/failures.
• Debugger finds, analyzes, and fixes defects and verifies proper correction/absence of regression.
• Person in agile can be developer and/or tester.

Pourquoi les tests sont-ils nécessaires ? : Qualité

• Tests needed to to gain "Quality".
• Ensure alignment of the developed product with business needs.

Pourquoi les tests sont-ils nécessaires ? : Coût/Délai

• Cost of resolving anomaly depends whether it is found in Qualification, or after production.
• The cost can range from 1 to 1000, depending on when it is discovered.
• 56% of bugs come from the specification phase.

Définition des exigences

• An requirement is a condition/capability needed by a stakeholder to solve a problem/objective.
• It also must be a condition to which the solution/component must respond or possess to meet a norm.
• Functional Requirement: relative to function that a system must fulfill (Que fait le système?).
• Ex: Business Process, Functionality, Use Case, User Story, Rule Management.
• Non-functional Requirement: relative to a constraint that the system must conform to (Comment est fait le système?).
• Ex: Performance, Compatibility, Usability, Reliability, Security, Maintainability, Portability.

Caractéristiques Qualité Logiciel - norme ISO/IEC 25010

• Adéquation Fonctionnelle: Complétude, Exactitude, Pertinence Fonctionnelle.
• Performance: Temps de réponse, Utilisation des ressources, Capacité.
• Compatibilité: Coexistence, Interopérabilité.
• Capacité d'interaction (Utilisabilité): Reconnaissance de la pertinence, Apprentissage, Opérabilité, Protection against user errors.
• Fiabilité: Maturité, Disponibilité, Robustesse, Récupérabilité.
• Sécurité: Confidentialité, Intégrité, Rejet (non-rejet), Responsabilité, Authenticité.
• Maintenabilité: Modularité, Réutilisabilité, Analysibilité, Facilité de Modification, Testabilité.
• Flexibilité (Portabilité): Adaptabilité, Évolutivité, Facilité d'Installation, Facilité de Remplacement.
• Sureté: Operational constraint, Risk identification, Integrated security, Danger alert, Integrated security.

Erreurs, défauts, défaillances et causes racine

• Cause Racine: Erreur humaine.
• Défaut: in the code or documentation of the underlying error.
• Défaillance: result of running a defect in the code, causing system not functioning as expected.
• Effet: Consequences, prejudice for the final user: dissatisfaction, damage, etc.

Définitions clés

• Base de test: All knowledge used as a basis for test analysis and design.
• Conditions de test: An aspect of the test basis that is useful for achieving goals (Quoi tester).
• Testware: Products of activities during the test process used for planning, design, execution, evaluation, and reporting.
• Oracle de test: A source for determing a result compared to system test's actual result.
• Vérification: Product conformity versus objective specified requirements.
• Validation: Product conformity to objective business needs.

Principes du test selon ISTQB

• Les tests montrent la présence de défauts, pas leur absence It is not possible to show that a software contains no defects.
• Les tests exhaustifs sont impossibles Select what to test and base the test on risks, priority, and test techniques.
• Tester tôt économise du temps et de l'argent Discover defects early to prevent propagation and multiplication later.
• Regroupement des défauts Defects are grouped into certain functional/technical modules, needing targeted effort.
• Usure des tests Tests need renewal regularly to discover new defects.
• Les tests dépendent du contexte The approach and objective of test must be adapted in context.
• L'absence d’erreurs est une illusion Errors happen as a part of the project.

Processus de test

Description des activités de test

• Planification:
  • Elaborate test plan.
  • Identify test starting/ending criteria.
  • Identify risks to quality.
• Pilotage:
  • Realize and communicate progress.
  • Control good execution of plan and set up action items.
• Analyse:
  • Read/review test base; identify defects to it.
  • Identify/structure test requirements.
  • Evaluate risks to quality and target effort.
• Conception:
  • Conceive tests and charts.
  • Establish traceability between tests and conditions.
  • Identify data of requirements.
• Implémentation:
  • Implement test suites and scripts.
  • Organize suites and scripts.
  • Enhance test data.
• Execution:
  • Control checklist DoR of test.
  • Consign results of execution.
  • Control checklist DoD of test.
  • Formalize the PV of test.
• Clôture:
  • Do retrospective.
  • Transfer testware.

Définition des Livrables de test

• Plan de de test: Activity Document defining the test Objectives, Périmètre, test type, and organizations.
• Référentiel de test Test: list of structured requirement Catalogue based from use cases.
• Dossier de test: Organization of tests for execution.
• Cahier de test: Test folder with results.
• Liste des anomalies: List of anomalies detected.
• CR de test: Report with execution results.
• PV de Test: Formalized perimeter of all the effects.
• Bilan de test: Quantitative/qualitative report in level.

Traçabilité entre base de test et testware

• Le pilotage des tests repose sur la traçabilité qui permet
  • L'analyse de l'impact des changements
  • L'audit des tests
  • La satisfaction des critères de gouvernance IT
  • La génération de rapports compréhensibles par différents profils techniques ou métier
  • L'apport d'information pour évaluer la qualité du produit et l'efficacité du processus.

Rôles dans le test

• Planification des tests
• Pilotage et contrôle des tests
• Analyse des tests
• Conception des tests
• Implémentation des tests
• Exécution des tests
• Clôture des tests

Compétences génériques requises pour le test

• Connaissance en matière de test: Understands certification, techniques.
• Rigueur, attention, curiosité, souci du détail, méthode: Reviews document for orthography, consistency, and accuracy.
• Bonne communication, écoute active, esprit d'équipe: Participates in daily meetings.
• Réflexion analytique, esprit critique, créativité: Helps with product criteria.
• Connaissances techniques: Development practices
• Connaissance du domaine: Expertise in applicable domain

Types de test

Introduction

• Tests can be different, with different types
• Que fait le système? -> Le test fonctionnel, Le test boîte noire
• Comment est fait le système? -> Le test non fonctionnel, Le test boîte blanche

Test Fonctionnel

• Evaluent les fonctions à réaliser
• Effectués à tous les niveaux
• Measure the functional coverage (coverage of the specifications)
• Vérifie - la complete functionalité - -exactitude fonctionelle -l'adéquation fonctionelle
• Nécessitent generalement - Metier

Test Non-Fonctionnel

• Evaluent the system/how it behaves.
• Effectués à tous les niveaux
• Measure of non-fonctionnelle -performance, securite

Tests

• functional vs. Non-Fonctionnels
• Tests d'Adéquation Fonctionnelle
• Tests de Performance
• Tests de Compatibilité
• Tests de Capacité d'interaction
• Tests de Fiabilité
• Tests de Sécurité
• Tests de Maintenabilité
• Tests de Flexibilité
• Tests de Sureté

Test boîte noire

• Vérifier le comportement du système par rapport à ses spécifications.
• Spécifications des exigences métier, User Stories, Functional Specifications
• Partition d'équivalence, Valeurs limites, Classification par arborescence,
• Tous levels

Test boîte blanche

• It is based on the structure and derive the tests of the implementation or of the structure interne du système Objectif principal:
• Documentation and information sur le code, l'architecture, les flux métier et les flux de données Couverture des Instruction, Branches et Chemins
• Tous

Tests liés aux changements

Vérification or corrections.

Tests de maintenance

• Facteurs déclencheurs Changements du système lui-même:
• Correction • Nouvelles fonctionnalités • Modification de paramétrage Changements dans l'environnement • Sustêmes d'exploitation Bases de données et migrations de données Logiciels interfacés Retrait / Déclassement (application en fin de vie) • tests de la migration ou de l'archivage des données

Niveaux de test

Levels of test

• Test de composants (isolate components).
• Test d'intégration de composants (interfaces and integrations).
• Test système (capacities and behaviors).
• Test d'acceptation (validation demonstration).

Test de Composants (ou Tests Unitaires)

• Reduce and verify specs and prevernt.

Test d'Intégration

• components or subsystems and verifies.

Test Système

• Global end to end behavior of the product

Test d'Acceptation

• Establishes confidences and validatw the system.

Différentes formes de test d'acceptation

• Tests d'acceptation utilisateur.
• Tests d'acceptation opérationnelle.
• Tests d'acceptation contractuelle et réglementaire.
• Tests alpha et bêta.

Catégories de modèles de développement

Modèles séquentiels Cascade Modèles en V Modèles en W

• Modèles itératifs ou incrémentaux RAL RUP
• Modèles agiles XP Scrumb DevOps Le dernier cycle permet de développer la version finale