Méthodes Qualitatives pour l'Evaluation des Politiques Publiques PDF

Séance 1: 02/09/2024 Cours: analyse de contribution: travaille avec un raisonnement logique 1. balisage conceptuel: Méthodes qualitatives Méthode: fait référence à l’aspect théorique de la méthode, manière de conduire une pensée, d'établir ou de démontrer une verité suivant certa...

Séance 1: 02/09/2024 Cours: analyse de contribution: travaille avec un raisonnement logique 1. balisage conceptuel: Méthodes qualitatives Méthode: fait référence à l’aspect théorique de la méthode, manière de conduire une pensée, d'établir ou de démontrer une verité suivant certains principes et avec un certain ordre. Méthodes: des méthodes, plusieurs Méthodologie: la manière dont on organise le travail, la manière avec laquelle le travail est mené, etude des méthodes de recherche et d’analyse propre à une science, à une discipline. Méthode de recherche : les façons concrètes d’envisager et d’organiser une recherche. Méthode d’évaluation: plan de travail complet de l’équipe d’évaluation=> une méthode est une procédure ad hoc, construite spécialement dans un contexte donné pour répondre à une ou plusieurs questions évaluatives Méthodologie de recherche: L’ensemble des opérations intellectuelles , par lesquelles une discipline cherche à atteindre les vérités qu'elle poursuit, les démontre, les vérifie. Méthodologie d’évaluation: méthodes d'évaluation qui doivent etre suffisamment rigoureuses pour que l’évaluation corresponde au champ et aux objectifs définis qu’elle réponde aux questions formulées et donne lieu à un examen complet, honnete et dépourvu de parti pris. Techniques de recherche : les moyens d’aborder les problèmes (entretiens sei- directif…) d’analyse des données Outils/techique d’evaluation: procedure standarisée qui permet de remplir une fonction d’évaluation (ex , enquete par questionnaire) Evaluation: Évaluation = c une appréciation systématique et objective d’un projet, d’un programme ou d’une politique, en cours ou terminé, de sa conception, de sa mise en oeuvre et des ses résultats. , vise un changement et amélioration , elle s'intéresse à la conception de telle résultats et elle s'intéresse également à la mise en œuvre. Elements A retenir : - faut s'intéresser à la pertinence et accomplissement des objectifs, l’efficience en matiere de developpement, l’efficacité et la durabilité. - informations crédible et utiles (les données probantes) , processus de décision  - valeur et portée d’une action de développement ( car ca porte sur des changement dans la societé) qlqs définition de l’évaluation: Scriven: Un processus de détermination du mérite, de l’utilité et de la valeur de qlq chose. Weiss: Une appreciation systématique de l'opérationnel et des impacts d’un programme ou d’une politique, à l’aune de standards explicites, de façon à améliorer le programme ou la politique. Gouvernement du Quebec: L’évaluation de programme est une démarche rigoureuse de collecte et d’analyse d’information qui vise à porter un jugement sur un programme, une politique, un processus ou un projet pour aider à la prise de décision. Elle permet d’apprécier à la fois la pertinence du programme, l’efficacité avec laquelle ses objectifs sont poursuivis, l’efficience des moyens mis en place ou sa rentabilité, ainsi que son impact. => la pertinence c par rapport aux besoins des bénéficiaires finaux et aussi au niveau du choix politique du pays +objectifs de l’Etat avec ceux de la scene internationale c le 3 qui est est au niveau mondial exp avec ceux de l’ odd =>l’efficacité = c en relation avec les résultast , en termes des benificiares finaux, organisationnel =>l’efficience = financiere , est ce que c’etait econome , et sur le cout , moyens mis en place, deux types d’efficience , programmatique(temps et durée) et financiere. =>rentabilité = parite sur le cout et l’efficacité et finalement l’impact => cohérence s’intersse a deux niveaux = l'évaluation a pour objet d'apprécier, de maniere aussi systématique et impartiale que possible, une activité, un projet, programme, strategie, politique, sujet, thème, secteur, domaine operationnel, une performance institutionnelle. Pourquoi faire ? => analyser le niveau de reussite, à la fois en terme de resultats escomptés et inattendus, en examinant la chaine des résultats, les processus, les facteurs contextuels et le lien de causalité. selon quel référentiel de base ? => Criteres tels que la pertinence, l’efficacité, l’efficience, la cohérence (dans quelle mesurure cette intervention cordonne le travail avec d’autres travaux et d’autres bailleurs de fonds, la complémentarité, besoin de garder les fonds mutuels et donc complémentarité et travail ensemble), l’impact, la durabilité l’exigence des méthodologies des données probantes: => Une évaluation doit fournir, à partir d’éléments démontrables, des renseignements crédibles et utiles, qui permettent d’intégrer en temps voulu les conclusions, recommandations et enseignements dans le processus décisionnel des organisations et des parties prenantes. Définition générale: Une évaluation a pour OBJET d’apprécier, de manière aussi systématique et impartiale que possible, une activité, un projet, un programme, une stratégie, une politique, un sujet, un thème, un secteur, un domaine opérationnel ou une performance institutionnelle. Elle permet D’ANALYSER LE NIVEAU DE RÉUSSITE, à la fois en termes de résultats escomptés et inattendus, en examinant la chaîne des résultats, les processus, les facteurs contextuels et le lien de causalité. Elle S’APPUIE POUR CELA SUR DES CRITÈRES tels que la pertinence, l’efficacité, l’efficience, l’impact et la durabilité. Une évaluation doit fournir, à partir d’éléments démontrables, des RENSEIGNEMENTS CRÉDIBLES ET UTILES, qui permettent d’intégrer en temps voulu les conclusions, recommandations et enseignements dans le PROCESSUS DÉCISIONNEL des organisations et des parties prenantes. => il s’avere qu’il manque l’evaluation des lois, on s’interssse a des qsts d’effectivité, efficacité, efficience.. et on echappe a la loi (check slides def genereal d’evaluation cela n’est pas mentionne dans cette partie.. ) Politiques publiques : - représentation d’un problème et des ses solutions envisageables - ensemble d’activités déclinées en programmes, projets, procédures, loi, règlements - portée par une ou plusieurs autorité publiques ou gouvernementales Le concept désigne les interventions d’une autorité investie de puissance publique et de légitimité gouvernementale sur un domaine specifique de la societe ou du territoire. => ce qu’il faut retenir: ligne directrice officielle déclinée en programmes, procédures, lois, règlements et destinée à produire des changements dans les conditions de vie des bénéficiaire plusieurs concepts clés des politiques publiques: Politique générale : orientation globale d'un gouvernement ou d'une organisation sur une question. Politique publique : ensemble d'actions coordonnées prises par l'État ou une organisation pour résoudre un problème spécifique. Stratégie : plan d'action à long terme pour atteindre les objectifs fixés dans la politique publique. Plan : série d'étapes concrètes qui servent à la mise en œuvre des stratégies. Programme : ensemble structuré d'actions pour concrétiser les plans au niveau opérationnel. Intervention : mise en pratique concrète des programmes et des plans sur le terrain. La pyramide classe ces concepts en niveaux hiérarchiques, allant de la mise en œuvre opérationnelle à l'élaboration de la stratégie : ❖ Au sommet : Intervention (l'action sur le terrain). => Action conduite dans l’intention d’avoir un effet sur la société, qu’elle soit qualifiée de programme, d’initiative de projet, de politique, de règlement, etc. => A retenir: terme générique qui regroupe diverses formes d’action influant sur les situations sociales comme les politiques, programmes, les lois et règlements. ❖ Ensuite : Politique publique (orientations prises pour encadrer ces interventions). => Représentation d’un problème et de ses solutions envisageables (Pierre Muller). => Ensemble d’activités déclinées en programmes, projets, procédures, lois, règlements (J-C Thoenig). =>Portée par une ou plusieurs autorités publiques ou gouvernementales (J-C Thoenig). => A retenir: Ligne directrice officielle DÉCLINÉE EN PROGRAMMES, PROCÉDURES, LOIS, RÈGLEMENTS, et destinée à produire des changements dans les conditions de vie des bénéficiaires. ❖ Puis : Stratégie (le cadre d'actions à long terme pour structurer la politique publique). => Politique et Stratégie: Les termes de POLITIQUE et de STRATÉGIE sont souvent interchangeables. => stratégie est plus concrète => A retenir: La politique peut être vue comme plus générale : présentation de principes ou d’axes d’intervention. => La stratégie, plus concrète : identification de moyens d’action ou de mesures précises. ❖ À la base : Programme - Plan (les outils concrets et les étapes pour mettre en œuvre la stratégie). programme et plan d’action : programme: ensemble coherent et structure d’bjectifs, d’activité et de ressources => Programme: Ensemble cohérent et structuré d’objectifs, d’activités et de ressources (humaines, financières, matérielles, et informationnelles) réunis pour offrir des biens et des services particuliers qui répondent à un ou des besoins précis d’une population ciblée. => Le plan est un ensemble d’actions envisagées, organisées dans le temps et à travers lesquelles l’atteinte d’un ou plusieurs objectifs. ❖ Politique & Plan d’actions => On distingue plus facilement politique de plan d’actions. => La portée du plan d’actions est plus restreinte et plus pratique. Le plan d’action s’inscrit souvent à l’intérieur d’une politique ou d’une stratégie.  2. recherche et évaluation: des différences et une convergence l'évaluation doit bcp a la recherche et son écosystème, c la raison pour laquelle nous nous intéresserons à ce domaine texte de lecture: de sandra - l'évaluation a emprunté des sciences sociales la methodes de collecte et d’analyse des données - convergence: l’eva et la recherche se convergent dans les methodes (seule point de convergence) - divergence : tous le reste, prise de décision pour l’evaluation => qui evalue et qui peut evaluer ? les évaluateurs sont souvent des personnes venant de milieux differents (politologue, sociologue, mathématiciens ….) mais il y a besoin de competences techniques malgré l’utlisation de sciences sociales. un bon evaluateur doit etre expert en qlq chose, maitriser un champ, un domaine => il faut maîtriser le domaine qu’on veut évaluer => connaissances et competences pour evaluer: bonne collecte des données, => en quoi les connaissances et les compétences de l’evaluation diffèrent-elles de celles des sciences sociales? approches méthodologiques, composantes analyses (donnees), digitalisation et impact sur l’evaluation - recherche et évaluation : diff et convergence : check slide le vert est le seul point de convergence. steakholders = les partis prenantes dans l’evaluation sont les bénéficiaires des politiques publiques et ils sont 2 direct et finaux , les bailleurs de fonds, secteur prv, Recherche Evaluation Générer connaissances information pour la prise de decision centré sur la recherche centree sur les parties prenantes hypotheses question cles methodes methodes faire des recommandations formuler des consignes et recommandations utiles à la decision sur la base de qst cle resultat publié idealement a comite de rapport pour paties prenantes, appropriation lecture des resultats de l’evaluation par ces parties prenantes comparaison avec d’autre fcts : Recherche et eval : diff et convergence => sorte de résumé  3. intro aux méthodes qualitatives des science sociales: Méthodes qualitatives sont d’une part des méthodes des sciences sociales, D’autre part, les MRSS (methode de recherche des sciences sociales) sont aussi une composante de l’évaluation sce = societe canadienne d’evaluation Exemple de compétence en evaluation de la SCE (societe canadienne d’evaluation) 1. COMPÉTENCES RATTACHÉES AU VOLET PROFESSIONNEL. Elles incluent les normes et les valeurs qui balisent l’exercice professionnel ainsi que la conscience requise par l’évaluateur pour établir son niveau d’expertise dans le domaine et pour assurer son développement professionnel; 2. COMPÉTENCES RATTACHÉES AU VOLET OPÉRATIONNEL. Elles incluent les composantes qui sont spécifiquement rattachées à l’évaluation : conception, cueillette de données, analyse et interprétation des données et production du rapport. 3. COMPÉTENCES RATTACHÉES AU VOLET CONTEXTUEL. Elles incluent l’analyse et l’inclusion des contextes ainsi que des préoccupations de l’ensemble des détenteurs d’enjeux (stakeholders). 4. COMPÉTENCES RATTACHÉES AU VOLET DE LA GESTION DE LA DÉMARCHE. Elles incluent l’ensemble des opérations de gestion, pour ne mentionner que la budgétisation, la coordination des ressources et leur supervision. 5. COMPÉTENCES RATTACHÉES AU VOLET DES RELATIONS INTERPERSONNELLES. Elles incluent les aptitudes requises à l’exercice de cette fonction, comme la communication, la négociation, la résolution de conflits, la collaboration et les compétences interculturelles. compétences professionnelles pour juger , slide 55 ( au canada, en suisse et au japon les evaluateurs doivent etre accredité (il n’ya que 3 Etat qui accreditent les évaluateurs) Séance 2: 09/09/2024 Cours: Théorie et approches d’évaluation : Théorie et approche: de quoi s’agit-il ? différence entre approche et théorie Théorie: système d’idées concernant tel ou tel problème particulier A retenir: c une ensemble de notions, de connaissances abstraites organisées en système. Conceptualisation et explication un ensemble de constats relatifs à des phénomènes ou comportements Théorie du point de vue de la recherche, des méthodes de sciences sociales: => la théorie est nécessaire pour ordonner la réalité, tracer un schéma d’observation, emettre des hypothèses, parvenir à des explications. a retenir: manière de concevoir et de percevoir les faits ou les phénomènes et d’organiser leur représentation. La théorie sert donc à définir, décrire, comprendre, expliquer, représenter et prédire un phénomène particulier et un ensemble de relations propres à ce phénomène suite à la vérification d’un certain nombre d’hypothèses. Théorie selon l'évaluation : les interventions (politiques, programmes, lois, etc). reposent généralement sur des théories sous-jacentes concernant la manière dont elles sont censées fonctionner et contribuer aux processus de changement. A retenir: Souvent appelée évaluation axée sur la théorie ou évaluation fondée sur la théorie. Exemples : théorie de programme, théorie d’action, théorie de changement, etc. Théorie du programme Théorie du programme : explicite la facon dont le programme prevoit obtenir les resultats attendus. Les hypothèses concernant les ressources et les activités et la manière dont celles-ci conduiront aux résultats attendus y sont exposées, expliquées et justifiées. A retenir: rôle important de la théorie de programme est bien établi dans le domaine de l'évaluation, Guide la conception et la mise en œuvre des interventions (politique, programme, etc.). Théorie d’action Théorie d’action: description d’un programme ou tout intervention pour activer la théorie de changement. A retenir: une représentation graphique de ce que l’on attend d’un programme et de la manière dont il est censé fonctionner Appelé “théorie du programme” ou “action du programme” une séquence d’étapes , une chaîne logique de relation “si alors” ( si alors => des hypothèse, de la causalité => mais surtt c conditionnel) qui relient les investissements aux activités et aux résultats. Théorie de changement: Théorie de changement=> c la théorie favori des nations unies et la plus utilisé mondialement. => c une représentation graphique=> c une représentation de la façon dont on s’attend à ce qu’une intervention mène aux résultats souhaités. => portrait large des changements souhaités pour la société établissant les conditions préalables à chaque intervention considérée, précisant les parcours et les actions nécessaires et expliquant comment ceux-ci contribueront au succès de l’initiative. A retenir : elle explique comment l’intervention devrait produire les résultats escomptés. elle démontre l'enchaînement logique des séquences de l’intervention (extrants, résultats immédiat, résultats intermédiaires, résultats ultimes) “Modèle logique” elle décrit aussi les mécanismes du changement, formule les hypothèses et définit les risques et le contexte qui pourraient appuyer la théorie ou l’empêcher de se concrétiser sous la forme de résultats observés. => dans la théorie il y a des niveaux et dans chacun on trouve des hypothèse, qu’il faut verifier et evaluer leur risque. Théorie de transformation => plus recente depuis que les nations unies ont mis en place les ODD => l’evaluation doit etre transformée pour évaluer et guider les grandes transformations systèmique nécessaires dans les domaines de la santé, du climat, de l'alimentation et de la justice sociale. Cinq transformations fondamentales sont nécessaires : 1. de la réflexion sur les projets à la réflexion sur les systèmes ; 2. de la théorie du changement à la théorie de la transformation ; 3. des approches linéaires simples à la compréhension de la complexité ; 4. de la réflexion cloisonnée sur les ODD à l'intégration transversale des ODD ; 5. de l'indépendance et de la neutralité de l'évaluateur à la reconnaissance de l'interdépendance et à l'implication dans le jeu. Approche: => c une approche méthodologique qui a pour finalité de cerner progressivement l’objet de la recherche. quand on parle de l’approche dans la recherche, il y a des méthodes et des outils technique => collecte de données et d’analyse de données. A retenir: démarche intellectuelle. modèle conceptuel l’approche c la méthode et la technique en pointillé. Approche de recherche: => approche méthodologique sur la conception et la conduite de la recherche. Problématique et questions de recherche. Délimitation du périmètre et du processus de la recherche. Choix des méthodes de recherche. Identification des principaux produits de la recherche. Approche d'évaluation: => Approche méthodologique de collecte et d’analyse de données résumée dans la matrice d'évaluation afin de répondre aux qsts évaluatives. c un mélange de méthodes quanti et quali qui vont nous permettre de générer et qui nous fourniront des données probantes et solides. Délimitation du périmètre et du processus de l’évaluation. Choix des critères d’évaluation. Identification des principaux livrables de l’évaluation. Les principales approches d’évaluation: Utilisations- valeurs- méthodes: Lecture : le choix des approches évaluatives Exercice: répondre aux qsts d’après la lecture. Quelle est votre compréhension du texte ? Comment l’auteur a-t-il structuré son texte ? => Quelle est la ligne directrice du texte: idée principale et idées secondaires? => Quelles questions ou passages du texte ont sucité des interrogations de votre part? => Classification des approches théoriques: L’arbre d’Alkin: Utilisation des approches d'évaluation des interventions: Politique - Programmes - Lois, etc. Évaluation de processus s’intersse a une seul chose est ce qui a été initialement concus fonctionne ou ne fontionne pas? eval à mi-parcours: il va falloir s’arreter a un certain point et faire une evaluation. est ce que l’intervention continue à etre pertinente, efficace, efficiente … Evaluer: Quand => Ex ante : avant la mise en œuvre d’une intervention. o Miser en oeuvre. o Mi-parcours. o Finale. o Ex post. Pourquoi => Formative, sommative A qulle fin? => Prospective, stratégique EVALUER QUAND ? Evaluation ex ante => Évaluation menée avant la mise en œuvre d’une intervention Intervient alors que la mise en œuvre n’a pas commencé. Permet l’analyse des effets anticipés de l’intervention. Vise à améliorer la conception des interventions. Examine la solidité des fondements économiques et sociaux des priorités et des objectifs établis. Appuie les recommandations aux décideurs en matière d’utilisation de ressources. S’assure que toute information requise aux suivis à la mise en œuvre. Evaluation de processus => evaluation de la mise en oeuvre de l’intervention S’intéresse au fonctionnement d’une intervention. Vise à cerner les facteurs internes et externes influençant son déroulement et à déterminer si la mise en œuvre de l’intervention se déroule conformément à ce qui a été prévu au moment de sa conception. Evaluation à mi-parcours => Evaluation effectuée à la mi- parcours de la mise en œuvre des interventions. Elle porte généralement sur les opérations ainsi que sur les résultats, l’efficacité et l’efficience de l’intervention afin de dégager de premières conclusions et recommandations pour orienter la suite Elle est menée dans une perspective formative, c’est-à- dire contribue à améliorer la gestion.  Porte un regard critique sur les premières réalisations et les premiers résultats, ce qui lui permet d’apprécier la qualité du suivi et de la mise en œuvre. Aide à préparer des ajustements et des reprogrammations et à les argumenter de façon transparente. S’appuie fortement sur les informations issues du système de suivi, mais également sur les informations relatives au contexte et son évolution. Evaluation finale => evaluation conduite à la cloture de la mise en oeuvre d’une intervention Fais le bilan de la mise en œuvre de l’intervention. Permet de déterminer si une intervention doit se poursuivre ou si elle doit être interrompue ou transformée. Porte sur les modalités de mise en œuvre d’une intervention. Permet de tirer des conclusions, et de poser un jugement sur la valeur des interventions, et d’émettre des recommandations Evaluation ex post: => Évaluation d’une intervention lorsqu’elle est terminée ou au moment où il devient pertinent d’en faire le bilan Peut être réalisée tout de suite après l’achèvement de l’intervention ou ongtemps après. Permet de déterminer les facteurs de succès ou d’échec, d’apprécier la durabilité des résultats et de tirer des conclusions qui pourront être généralisées ou étendues à d’autres actions. Evaluation de l’impact : => Évaluation qui vise à mesurer les effets directement attribuables à une intervention sur le bien-être des individus ciblés, que ces Effets soient intentionnels ou non. Vise à répondre aux questions de causalité et, en conséquence. Implique une analyse contrefactuelle, c’est-à- dire une analyse de ce qui est survenu en matière de changements comparativement à ce qui se serait passé sans intervention. L’attention portée à la question de l’attribution est une caractéristique des évaluations d’impact Evaluation formative => Évaluation dont l’objectif est de brosser, en cours de mise en œuvre d’une intervention, un tableau du fonctionnement des activités dans une perspective d’amélioration S’applique aux modalités de mise en œuvre d'un programme, d'une politique ou d'un projet. S’intéresse essentiellement aux procédures de mise en œuvre et à leur efficacité et leur pertinence. Evaluation sommative => Évaluation dont l’objectif est de tirer des conclusions et de poser un jugement sur la valeur des interventions Evaluation dont l’objectif est de tirer des conclusions et de poser un jugement sur la valeur des interventions. Permet de déterminer si une intervention est toujours pertinente, si Elle doit se poursuivre ou si elle doit être interrompue ou transformée. Evaluation thématique => Évaluation d'aspects ou de thèmes sélectionnés dans un certain nombre d'activités de développement.  Analyse transversalement un même point particulier (un thème) dans le cadre de plusieurs interventions au sein d'un programme, ou dans plusieurs programmes mis en œuvre dans différents pays ou régions. Evalutation de portefeuille => evaluatiob de l’ensemble du programme d’aide à pays, Elle peut chercher à : 1. Evaluer la pertinence stratégique du programme d'aide au pays par rapport aux besoins du pays. 2. Tester la mise en œuvre des résultats à l'échelle de l'agence afin de déterminer si les résultats escomptés ont été obtenus. 3. Identifier les succès et les échecs dans les différents secteurs ou les différentes approches utilisées dans le pays, et identifier les facteurs contribuant à la performance. 4. Déterminer l'efficacité de l'aide du donateur à un pays donné (OCDE 1999). Evaluation prospective => Une évaluation prospective est réalisée ex ante, c'est-à-dire qu'un programme proposé est examiné avant qu'il ne commence, afin d'analyser son succès probable, de prédire son coût et d'analyser d'autres propositions et projections. Conduire une analyse contextuelle du programme ou de la politique proposée. Examiner des études d'évaluation de programmes ou de politiques similaires et synthèse des résultats et des enseignements tirés du passé Anticiper le succès ou l'échec probable, dans un contexte futur et des suggestions sur le renforcement du programme et de la politique proposés. EVALUER QUOI ? Conception de la politique ou de la loi: Pertinence de l’énoncé de politique Validité de la formulation de la politique, compris la théorie de changement Mise en oeuvre : - Efficacité - Efficience programmatique et financière - Cohérence interne et externe Résultats de développement: - Durabilité & Impact - Bonnes pratiques - Leçons La chaîne des résultats : de quoi s’agit-il ? => c une Représentation de la séquence d’événements qui commence avec l’attribution de ressources permettant la réalisation d’activités qui génèrent des biens et services, les extrants de l’intervention, qui, à leur tour, suscitent des changements pour les clientèles ciblées des actions, c’est-à-dire des effets - La chaîne des résultats est constituée des éléments de base pour l'élaboration de la théorie du changement d’une intervention et son évaluation. - La chaine de résultats forme la charpente des modèles logiques qui proposent aux parties prenantes des interventions une vue d’ensemble des événements liant les besoins en ressources et les résultats anticipés des actions En conclusion Synthèse sur les approches d’évaluation - Méconnaissance des approches. - Sous-utilisation des différentes approches théoriques par les évaluateurs. - Forte influence des approches d’évaluation en contexte culturel nord- américain qui se mondialise depuis 2000. - Pluralité des approches et recherche de la rigueur et de la crédibilité. - Evolution vers des approches d’évaluation axées sur les changements transformationnels à l’échelle des sociétés et même à l’échelle de la planète ; - Exigence de comparaison implique une normalisation des approches d’évaluation (cas du GEF). - Hybridation des approches. o Liens entre la théorie et la pratique difficiles à établir. - La nécessaire approche fondée sur les droits de l’homme et l’intégration des problématiques relatives au genre, l’équité et l’égalité. COURS RES609 - 2024 Cas pratique de l’utilisation de l’approche d’évaluation Exemple de l’arganier check slides de la senace 2 page 55 Séance 3: 24/09/2024 Cours: Suite du cours de la séance dernière: texte Thomas DELAHAIS avec l’Exercice : se familiariser avec approches évaluatives => check partie de Lecture : le choix des approches évaluatives de la seance derniere Evaluation finale du projet: termes de reference => document important pour l'évaluation prodoc d’un projet => tableau de bord => les conditions nécessaires au démarrage effectif de la mise en œuvre des objectifs du Programme et au suivi de l'implémentation des projets, Cours de cette séance: Introduction aux méthodes qualitatives Balisage conceptuel: Concept clé: - donnée=> informations, observations, etc. ⇒ elles sont ollectées, traités, analysées et interprétées. ⇒ pour repondre aux qsts de recherche ou d’evaluation - donnée probantes => est un fait ou une donnée utilisé, ou qui pourrait etre utilisée, afin de prendre une décision, prononcer un jugement ou résoudre un problème. elles sont au coeur de l'élaboration des politiques publiques à des fins de prise de décisions.  elle peuvent aider les décideurs à comprendre ce qui fonctionne, ou pourquoi et pour qui. selon l’UNEG , c est une exigence d’avoir des données probantes => une evalution doit fournir, a partir d’elements demontrables, des renseignements crédible et utilies, qui permettent d'intégrer en temps voulu les conclusionsm recommandations et enseignements dans le processus décisionnel des organisations et des parties prenantes. difference entre quanti et quali => donnée quanti => s’expriment sous formes numériques tel que statistiques, taux , ratio … => donnée quali => ne s’expriment pas sous formes numériques tel que discours, description, recits… Un autre langage et le langage du changement qui vient à la place du langage d’action - langage d’action : activité, achèvement des activités - langage de changement : changements, critère precis du definition du changement, et dans le cas de changement en s’interesse plus sur les resultat plus que la maniere de l’obtenir resultats que sur la manière de les atteindre. => exemple 1 pour demontrer du langage d’action et du changement - langage d’action : améliorer la connaissance du code de la famille et promouvoir son application - langage de changement : Les femmes connaissent leurs droits et les voies de recours à leurs dispositions, et sont protégées légalement. => exemple 2 pour demontrer du langage d’action et du changement - langage d’action => Promouvoir la survie de l'enfant, son développement développement physique et psychologique - langage de changement => Les jeunes enfants sont vivants, en bonne santé, bien nourris et des apprenants actifs. les liens entre resultat et changement : => le resultat est un changement et le changement est une transformation changement transformationnelle Un énoncé́ de RÉSULTAT DÉCRIT UN CHANGEMENT SPÉCIFIQUE qu’une politique, un programme ou un projet est censé réaliser ou auquel il contribue (...). LE CHANGEMENT Transformation tangible au sein d’un: - Groupe ; - Organisation ; - Societé ; - Pays. les trois niveaux de résultats , trois types de changement: - resultat immediat => on est dans l’operationel, changement operationnel - resultat intermediaire => changement comportemental, institutionnel, et organisationnel - resultat ultime (impact) => changement d’etat durable de ceux qui benificent d’une intervention (beneficiares finaux) et c humain. Types de changement: - changement durable => changement d’etat des bénéficiaires finaux (conditions de vie, bien-être, santé, scolarisation, etc.).  - changement comportemental => Changement comportemental qui concerne des éléments du comportement à travers la formation, l’apprentissage, la sensibilisation, le plaidoyer, le renforcement des capacités des individus. - changement organisationnel => changement au niveau des organisations publiques ou non publiques à travers la transformation de leurs modes de fonctionnement, leurs structures, des méthodes de travail, leurs performances, etc. - changement institutionnel => Changement institutionnel concerne les conditions favorisant la durabilité institutionnelle et la gouvernance à travers le leadership et la responsabilité, l’appropriation des politiques publiques et leur mise en œuvre, les capacités institutionnelles et professionnelles appropriées, etc. exemple : education parentale Pourquoi privilégier les méthodes mixtes : Michael Bamberger => Les méthodes mixtes (MM) cherchent à INTÉGRER les disciplines des sciences sociales avec des approches principalement quantitatives (QUANT) et principalement qualitatives (QUAL) de LA THÉORIE, DE LA COLLECTE DES DONNÉES, DE L'ANALYSE ET DE L'INTERPRÉTATION DES DONNÉES Les avantages des méthodes mixtes en RECHERCHE en ÉVALUATION Une compréhension plus complète du phénomène étudié grâce à : - (1) La collecte des données quantitatives et qualitatives, ce qui permet d'obtenir une compréhension plus complète du phénomène étudié. - (2) Les données quantitatives peuvent fournir des informations sur les tendances et les relations. - (3) Les données qualitatives peuvent fournir des informations sur les expériences et les perspectives des participants. Une plus grande robustesse des résultats : - (1) Aider à réduire le biais et à améliorer la robustesse des résultats. - (2) Les données quantitatives peuvent être utilisées pour vérifier les résultats des données qualitatives.  - (3) Les données qualitatives peuvent être utilisées pour fournir des explications et des nuances aux résultats des données quantitatives. Une plus grande applicabilité : - (1) Les MM sont applicables à un large éventail de questions de recherche. - (2) Utilisation pour répondre à des questions descriptives, explicatives, exploratoires ou évaluatives Quand et comment utiliser les méthodes qualitatives en contexte d'évaluation? Phase conceptuelle et méthodologique de l’évaluation Phase I Cette première phase est la première phase du processus d’évaluation comprenant : - Activités du de démarrage du mandat : première réunion de cadrage avec le commanditaire, entretiens pilotes clés, documentation, évaluabilité, etc.). - Activité de cadrage méthodologique : approche méthodologique. - Activités de conception des méthodes, outils et techniques de collecte et d’analyse des données. - Activité de mise au point de la matrice d’évaluation. - Activité de préparation de la logistique de la deuxième phase du processus d’évaluation (collecte des données sur le terrain - Activités de la production et la validation du rapport initial (Inception Report) Cours: Stratégie de collecte des données: Les méthodes qualitatives : de quoi s’agit-il ? Focus sur les méthodes, outils et techniques utilisés: Méthodes de collecte de données: - Revue documentaire structuré - Entretiens ou entrevues - observations sur le terrain  - Entretiens ou entrevues - Enquetes et sondages - Groupe de discussion Revue documentaire structurée - Evaluation Brève description => La revue documentaire structurée est une technique d’organisation des données documentaires existantes sur l’intervention objet de l’évaluation. Principales étapes => 1. Établir des règles pour identifier les sources pertinentes pour la revue ; 2. Établir des règles plus strictes pour déterminer quelles sources incluses dans la revue ; 3. Établir des règles pour guider l'extraction d'informations des sources ; 4. Établir des règles pour synthétiser les informations extraites Avantages & Inconvénient => - Premier avantage est l’organisation, la structuration et la synthèse des données documentaires. - Autre avantage, le plus évident est qu’elle constitue une bonne base pour la collecte de données primaires sur l’intervention. - Le principal défaut de l'analyse documentaire structurée est le temps nécessaire pour la réaliser en fonction de l'ampleur des données existantes sur l’intervention Revue documentaire - Recherche GRILLE D’ANALYSE DES DOCUMENTS => (livres, articles, rapports scientifiques) Check exemple slides Entretien qualitatif: Brève description=> L’entretien qualitatif est une méthode de collecte des données sur un sujet spécifique. => En matière d'évaluation, les entretiens sont conduits pour cerner l’expérience et les attentes du personnel, des parties prenantes ou autres personnes ressources qualifiées. Types d’entretiens => - Entretien structuré (directif) Le plus répandu – Utilisé dans les enquêtes – Ordre et formulation prédéfinis – Données standardisées et comparables. ⇒ Utilisé dans les enquêtes quantitatives. o Outil de l’enquête : questionnaire. o Questions ou items prédéfinis. o Données standardisées et comparables. o De plus en plus d’enquêtes en ligne ⇒ Enquête par questionnaire composé principalement de questions fermées avec le choix de réponses préétablies adressées à un échantillon spécifique de répondants ⇒ Types d’enquête 1. Enquête transversale : collecte des données auprès d'un échantillon à un moment donné. 2. Enquête longitudinale : collecte des données auprès d'un échantillon à différents moments dans le temps ⇒ Etapes 1. Clarifier l’objectif de l’enquête. 2. Identifier les questions primordiales auxquelles l’enquête doit répondre. 3. Définir la population de référence et l’échantillon correspondants de répondants. 4. Elaborer le questionnaire. 5.  Administrer l’enquête à l’échantillon spécifié. 6. Saisir les données de l’enquête et épuration des données. 7. Analyser et présenter des résultats ⇒ Avantages 1. Collecter des données comparables pour un grand nombre de personnes (et dans le temps). 2. Collecter des données généralisables sur une période relativement courte. ⇒ Limites o Limite des analyses quantitatives relatives aux nuances plus profondes et plus fines des expériences des répondants. o Biais lié à la formulation des questions et son influence sur les résultats des enquêtes. ⇒ check protocole sur slides - Entretien semi-structuré (semi- directif) Liste de questions spécifiques – Durée limitée. ⇒ Très largement utilisé en recherche et en évaluation. Entretien semi-directif. Liste de questions spécifiques sur un phénomène social. Durée limitée : 40-60 mn. Dégager du sens ⇒ CHeck le protocole sur slides - Entretien exploratoire Nombre limité à 3 questions – Caractère exploratoire – Administré à un nombre limité de personnes. ⇒ Administré à un nombre limité de personnes ressources qualifiées et décideurs. Nombre limité à 3-5 questions clés Caractère exploratoire sur des questions d’ordre stratégique : attentes, utilisation, réplication de l’intervention - Entretien non structuré Peu utilisé en évaluation. Forme : dialogue et pas seulement un transfert d’information. Histoire ou récit de vie par exemple. Nombre réduit des questions. Conversation ouverte pour générer des données qualitatives Principales étapes - 1. Définir le thème général de l’entretien ; - 2. Identifier les informateurs clés ; - 3. Elaborer le/les protocole-s de l’entretien ; - 4. Tester le protocole d‘entretien, le tester et ajuster le contenu ; - 5. Former les enquêteurs et les superviseurs ; - 6. Organiser et conduire les entretiens (en face-face, à distance ou téléphonique) ; et - 7. Traiter et analyse des données collectées Avantages => - o Pertinence pour la collecte des données contextualisées et détaillées. - o Adaptation des questions aux profils des informateurs clés. - o En évaluation, appréciation du vécu des activités, produits et résultats de l’intervention. Limites => - o Le temps requis pour la préparation, l’organisation, la conduite, la transcription et l’analyse des données  - o Principale faiblesse est le temps dédié à la réalisation des entretiens en contexte d’évaluation. - o Autre limite, les ressources pour réaliser les entretiens. - o Biais de la synthèse des entretiens : mémoire sélective, perte d’information, perte d’éléments de contexte, etc. Conseils pratiques => - o Lien de confiance entre l’intervieweur et les informateurs clés. - - o Transcription et analyse des données qualitatives au moyen de logiciels. - o Saturation des données : diversifier les entretiens au point que toute nouvelle donnée n’apporte aucun élément nouveau à la compréhension du phénomène étudié Groupe de discussion thématique : Focus Group Brève description=> Il s’agit de discussion de groupe avec des questions ouvertes sur un ou plusieurs thèmes spécifiques. - But : Générer des données sur le thème mis en discussion. - Focus : Opinions – Perceptions – Points de vue différents – Perspectives. - Format : groupes homogènes de 5 à 10 personnes Principales étapes => - 1. Définir le thème principal du groupe de discussion ; - 2. Identifier les participants.es ; - 3. Elaborer le/les protocole-s de discussion (questions) ; - 4. Former l’animateur sur le thème, les questions et les modalités d’animation ; - 5. Organiser et animer ; et 6. Traiter et analyse des données collectées Avantages => - Facilité de la mise en place d’un groupe de discussion. - o Souplesse dans la formulation des questions en vue de créer une dynamique positive de discussion. - o Atout majeur : interactivité du groupe en mesure de générer des idées nouvelles ou/et de bonnes pratiques. Limites => - o Dynamique de groupe inégale, influencé par un participant affirmatif. - o Alignement sur les seuls aspects positifs de l’intervention. Observation directe sur le terrain=> Brève description=> L’observation sur le terrain est une méthode d’enquête par laquelle on observe directement, par la présence sur le terrain un phénomène ou une intervention qu’on cherche à étudier. Type d’observation: L’observation structurée => Selon des règles clairement définies et un schéma d’observation. o Les personnes concernées sont informées. o Utilisation d’un formulaire pour enregistrer ce que l’on observe. L’observation non structurée => o Collecte des données in situ sans schéma d’observation. o Les personnes concernées sont informées. o Enregistrement des conversations de plus en plus fréquente. o Utilisation des photographies pour étayer les messages clés de l’observation. L’observation participante => o Elle renvoie à des situations où le chercheur ou l’évaluateur prend part aux activités qu'il observe. o Les personnes concernées sont  informées. o Mobilisation des parties prenantes clés (bénéficiaires finaux et autres acteurs clés). o Prise en charge partagée de l’observation et de ses résultats. L’observation non participante => o L’identité de l’observateur n’est pas connue par les individus observés. o Les personnes concernées ne sont pas informées. o Difficile à mettre en application (éthique : consentement et anonymat) Etapes: de Observation directe sur le terrain 1. Définition de la/les cible, les sites. 2. Choix du type d’observation. 3. Préparation du terrain de l’observation. 4. Repérage préalable du terrain. 5. Conception du schéma d’observation, particulièrement dans le cas de l’observation structurée. 6. Préparation du matériel de l’observation. Avantages=> - Observations des comportements et des lieux. - o Collecte de données en temps réel et de façon directe. - o Diversification des sources des données Limites => - Difficulté de planifier à l’avance de ce qui sera observé. - o Le comportement des groupes observés peut poser problème. (changement imprévisible) Enquête Brève description=> Enquête par questionnaire composé principalement de questions fermées avec le choix de réponses préétablies adressées à un échantillon spécifique de répondants Types d’enquête - 1. Enquêtes transversales : collecte des données auprès d'un échantillon à un moment donné. - 2. Enquêtes longitudinales : collecte des données auprès d'un échantillon à différents moments dans le temps Etapes - 1. Clarifier l’objectif de l’enquête - 2. Identifier les questions primordiales auxquelles l’enquête doit répondre. - 3. Définir la population de référence et l’échantillon correspondants de répondants. - 4. Elaborer le questionnaire. - 5. Administrer l’enquête à l’échantillon spécifié. - 6. Saisir les données de l’enquête et épuration des données. - 7. Analyser et présenter des résultats Avantages - 1. Collecter des données comparables pour un grand nombre de personnes (et dans le temps). - 2. Collecter des données généralisables sur une période relativement courte Limites - o Limite des analyses quantitatives relatives aux nuances plus profondes et plus fines des expériences des répondants. - Biais lié à la formulation des questions et son influence sur les résultats des enquêtes.