2024 Support de cours Suivi et évaluation Dr Guillaume KOUASSI.ppt

Master Professionnel en « Economie de la Santé » (M2ES) COURS SUIVI ET EVALUATION DES PROGRAMMES DE SANTE Présen...

Master Professionnel en « Economie de la Santé » (M2ES) COURS SUIVI ET EVALUATION DES PROGRAMMES DE SANTE Présenté par : Dr Guillaume KOUASSI, Enseignant-chercheur, Maître-assistant, UFR-SEG UAO 0709578681, [email protected]  Présentation du cours Le suivi et l’évaluation des activités d’un projet ou d’un programme sont essentiels pour juger de la progression réalisée en direction des objectifs et des résultats. La gestion de projet devant répondre au triptyque coût-délais-qualité, l’évaluation fait partie intégrante de la gestion de projet afin de statuer sur la réussite ou non de celui-ci. Le suivi est bien plus que la simple collecte de l’information sur le projet. C’est l’évaluation systématique et continue du progrès dans le temps par la collecte et l’analyse de l’information et l’utilisation de cette information pour améliorer le travail au sein du projet et/ou du programme  Objectifs  Utiliser les principes et les méthodes de suivi-évaluation en tant qu’instrument et outil de pilotage des projets et programmes de santé singulièrement. s’approprier les fondamentaux du Suivi & Evaluation ; appréhender les différentes méthodologies de Suivi & Evaluation ;  mettre en place une ébauche de système de suivi et d’évaluation  PROBLÉMATIQUE Cet instrument doit s’intégrer dans les procédures organisationnelles du projet. Qu’est-ce qu’un suivi-évaluation et quel est son but, quelle est la différence entre un suivi et une évaluation ? Quels sont les approches, indicateurs et outils de suivi ? Qu’est ce qu’une évaluation, ses approches et ses outils ? Comment mettre en place un système de suivi-évaluation ? INTRODUCTION L'un des principaux défis de la mise en œuvre d'un programme est sa capacité à atteindre les objectifs et à générer l'impact attendu. Dans cette perspective, les cadres de suivi et évaluation de Programme sont essentiels. Il ne s'agit pas de simples listes de contrôle ou d'énumérations d'activités, mais bien de la représentation intégrale d'un programme, illustrant sa structure, ses actions et les résultats attendus. Ces cadres guident la réalisation du programme, en mettant en avant les étapes clés, le fonctionnement attendu, et l'ordonnancement des activités pour réaliser les objectifs. L’élaboration des projets et de politiques publiques implique un processus décisionnel continu qui comprend entre autres l’allocation de budgets, la modification, l’abandon ou l’élargissement de certains programmes ou projets, la conception et la mise en œuvre de nouveaux programmes ou programmes. Toute prise de décision est fondée sur une forme d’évaluation, qui peut être basée aussi bien sur des expériences passées ou le jugement personnel que sur une analyse rigoureuse et systématique d’évidence empirique. Pour cela l’on a recours à des outils tels que le suivi-évaluation. Les outils de Suivi -Evaluation renvoient à la collecte systématique et à l’analyse rigoureuse de l’information disponible pour fournir aux décideurs publics une base empirique pertinente pour l’élaboration de politiques publiques. Le suivi-évaluation est un système d'information et un outil d'aide à la décision constitué d'acteurs, de données dont la production, l'organisation et la circulation sont régies par des procédures, et qui s'inscrit dans le processus de gestion des projets et programmes. Le suivi évaluation est une discipline récente qui gagne de plus en plus en importance dans la gestion des projets et programmes (Neu, 2001). L’instrument de Suivi-Evaluation (S&E) dans la gestion des processus d’exécution concerne les affaires internes d’un projet. Comme les projets interviennent dans des situations socio- économiques complexes, qui sont elles-mêmes dynamiques, un plan de projet ne peut jamais prévoir avec exactitude une situation future souhaitée. Il faut donc un instrument qui fournit des informations structurées et continues sur la performance d’un projet, à tout moment. Il faut en conséquence, surveiller continuellement l’exécution du projet et l’adapter à la réalité dynamique. Le Suivi-Evaluation doit fournir des renseignements pour tous les décideurs qui ont un rôle dans le projet : les gestionnaires, le personnel, et aussi les organisations de coopération et les groupes cibles. Le S&E est un moyen de soutenir le processus d’apprentissage continu de l’équipe de projet pendant l’exécution de celui-ci. Cet instrument doit s’intégrer dans les procédures organisationnelles du projet. Il est devenu au fil du temps une des préoccupations majeures des organisations. Son importance s'est accrue au fil du temps, on s'est rendu compte qu'il pouvait être un outil de progrès non seulement pour le projet en cours de réalisation, mais aussi pour ceux à réaliser dans l'avenir. C'est ainsi que dans la majorité des organisations, les chercheurs ce sont attelés à identifier les méthodes et outils qui pouvaient permettre au suivi évaluation du projet de contribuer efficacement à l'atteinte des résultats.  Qu’est-ce qu’un suivi-évaluation et quel est son but, quelle est la différence entre un suivi et une évaluation ? Quels sont les approches, indicateurs et outils de suivi ? Qu’est ce qu’une évaluation, ses approches et ses outils ? Comment mettre en place un système de suivi-évaluation ?  I. DÉFINITIONS ET CONCEPTS Cette première partie présente les définitions et les concepts qui constituent la base d’un dispositif de suivi-évaluation performant dans les projets et programmes. Bien que les termes « suivi et évaluation » tendent à être utilisés ensemble, comme s’il ne s’agissait que d’une seule et même chose, le suivi et l’évaluation sont en fait deux séries bien distinctes d’activités organisationnelles, reliées, mais non identiques Lorsque l’on parle de suivi- évaluation, il s’agit vraiment de deux éléments distincts mais complémentaires : 1. LE SUIVI ET L’ÉVALUATION a- Le suivi Processus systématisé, sur toute la durée du projet, de collecte d’informations sur les activités d’un projet, qui se déroule parallèlement à l’exécution de celui-ci. Le suivi permet d’avoir des informations sur le déroulement du projet, en relation avec la planification : il s’intéresse aux activités elles-mêmes, et aux résultats escomptés des activités. Il porte généralement sur les processus, notamment sur le moment et le lieu où se déroulent les activités, les auteurs des activités et le nombre de gens ou d’entités atteints par celles-ci. Le suivi est entrepris une fois que le programme a démarré et se poursuit tout au long de la période d’exécution du programme. Il est parfois dénommé « évaluation du processus », évaluation des performances » ou « évaluation formative ». b- L’évaluation Activité ponctuelle d’appréciation (quantitative ou qualitative) de l’atteinte des objectifs spécifiques et de l’objectif général du projet. Elle s’intéresse aux effets et à l’impact du projet, mais aussi à son déroulement, si celui-ci est favorable ou perçu comme un obstacle pour l’obtention d’un impact positif. L’évaluation utilise les données du suivi comme intrant. L’évaluation est l’appréciation systématique d’une activité, d’un projet, d’un programme, d’une stratégie, d’une politique, d’un sujet, d’un thème, d’un secteur, d’un domaine opérationnel ou des performances d’une institution. Elle porte sur les accomplissements escomptés et réalisés et examine la chaîne des résultats (intrants, activités, extrants, effets et impacts), les processus, les facteurs contextuels et les rapports de cause à effet afin de comprendre les accomplissements ou le manque d’accomplissements. L’évaluation vise à déterminer la pertinence, l’impact, l’efficacité, l’efficience et la durabilité des interventions et les contributions de l’intervention aux résultats obtenus. L’évaluation doit fournir des informations factuelles qui soient crédibles, fiables et utiles. Les constats, recommandations et enseignements d’une évaluation doivent être utilisés pour informer les processus décisionnels subséquents concernant le programme considéré. Le suivi et évaluation des initiatives relatives à la lutte contre violence à l’égard des femmes et des filles se situent à plusieurs niveaux distincts, selon les buts et les objectifs du programme et la portée des activités et des stratégies conçues ou exécutées. Le Suivi est :L’évaluation est : Une démarche Une photo Un dispositif Un diagnostic outillé Une mesure Une continue appréciation Un outil de Une aide à la gestion au décision quotidien 2. RÉSULTATS, EFFETS ET IMPACT a- Résultats ou Extrants Ce sont les changements qualitatifs et quantitatifs dans la vie des familles des “bénéficiaires”, produits directement par l’action et les activités mises en œuvre. Exemple: 320 familles, situées en bout de canal, peuvent compter sur l’eau d’irrigation tous les 15 jours, grâce à la réhabilitation physique du système et la définition d’un nouveau tour d’eau. b- Effets Ce sont les incidences de l’action sur le milieu physique et humain environnant. Les effets conjuguent différents résultats de l’action et autres dynamiques ou contraintes provenant du milieu dans lequel se déroule l’action. Ils couvrent un champ plus large que celui de l’action programmée. Exemple: Près de 650 familles ont pu améliorer leurs revenus d’au moins 25% par l’introduction de nouvelles cultures sous irrigation (avocats, fruits), grâce à la possibilité d’irrigation continue et assurée tous les 15 jours et d’un marché urbain proche où les producteurs peuvent écouler leurs productions. c- Impact C’est l’ensemble des changements significatifs, positifs ou négatifs, attendus ou inattendus intervenant dans la vie des populations, suite à une action ou une série d’actions (Roche, 1999). Ces changements peuvent être d’ordre social, économique ou écologique. Il est possible d’observer des impacts au-delà de la finalisation d’un projet. Exemple: Une régression de l’immigration de la population, avec une réinstallation progressive de jeunes agriculteurs, suite à réhabilitation des systèmes d’irrigation et du développement des filières de commercialisation des nouveaux produits, avec un bon accueil sur les marchés locaux. A la fin de l’action, l’ensemble des effets susceptibles de contribuer à son impact : concerne une population plus large que le public cible de l’action, couvre des domaines d’activités plus nombreux que ceux prévus au départ. L’utilisation du mot impact, au pluriel, provient de la confusion entre “effet” et “impact”. De nombreux effets sont souvent improprement désignés comme “impacts”. Il n’y a qu’un impact, celui de la situation nouvelle analysée dans sa globalité. 3. LE CADRE LOGIQUE Le cadre logique (CaLo) est un document qui donne un aperçu complet des objectifs, des activités et des ressources d'un projet. Il fournit également des informations sur des éléments externes qui peuvent influer le projet, qu'on appelle des hypothèses. Enfin, il donne une idée de comment le projet sera suivi, à travers l'utilisation d'indicateurs. Toutes ces informations sont présentées dans une matrice à quatre colonnes et quatre rangées - bien que des variations sur ce schéma de base existent. Le cadre logique est un outil de planification qui, lors de la formulation du projet, résume les informations pertinentes sur le projet et permet de mettre en cohérence les différents aspects : logique d’intervention / moyens de vérification des résultats / moyens et coûts à mettre œuvre / hypothèses sur le contexte du projet. Le cadre logique se présente sous forme de matrice. Cette matrice permet de structurer le contenu d’un projet / programme de manière complète et compréhensible pour tous. Elle comporte 4 colonnes et 4 rangées  La logique verticale identifie ce que le projet vise à réaliser, clarifie les liens de causalité et spécifie les hypothèses et incertitudes importantes qui échappent au contrôle du gestionnaire de projet. La première colonne de la matrice 4x4 montre la logique du projet (qu'on appelle également la logique d'intervention) - d'où vient le nom du cadre logique. Sur la rangée du bas, vous trouverez les activités du projet. Lorsque les activités sont terminées, nous espérons qu'ils mènent à des résultats tangibles. L'ensemble des résultats contribue à atteindre l'objectif spécifique du projet. C'est la principale raison pour laquelle le projet a été conçu; il s'agit du problème central que vous souhaitez résoudre. Dans un contexte plus large, l'objectif spécifique du projet aidera à atteindre un ou plusieurs objectifs généraux, que vous trouvez dans la rangée en haut. Le terme "logique du projet" signifie qu'une chose mène vers une autre :  les activités conduisent à des résultats tangibles ; les résultats (parfois appelés "sorties" ou "extrants" mènent à l'objectif spécifique du projet; l'objectif spécifique contribue à une ou plusieurs objectifs généraux. Mais il y a une autre dimension qui joue: le temps. D'abord nous faisons des activités qui assez rapidement (en principe dès qu'elles sont terminées) produisent des résultats. La réalisation de l'objectif spécifique prend plus de temps; on attend sa réalisations vers la fin du projet. Les effets ou l'impact du projet est quelque chose que nous pouvons généralement observer après beaucoup plus de temps.  La logique horizontale concerne la mesure des effets et résultats du projet, et les ressources qu’il a mobilisées, en identifiant des indicateurs clés, et les sources qui permettent de les vérifier. Cette première colonne avec la logique du projet liste les choses qui sont sous notre contrôle - c'est-à-dire qui sont plus ou moins sous le contrôle du projet, en particulier en ce qui concerne les objectifs spécifiques et généraux. Quand on saute directement à la dernière colonne, vous voyez les choses qui ne sont pas directement sous le contrôle du projet, mais qui peuvent toutefois influencer sa réalisation dans un sens positif ou d'une manière négative. Ceux-ci s'appellent des hypothèses et elles sont listées dans la quatrième colonne. Nous parlons d'hypothèses, parce que quand nous décrivons la logique du projet dans la première colonne, c'est sous l'hypothèse qu'il n'y aura pas de problèmes. Mais hélas, en général ce n'est qu'un beau rêve. Nous devons donc prendre des précautions pour faire face à ces risques et hypothèses. La relation entre la première et la quatrième colonne est la suivante: oQuand nous faisons nos activités, si les hypothèses s'avèrent, nous atteindrons les résultats attendus; oLorsque les résultats sont atteints, et nos hypothèses s'avèrent, nous réaliserons l'objectif spécifique du projet; oLorsque l'objectif spécifique du projet est atteint, et nos hypothèses s'avèrent, notre projet contribuera aux objectifs généraux. Pour vous assurer que les choses se passent comme prévu et que la réalisation du projet n'est pas perturbé par les risques potentiels et les hypothèses que nous avons identifiés, il est nécessaire de mettre en place un système de suivi du progrès et des résultats. L'élément central de ce système sont les indicateurs, qu'on retrouve dans la deuxième colonne. Un indicateur est une pièce d'information qui nous donne une idée (plutôt précis) du progrès des activités (un indicateur de processus) ou des résultats obtenus (indicateur de résultat). Par exemple, si vous voulez voir si les gens sont bien nourris (ou sous-alimentées), vous pouvez suivre leur consommation quotidienne exprimée en calories. Il y a beaucoup plus de dimensions liés au problème de malnutrition que l'apport calorique seulement, mais ce chiffre peut vous donner une bonne idée de comment la situation des gens progresse. Mais vous pouvez aussi combiner plusieurs indicateurs pour obtenir une image plus complète , par exemple pour le suivi de la qualité et de la diversité des repas des gens. Il y a beaucoup plus à dire au sujet des indicateurs; le suivi des projets est un art et une science. Malheureusement, c'est souvent la cause de beaucoup de malheur et du chagrin lors de la conception d'un cadre logique. Enfin, la troisième colonne contient les sources de vérification. Elles décrivent où vous pouvez trouver l'information nécessaire pour chaque indicateur. Est-ce que vous allez mesurer les choses vous- même ou est-ce que quelqu'un d'autre le fera pour vous? Est-ce que l'information est facilement disponible dans des rapports ou des statistiques provenant de sources externes? Le cadre logique est un outil qui est utilisé dans de nombreuses approches différentes. Il peut être utilisé pour planifier des projets individuels. Il peut également être employé comme un outil de planification, de suivi et d'évaluation des programmes plus complexes composés de plusieurs actions individuelles. Et il peut servir comme outil dans une approche de gestion d'une organisation - donc non seulement pour des projets individuels. Il peut être une clause d'un contrat de subvention. En raison de ces différents rôles et des attentes différentes par les parties impliquées au projet, les cadres logiques ont parfois tendance à devenir trop complexe. Le cadre logique est un outil dynamique qu’il faut réévaluer et réviser au cours de la mise en œuvre du projet en fonction de l’évolution de la situation. Quelques exemples de cadres logiques 4. LES INDICATEURS Les indicateurs sont des descriptions opérationnelles des objectifs et des résultats de l’intervention. Ils décrivent les objectifs du projet en termes de quantité, de qualité, de groupe(s) cible(s), de temps et de localisation (Source : Union Européenne) L’indicateur ou IOV (Indicateur Objectivement Vérifiable) doit pouvoir être précisément décrit et mesuré, de manière quantitative et/ou qualitative, au début du projet (situation de référence), en cours et/ou à la fin du projet. Un bon indicateur doit être «SMART», répondant à 5 critères : Spécifique : cible clairement ce que l’on est supposé mesurer Mesurable : (ou objectivement observable): en termes de quantité et/ou qualité Accessible : qu’il est possible de mesurer avec des moyens et à un coût acceptable Raisonnable : pertinent au projet et exploitable pour les besoins des utilisateurs Temporel : valable dans le temps du projet Exemples d’objectifs: Taux de perte d’eau d’un canal d’irrigation (valeur initiale : 60% ; valeur final du projet 10 %). A la fin du projet : le Revenu brut annuel familial augmente (valeur cible 15%). Formulation des indicateurs de résultat et d’effets A partir de l’objectif général et l’objectif spécifique, on formule des indicateurs d’EFFETS Pour chacun des résultats attendus on définit des indicateurs de RESULTATS A partir des activités annoncées, on construit un Plan Opérationnel Annuel (POA) et des procédures de SUIVI DES ACTIVITES (indicateurs d’activités ou de réalisations) II. LA NOTION DE PROJET ET SES CARACTERISTIQUES Rappel: Qu’est-ce qu’un programme ? En gestion de projet, un programme est un ensemble de projets ou de sous-projets, dépendants les uns des autres, qui contribuent à atteindre un même objectif. Ces projets sont en lien les uns avec les autres, et gérés de manière coordonnée afin d’obtenir des bénéfices qui ne pourraient pas être obtenus si chaque projet était géré individuellement. Les différents projets composant un programme sont organisés de façon transversale dans une entreprise, c’est-à- dire que différents services collaborent ensemble à leur réalisation. En général, les programmes se focalisent sur l’atteinte de l’objectif global de l’entreprise, ou d’objectifs organisationnels ou techniques. Ils peuvent donc être mis en place dans la durée, et s’ils ont une date de début, ils n’ont pas toujours une date de fin. Par exemple, la construction d’un lotissement est un programme où chaque parcelle, chaque maison est un projet. Autre exemple, si votre entreprise souhaite augmenter son chiffre d’affaires, acquérir de nouveaux clients et fidéliser ses clients actuels, elle va devoir mettre en place une politique commerciale qui implique l’ensemble des services : marketing, vente, service client, ressources humaines, production, etc., et qui s’étale dans le temps. Pour vous aider à mieux distinguer un projet d’un programme, voici les différences et les similitudes entre les deux. L’objectif d’un programme est de coordonner toutes les activités impliquées dans une démarche de changement, en fonction de la stratégie de l’entreprise. Un programme réussi améliore le changement en gérant, contrôlant et coordonnant la mise en œuvre d’une série de projets qui partagent les mêmes objectifs en matière de résultats et d’avantages. Le changement s’obtient principalement par le biais de projets, mais la gestion de programme et la gestion de projet sont bien distinguées. En effet, un programme peut inclure des projets mis en œuvre dans différents domaines d’activité, il peut s’agir d’un programme autonome ou d’un programme faisant partie d’un portefeuille. Par conséquent, gérer un programme comme un énorme projet est une grosse erreur. Voici deux caractéristiques fondamentales d’un programme : il doit remplir un ou plusieurs objectifs stratégiques l’accent est mis sur le changement, lorsque le changement se réalise, le programme doit être considéré comme clos.  Quelle est la différence entre un Projet et un Programme La différence entre un projet et un programme n’est pas dans la longueur: le concept clé est qu’un projet se concentre sur la réalisation d’un résultat spécifique tandis qu’un programme peut fournir des résultats continus et des bénéfices d’importance stratégique pour l’entreprise. On dénombre plusieurs points sur lesquels un programme et un projet sont différents: La structure : un projet est clairement défini avec un périmètre et des objectifs précis alors qu’un programme tend à avoir des contours plus incertains à cause de la multitude de projets dont il se compose. L’équipe qui travaille sur un programme est plus importante car elle se compose de tous les chefs de projet et leurs équipes projet.  L’effort : un projet ne demande qu’un effort simple et concentré pour atteindre un objectif spécifique. Un programme est un ensemble de projets qui sont complémentaires et dont chacun participe à l’atteinte de l’objectif global du programme. Ce dernier nécessite donc un plus gros effort de gestion et une plus grande concentration pour s’assurer que la planification du programme prend en compte les contraintes spécifiques de chaque projet, et que la progression du programme se déroule sans encombre et sans redondance.  La durée : la durée d’un projet peut varier, mais il est rare qu’il dure plusieurs années. Les programmes tendent à être plus longs que les projets car ils dépendent de la durée des différents projets qui les composent, ceux-ci ne démarrant et ne terminant pas forcément en même temps. De plus, un programme fournira un plus grand nombre de livrables, ce qui nécessite plus de temps. Enfin, du fait de leur longueur, les programmes sont généralement divisés en plusieurs phases qui s’étalent dans le temps, ce qui est rarement le cas des projets.  Le changement : Le chef de projet est préparé au changement et met en place des processus pour s’assurer que les changements sont bien gérés et ne nuisent pas au déroulement du projet. Le chef de programme accepte et s’adapte au changement afin d’optimiser la livraison des bénéfices.  Les bénéfices : l’objectif d’un projet est de fournir un livrable à la fin (un produit ou un service) comme un nouveau logiciel ou une maison, c’est-à-dire quelque chose de tangible. Un programme vise à atteindre un résultat, un aboutissement, quelque chose qui n’est pas forcément tangible comme l’augmentation de la satisfaction des clients, une diminution du turnover ou un changement de culture dans l’entreprise. L’ensemble des livrables de tous les projets (produits et/ou services) contribue à atteindre le résultat du programme.  Le succès : l’efficacité et le succès d’un projet se mesurent par la qualité des livrables, le respect des délais, le maintien du budget et la satisfaction du client, mais aussi grâce à différents indicateurs. La réussite d’un programme est évaluée par sa capacité à fournir à l’entreprise les résultats et les bénéfices attendus. Similitudes entre projet et programme Cependant, les projets et les programmes ont également des points communs. Ils sont temporaires : même si un programme est plus long qu’un projet, tous deux sont réalisés afin d’atteindre un objectif précis. Une fois cet objectif accompli, ils prennent fin. C’est aussi ce qui les rend intéressant : ainsi, vous ne vous lassez pas de votre travail et vous pouvez relever de nombreux défis en travaillant sur plusieurs programmes et projets tout au long de votre carrière.  Ils apportent de la valeur ajoutée: un projet ou un programme n’est lancé que si l’entreprise est certaine d’en tirer un bénéfice, quel qu’il soit (financier, en matière d’image, etc.). Il n’y a clairement aucun intérêt à perdre du temps et de l’argent en travaillant sur un projet ou un programme futile, qui ne rapporte rien à l’entreprise.  Ils sont en accord avec la stratégie globale de l’entreprise : tous les projets et les programmes réalisés au sein d’une organisation doivent être en accord avec sa stratégie globale et contribuer à atteindre ses objectifs. Sinon, il n’y a aucun intérêt. Ils favorisent le changement : le projet comme le programme apportent du changement. Un nouveau logiciel ou une nouvelle façon de penser au sein de l’organisation, peu importe qu’il s’agisse d’un petit changement ou d’un grand bouleversement, l’idée est la même. Le suivi-évaluation est un concept technique dont la matérialisation appelle à une démarche ou une méthodologie bien propre. Pour cerner au maximum les composantes de cette phase du cycle de projet, sont d’abord présentés les concepts généralement utilisés dans le cycle de suivi évaluation et les tâches essentielles du suivi-évaluation. a- Le suivi Le suivi est le premier élément du suivi- évaluation. Il est défini comme étant un processus continu de recueil des données et d’informations, et d’analyse, pour la détermination en continue des progrès réalisés dans le sens des objectifs. Dans certains manuels, le suivi est aussi appelé « évaluation de processus » ou « évaluation formative ». Dans la pratique, les activités de suivi se font sur toute la période de mise en œuvre des activités du projet ou programme concerné. En outre, le suivi peut revêtir plusieurs formes et objets : suivi des ressources à utiliser dans la mise en œuvre du projet, suivi de la structure organisationnelle globale du projet ou programme, le suivi des réalisations, le suivi de l’environnement global ou du contexte, etc. Chaque type de suivi a un objectif propre et une approche spécifique. De manière générale, le suivi a trois grandes importances majeures : La première grande importance correspond au fait que le suivi permette l’accès à l’information sur la conduite ou le pilotage du projet. En effet, tout au long de la mise en œuvre des activités du projet, le suivi permet de connaitre la situation et de prévoir l’atteinte ou non des objectifs visés et ainsi d’envisager la prise de mesures nécessaires. Il permet également de voir si toutes les parties prenantes sont mobilisées et prennent part aux activités, si les ressources sont utilisées à bon escient, si les activités sont tenues dans de bonnes conditions, etc. La deuxième grande importance correspond au fait que le suivi permette d’assurer le principe de redevabilité. Ce principe fait référence à la responsabilité de rendre compte aux partenaires qui incombe aux responsables de la mise en œuvre du projet ou du programme. Sous ce point de vue, le suivi permet le recueil d’informations servant à l’élaboration de rapports d’activités du projet mais aussi de rapport de performance en destination des partenaires (partenaires techniques et financiers, partenaires institutionnels, partenaires sociaux, etc.). La troisième grande importance correspond au fait que le suivi permette de faciliter la capitalisation d’expérience. b- l’évaluation L’évaluation complète le suivi. C’est d’ailleurs l’appréciation des résultats du suivi. C’est l’évaluation qui permet de dire si oui ou non les résultats intermédiaires sont satisfaisants, si oui ou non les objectifs sont atteints, etc. L’évaluation examine la chaine des résultats, les processus, les rapports de cause à effet, pour comprendre les réalisations ou l’absence de réalisations. Elle permet ainsi de déterminer l’efficacité, l’efficience, la pertinence, la pérennisation des interventions. L’évaluation est multiforme, suivant la période dans laquelle elle est conduite, suivant les acteurs qui la conduisent, suivant sa finalité. Ainsi, concernant la période, l’on note : - l’évaluation ex ante ou évaluation préliminaire, qui intervient avant toute intervention, et qui donne la situation de référence, relativement au contexte global. - l’évaluation à mi-parcours qui est faite en cours de mise en œuvre du projet ou programme, et qui permet de juger si le projet ou programme est sur la trajectoire d’attente des résultats finaux désirés. - l’évaluation finale qui intervient après la clôture du projet. Elle permet d’observer les conséquences à court terme des interventions. L’évaluation finale permet de mesurer le niveau d’atteinte des objectifs initialement fixés, et de faire ressortir, au cas échéant, les facteurs de succès, ou, au cas contraire, les facteurs d’échecs, et faire des recommandations nécessaires. - L’évaluation d’impact : C’est généralement le dernier niveau d’évaluation qui est conduit pour un projet ou programme. Elle est dans certains manuels, assimilée à l’évaluation ex-post, qui est définie dans d’autres manuels comme une évaluation intervenant après l’arrêt du programme, se situant nettement après la clôture de l’action. Elle a pour objectif d’analyser l’impact sur les bénéficiaires et de mesurer l’ampleur de cet impact. En d’autres termes, elle permet d’établir les changements sur le long terme provoqués par la mise en œuvre d’un projet ou programme. Selon les acteurs, on distingue : - l’évaluation interne : elle est réalisée par les agents non membres de l’unité de gestion du projet ou programme concerné, l’évaluation externe : c’est une évaluation réalisée par un tiers ou par une équipe externe ayant été choisis avec beaucoup de précautions. - l’autoévaluation : elle est réalisée par les personnes responsables de la mise en œuvre du projet concerné  AVANTAGES ET DÉSAVANTAGES DES EVALUATIONS INTERNES ET EXTERNES Évaluation interne : Avantages Les évaluateurs sont bien familiarisés avec le travail, la culture de l’organisation, les buts et les objectifs. Parfois, les gens sont plus désireux de parler à une personne interne qu’à une tierce personne. Une évaluation interne est très clairement un outil de gestion. Une manière de s’auto-corriger, bien moins effrayante qu’une évaluation externe. Elle permet de rendre les choses plus faciles à ceux qui sont impliqués lorsque l’on en vient à accepter les constatations et les critiques. Une évaluation interne coûtera moins cher qu’une évaluation externe. Évaluation interne : désavantages Il se peut que l’équipe chargée de l’évaluation ait tout intérêt à obtenir des conclusions positives concernant le travail ou l’organisation. Pour cette raison, d’autres parties prenantes, telles que les donateurs, pourraient préférer une évaluation externe. Il se peut que l’équipe ne soit pas particulièrement entraînée à l’exercice d’évaluation. L’organisation de l’évaluation demandera beaucoup de temps, tandis que cette alternative peut être d’un moindre coût par rapport à une évaluation externe. Le manque à gagner peut être élevé. Évaluation externe : Avantages Vraisemblablement, l’évaluation sera plus objective si l’évaluateur ne sera pas en relation directe avec le travail. L’évaluateur devrait disposer d’une gamme de compétences et d’expériences dans le domaine de l’évaluation. Parfois, les gens sont plus désireux de parler à une personne extérieure qu’à une personne faisant partie de l’entreprise. Recourir à une personne extérieure donnera plus de crédibilité aux constations et aux conclusions, en particulier si elles sont positives. Évaluation externe : Désavantages Il se peut qu’une personne extérieure à l’organisation ne comprenne pas la culture ou même ce que vous tentez d’accomplir par votre travail. Ceux qui sont directement impliqués peuvent être effrayés par une personne extérieure et ne pas coopérer. L’évaluation externe peut s’avérer très coûteuse. Un évaluateur extérieur à l’entreprise peut ne pas comprendre ce que vous attendez de l’évaluation et ne pas vous apporter les réponses que vous attendez. Dans des cas particuliers, l’évaluation peut aussi être conjointe, c’est-à-dire réalisée de concert entre un prestataire indépendant et le personnel de l’Office. Elle peut aussi être participative, c’est-à- dire réalisée avec l’ensemble des parties prenantes à la mise en œuvre du projet ou programme. Selon la finalité, on peut distinguer : - L’évaluation de processus : elle porte sur l’étude du respect ou non des processus dans la mise en œuvre du projet ou programme. - - - - L’évaluation des résultats : elle porte uniquement sur l’étude de l’atteinte ou non des résultats. D’un autre côté, l’on distingue l’audit technico-financier et les évaluations socio environnementales. - L’audit externe technico-financier : c’est une étude investigatrice périodique, conduite par des entités indépendantes, et qui vise à donner une opinion motivée sur la sincérité, la régularité des activités effectuées et des comptes financiers, mais aussi sur la cohérence entre les ressources financières utilisées et les réalisations effectuées dans la mise en œuvre des projets ou programmes. - L’évaluation d’impact socio-environnementale : elle permet d’apprécier le niveau de prise en compte des préoccupations et exigences environnementales et sociales dans la mise en œuvre des projets et programmes. Cette évaluation permet en effet de voir si les activités effectuées ont des impacts sur l’environnement et si, au cas échéant, des mesures de gestion de ces impacts sont prises. Elle permet aussi de voir si la dimension sociale est respectée dans la mise en œuvre des activités. c- La chaine des résultats en détails Le processus découlant de la mise en œuvre d’un projet ou programme et permettant d’apprécier le cheminement critique de l’exécution du projet vers l’atteinte des objectifs ultimes est appelé la chaine de résultats. Ce processus permet de voir les normes d’efficacité et d’efficience dans la mise en œuvre d’un projet ou d’un programme, allant des ressources nécessaires à la mise en œuvre des activités, aux résultats ultimes recherchés. La chaine de résultats montre ainsi le chemin optimal qui mène vers la réalisation du changement souhaité. Ainsi présenté, la chaine de résultats trace le chemin critique vers la concrétisation de l’objectif général ou de la vision du projet ou programme. Elle est composée des intrants, des activités, des extrants, des résultats immédiats, des résultats à moyen terme ou effets et des résultats à long terme ou impacts. Les intrants sont les ressources financières et non financières utilisées pour la mise en œuvre des projets ou programmes. Ces ressources sont principalement les éléments ou les matières premières qui doivent être mis en place, investis ou utilisés pour que les activités prévues puissent être réalisées. Elles comprennent les moyens financiers, les moyens matériels, les ressources humaines, etc. La tendance générale est de recourir aux moyens financiers comme ressource principale, puisque ceux-ci permettent de couvrir les coûts liés aux consultants, au personnel, au matériel, etc. Les activités désignent les mesures et interventions nécessaires et opportunes pour obtenir les situations ou résultats voulus. Elles comprennent la coordination, l’assistance technique et les missions de formation organisées et mises en place par le personnel responsable du projet. Les extrants sont les situations ou résultats obtenus à travers la mise en œuvre d’une activité. Ils sont donc obtenus immédiatement après l’exécution des activités. Les résultats immédiats sont des résultats à court terme attribuables au changement donné par les extrants. Les effets sont les changements qui se produisent dans un horizon de moyen terme après la mise en œuvre des activités. Il s’agit donc des résultats visibles dans un horizon généralement compris entre un et cinq ans, selon le type de projet ou programme mis en œuvre. Les effets montrent ainsi ce qui a commencé à changer ou ce qui a changé́ ou ce qui va l’être dans un horizon de moyen terme, en matière d’efficacité et de performance, de changement de comportement, etc., selon ce que le projet ou programme mis en œuvre recherche. Les impacts correspondent aux buts ultimes, c’est à dire la réalisation de l’objectif général recherché à travers la mise en œuvre du projet ou programme. C’est donc le grand changement effectivement attendu. Dans d’autres cas, les extrants et les résultats immédiats peuvent être confondus. Dans le cas présent, il nous semble important de faire la différence, en considérant que les résultats commencent lorsque des changements positifs commenceront à apparaître. L’exemple suivant permet une meilleure compréhension de la situation. 6. Les indicateurs Un indicateur est un outil rendant possible l’appréciation objective des résultats, effets et impacts d’un projet ou d’un programme. C’est une variable ayant pour objet de mesurer, totalement ou partiellement l’évolution d’un état, d’une situation, d’une activité, d’un projet ou d’un programme. Ils permettent alors de se prononcer sur l’atteinte ou non des résultats, en caractérisant l’évolution dans le temps d’un phénomène De manière pratique, un indicateur permet de rendre simple et facile le suivi de l’évolution d’une grandeur quantitative ou qualitative et la comparaison de cette grandeur entre deux périodes différentes ou entre deux endroits différents. Il existe plusieurs types d’indicateurs: - Les indicateurs de ressources : ils permettent de suivre les ressources ou moyens utilisés dans les activités pour produire des extrants afin de réaliser des effets ou impacts. Il s’agit par exemple des indicateurs de ressources humaines, des indicateurs de ressources financières ou budgétaires, des indicateurs de ressources matérielles, des indicateurs de qualité́ des intrants, etc. Les indicateurs de ressources sont généralement utilisés pour mesurer l’efficience, c’est à dire l’atteinte des objectifs avec l’utilisation d’un minimum de ressources. - Les indicateurs d’activité : ils permettent de suivre l’avancement des activités mises en œuvre. Ils permettent de cerner les progrès accomplis en attendant de connaitre les résultats obtenus. Ils peuvent être de diverses natures. On peut citer les indicateurs de participation, les indicateurs de temps, etc. - Les indicateurs d’extrants : ils permettent de mesurer et d’apprécier ce qui découle de la mise en œuvre des activités, c’est-à-dire le résultat direct des activités. - Il s’agit d’indicateurs de quantité́, d’indicateurs de couverture, d’indicateurs de qualité, etc. - Les indicateurs de résultat, de performance ou d’effet : il s’agit d’indicateurs qui visent à permettre l’appréciation des résultats ou des performances permis par les extrants. Ils sont généralement suivis sur le court terme et sur le moyen terme. - Les indicateurs d’impact : ils mesurent les résultats ultimes atteints, c’est-à-dire l’évolution positive ou négative sur le long terme des grandeurs ultimes influencées par les activités du projet ou du programme. Les indicateurs peuvent être soit quantitatifs soit qualitatifs. Ils sont quantitatifs lorsque qu’ils sont des mesures statistiques qui évaluent les résultats en termes de nombre ; pourcentage, ratio, taux, etc. Ils sont qualitatifs lorsque qu’ils reflètent ce que les individus pensent, leurs opinions, leurs perceptions et leurs attitudes à l’égard d’une situation ou d’un sujet. Ils peuvent signaler des changements dans la sensibilité́, la satisfaction, l’influence, la sensibilisation, la compréhension, les comportements, la qualité́, la perception, le dialogue ou le sentiment de bien-être. 7. Les tâches essentielles de suivi évaluation au cours du cycle de projet Le suivi évaluation est une phase essentiellement importante dans le cycle de projet. C’est en effet cette phase qui permet d’apprécier la trajectoire prise par l’exécution du projet ou programme, et de juger de l’atteinte ou non des résultats recherchés, si la même allure est conservée. Toutefois, les tâches essentielles du suivi-évaluation se font dans toutes les étapes du cycle de projet. Dans la phase conception et formulation du projet ou programme déjà, est pensée la conception du système de suivi évaluation devant encadrer la mise en œuvre du projet ou programme. Dans cette phase du cycle de projet généralement des tâches importantes sont effectuées dont les suivantes : - La définition de l’architecture et des modalités organisationnelles du système ou mécanisme de suivi évaluation ; - La définition des attributions des agents et préposés au suivi- évaluation ; - La définition du champ d’application du système ou mécanisme de suivi- évaluation - La définition des objectifs du mécanisme ou système d’évaluation ; - La définition des principales questions relatives à la performance - La définition des indicateurs ; - L’interrogation sur le budget indicatif pour le suivi-évaluation ; - L’élaboration du plan de suivi- évaluation. Pendant la conduite ou la mise en œuvre du projet ou du programme, les tâches essentielles du suivi-évaluation sont généralement les suivantes: -Recueillir les informations nécessaires au suivi et à l’évaluation ; -Coordonner et faciliter la collecte et la gestion des informations ; - Organiser des missions de suivi et de supervision ; - Organiser, préparer et animer des bilans périodiques (trimestriels, semestriels, annuels, etc.) ; - Proposer éventuellement des études spécifiques pour approfondir certaines questions ou expliquer certains problèmes ; - Communiquer les résultats aux différents acteurs et partenaires. - Établir les rapports d’activité annuels. Dans l’étape clôture de projet, les tâches sont les suivantes : - Identifier ce que les responsables de la mise en œuvre peuvent faire pour assurer la durabilité de l’impact et maintenir le S&E après la clôture du projet - et mettre ces idées en application. - Tenir des ateliers et conduire des études de terrain avec les acteurs à la base et les partenaires pour évaluer les impacts. - Capitaliser les enseignements tirés de l’expérience pour la prochaine phase et/ou pour d’autres projets. IV. LE SYSTEME DE SUIVI-EVALUATION 1. Définition et objectifs Un dispositif de suivi-évaluation constitue une composante essentielle de la bonne gestion et de la redevabilité d’un projet. Il est essentiel pour juger de la progression réalisée en direction des objectifs et des résultats et pour fournir des informations fiables et précises aux différentes parties prenantes. Le système a pour but de renseigner sur le niveau de réalisation des activités mis en œuvre dans les zones d’intervention et sur les niveaux de performances en matière de couverture et de prendre des décisions permettant le renforcement des performances du programme et les réajustements nécessaires pour assurer la qualité de la mise en œuvre des activités. Les dispositifs de suivi-évaluation comprennent la plupart du temps un suivi courant et une évaluation des impacts : Le suivi est une activité continue, interne au projet, qui consiste à collecter et à analyser systématiquement l’information afin de suivre les progrès réalisés (niveau de réalisation) par rapport à ce qui était initialement prévu et permettre ainsi de procéder, le cas échéant, à des ajustements. Il permet ainsi le pilotage d’un projet, d’adapter les stratégies et de guider la prise de décisions relatives à sa gestion Le suivi-évaluation d’une opération (d’un projet, d’un programme, d’une politique…) peut servir différents objectifs : éclairer la conduite et le pilotage des actions et ainsi faciliter la prise de décisions ; rendre compte de l’exécution, des résultats et des effets d’actions mises en œuvre (ainsi que le degré d’atteinte des objectifs fixés initialement) aux différentes parties prenantes ; capitaliser, diffuser et concernant la mise en œuvre d’actions, les résultats et les effets.. Il revêt une dimension opérationnelle qui nécessite un processus continu de collecte et de traitement de l’information tout au long de la période d’exécution de l’activité ou du projet. L’évaluation revêt davantage une dimension stratégique. Elle donne une appréciation sur toute la durée de l’action ou du projet et s’appuie sur les données en examinant comment  les activités se sont déroulées et quels ont été leurs impacts. Elle utilise les informations récoltées par le suivi. Un dispositif de suivi-évaluation doit ainsi permettre de répondre aux trois dimensions de la redevabilité, du pilotage des actions et du partage d’informations. Il doit être performant afin d’alimenter en informations, les plus fiables et précises possibles, la réflexion des différents acteurs, notamment les maîtrises d’ouvrage et d’œuvre, les partenaires financiers ainsi que les bénéficiaires, et d’orienter  2. Sept (7) étapes pour mettre en place un système de suivi et d'évaluation La conception d'un système de suivi et d'évaluation, ou système de S&E, est une tâche complexe qui implique généralement le personnel de différentes unités. Cette partie décrit le développement d'un tel système en 7 étapes. Chaque étape est liée à des questions clés, qui visent à stimuler une discussion sur l'état actuel du système de S&E dans un projet ou dans une organisation. Par conséquent, les 7 étapes ne représentent pas une séquence chronologique stricte pour le développement d'un système de S&E. Toutes les étapes doivent être considérées dès le début :  Étape 1 : Définir l'objectif et la portée du système de S&E Étape 2 : S'accorder sur les résultats et les objectifs - Théorie du changement (y compris les indicateurs) Étape 3 : Planifier la collecte et l'analyse des données (y compris le développement d'outils) Étape 4 : Planifier l'organisation des données Étape 5 : Planifier le flux d'informations et les exigences en matière de rapports (comment et pour qui ?) Étape 6 : Planifier des processus de réflexion et des événements Étape 7 : Planifiez les ressources et les compétences nécessaires (explications voir document pdf en annexes relatif aux 7 étapes de mise en place d’un système de suivi-évaluation) V. Suivi et évaluation de programmes (cadres de suivi + exemples) Un processus de suivi et d’évaluation efficace se fonde sur un cheminement clair et logique des résultats, dans lequel ces derniers doivent passer d’un niveau à l’autre pour parvenir à la réalisation de l’objectif global. Si la logique comporte des lacunes, le mécanisme ne parviendra pas aux fins escomptées. Les niveaux principaux sont les suivants ocontributions oréalisations orésultats oimpacts L'un des principaux défis de la mise en œuvre d'un programme est sa capacité à atteindre les objectifs et à générer l'impact attendu. Dans cette perspective, les cadres de suivi et évaluation de Programme sont essentiels. Il ne s'agit pas de simples listes de contrôle ou d'énumérations d'activités, mais bien de la représentation intégrale d'un programme, illustrant sa structure, ses actions et les résultats attendus. Ces cadres guident la réalisation du programme, en mettant en avant les étapes clés, le fonctionnement attendu, et l'ordonnancement des activités pour réaliser les objectifs. Voyons dans cette section les différents cadres de suivi et d’évaluation des programmes. 1. Pourquoi un cadre de suivi et évaluation ? Les cadres de suivi et évaluation ne sont pas de simples compléments ou accessoires dans la mise en œuvre d'un programme. Ils en sont le cœur battant, garantissant que chaque action, chaque ressource et chaque décision s'inscrivent dans une stratégie globale visant à créer un impact significatif. Voici les avantages d’un cadre de suivi et évaluation de programme : Éclairage et analyse : Un cadre de suivi et évaluation bien construit offre une vision claire et détaillée des stratégies, des objectifs et des activités du programme. Il sert de loup d'analyse, permettant d'examiner et de vérifier si les stratégies et activités envisagées sont effectivement les plus pertinentes pour le contexte donné  Rationalité et orientation : Grâce à ces cadres, les activités de suivi et d'évaluation sont basées sur une logique précise et rationnelle. Ils évitent les tâtonnements et fournissent une marche à suivre claire et structurée, assurant ainsi une mise en œuvre efficace et cohérente Définition d’objectifs : Ils énoncent les buts globaux du programme tout en détaillant des objectifs mesurables à court, moyen et long terme, assurant ainsi que chaque étape de mise en œuvre est alignée sur une vision plus large  Cartographie des relations : Les cadres établissent des liens clairs entre les ressources (intrants), les activités entreprises, les effets immédiats et les impacts à long terme. Ils mettent également en lumière les relations entre les activités du programme et les facteurs externes qui peuvent influencer son succès  Illustration graphique : La représentation souvent graphique de ces cadres permet une compréhension rapide et visuelle des dynamiques et relations au sein du programme. Cela facilite non seulement la planification , mais aussi la communication avec les parties prenant es 2. Les différents cadres de suivi et évaluation Les cadres de suivi et évaluation (S&E) fournissent une structure pour assurer que les projets et les programmes sont exécutés comme prévu et atteignent les résultats escomptés. Différents cadres ont été développés au fil des années pour répondre aux besoins spécifiques des divers domaines d'intervention et des contextes dans lesquels ils sont utilisés. Voici quelques-uns des principaux cadres de suivi et évaluation : 1) Cadre Logique (LogFrame) Le cadre logique, souvent appelé " LogFrame" (un raccourci pour "Logical Framework"), est un outil développé pour la première fois par l'Agence des États-Unis pour le développement international (USAID) dans les années 1970. Conçu comme une réponse aux besoins de transparence, d'efficacité et d'efficience dans la gestion de projets, il est rapidement devenu une référence dans le monde de la gestion de projet, en particulier dans le domaine de la coopération internationale. 1.1. La Structure du Cadre Logique Au cœur de ce système se trouve une matrice qui présente une vue d'ensemble du projet. Cette matrice structurée est divisée en plusieurs colonnes et lignes, chacune avec un rôle spécifique. Colonnes : Chaque colonne représente une dimension du projet. Ces dimensions vont des objectifs globaux aux activités spécifiques, en passant par les résultats attendus Lignes : Les lignes, quant à elles, détaillent les éléments clés tels que les indicateurs de performance, les sources de vérification ou les risques et hypothèses 1.2) Les Relations Causales L'un des aspects les plus précieux du cadre logique est la manière dont il décrit la relation causale entre différents éléments du projet. Intrants : Ce sont les ressources que vous investissez dans votre projet, comme le temps, l'argent, l'équipement et les compétences Activités : Ces ressources (ou intrants) sont utilisées pour mener à bien des activités spécifiques, telles que des formations, des ateliers ou la construction d'infrastructures  Extrants : Suite à ces activités, des produits ou services spécifiques sont livrés, comme des personnes formées ou une école construite Effets : Ces extrants entraînent des changements à moyen terme. Par exemple, les personnes formées peuvent commencer à appliquer leurs nouvelles compétences Impacts : À long terme, ces effets entraînent des changements plus profonds ou plus larges dans la communauté ou la société, comme l'amélioration du niveau d'éducation ou la réduction de la pauvreté Exemple : Imaginez le cadre logique comme une série de dominos alignés. Si vous poussez le premier domino (intrants), il déclenche une réaction en chaîne qui fait tomber les dominos suivants (activités, extrants, effets) jusqu'à ce que le dernier domino tombe (impacts). Chaque étape est liée à la précédente par une relation de cause à effet. Le cadre logique est un outil puissant non seulement pour la planification, mais aussi pour la mise en œuvre, le suivi et l'évaluation de projets. Il fournit une vue d'ensemble claire et structurée, permettant aux parties prenantes de comprendre facilement comment un projet est censé fonctionner et quelles sont les attentes en termes de résultats. 2) Théorie du Changement (TdC) Imaginez que vous ayez devant vous un puzzle dont l'image finale est le changement positif que vous souhaitez voir dans le monde, disons, la réduction de la pauvreté dans une communauté spécifique. La Théorie du Changement est l'outil qui vous aide à comprendre chaque pièce de ce puzzle et comment elles s'assemblent pour former cette image. 2.1) Flexibilité de la TdC Là où le Cadre Logique est comme un plan de construction rigide pour une maison, la TdC est plus comme une carte de randonnée. Elle montre la destination (votre changement souhaité à long terme) et les différents sentiers (étapes et interventions) pour y arriver. Mais contrairement à un plan de construction, la carte vous offre la flexibilité de choisir ou d'ajuster votre chemin en fonction des obstacles que vous pourriez rencontrer. 2.2) Étapes Vers le Changement La TdC détaille chaque étape nécessaire pour réaliser ce changement à long terme. Reprenant notre analogie de la carte de randonnée, imaginez chaque point d'étape comme un campement ou un jalon sur votre chemin. Ces étapes sont cruciales car elles vous permettent de suivre vos progrès, d'évaluer où vous en êtes et de définir les actions suivantes. 2.3) Préconditions et interventions Pensez aux préconditions comme aux "ingrédients" nécessaires pour réaliser chaque étape. Si une étape est de "cuire un gâteau", alors les préconditions seraient "avoir un four, des ingrédients et une recette". Les interventions, quant à elles, sont les actions spécifiques que vous allez entreprendre pour satisfaire ces conditions dans notre exemple, cela pourrait être "acheter un four ou rassembler des ingrédients". 2.4) Hypothèses sous-jacentes C'est là que la TdC brille vraiment. Pour chaque intervention ou précondition, vous posez la question : Qu'est-ce qui doit être vrai pour que cela fonctionne ? Ces hypothèses vous aident à anticiper les défis et à être prêt à ajuster votre approche si nécessaire. En résumé : La Théorie du Changement est une carte pour naviguer dans le complexe voyage du changement social. Elle vous donne une vue d'ensemble claire du "quoi" (le changement que vous souhaitez voir), du "comment" (les étapes et interventions pour y parvenir) et du "pourquoi" (les hypothèses qui sous-tendent votre approche). C'est un outil dynamique et flexible qui permet d'anticiper, de s'adapter et d'évoluer en fonction des réalités changeantes du terrain. 3) Cadre de Résultats Imaginons que vous soyez un coach d'une équipe de football. Votre travail ne consiste pas uniquement à veiller à ce que les joueurs s'entraînent. Vous voulez voir comment ils performent lors des matchs et, finalement, si l'équipe remporte des victoires. Dans le contexte des programmes ou projets, c'est similaire : ce n'est pas seulement l'effort ou les activités qui comptent, mais aussi les résultats concrets qu'ils produisent. 3.1) "Faire" au "Résultat" Revenons à notre équipe de football. Vous pourriez organiser de nombreuses séances d'entraînement (ce sont vos "activités"), mais comment savez-vous si elles sont efficaces ? Vous le saurez en observant les performances des joueurs lors des matchs (vos "résultats"). Dans le contexte d'un programme, il ne s'agit pas seulement de réaliser des activités, mais de comprendre comment ces activités mènent à des changements positifs spécifiques. 3.2) Pourquoi c'est essentiel Si vous ne suivez que les séances d'entraînement sans jamais regarder un match, vous ne saurez jamais vraiment si votre équipe progresse. De même, dans un programme, si vous ne faites que suivre les activités sans évaluer les résultats, vous ne saurez jamais si vous faites une différence. C'est là que le suivi des performances et l'évaluation des impacts entrent en jeu. Ils vous permettent de savoir si vous êtes sur la bonne voie pour réaliser votre vision. Mettre l'accent sur les performances et les résultats, c'est comme être un coach qui ne se contente pas de s'entraîner, mais qui veut voir son équipe gagner. Vous ne vous contentez pas d'organiser des activités, vous voulez voir les impacts positifs de ces activités. C'est la raison pour laquelle nous surveillons les performances et évaluons les impacts pour nous assurer que nous ne nous contentons pas de "jouer le jeu", mais que nous marquons vraiment des points et, finalement, remportons la victoire. 4) Performance Monitoring Framework (PMF) Prenons un exemple simple pour mieux comprendre. Imaginez que vous soyez en train de construire une maison. Vous avez un plan détaillé, mais comment pouvez-vous être sûr que la construction se déroule bien et à temps ? 4.1) Qu'est-ce que le PMF ? Le PMF est comme une liste de contrôle pour la construction de votre maison. Au lieu de simplement espérer que tout se passe bien, vous établissez des points de contrôle spécifiques. Par exemple, à la fin du mois 1, les fondations devraient être terminées. A la fin du mois 2, les murs devraient être érigés, etc. Chaque point de contrôle est un "indicateur de performance" un signe mesurable que vous êtes sur la bonne voie. Si vous atteignez chaque indicateur à temps, cela signifie que la construction se déroule bien. Si ce n'est pas le cas, vous savez que vous devez intervenir et faire des ajustements. 4.2) Pourquoi est-ce important pour un projet? Dans le contexte d'un projet, le PMF fait exactement la même chose. Au lieu de construire une maison, vous mettez en œuvre différentes activités pour atteindre un objectif plus large. Chaque activité a des indicateurs de performance spécifiques - des points de contrôle pour s'assurer que tout est sur la bonne voie. Si vous ne disposiez pas de ces indicateurs, il serait très facile de perdre le fil des choses, de se laisser distraire ou de ne pas réaliser que quelque chose ne va pas avant qu'il ne soit trop tard. Avec le PMF, vous avez un moyen systématique de suivre vos progrès, de repérer rapidement les problèmes et de prendre des mesures pour y remédier. En conclusion : Le Cadre de Surveillance des Performances (PMF) est votre "outil de liste de contrôle" pour la gestion de projet. Il ne s'agit pas seulement de faire des choses, mais de s'assurer que chaque chose est faite correctement et à temps, pour que le projet dans son ensemble réussisse. 5) Outcome Mapping Imaginez que vous êtes un enseignant. Votre objectif n'est pas seulement de transmettre des connaissances, mais de susciter un véritable changement chez vos élèves : développer leur curiosité, les inciter à poser des questions, à travailler en équipe, etc. Ce type de changement est complexe et ne peut pas être simplement mesuré par un test ou un examen. C'est ici que la "Cartographie des Résultats" (ou Outcome Mapping) entre en jeu. 5.1) Qu'est-ce que la Cartographie des Résultats ? Au lieu de se concentrer sur les résultats tangibles comme le nombre de cours donnés ou le score moyen à un examen, la Cartographie des Résultats se penche sur les changements plus subtils dans le comportement, les relations et les actions des personnes impliquées. Dans notre exemple d'enseignant, cela pourrait signifier observer comment les élèves interagissent entre eux, s'ils posent plus de questions en classe, ou s'ils participent à des activités parascolaires liées à la matière. 5.2) Pourquoi est-ce important pour un projet ? De nombreux projets ont des objectifs qui vont au- delà des résultats tangibles. Peut-être qu'un programme de santé vise non seulement à distribuer des médicaments, mais aussi à changer la manière dont une communauté perçoit la santé et la prévention. Ou peut-être qu'un projet environnemental veut à la fois planter des arbres et encourager une relation plus respectueuse avec la nature. Dans de tels cas, simplement compter le nombre d'arbres plantés ou de médicaments distribués ne donne pas une image complète du succès du projet. La Cartographie des Résultats permet aux équipes de projet de suivre et d'évaluer ces aspects plus intangibles mais tout aussi importants. Ceci étant dit, la cartographie des Résultats nous rappelle que les projets ont souvent des impacts qui sont plus profonds et plus complexes que de simples chiffres. Elle offre un outil pour capturer, comprendre et célébrer ces changements subtils mais puissants qui se produisent lorsqu'un projet touche véritablement la vie des personnes impliquées. 6) Most Significant Change (MSC) Imaginez que vous travaillez sur un projet pour améliorer la qualité de l'éducation dans une région rurale. Vous avez des chiffres : le nombre d'écoles construites, le nombre d'enseignants formés, le taux de réussite aux examens. Mais que se passe-t-il si l'une des meilleures indications de succès est une histoire racontée par une jeune fille qui, grâce à votre projet, est devenue la première de son village à aller à l'université? C'est là que la technique du "Changement le Plus Significatif" entre en jeu 6.1) Qu'est-ce que le MSC? Le MSC est une méthode qualitative qui va au-delà des chiffres et des indicateurs pour capturer les véritables histoires de changement. Plutôt que de simplement compter, par exemple, combien de personnes ont participé à une formation, le MSC demande : "Qu'est-ce qui a vraiment changé pour vous à la suite de cette formation?" 2) Comment cela fonctionne-t-il? Les parties prenantes d'un projet qu'il s'agisse de bénéficiaires, d'exécutants ou de donateurs sont invitées à partager des histoires sur les changements qu'elles perçoivent comme étant les plus significatifs. Ces histoires sont ensuite collectées, partagées et analysées de manière systématique. Par un processus de dialogue et de délibération, les parties prenantes sélectionnent ensuite les histoires qui, selon elles, représentent les changements les plus importants. 6.3) Pourquoi est-ce précieux? Le MSC offre une perspective riche et nuancée sur l'impact d'un projet. Il reconnaît que le changement est souvent multidimensionnel et que les histoires peuvent capturer des aspects de ce changement qui pourraient autrement être négligés. Les histoires peuvent aussi être incroyablement puissantes pour engager les parties prenantes, susciter l'empathie et mobiliser le soutien. En résumé : Le "Changement le Plus Significatif" nous rappelle que derrière chaque chiffre, il y a une histoire, et que ces histoires peuvent offrir des aperçus profonds et émouvants sur la vraie nature et la valeur d'un projet. C'est une technique qui célèbre l'impact humain, offrant une vue complémentaire et enrichissante aux méthodes d'évaluation plus traditionnelles. 7) Balanced Scorecard Imaginons que vous soyez le directeur d'une grande organisation non gouvernementale (ONG) qui vise à promouvoir l'éducation durable. Alors que les indicateurs financiers vous montrent que votre budget est bien géré, vous réalisez que cela ne raconte qu'une partie de l'histoire. Comment vos bénéficiaires perçoivent-ils votre travail ? Vos processus internes sont-ils efficaces ? Vos employés apprennent-ils et se développent-ils ? C'est ici que la Carte de Score Équilibré (ou Balanced Scorecard) trouve sa valeur. 7.1) Qu'est-ce que la Balanced Scorecard? Adaptée du secteur des affaires, la Balanced Scorecard est une méthode de mesure de la performance qui considère une organisation sous plusieurs angles, plutôt que de se concentrer uniquement sur les indicateurs financiers. Elle offre une vue à 360 degrés, permettant aux organisations d'avoir une image complète de leur performance 7.2) Les quatre perspectives Les quatre perspectives sont les suivantes : Perspective Financière : C'est probablement l'aspect le plus traditionnel de l'évaluation. Comment se porte notre organisation financièrement ? Perspective Client : Comment nos clients ou bénéficiaires nous perçoivent-ils ? Leurs besoins sont-ils satisfaits ?  Perspective des Processus Internes : Quelle est l'efficacité de nos opérations internes ? Nos processus nous permettent-ils d'atteindre nos objectifs ? Perspective Apprentissage et Croissance : Nos employés ont-ils les opportunités et les ressources nécessaires pour apprendre et évoluer ? 7.3) Pourquoi est-ce précieux? La grande force de la Balanced Scorecard est qu'elle reconnaît que la performance organisationnelle est multifacette. Les organisations qui réussissent ne sont pas seulement celles qui sont financièrement solides, mais aussi celles qui répondent aux besoins de leurs clients, qui sont efficaces dans leurs opérations internes, et qui investissent dans le développement de leurs employés. En résumé : La Carte de Score Équilibré offre une manière holistique de comprendre la performance organisationnelle, en reconnaissant que la réussite se manifeste de différentes manières. Elle offre aux dirigeants une vision complète, les aidant à prendre des décisions éclairées qui favorisent une croissance et un impact durables. 8) Cadre de Gestion des Performances (Performance Management Framework) Mettons-nous à la place d'un directeur d'une organisation travaillant sur l'amélioration de l'accès à l'eau potable dans des régions reculées. Vous avez une vision claire, une mission et une stratégie pour les 5 prochaines années. Cependant, comment vous assurez-vous que chaque action, chaque décision prise au quotidien, s'aligne sur cette stratégie ? Comment créer une culture où chaque membre de l'équipe vise une amélioration constante pour atteindre cet objectif ? C'est là qu'intervient le Cadre de Gestion des Performances. 8.1) Qu'est-ce que le Cadre de Gestion des Performances? Il s'agit d'une approche structurée qui relie chaque niveau de performance – de l'individu à l'équipe, jusqu'à l'organisation entière – à la stratégie globale et à la planification. Plutôt que de voir la performance comme une évaluation annuelle isolée, cette approche la considère comme un continuum, une culture 8.2) Caractéristiques clés Voici les 3 caractéristiques clés : Alignement stratégique : Toutes les activités et objectifs sont définis en fonction de la stratégie globale. Si une action ne s'aligne pas sur la stratégie, elle est reconsidérée Création d'une culture de performance : Il ne s'agit pas seulement de mesurer la performance, mais de la valoriser. Chaque membre est encouragé à s'auto-évaluer, à chercher des opportunités d'amélioration et à s'aligner sur les objectifs globaux  Amélioration continue : Comme le principe d'Amélioration Continue des Services (CSI) dans ITIL, ici, plutôt que de viser la perfection, l'accent est mis sur le progrès. La performance est vue comme un voyage, où chaque étape, chaque apprentissage, est valorisé. 8.3) Pourquoi adopter ce cadre? Le principal avantage de ce cadre est qu'il garantit que toutes les actions sont entreprises dans le but d'atteindre les objectifs stratégiques de l'organisation. Il crée une culture où la performance n'est pas quelque chose que l'on craint, mais quelque chose que l'on valorise. Chaque échec est vu comme une opportunité d'apprendre et chaque succès comme une étape vers la réalisation de la vision globale. En résumé : Le Cadre de Gestion des Performances est essentiel pour toute organisation qui souhaite garantir que ses ressources, ses efforts et ses activités s'alignent sur sa vision et sa stratégie. Il transforme la performance en une culture, assurant une amélioration continue et un déplacement cohérent vers les objectifs définis. 9) Évaluations d'Impact Randomisées (Randomized Control Trials, RCTs) Imaginons que nous soyons à la tête d'une organisation cherchant à améliorer la qualité de l'éducation dans les écoles rurales grâce à une nouvelle méthode pédagogique. Comment pourrions-nous savoir avec certitude si cette méthode est réellement efficace ou si les améliorations observées sont simplement le résultat d'autres facteurs externes ? C'est ici que les Évaluations d'Impact Randomisées (RCTs) entrent en jeu. 9.1) Qu'est-ce qu'une Évaluation d'Impact Randomisée ? Il s'agit d'une approche de recherche rigoureuse utilisée pour déterminer le véritable impact d'une intervention spécifique. Les RCTs sont souvent appelées "la norme d'or" en matière d'évaluation d'intervention, car elles offrent des preuves solides sur ce qui fonctionne et ce qui ne fonctionne pas. 9.2) Comment ça fonctionne ? Voici comment les Évaluations d'Impact Randomisées fonctionnent comme suit: Sélection aléatoire : Les participants sont divisés en 2 groupes de manière aléatoire : un groupe témoin (qui ne reçoit pas l'intervention) et un groupe expérimental (qui reçoit l'intervention) Mise en œuvre : L'intervention est appliquée uniquement au groupe expérimental Évaluation : À la fin de l'intervention, les résultats des 2 groupes sont comparés. Si le groupe expérimental montre des améliorations significativement supérieures à celles du groupe témoin, cela suggère que l'intervention a eu un effet positif 9.3) Pourquoi les RCTs sont-elles si importantes ? L'avantage principal des RCTs est qu'elles éliminent la plupart des biais qui pourraient fausser les résultats. Par exemple, si nous revenons à notre scénario d'éducation, supposons que les écoles qui adoptent la nouvelle méthode pédagogique sont également celles qui ont des enseignants plus motivés. Sans un groupe témoin, nous pourrions faussement attribuer les améliorations à la nouvelle méthode alors qu'elles sont en réalité dues à la motivation des enseignants. Les RCTs nous aident à isoler l'effet de l'intervention des autres facteurs. En résumé : Les Évaluations d'Impact Randomisées offrent une manière solide et rigoureuse d'évaluer l'efficacité d'une intervention. Bien qu'elles puissent être coûteuses et nécessiter une planification minutieuse, les RCTs fournissent des preuves solides qui peuvent guider les décisions des décideurs, garantissant que les ressources sont utilisées de manière efficace pour maximiser l'impact positif. Conclusion Dans le vaste monde du développement et de la mise en œuvre de projets et de programmes, il n'existe pas de "taille unique" en matière de cadres de suivi et d'évaluation. Au contraire, l'efficacité d'un cadre repose souvent sur sa capacité à être adapté et combiné avec d'autres outils pour répondre aux besoins spécifiques d'une initiative particulière. L'utilisation combinée de ces cadres, allant du Cadre Logique à l'Évaluation d'Impact Randomisée, permet une approche multidimensionnelle qui capture à la fois les éléments quantitatifs et qualitatifs d'un programme. Par exemple, alors qu'un Cadre Logique pourrait offrir une vision claire des résultats attendus et de la manière dont ils sont liés, la technique "Most Significant Change" pourrait donner vie à ces résultats en recueillant des histoires de changement significatives parmi les bénéficiaires. La clé de la réussite réside dans la sélection judicieuse du cadre ou de la combinaison de cadres adaptés. Cette décision doit prendre en compte : Les questions spécifiques que l'évaluation cherche à répondre Le contexte unique dans lequel l'intervention se déroule Les ressources disponibles pour le suivi et l'évaluation Les attentes et les besoins des différentes parties prenantes Par exemple, une intervention dans un contexte de conflit nécessiterait probablement une approche différente de celle utilisée dans un contexte de développement économique stable. En fin de compte, la valeur de ces cadres ne réside pas seulement dans leur capacité à mesurer les résultats, mais aussi dans leur pouvoir : VI. LES MÉTHODES ET OUTILS DE SUIVI ET D’ÉVALUATION EN SANTÉ : TOUT CE QUE VOUS DEVEZ SAVOIR A. Définition des concepts en suivi et évaluation en santé 1. Le suivi Le suivi en santé se réfère à la surveillance systématique des activités d’un programme de santé ou d’un projet médical. C’est une collecte d’informations continue qui évalue si un programme de santé progresse vers ses objectifs fixés. Le suivi en santé permet d’identifier rapidement les écarts et de prendre des mesures correctives, assurant ainsi une meilleure qualité des soins. 2. L’évaluation L’évaluation en santé est un processus qui détermine l’efficacité d’un programme ou d’un projet médical. Contrairement au suivi, qui est continu, l’évaluation est effectuée à des moments clés, comme à mi-parcours ou à la fin d’un programme de santé. Elle vise à comprendre les causes des réussites ou des échecs et à tirer des enseignements pour améliorer les interventions futures en matière de soins de santé. L’évaluation est une démarche systématique visant à apprécier de manière objective les progrès réalisés vers un effet de santé désiré. Elle a pour objectifs :  Renforcer les compétences des professionnels de santé en matière de méthodes et d’outils de suivi et évaluation. Évaluer les réalisations des programmes. Élaborer des tableaux de bord. Intégrer la démarche de supervision. L’évaluation permet une réflexion approfondie sur l’action entreprise, offrant une opportunité d’apprendre de l’expérience. Elle vise à informer, juger, et aider à réorienter les actions. Selon divers experts, l’évaluation peut se concentrer sur la pertinence, la cohérence, l’efficacité, l’efficience, et l’impact d’un programme. Elle peut également être structurée en différents niveaux, tels que les inputs, les processus, les résultats, et les effets. 3.Les normes Les normes en santé définissent le niveau de qualité ou d’excellence attendu. Elles peuvent concerner différents aspects des soins, des procédures cliniques aux services aux patients. Les normes servent de repères pour le suivi et l’évaluation, permettant de mesurer les performances d’un programme de santé par rapport à un standard défini. Les normes sont des repères essentiels pour chaque secteur d’activité en santé. Elles peuvent se présenter sous forme de :  Critères : Ces références sont déclinées en critères d’évaluation adaptés à différents niveaux. Elles mettent en évidence les moyens spécifiques pour satisfaire les normes d’accréditation. Ces critères sont structurés pour refléter différentes dimensions de la qualité.  Normes : Ce sont des valeurs ou standards attendus. Par exemple, chaque commune devrait avoir au moins un Centre de Santé Communautaire (CSC) ou offrir 4 Consultations Prénatales (CPN) pendant la grossesse. B. Les indicateurs en santé : définition, typologie et méthodes de sélection 1. Définition des indicateurs de santé Les indicateurs de santé sont des outils essentiels pour mesurer, évaluer et améliorer la performance des systèmes de santé. Ils fournissent des informations quantitatives ou qualitatives sur différents aspects de la santé.  Selon l’OMS, un indicateur est une «variable aidant à mesurer les changements». Ces mesures sont particulièrement utiles lorsque les changements ne peuvent être observés directement. Selon l’ONU, un indicateur est une «variable qui aide à mesurer les changements intervenus dans une situation donnée». Ils servent à suivre et évaluer les impacts d’une activité ou d’une intervention. 2. Pourquoi les indicateurs de santé sont-ils essentiels ? Les indicateurs de santé jouent un rôle crucial dans la prise de décision, la planification et la mise en œuvre des politiques de santé. Ils permettent aux décideurs de suivre les progrès, d’identifier les domaines nécessitant une attention particulière et d’évaluer l’efficacité des interventions. 3. Comment sont-ils utilisés dans le système de santé ? Les indicateurs de santé sont utilisés pour : Évaluer la performance des programmes de santé. Identifier les domaines nécessitant des améliorations. Suivre les tendances en matière de santé au fil du temps. Comparer les performances entre différentes régions ou pays 4. Comment choisir le bon indicateur ? Le choix des indicateurs doit être basé sur leur pertinence, leur fiabilité et leur validité. Il est essentiel de choisir des indicateurs qui sont directement liés aux objectifs du programme ou de la politique en question. 5. Typologie et classification des indicateurs a. Classification des indicateurs selon les critères Les indicateurs peuvent être classés selon différents critères : a.1- la nature de l’indicateur Direct vs Indirect Simple vs Composé Quantitatif vs Qualitatif a.2- Niveau systémique : Indicateurs d’activités : ils mesurent une production. Par exemple : le nombre d’accouchements, CPN, CC (complication et/ou comorbidité) Indicateurs de ressources : ils représentent les moyens humains, les équipements et les ressources financières nécessaires à la prise en charge des patients.  Indicateurs de processus : ils renseignent principalement sur les pratiques professionnelles appliquées lors des différentes tâches ainsi que sur les modalités de fonctionnement et de coordination des secteurs d’activités concernés. a.3-Dimension de la qualité : Efficacité Efficience Disponibilité Accessibilité Utilisation a.4- Autres types : Indicateurs quantitatifs Indicateurs qualitatifs Indicateurs proxy b. Caractéristiques des indicateurs Le choix des indicateurs se fait en fonction des objectifs fixés et de la spécificité de la zone d’intervention. Un indicateur doit avoir les caractéristiques suivantes: Simple, donc facile à utiliser : sa structure est légère, ses procédures de recueil des données et de circulation de l’information sont rapides et standardisées. Acceptable : simple, opérationnel et crédible.  Valide : il doit refléter ce qu’il est censé mesurer, c.à.d. fournir les repères nécessaires à l’appréciation de l’état ou de l’évolution du phénomène pour lequel il a été choisi. Sensible : il doit être apte à varier beaucoup et rapidement lorsqu’apparaissent des variations, même de faible amplitude, du phénomène étudié Spécifique : il ne doit varier que si le phénomène à l’étude subit des modifications. 6. Les défis associés à l'utilisation des indicateurs de santé Bien que les indicateurs de santé soient essentiels, ils présentent également des défis. Par exemple, la collecte de données peut être coûteuse et chronophage. De plus, il peut être difficile de comparer les données entre différentes sources ou régions en raison de différences méthodologiques. C- Performance et monitoring dans le système de santé 1. Comprendre la performance en santé La performance, ou rendement, est définie comme un ensemble de mesures permettant de se prononcer sur les relations entre les différents types de résultats et entre ces résultats et les moyens déployés. Elle englobe plusieurs dimensions, notamment l’efficacité, l’efficience, l’accessibilité, la patient-centricité et la sécurité.  La mesure de la performance nécessite des indicateurs clairs, pertinents et mesurables. Ces indicateurs peuvent être quantitatifs (comme le taux de mortalité) ou qualitatifs (comme la satisfaction des patients). 2. L'importance du monitoring de la performance Le monitoring de la performance est une technique de gestion essentielle au niveau des points de prestation des services. Il permet de : Détecter les forces et les faiblesses dans l’exécution des activités. Augmenter la couverture grâce à l’analyse périodique des résultats par l’équipe du centre de santé et les représentants de la communauté.  S’assurer que le programme progresse conformément aux objectifs fixés. Identifier les vrais problèmes au fur et à mesure qu’ils se posent et choisir les actions correctrices à mettre en œuvre. Intérêt porté aux problèmes opérationnels et au fonctionnement des services, plutôt qu’à leur impact épidémiologique, qui relève de la surveillance épidémiologique. 3. Les étapes du monitoring de la performance Le monitoring de la performance s’effectue selon une démarche chronologique : Sélection des activités essentielles pour le monitoring. Collecte systématique et continue des données relatives à ces activités. Organisation, analyse et interprétation des données.  Utilisation des informations pour la prise de décision. Intérêt porté aux problèmes opérationnels et au fonctionnement des services, plutôt qu’à leur impact épidémiologique, qui relève de la surveillance épidémiologique. 4. Les outils de monitoring en santé Il existe plusieurs outils et méthodes pour surveiller la performance en santé, tels que : Les tableaux de bord : Ils fournissent une vue d’ensemble des indicateurs clés. Les enquêtes : Elles recueillent des données auprès des patients, des professionnels de santé ou d’autres parties prenantes. Les audits : Ils évaluent la conformité aux normes ou aux directives. D. Méthodes de suivi-évaluation des programmes de santé 1. L’évaluation d’un programme de santé L’évaluation d’un programme de santé vise à mesurer son efficacité, son efficience, sa pertinence et son impact sur la santé des populations cibles. Elle permet de déterminer si les objectifs fixés ont été atteints et si les ressources ont été utilisées de manière optimale. L’évaluation d’un programme de santé est indispensable pour s’assurer que les interventions et les ressources déployées produisent les résultats escomptés. Dans un monde où les ressources sont limitées, il est crucial de s’assurer que chaque effort compte. L’évaluation n’est pas une fin en soi. Elle est un outil pour l’amélioration continue. Les enseignements tirés de l’évaluation doivent être utilisés pour affiner et ajuster le programme, garantissant ainsi que les soins de santé délivrés sont de la plus haute qualité possible. 2. Le suivi d’un programme de santé Le suivi est un processus continu qui permet de surveiller la mise en œuvre d’un programme de santé. Il s’agit de collecter régulièrement des données pour s’assurer que les activités sont réalisées comme prévu et pour identifier rapidement tout écart ou problème. 3. Démarche pratique de suivi- évaluation de la performance d’un programme de santé Le suivi-évaluation des programmes de santé est une activité continue. Cette continuité permet de : Surveiller la progression : Assurer que le programme avance selon les objectifs préétablis. Identifier les problèmes : Détecter rapidement les défis ou obstacles à la mise en œuvre du programme et définir des solutions adaptées.  Renforcer la gestion : Améliorer les compétences en gestion des programmes de santé pour une meilleure efficacité. VII. Étapes pratiques de la démarche de suivi-évaluation 1. La revue des connaissances Avant d’entamer le processus de suivi- évaluation, il est crucial de bien comprendre les programmes à évaluer. Cela implique une connaissance approfondie de leurs objectifs, activités, indicateurs et systèmes d’information. Une évaluation efficace ne peut se faire sans une compréhension complète du programme. 2. L’initiation L’évaluation ne doit pas être une activité de fin d’année. Au contraire, elle doit être intégrée tout au long de l’année, garantissant que les problèmes sont identifiés et traités en temps réel. Cette phase est essentielle pour plusieurs raisons : a- Décision proactive : L’initiation signifie reconnaître activement la valeur de l’évaluation et prendre la décision de la mettre en place. C’est une démarche proactive qui montre un engagement envers l’amélioration continue et la responsabilité b- Évaluation continue plutôt que ponctuelle : Attendre la fin de l’année pour évaluer un programme peut entraîner des retards dans la prise de décision et la mise en œuvre des améliorations. En revanche, une évaluation continue tout au long de l’année permet d’identifier et de résoudre rapidement les problèmes, d’ajuster les stratégies en temps réel et d’assurer une meilleure adaptabilité. c- Optimisation des ressources : Une évaluation en cours d’année permet d’optimiser l’utilisation des ressources. Si certaines activités ou stratégies ne donnent pas les résultats escomptés, elles peuvent être modifiées ou abandonnées, évitant ainsi le gaspillage de ressources d- Réactivité : Une évaluation régulière offre une meilleure réactivité. Les équipes peuvent répondre rapidement aux défis, adapter les stratégies en fonction des besoins changeants et garantir que le programme reste sur la bonne voie pour atteindre ses objectifs. e- Renforcement de l’engagement des parties prenantes : Lorsque les parties prenantes, qu’il s’agisse de l’équipe de mise en œuvre, des bénéficiaires ou des partenaires, voient que l’évaluation est une priorité et qu’elle est effectuée régulièrement, cela renforce leur confiance dans le programme et leur engagement envers celui-ci 3. Choix des critères d'évaluation La sélection des critères d’évaluation est une étape essentielle dans le processus de suivi et d’évaluation des programmes sanitaires. Ces critères servent de repères pour mesurer la performance, l’efficacité et l’impact d’un programme. Voici une explication approfondie des critères mentionnés : a- Évaluation de la couverture du programme : Quantité : Il s’agit de mesurer l’étendue de la couverture du programme. En d’autres termes, combien de personnes de la population cible ont été effectivement touchées ou servies par le programme ? Cela donne une idée de la portée et de la pénétration du programme. Qualité : Au-delà du simple nombre, il est essentiel d’examiner la qualité de la couverture. Cela pourrait impliquer d’évaluer si les personnes les plus vulnérables ou les plus nécessiteuses sont atteintes ou si le programme répond aux besoins spécifiques de différents segments de la population. b- Évaluation de l’efficacité : Cette évaluation se concentre sur la mesure dans laquelle les objectifs du programme ont été atteints. Elle compare les résultats observés (ce qui a réellement été réalisé) avec les résultats escomptés (ce qui était prévu ou visé). Une efficacité élevée indique que le programme est sur la bonne voie pour atteindre ou a déjà atteint ses objectifs. c- Évaluation de la qualité des services :  Cette évaluation examine la manière dont les services sont fournis. Elle se base sur des normes préétablies, souvent détaillées dans des guides ou des protocoles, pour évaluer si le programme offre des services de haute qualité. Cela peut inclure des aspects tels que la rapidité, la précision, la courtoisie, la sécurité, etc. d- Évaluation de l’équité : L’équité est un critère crucial, en particulier dans les programmes de santé, car elle garantit que tous les individus ont un accès égal aux services, indépendamment de leur situation socio-économique, de leur lieu de résidence ou d’autres facteurs discriminants.  Taux d’utilisation des services : Mesure la proportion de la population qui utilise effectivement les services. Une faible utilisation peut indiquer des barrières à l’accès ou des problèmes de qualité. Répartition des médicaments : Assure que les médicaments et autres ressources sont distribués équitablement entre différents secteurs ou régions.  Couverture par vaccination et CPN : Évalue si les programmes de vaccination et de consultation prénatale (CPN) atteignent de manière équitable toutes les parties de la population cible. En somme, choisir les bons critères d’évaluation est essentiel pour obtenir une image complète et précise de la performance d’un programme. Ces critères doivent être pertinents, mesurables et alignés sur les objectifs du programme pour fournir des informations utiles pour la prise de décision et l’amélioration continue. 4.Identification de la méthode de suivi-évaluation L’identification de la méthode de suivi- évaluation est une étape cruciale pour garantir que les programmes sanitaires sont efficacement surveillés et évalués. Cette méthode doit être soigneusement choisie pour refléter les particularités et les exigences de la Circonscription Sanitaire. Voici une explication détaillée de cette démarche : a- Comprendre le contexte de la Circonscription Sanitaire : Avant de choisir une méthode, il est essentiel de comprendre le contexte dans lequel la C/S opère. Cela inclut la démographie, les maladies prévalentes, les ressources disponibles, les défis spécifiques et les priorités de santé. b- Analyse des indicateurs par rapport aux objectifs : La méthode de suivi-évaluation doit permettre d’analyser régulièrement les indicateurs clés par rapport aux objectifs fixés. Cela aidera à déterminer si les interventions mises en place sont efficaces et si les objectifs sont en passe d’être atteints. c- Surveillance de l’évolution des indicateurs : La méthode choisie devrait permettre d’observer comment les indicateurs évoluent au fil du temps. Cela donne une image claire de la progression et des domaines nécessitant une intervention. De plus, en analysant l’évolution des indicateurs dans différents secteurs ou régions de la C/S, on peut identifier des disparités ou des zones nécessitant une attention particulière. d- Évaluation de l’état d’avancement des activités : Au-delà des indicateurs, la méthode doit également permettre de suivre l’état d’avancement des activités planifiées. Cela garantit que le programme est sur la bonne voie et permet d’identifier rapidement les domaines où des ajustements sont nécessaires. e- Flexibilité et adaptabilité : La méthode de suivi-évaluation choisie doit être suffisamment flexible pour s’adapter aux changements de contexte ou aux nouvelles priorités. Elle devrait également permettre d’intégrer de nouveaux indicateurs ou d’ajuster les méthodes d’évaluation si nécessaire. f- Participation des parties prenantes : La méthode devrait encourager la participation active des différentes parties prenantes, y compris le personnel de santé, les bénéficiaires des programmes et d’autres partenaires clés. Leur contribution peut fournir des perspectives précieuses et aider à affiner la méthode de suivi-évaluation. 5. Détermination des évaluateurs et des évalués L’évaluation doit être un processus participatif. Au lieu d’être une activité menée par une personne externe, elle devrait impliquer toute l’équipe de la Circonscription Sanitaire. L’auto- évaluation est essentielle pour garantir l’objectivité et l’implication. a- Éviter une approche top-down : L’évaluation ne devrait pas être une tâche