Capitalisation Issue d’une Communauté de Pratiques sur les Effets et l’impact de l’éducation à la citoyenneté et à la solidarité internationale (PDF)

CAPITALISATION ISSUE D’UNE COMMUNAUTÉ DE PRATIQUES Effets et impact de l’éducation à la citoyenneté et à la solidarité internationale ÉCHANGES LES COLLECTIONS DU F3E SUR 2 EFFETS ET IMPACT DE L’ECSI CAPITALISATION ISSUE...

CAPITALISATION ISSUE D’UNE COMMUNAUTÉ DE PRATIQUES Effets et impact de l’éducation à la citoyenneté et à la solidarité internationale ÉCHANGES LES COLLECTIONS DU F3E SUR 2 EFFETS ET IMPACT DE L’ECSI CAPITALISATION ISSUE D’UNE COMMUNAUTÉ DE PRATIQUES Effets et impact de l’éducation à la citoyenneté et à la solidarité internationale EFFETS ET IMPACT DE L’ECSI 3  AVEC LE SOUTIEN DE : Nos remerciements aux contributeurs et contributrices de cette communauté de pratiques : AFDI Agriculteurs français et développement international Laura Grandmougin Laurence Monnot Bourgogne-Franche-Comté International Agathe Procar Adèle Bresson Cartooning for Peace Barbara Moyersoen Anne Lourdin Commerce Equitable France Claire Ménard Fédération Artisans du monde Lise Tregloze Lisa Serero Festisol Jean-Marc Delaunay Alice Duplay Pauline Decaillon Fonds pour la recherche en éthique économique Jérôme Ballet Robin Vos Frères des Hommes Mathilde Crétien Marie Bouret Kurioz Benoît-Karim Chauvin François Guerry RADSI Tiphaine Ardouin Secours Catholique - Caritas France Luciano Gallo Isabel Esquerdo Caroline Doremus-Mege Secours populaire français Marine Samson Amandine Grieneisen Florence Tith PICTOGRAMMES RENCONTRÉS RÉDACTION DE L'OUVRAGE MISE EN PAGE DANS LE DOCUMENT : Béatrice Seror ILLUSTRATIONS et Anne Kaboré Leroy Marie Aubry (Bâtir les solidarités collectives) et Elodie Rivalan (la Comète) hyperlien cliquable COORDINATION RELECTURE DE LA COMMUNAUTÉ DE PRATIQUES Marie-Agnès Ollier Rodrigue Olavarria Tapia (F3E) (La voie de la plume) bouton "retour au sommaire" en haut à droite de la planche Septembre 2021 4 EFFETS ET IMPACT DE L’ECSI AVANT-PROPOS L’éducation à citoyenneté et à la solidarité C’est à partir des pratiques des membres d’Educasol internationale (Ecsi) est un secteur qui mobilise et du F3E que nous avons initié ce travail afin de de plus en plus d’acteurs et d’actrices en France. les mettre en dialogue, de les analyser, dans une La multiplicité d’actions, son ancrage territorial, dynamique collective favorisant l’apprentissage la diversité de ses publics (scolaires, jeunesses, entre pairs. adultes) et surtout sa finalité, en font un vecteur de L’objectif de cette publication est donc de partager changement social à fort potentiel. les expériences inspirantes et les apprentissages L’Ecsi crée de manière continue des passerelles de ce groupe qui a dû naviguer au rythme de la entre les territoires en France et à l’international, pandémie de covid. pour une solidarité à double sens. Les actions d’Ecsi Je profite de ces mots pour rendre hommage à ont ainsi l’ambition de générer du changement tant Sophie Perez qui a beaucoup œuvré pour cette au niveau local que global, ici et ailleurs. Pour y communauté de pratiques, et plus largement pour parvenir, les acteurs et actrices de l’Ecsi mettent en la solidarité et la coopération internationale. Elle place de nombreux projets, dans des dynamiques nous a quitté le 29 décembre 2019, mais son action collectives qui favorisent l'approche multi-acteurs restera dans le cœur des collègues du F3E. Nous et actrices et le développement de partenariats. dédions cette publication à sa mémoire. Dans ce foisonnement d’activités, de nombreuses Bonne lecture, questions se posent : comment identifier et mesurer les changements obtenus par les actions menées pour les porteurs et porteuses de projets, pour les équipes, pour les bénévoles et les partenaires ? Quelles pratiques permettent de capter les effets produits, comment sont-elles déployées et à quelle échelle ? Angeles Estrada Directrice du F3E EFFETS ET IMPACT DE L’ECSI 5 SOMMAIRE AVANT-PROPOS 5 SIGLES ET ACRONYMES 8 01 LA CP, UNE PHASE D’UN PROCESSUS DE LONG TERME 11 02 DES ORGANISATIONS DIFFÉRENTES, UN CONTEXTE PARTICULIER 17 2.1 UNE DIVERSITÉ DE MEMBRES, DES PRÉOCCUPATIONS COMMUNES 20 2.2. L’ECSI ET LA CRISE COVID 21 03 LA NOTION DE QUALITÉ, DÉNOMINATEUR COMMUN DE LA CP 23 3.1 INTERROGER L’ACTION POUR EN RENFORCER L’IMPACT 26 3.2. LA TERMINOLOGIE : CONCEPTS VERSUS OPÉRATIONNALITÉ 28 04 LES MARGES D’AMÉLIORATION COLLECTIVE 31 4.1. LE CHANGEMENT SOCIÉTAL 34 4.2. LES PARTIES PRENANTES 38 4.3. L'ACCOMPAGNEMENT 42 4.4. POINTS DE MÉTHODE 44 05 CONCLUSION 49 6 EFFETS ET IMPACT DE L’ECSI 06 DES EXPÉRIENCES INSPIRANTES 57 LISTE DES EXPÉRIENCES CAPITALISÉES 60 FICHE 1. LE FESTIVAL DES SOLIDARITÉS 62 FICHE 2. E’CHANGEONS LE MONDE, ARTISANS DU MONDE GAP 68 FICHE 3. RADSI NOUVELLE-AQUITAINE 72 FICHE 4. COMMERCE EQUITABLE FRANCE 76 FICHE 5. BOURGOGNE-FRANCHE-COMTÉ INTERNATIONAL 80 Encadré 1. Les 5 objectifs des tandems 86 Encadré 2. Extraits de la fiche bilan "Tandems solidaires" 87 FICHE 6. SECOURS POPULAIRE FRANÇAIS 88 FICHE 7. SECOURS POPULAIRE FRANÇAIS 92 FICHE 8. SECOURS CATHOLIQUE - CARITAS FRANCE 94 FICHE 9. FÉDÉRATION ARTISANS DU MONDE 100 Encadré 3. Le projet JACE 105 FICHE 10. FÉDÉRATION ARTISANS DU MONDE 106 Encadré 4. Instagram pour évaluer l’éducation à la citoyenneté : le projet Being 21 109 FICHE 11. FÉDÉRATION ARTISANS DU MONDE 112 FICHE 12. FRÈRES DES HOMMES 118 Encadré 5. Lettres de Pépins 120 FICHE 13. LA DÉMARCHE DE KURIOZ 124 FICHE 14. AFDI 128 Encadré 6. Questionnaire apprenant·e 132 FICHE 15. CARTOONING FOR PEACE 134 FICHE 16. COMMERCE ÉQUITABLE FRANCE 138 07 ANNEXES 141 7.1. TERMINOLOGIE : UN ÉCLAIRAGE SUR LE SENS DES MOTS 142 7.2. LA GRILLE DE LECTURE DE L’EXPÉRIENCE D’ÉVALUATION DES EFFETS 144 7.3. DU CONCEPT À LA MISE À PRATIQUE : LES QUESTIONS À SE POSER POUR PRÉPARER L’ÉTUDE D’OBSERVATION OU DE MESURE DES EFFETS 146 7.4. NOTE DES ILLUSTRATRICES 148 EFFETS ET IMPACT DE L’ECSI 7 SIGLES ET ACRONYMES AFD CP Agence française de développement Communauté de pratiques AFDI DSE Agriculteurs français et développement Dispositif de suivi-évaluation international ECE AOC Projet « Écoles de commerce équitable » Approches orientées changement ECM BFCI Éducation à la citoyenneté mondiale Bourgogne Franche-Comté international Ecsi CAD Éducation à la citoyenneté et à la solidarité Comité d’aide au développement de l'Organisation internationale de coopération et de développement économiques (OCDE) EFQM European Foundation for Quality Management CEF Commerce équitable France. FADM Fédération Artisans du monde CFP Cartooning for peace. FDH Frères des Hommes CNEAP Fédération professionnelle d’établissements FSM catholiques. Forum social mondial Le « + » désigne l’ensemble des autres identités, orientations, expressions qui ne sont pas JACE représentées dans les autres lettres du sigle. Jeunes Ambassadeur·rice·s du commerce équitable Covid ONG Coronavirus disease Organisations non gouvernementales 8 EFFETS ET IMPACT DE L’ECSI OCDE Organisation de coopération et de développement économiques RADSI Réseau associatif pour le développement de la solidarité internationale RADSI NA RADSI Nouvelle-Aquitaine SCCF Secours catholique Caritas France SPF Secours populaire France EFFETS ET IMPACT DE L’ECSI 9  01 10 EFFETS ET IMPACT DE L’ECSI LA COMMUNAUTÉ DE PRATIQUE, UNE PHASE D’UN PROCESSUS DE LONG TERME EFFETS ET IMPACT DE L’ECSI 11 12 EFFETS ET IMPACT DE L’ECSI 01 LA COMMUNAUTÉ DE PRATIQUE, UNE PHASE D’UN PROCESSUS DE LONG TERME La communauté de pratiques (CP) « L’évaluation de l’impact de l’éducation à la citoyenneté et à la solidarité internationale (Ecsi) » est une des étapes du processus de réflexion et d’analyse sur l’évaluation des actions d’Ecsi porté conjointement par Educasol et le F3E, avec le soutien de l’AFD, depuis plus d’une décennie. EFFETS ET IMPACT DE L’ECSI 13 La Communauté de Pratiques, une étape du processus de réflexion et d’analyse sur l’évaluation des actions d’Ecsi Ce processus a donné lieu à différents espaces de travail et plusieurs productions : UN PEU D’HISTOIRE 2012 Educasol et F3E animent une recherche-action participative, avec huit ONG et une collectivité territoriale, dont l’objectif est de construire une démarche méthodologique de suivi et d’évaluation des effets et de l’impact d’actions d’Ecsi. 2014 Production d’un guide méthodologique, Sur le chemin de l’impact de l’éducation au développement et à la solidarité internationale – Repères méthodologiques pour apprécier ce qui est en mouvement, destiné à aider les porteur·euse·s de projet à concevoir leur propre démarche de planification, suivi et évaluation des changements. 2015 Journée d’échange réunissant des commanditaires d’évaluations (ONG et collectivités territoriales, porteur·euse·s d’actions ou programmes d’Ecsi, évaluateur·rice·s expert·e·s des questions d’Ecsi, pouvoirs publics et bailleurs de fonds au niveau national ou territorial) pour partager leurs attentes et représentations sur l’évaluation et identifier les leviers et freins à l’apprentissage. 2015 Création d’un blog sur l’évaluation des actions d’Ecsi. 2015-2016 Étude transversale sur la culture de l’évaluation dans les actions d’Ecsi en Europe, publiée en 2016. 2017-2018 Réalisation de deux sessions de formation « Évaluer les effets de ses actions d’Ecsi », avec une ouverture sur les approches orientées changement. 2018-2019 Ateliers de construction collective d’une communauté de pratiques. La CP avait pour programme de poursuivre la solliciter la participation des parties prenantes, réflexion et les expérimentations autour de quatre dont les publics, dans la mesure des effets de axes définis lors des ateliers préalables qui se sont l’action d’Ecsi, y compris sur le court terme. déroulés entre 2018 et 2019 : 3. L’accompagnement : 1. Le changement sociétal : adapter les formats et la temporalité de l’évaluation établir des liens entre actions d’Ecsi et enjeux aux contraintes et aux spécificités des publics ; sociétaux ; intégrer des questionnements évaluatifs par faciliter la participation des publics à la petites touches dans les temps d’animation. construction et/ou la conduite de l’action d’Ecsi. 4. Les points de méthode : 2. Les parties prenantes : former les membres de son réseau ou de son créer une culture partagée pour l’évaluation au collectif à l’évaluation de l’impact par l’échange sein de la structure ou du réseau ; d’expérience ; 14 EFFETS ET IMPACT DE L’ECSI  faciliter l’entrée dans l’évaluation par une approche par les petits pas. À NOTER Prévue sur une durée de 12 mois, la CP s’est finalement déployée sur 20 mois. Son déroulement a Même si les membres de la CP n’utilisent pas été impacté par la dissolution d’Educasol (fin 2019), les termes « démarches et outils qualité », l’altération de l’équipe d’animation du F3E et la crise qui relèvent de la terminologie du F3E, nous sanitaire. les emploierons pour désigner l’ensemble des démarches, approches et outils Six rencontres ont été organisées : méthodologiques visant à « améliorer la qualité en présentiel, le 29 octobre 2019 ; de leurs actions et de leurs organisations1 ». en distanciel, les 9 juin et 1er juillet 2020, ainsi que De même, le terme d’étude a été préféré à les 20 janvier et 2 avril 2021 ; celui d’évaluation, s’agissant des effets, car en format hybride, le 24 juin 2021. il englobe une diversité de démarches et d’objectifs qui ne sont pas toutes du ressort de Ce rapport présente une synthèse analytique de la l’évaluation, laquelle, aux yeux du F3E, sous- production de la CP et de ses membres. tend un jugement porté sur l’action. 1 - « Démarches qualité et ONG de solidarité internationale », note de synthèse, atelier du 29 mai 2012 : « Introduction à la démarche EFQM – Application dans le secteur des ONG en Belgique et présentation de la démarche envisagée en France pour l’élaboration d’un cadre de référence commun pour la qualité », F3E-Coordination Sud. EFFETS ET IMPACT DE L’ECSI 15  02 16 EFFETS ET IMPACT DE L’ECSI DES ORGANISATIONS DIFFÉRENTES, UN CONTEXTE PARTICULIER EFFETS ET IMPACT DE L’ECSI 17 18 EFFETS ET IMPACT DE L’ECSI 02 DES ORGANISATIONS DIFFÉRENTES, UN CONTEXTE PARTICULIER Les membres de la CP se caractérisent par leur variété. Les organisations en réseau sont majoritaires, dont certaines multiacteurs et actrices (BFCI, Resacoop). Les champs thématiques sont larges (Festisol, KuriOz, CPF, Cneap) ou plus spécifiques (CEF, Fadm). Les périmètres d’intervention vont du régional à l’international, l’Ecsi étant parfois associée à des actions de solidarité à l’international (Afdi) et/ou en France (Secours Populaire Français, Frères des Hommes, Secours Catholique). EFFETS ET IMPACT DE L’ECSI 19 2.1 UNE DIVERSITÉ DE MEMBRES, DES PRÉOCCUPATIONS COMMUNES La diversité des acteur·rice·s, des modes d’intervention et des enjeux offre un panorama large, favorable au croisement des regards, à la prise de recul et à la mise en évidence d’enjeux généraux ou plus spécifiques. POINTS DE VUE LE PUBLIC CIBLE DE LA MESURE DES EFFETS ET L'IMPACT Les acteurs·rices sociaux·ales auprès desquels·les les porteurs·euses d’action cherchent à connaître l’impact de celle-ci sont les suivants : En milieu scolaire, majoritairement : les jeunes participant aux dispositifs d’éducation au commerce équitable (démarche de baromètre lancée par le projet ECE) ; les jeunes des lycées professionnels (évaluation du projet Being 21) ; les élèves-apprenti·e·s, le binôme enseignant·e-bénévole ou salarié·e et la posture de l’animateur·trice (projet Exp’ose) ; les élèves et les détenu·e·s ayant participé aux ateliers (Cartoning for Peace - CFP) ; les élèves et les professeur·e·s (projet Jace, et Afdi) ; les établissements qui s’engagent dans le processus de labellisation « Écoles de commerce équitable » : pour autant, au-delà de l’institution, il s’agit bien de valoriser la mobilisation de jeunes élèves, étudiant·e·s, enseignant·e·s, parent·e·s et membres de la communauté éducative ; les porteur·euse·s de projet : référent.e.s pédagogiques et représentant.e.s d’associations, ainsi que les élèves pour ce qui est du dispositif « Tandems solidaires ». Hors milieu scolaire, majoritairement : les publics des actions menées dans le cadre du Festisol ; les publics en situation de précarité aidés par les structures du SPF et qui connaissent des réalités de vie très diverses ; les jeunes, les détenu·e·s, les migrant·e·s, les bénéficiaires du RSA… auxquel·le·s s’adressent les actions des partenaires du projet Act’ODD ; cinq villages « Copain du monde » en France et à l’étranger, ainsi que des enfants et adultes ayant participé à un village en France et à l’étranger ; les Pépins, ou porteur·euse·s de projets, dans le cadre d’une démarche de prise de recul mise en œuvre par FDH ; concernant le SCCF, il s’agit d’identifier les retombées de la participation du SCCF au Forum social mondial (FSM) au niveau individuel et collectif en précisant qu’il ne s’agissait pas de mesurer l’impact des FSM aux changements du monde ou changements sociétaux. 20 EFFETS ET IMPACT DE L’ECSI 2.2. L’ECSI ET LA CRISE COVID La crise sanitaire, le confinement et la limitation des regroupements impactent le secteur de l’Ecsi en accélérant des tendances dont certaines se profilaient antérieurement à la crise. Celles-ci concernent : Les animations numériques imposent un changement de format mais aussi une révision les contextes, les perspectives et les représentations des programmations, alors que le Web permet des publics : une délocalisation des publics. La prise de conscience des interdépendances est Beaucoup d’actions en milieu scolaire sont plus forte pour certain·e·s, tandis que l’isolement annulées. Celles qui ont lieu sont très appréciées renforce le repli sur soi pour d’autres. par les enseignant·e·s et les élèves, ne serait-ce La crise illustre le fait que des changements que parce qu’elles permettent de sortir d’une sociaux et de modes de vie sont possibles de forme de huis clos. manière rapide, surtout s’ils sont soutenus par une volonté politique. la mobilisation des bénévoles : La crise (crise sociale, pauvreté) et le besoin le sens même de l’Ecsi. Ainsi, il convient : de forces vives sur la logistique des activités de lui redonner du sens dans un contexte où les de solidarité redéfinissent les priorités des changements sociétaux s’imposent ; acteur·rice·s aux dépens de l’Ecsi. de s’interroger collectivement sur la manière Beaucoup d’entre eux·elles sont âgé·e·s et dont les acteur·rice·s de l’Ecsi s’impliquent et se considéré·e·s comme personnes à risque, ce mobilisent ; qui peut renforcer des tendances au repli et à d’en avoir une vision plus large et plus ouverte l’individualisation. D’autres sont directement (par exemple en y valorisant l’engagement des victimes de la pandémie. bénévoles). Les équipes salariées sont aussi impactées par ces la réorganisation, voire une refonte, des actions et évolutions. des modes d’intervention : L’incertitude est de mise, et les acteur·rice·s La crise sanitaire conduit les acteur·rice·s à doivent apprendre à la gérer. réinterroger le format de leurs actions, en D’autres modalités de sensibilisation doivent être s’appuyant notamment sur le numérique imaginées en dehors du présentiel (à distance, sur mais de manière non exclusive. l’espace public par exemple). Les animations en distanciel ont tendance à Peut-être du fait du caractère d’urgence et non toucher des publics de convaincu·e·s, mais la anticipé de la situation, les approches qualité nécessité de passer par l’outil informatique peut semblent être peu concernées par la réflexion. être source d’exclusion pour ceux et celles qui n’y ont pas accès. EFFETS ET IMPACT DE L’ECSI 21  03 22 EFFETS ET IMPACT DE L’ECSI LA NOTION DE QUALITÉ, DÉNOMINATEUR COMMUN DE LA CP EFFETS ET IMPACT DE L’ECSI 23 24 EFFETS ET IMPACT DE L’ECSI 03 LA NOTION DE QUALITÉ, DÉNOMINATEUR COMMUN DE LA CP Les membres de la CP ont tous et toutes une pratique des « démarches et outils qualité », notamment des évaluations externes, des autoévaluations, des enquêtes de satisfaction, des dispositifs de suivi-évaluation. S’il·elle·s considèrent l’évaluation comme un outil parmi d’autres (notamment le suivi-évaluation, l’autoévaluation, l’étude d’impact, la capitalisation), il·elle·s utilisent souvent ce terme comme un concept « fourre-tout » dans un sens générique1, pour les désigner. 1 - « Évaluer : déterminer approximativement la durée, la quantité, le nombre, l'importance de quelque chose » (Larousse). EFFETS ET IMPACT DE L’ECSI 25 3.1 INTERROGER L’ACTION POUR EN RENFORCER L’IMPACT POINTS DE VUE PRÉCISION SÉMANTIQUE L’expression démarche d’observation des effets est majoritairement utilisée, celle de « démarche ou outil qualité » quasiment pas, et quand elle l’est, elle désigne autre chose : la « démarche qualité » des établissements scolaires, qui systématiquement proposent un questionnaire d’évaluation suite à une animation avec un·e intervenant·e extérieur·e. C’est par ailleurs le « groupe qualité » de l’AFDI qui est à l’initiative de l’expérimentation sur la mesure du changement de perception. Les motivations des membres de la CP à mettre en les animations, dans la forme et dans le fond, les œuvre de telles approches sont convergentes : actions et les dispositifs ; apprécier les changements produits par les actions donner du sens à ces démarches pour mieux en matière d’évolution des représentations, mobiliser les parties prenantes et rendre les savoirs, savoir-être et savoir-faire pour en tirer des informations compréhensibles en interne et en enseignements et les valoriser ; externe. faire que les organisations se saisissent de l’évaluation des effets/de l’impact pour améliorer 26 EFFETS ET IMPACT DE L’ECSI  POINTS DE VUE Entreprendre la démarche répond à deux motivations principales : apprécier la contribution des actions d’Ecsi aux changements sociétaux : valoriser l’utilité sociale des actions (SPF), identifier les effets concrets que nous souhaitons provoquer (FADM), aborder les aspects d’impact (AFDI), mesurer les effets des dispositifs (CEF), identifier les effets d’un engagement citoyen (FDH), apprécier les changements de représentation des élèves (CFP), tester grandeur nature une enquête longitudinale (FADM), évaluer les compétences acquises (FADM), avoir des données qualitatives pour mener à bien une évaluation des effets produits par nos actions sur les publics visés, mesurer les changements de regard et de comportement recherchés (KuriOz). renforcer les capacités (dispositifs et méthodologies) : accompagner le réseau dans une démarche collective d’apprentissage, d’une édition à l’autre, pour renforcer les pratiques d’Ecsi (Festisol), améliorer la qualité des projets d’éducation à la citoyenneté mondiale (ECM) en améliorant l’accompagnement proposé aux porteur·euse·s de projets (BFCI), mettre en place une démarche d’évaluation d’impact interne afin d’analyser les types de changements induits en interne suite à la participation du SCCF au FSM (SCCF), ancrer une démarche de mesure, d’appréciation des effets qui s’inscrive dans la durée (Radsi NA), mettre en place un outil de suivi-évaluation, et accompagner au changement (CEF), mettre en place des démarches variées de suivi- évaluation (Fadm), se former aux approches orientées changement – AOC (KuriOz). Elle donne à comprendre : Il s’agit non seulement de montrer les effets des villages « Copain du monde » sur les individus qui y participent, et, par extension, ce que ces derniers apportent à la société après avoir vécu cette expérience, mais aussi d’exposer comment ces effets sont produits (SPF). Les membres de la CP attribuent aux démarches prendre du recul : vérifier ce qui fonctionne et qualité différentes finalités : réorienter si nécessaire ; vérifier la cohérence entre le sens, les attendus et apprendre et améliorer les pratiques ; le réalisé ; changer d’échelle d’intervention tout en gardant prendre en compte la globalité du projet et son la qualité du projet ; utilité sociale ; donner de la visibilité et valoriser ce qui est fait. EFFETS ET IMPACT DE L’ECSI 27 3.2. LA TERMINOLOGIE : CONCEPTS VERSUS OPÉRATIONNALITÉ Le vocabulaire et la terminologie utilisées sont assez prenantes, à travers un vocabulaire qui peut être imprécises. Par exemple, les membres de la CP partagé en étant le moins connoté possible : par parlent de manière peu différenciée de démarche exemple, le mot évaluation peut être assimilé à (le plus souvent), de dispositif ou d’outil. Outre du contrôle ou de la redevabilité, comme dans le l’absence de référence commune et la présence milieu de l’Éducation nationale, ou pour certain·e·s d’usages propres à chaque organisation, cela traduit opérateur·rice·s, auxquel·le·s il évoque les exigences une recherche d’adhésion large de toutes les parties des financeur·euse·s. POINTS DE VUE PRÉCISION SÉMANTIQUE Le terme évaluation est connoté et associé au rendre-compte aux bailleurs. Cela rend difficile l’appropriation et l’adhésion des collectifs (Festisol) à la démarche. Lors de la première réunion collective regroupant les 12 fédérations pilote du Secours populaire participant à un atelier sur le sens de la démarche d’observation des effets, nous avons échangé sur la différence entre mesure des effets des actions et évaluation des résultats. L’expression observation des effets apparaît plus appropriable par tous, mais son sens est plus restrictif. Nous souhaitions aller au-delà de l’observation pour mesurer, le plus objectivement possible, les effets de nos actions. » SPF Connaître les effets produits par les actions sur les diverses parties prenantes est la priorité à ce stade. C’est ensuite que la question des changements sociétaux à long terme pourra être posée. Il semble que ce soit ce passage des effets aux changements sociétaux que recouvre le terme d’impact. 28 EFFETS ET IMPACT DE L’ECSI  POINTS DE VUE L’impact d’une action d’Ecsi est complexe à analyser et à valoriser. Dans le cas du Festisol, nous parlons d’effets et non d’impact, nous essayons de voir quels « petits pas » nous avons favorisé par les animations d’Ecsi et comment rester en lien pour poursuivre la réflexion tout au long de l’année. Pourquoi et comment différencier résultat et effet ? Le facteur temps – au sens d’observer les effets 3, 10 ou 15 ans après l’action – est-il la différence entre l’observation des effets et l’évaluation de l’impact ? KuriOz le confirme en prévoyant une analyse d’impact à l’issue seulement d’un troisième triennal, laquelle s’appuiera sur un dispositif de recueil de données coconstruit durant le deuxième triennal. Le SCCF se réfère à l’identification des résultats (après l’action), des effets (moyen terme) et des impacts (long terme). Par ailleurs, des distorsions peuvent affleurer entre parfois exaltée, souvent idéalisée. Voyager entre les ce que les membres de la CP ont pu exprimer deux, productions écrites et échanges oraux, permet oralement et ce qu’ils et elles partagent à l’écrit. de cheminer ensemble sans se perdre, d’identifier Le temps de la capitalisation est celui du retour à des lignes de tension, d’en faire peut-être des balises, l’action, aux contraintes du terrain, à une parole plus exprimées sous forme de constats, de questions, institutionnelle. Les échanges oraux en collectif sont d’hypothèses, de pistes de travail à creuser au-delà propices à la prise de recul, à l’expression spontanée, de la CP. POINTS DE VUE Sont utilisés, au lieu du terme « effet », les substantifs : retombée, changement, utilité sociale, résultat, impact. Un acteur (KuriOz) fait référence aux approches orientées changement (AOC). Les verbes associés aux termes d’effet ou de changement sont : identifier, répertorier, analyser, mesurer, apprécier, accompagner, valoriser, évaluer. Les définitions simples des termes changement, résultat, effet, impact, établies à l’issue de la recherche-action ayant abouti à la publication « Sur le chemin de l’impact », pourraient servir de référence commune (cf. annexe Terminologie). EFFETS ET IMPACT DE L’ECSI 29  04 30 EFFETS ET IMPACT DE L’ECSI LES MARGES D’AMÉLIORATION COLLECTIVE EFFETS ET IMPACT DE L’ECSI 31 32 EFFETS ET IMPACT DE L’ECSI 04 LES MARGES D’AMÉLIORATION COLLECTIVE La CP a produit un certain nombre d’analyses en lien avec les quatre domaines, ci-après détaillés, porteurs d’enjeux et d’évolution identifiés dans les phases précédentes du processus (rappel des priorités initiales). Sur la base des priorités établies dans chacun de ces domaines, la CP a identifié des axes de renforcement à partir de l’état des lieux réalisé collectivement et des expériences de chacun·e des membres. EFFETS ET IMPACT DE L’ECSI 33 4.1. LE CHANGEMENT SOCIÉTAL SYNTHÈSE DES ÉCHANGES La construction des référentiels sur les changements attendus intervient le plus souvent en fin de programme, au moment où se pose la question de l’analyse de l’impact. Ces référentiels sont pourtant essentiels pour la définition et la conception de l’action. En formulant précisément les changements attendus, ils explicitent et rendent partageable le sens de l’action et offrent une base de référence pour l’analyse des effets. LES PRIORITÉS INITIALES établir des liens entre actions d’Ecsi et enjeux sociétaux ; faciliter la participation des publics à la construction et/ou à la conduite de l’action. Clarifier le sens de l’action au regard de la problématique sociale La définition des changements attendus reste générale (un autre monde, changer les comportements). POINTS DE VUE Les expressions oscillent entre deux registres : la mission sociale : encourager les personnes en précarité à s’engager, donner envie d’agir, parler des solidarités, participer au FSM, renforcer le pouvoir d’agir, sensibiliser aux réalités des agricultures du Sud, sensibiliser aux enjeux du commerce équitable, donner l’occasion de participer activement à un projet d’éducation à la citoyenneté mondiale ; la problématique sociale : nourrir l’engagement citoyen, libérer la parole et développer l’esprit critique, lutter contre le décrochage scolaire, développer les compétences des élèves, faciliter l’engagement des jeunes. 34 EFFETS ET IMPACT DE L’ECSI  POINTS DE VUE TYPOLOGIE DES CHANGEMENTS Les changements visés sont le plus souvent présentés sous forme d’une énumération terminée par des points de suspension. Des typologies sont toutefois explicitées : le SCCF les décline en savoirs, représentations, attitudes, comportements, savoir-faire, renforcement des compétences et des capacités ; BFCI en questionnement, marque d’intérêt, changement de posture, compétences – savoir, savoir-être, savoir-faire ; le Radsi NA en savoir-faire, savoir-devenir et savoir-être ; FDH en changement de comportement et modification des interactions sociales. À quelques nuances qu’il serait intéressant de recenser, ces typologies constituent un tronc commun. Il est par ailleurs remarquable que les changements visés soient principalement de niveau individuel, et plus rarement institutionnel. Construire une théorie du changement1 et s’interroger sur le sens de l’action (valeurs, hypothèses et conditions qui sous-tendent POINTS DE VUE l’action) permet, au regard de la problématique sociale à laquelle l’organisation entend […] le besoin de définir un référentiel s’attaquer et la mission sociale qu’elle se des changements recherchés par donne, d’expliciter les liens entre actions domaine et niveau d’action pour d’Ecsi et enjeux sociétaux, et de clarifier sa pouvoir élaborer la grille d’évaluation, démarche : ce vers quoi elle veut aller, comment les questions évaluatives et les le changement doit se faire, pourquoi, en quoi indicateurs d’impact. » SCCF et comment l’action y contribue. Se doter en La FADM cite le référentiel éducation amont d’un référentiel des changements ou d’Artisans du monde, inspiré du référentiel effets visés. Ecsi d’Educasol, ou encore le cadre européen commun de référence pour les Ce travail d’analyse et de formulation des changements langues, dont s’inspire l’outil Portfolio. recherchés permet la construction d’un référentiel sur lequel s’appuyer, en amont pour construire l’action, en aval pour en suivre les effets, escomptés et réels. 1 - « […] vision explicitement documentée (et donc évaluable) de la façon dont on pense que le changement doit se produire » (Rick Davies, « Representing Theories of Change: Technical Challenges with Evaluation Consequences », 2018), elle permet de réfléchir collectivement aux « conditions nécessaires pour réaliser le changement souhaité dans un contexte donné » (Iñigo Retolaza Eguren, « La théorie du changement », Hivos, 2016). S’intéressant aux liens de causalité (pourquoi, comment), elle offre un cadre d’analyse sur les effets et la manière de les atteindre, qui, s’il est construit collectivement, devient une feuille de route conceptuelle partagée par les parties prenantes, explicite et évolutive en fonction des réalités. EFFETS ET IMPACT DE L’ECSI 35 Disposer d’un référentiel permet de définir les critères et indicateurs de réussite. POINTS DE VUE Deux acteurs utilisent le terme « critère » : Le Radsi NA cite, comme élément de réussite de son expérimentation, les outils construits autour de questions ouvertes, une présentation de l’outil et un rappel des critères et des indicateurs recherchés. Pour CEF, la construction des critères du label « Écoles de commerce équitable » a permis d’identifier les grands axes d’engagement en faveur du commerce équitable. Dans ce cadre, la sensibilisation au commerce équitable au sein de l’établissement scolaire est un critère. La démarche d’évaluation de l’atteinte de ces critères par les établissements s’inspire du système WFTO (World Fair Trade Organization), qui est le système de garantie propre au commerce équitable… Nous avons donc pris appui sur nos propres cadres de référence en matière de garantie et d’évaluation (applicables aux organisations de production et de distribution) pour les transposer à une démarche adaptée à des établissements scolaires. Les résultats d’une consultation de ces derniers sur la pertinence de la démarche valident globalement la démarche d’évaluation et la pertinence des critères. Les indicateurs sont évoqués dans les termes suivants : L’AFDI souhaite améliorer les indicateurs de résultats relatifs aux interventions dans les établissements scolaires. Le chercheur J.-L. Pernin, à l’initiative de l’outil Baromètre, précise : L’analyse descriptive des résultats du test montre que la distance psychologique est un indicateur particulièrement intéressant pour mesurer les impacts des dispositifs d’éducation au commerce équitable. Il peut également s’appliquer à des thématiques éloignées des sphères de la consommation et permettre des mesures sur des enjeux plus globaux tels que le changement climatique, la préservation de la biodiversité, l’égalité des genres, etc. Le dernier avantage de cet indicateur est qu’il est plus visuel, graphique, dans sa forme que les indicateurs classiques. Il peut, là encore, être mieux adapté pour des publics très jeunes. Les outils présentés en annexe permettent aussi de faire émerger des indicateurs. Par exemple : Cartooning for peace (CFP) prédéfinit des mots-clés associés aux représentations afin de voir dans quels sens celles-ci évoluent. L’AFDI identifie les préjugés sur les agricultures africaines qui pourraient évoluer. Le RADSI NA propose un questionnaire aux jeunes en début de projet pour définir une situation « ante-Exp’ose ». 36 EFFETS ET IMPACT DE L’ECSI Des points de vigilance créer ou décliner un référentiel pour chaque projet et public, au-delà du référentiel de la conditionnent la réussite structure, pour prendre en compte les spécificités de cette démarche : du projet ; partager, y compris en interne, les référentiels construire le référentiel en amont ; existants ; identifier collectivement les niveaux de se doter des moyens nécessaires à la construction changement visés par les programmes ; et à l’analyse. s’inscrire dans la durée du changement de mentalités, dont la temporalité est plus longue que celle des projets ; POINTS DE VUE Pour le SCCF, une des difficultés était que les changements recherchés, et donc les indicateurs de suivi, n’étaient pas formalisés dès le début du projet, ce qui a rendu nécessaire un important travail de conceptualisation de la démarche (année 2018-2019) et de repérage dans les documents historiques liés à l’action… Garder certains indicateurs d’analyse constants dans le temps favorise une analyse des changements dans le temps. La FADM regrette le manque de temps pour contextualiser les résultats avec d’autres facteurs internes et externes auxquels on n’avait pas pensé, notamment des indicateurs sociologiques (comme les caractéristiques sociales et scolaires des publics avec qui on agit), qui pourtant sont essentiels pour mieux comprendre les résultats. Kate, une volontaire en service civique qui a contribué à l’évaluation du projet JACE, plaide aussi pour sortir des cadres imposés : Il faut sortir de la logique de l’indicateur quantitatif, il n’y a pas que ça. » KATE Souvent, les changements attendus sont formulés (dans les dossiers de demande de subvention, par exemple), mais un travail d’approfondissement et de formalisation est nécessaire. Néanmoins, le référentiel n’est pas écrit dans le marbre. Il peut être réinterrogé afin de correspondre à la réalité de terrain. La dimension évolutive du référentiel doit être questionnée dès le démarrage. EFFETS ET IMPACT DE L’ECSI 37 4.2. LES PARTIES PRENANTES SYNTHÈSE DES ÉCHANGES Plus le sens de la démarche, son objectif, son utilisation, ses destinataires sont clarifiés, plus les parties prenantes peuvent s’y impliquer et plus les résultats sont exploitables et utiles à l’amélioration des pratiques et de l’action. LES PRIORITÉS INITIALES Créer une culture partagée de l’intérêt de l’évaluation au sein de la structure ou du réseau ; Solliciter la participation des parties prenantes, dont les publics, dans la mesure des effets de l’action, y compris dans le court terme. Identifier et qualifier les parties prenantes La construction et la mise en œuvre de démarches d’observation des effets impactent l’organisation. POINTS DE VUE FOCUS Cet aspect est d’autant plus marqué lorsque : la motivation principale de la mise en œuvre d’une telle démarche est de répondre à la question du sens de la mobilisation au sein d’un réseau, ce qui est explicitement le cas pour les expérimentations de Festisol ; la démarche est mise en œuvre sur un programme qui recouvre un périmètre nouveau, comme pour le SPF, qui l’expérimente sur un premier projet triennal d’Ecsi mené au niveau national et en cours de lancement. Le suivi est confié à un groupe de travail : pour le SPF Mesure des effets, pour Festisol Apprendre ensemble des expériences. Rappelons que le terme parties prenantes recouvre partenaires opérationnel·le·s, les destinataires, les une diversité de rôles, de postures et de fonctions, partenaires relais (ex. : établissements scolaires), les qui se croisent et se recoupent, parmi lesquels : les bailleurs, et aussi les salarié·e·s et les bénévoles, les porteur·euse·s du projet (opérateur·rice·s) et leurs animateur·rice·s et les observateur·rice·s. 38 EFFETS ET IMPACT DE L’ECSI De manière générale, leur implication apparaît de ceux·elles impacté·e·s, et, d’autre part, les limitée : retours difficiles des terrains, peu parties prenantes du projet des parties prenantes d’implication des destinataires et des partenaires. de la démarche qualité ; Or, les démarches qualité ont tout à gagner du croiser différentes modalités d’évaluation partage des points de vue et de l’implication des impliquant différentes parties prenantes ; parties prenantes dans le processus. expérimenter de nouvelles approches Pour la favoriser : (recherche-action, groupe témoin, apprentissage s’appuyer sur une cartographie des acteur·rice·s2, entre pairs…). pour distinguer d’une part ceux·elles impliqué·e·s POINTS DE VUE Les expériences capitalisées soulignent l’intérêt et l’apport d’impliquer dans la démarche qualité : Les pair-e-s : les démarches de co-construction portées par les collectifs renvoient à cette implication des pairs. Échanger et apprendre des autres, qui ont mis en place des démarches de ce type avec des contraintes similaires, permet de commencer à penser la démarche. ». SPF L’évaluation par les pairs est aussi un aspect important de la procédure de labellisation « Écoles de commerce équitable ». Des chercheur·euse·s : comme le Laboratoire d’études et de recherches appliquées en sciences sociales, ou le Fonds pour la recherche en éthique économique, sollicités par CEF ou la FADM. Des consultant·e·s : comme SPF, pour l’évaluation d’impact « Village Copain du monde », et KuriOz, via le F3E. Chercheur·euse·s et consultant·e·s apportent un cadrage, un outillage méthodologique et une grande créativité dans les protocoles : par exemple, constitution d’un groupe neutre dans le cadre du baromètre pour comparer les jeunes ayant bénéficié d’un dispositif d’ECE et ceux·elles n’en ayant pas bénéficié ; utilisation d’Instagram afin de conforter les élèves dans un environnement qui leur est familier et permettre une expression plus aisée (FADM). Cette contribution est un gage de réussite (KuriOz). Des volontaires en service civique. Il ne s’agit cependant pas de leur donner à porter les démarches : Si l’idée c’est de filer (l’évaluation) à un·e service civique ou à un·e stagiaire parce que, dans la structure, personne ne veut le faire, il ne faut pas oublier que, derrière, c’est une personne avec un travail précaire. […] Si c’est vu comme un travail intéressant, mais que les gens n’ont pas le temps de le faire, il ne faut pas non plus se dire qu’un·e service civique sera un gain de temps, parce que ça nécessite un accompagnement des volontaires pour permettre de développer leurs capacités d’action et leur vision citoyenne […] et se préoccuper de « Qu’est- ce que cette mission va leur permettre après ? » VOLONTAIRE SERVICE CIVIQUE 2 - Elle fournit une image des différent·e·s acteur·rice·s en fonction de leur rôle (bénéficiaires, partenaires…), de leur sphère d’influence, de leur niveau d’importance, de leur positionnement par rapport au projet de changement. Réalisée en amont en complément de la théorie du changement, elle aide à la définition du projet. Elle sera revisitée lors de la définition du processus d’observation des effets, pour établir les rôles de chacun·e (qui diffèrent de ceux du projet). EFFETS ET IMPACT DE L’ECSI 39 Assurer l’appropriation des démarches qualité par les parties prenantes et impliquer ces dernières dans la conception des outils L’initiative de mettre en place une démarche qualité revient systématiquement à la « tête de réseau » ou à l’opérateur·rice principal·e. Les démarches qualité sont encore très souvent perçues comme relevant des seuls contrôles et redevabilité auprès des bailleurs. POINTS DE VUE La question de la redevabilité, frein ou moteur ? L’analyse invite à ne pas avoir une approche trop manichéenne. Dans les motivations à entrer dans des démarches qualité, la redevabilité occupe une place assez systématique, au même titre que l’apprentissage. Et si la redevabilité est souvent évoquée comme une des raisons qui provoquent la méfiance des acteur·rice·s de terrain, beaucoup considèrent qu’une démarche d’observation des effets peut venir enrichir une évaluation de redevabilité. La redevabilité doit-elle être appréhendée sous le seul angle des bailleurs ou aussi sous celui des partenaires et des publics visé·e·s in fine ? Il y a vraiment besoin que les associations s’emparent de cette question (de l’évaluation), pour être en capacité de ne pas juste évaluer parce que des financeurs l’ont demandé et à la manière dont il·elle·s l’ont demandé. Parce que, sinon, ça veut dire qu’on n’a pas du tout de contrôle sur ce qu’on fait. » Projet JACE Dès lors, le retour d’information de la part des Pour que les opérateur·rice·s s’impliquent et acteur·rice·s de terrain est difficile et se borne s’approprient les démarches qualité, il·elle·s doivent leur donner du sens et voir que celles-ci sont au souvent à des données quantitatives basiques service de l’action et du renforcement de ses effets (nombre d’interventions, de participant·e·s…). et de son impact. La motivation, d’abord, mais aussi l’endurance et la persévérance des salarié·e·s qui portent, parfois de manière solitaire, les démarches d’observation des effets sont la condition sine qua non pour que la démarche aboutisse. 40 EFFETS ET IMPACT DE L’ECSI  POINTS DE VUE La démarche de questionnement doit présider à la construction des dispositifs d’observation des effets, à plus forte raison lorsqu’ils recouvrent une dimension pluri-acteur·rice. Parmi ces questions : Pour qui on évalue ? Qu’est-ce qu’on évalue précisément ? (Radsi NA) Qu’est-ce qu’on veut vraiment chercher à savoir et pourquoi ? (Projet JACE) Qu’est-ce que la SI ? Pourquoi on agit pour la solidarité et pourquoi on veut engager des personnes ? Quels sont les effets recherchés par nos actions ? Les publics ciblés ? Ou trouver ces publics ? Et c’est seulement après que la réflexion sur les animations peut commencer. (FADM) Ouvrir un chantier qui croise les modalités d’animation de ces questionnements collectifs semble très productif. À titre d’exemple : le Radsi NA a expérimenté une formation/action (en distanciel) avec un outil numérique central, le mur des post-it. La FADM a quant à elle pratiqué des groupes d’interview mutuelle. Assurer l’appropriation de la démarche dans une recherche d’amélioration des pratiques suppose de : lui donner du sens, convaincre sur le bien-fondé et partager les informations tout au long du processus ; s’assurer de la participation des parties prenantes dans leur diversité pour recueillir tous les points de vue et les impliquer dans l’analyse ; coconstruire les outils de recueil et d’analyse des informations, former à leur usage et s’assurer que les parties prenantes se sentent outillées. POINTS DE VUE Toutes les capitalisations soulignent que l’appropriation des dispositifs par les parties prenantes est décisive pour que les démarches « prennent ». Une stratégie descendant du « sommet à la base » l’entrave. Par ailleurs Marc, volontaire en service civique, souligne l’intérêt de considérer les volontaires qui réalisent les évaluations (certainement généralisable à tou·te·s ceux·elles qui orchestrent ces démarches) comme faisant clairement partie du processus d’évaluation. Il·elle·s sont porteur·euse·s d’une vision des acteur·rice·s et des problématiques concernées qui mériterait d’être explicitée pour enrichir la démarche. EFFETS ET IMPACT DE L’ECSI 41 4.3. L'ACCOMPAGNEMENT SYNTHÈSE DES ÉCHANGES Associer, former et accompagner les parties prenantes dans la démarche favorise leur implication en leur permettant d’en comprendre le sens, de s’approprier les méthodologies et les outils, et d’en tirer des enseignements enrichissants pour leur action. LES PRIORITÉS INITIALES adapter les formats et la temporalité de l’évaluation aux contraintes et aux spécificités des publics ;faciliter la participation des publics à la construction et/ou à la conduite de l’action. intégrer les questionnements évaluatifs par petites touches durant les temps d’animation. Accompagner dès l’amont de la réalisation de l’action Pour accompagner les parties prenantes à la démarche qualité, il est souhaitable de favoriser : une implication en amont (sensibilisation sur l’intérêt d’évaluer, faire connaître la démarche, faire adhérer…) ; la co-construction, la formation, la mise à disposition et la communication sur les outils de recueil des données pour en voir l’utilité, les découvrir et se les approprier, tout en tenant compte de leur capacité à être adaptés aux spécificités des contextes, des publics, des animations pour plus de pertinence et d’utilité ; une démarche itérative et proche des préoccupations du terrain. 42 EFFETS ET IMPACT DE L’ECSI  POINTS DE VUE Ne pas survaloriser l’outil « observation des effets » au détriment de la démarche. » FESTISOL L’orientation actuelle du Festisol est de mettre de côté la question de l’outil d’observation – longuement travaillé collectivement auparavant – pour mieux s’approprier la démarche. Cela permet de focaliser sur le sens Trouver le bon équilibre entre des outils communs à tous et des marges de manœuvre données aux associations pour leur appropriation. C’est cela construire une démarche d’évaluation partagée. Attention toutefois à ne pas proposer trop d’outils. » RADSI NA La démarche d’évaluation au fil de l’eau, incluant la co-conception partenariale d’outils d’évaluation expérimentés pendant les animations (des partenaires au projet ACT’ODD), participe de l’éducation populaire constitutive de nos associations. » KURIOZ Nombreux·euses· sont les acteur·rice·s qui se réfèrent à des outils, dont les questionnaires, qui ont un tronc commun et une forte dimension d’adaptabilité. L’échange d’expérience est aussi un espace d’ajustement des expérimentations. Cette Donner les moyens dynamique permet aux acteur·rice·s de terrain, qui financiers et techniques vont mettre en œuvre les démarches évaluatives, d’adapter les outils aux contraintes et spécificités L’implication des opérateur·rice·s est rendue possible des publics, des animations et des territoires. Dans quand ceux·elles-ci ont les moyens techniques et le cas du fonctionnement en réseau, cet aller-retour financiers pour mettre en œuvre les démarches. entre acteur·rice·s de terrain, chevilles ouvrières des L’observation des effets a un coût, ne serait-ce évaluations, et acteur·rice·s relais ainsi que têtes de que par la mobilisation des ressources humaines réseau permet d’adapter au fil de l’eau les démarches qu’elle exige. Ce coût est plus important lorsqu’une et les outils, et garantit leur utilité. organisation fait appel à une expertise externe, d’où l’importance de prévoir dans tout projet les moyens Associer les destinataires pour conduire l’observation et l’évaluation des aux démarches changements. Les destinataires des projets sont soit des publics divers, soit des publics ciblés, tels que jeunes, populations précaires, enseignant·e·s, et, dans tous les cas, leur entourage. Les impliquer dans l’expression et l’analyse des effets et de l’impact, même sur des actions ponctuelles, est souhaité, tout en posant la question de la redevabilité à leur égard. EFFETS ET IMPACT DE L’ECSI 43 4.4. POINTS DE MÉTHODE SYNTHÈSE DES ÉCHANGES Les approches qualitatives sont riches d’enseignements et instructives en matière d’effets et d’impact ; elles sont aussi exigeantes en matière de méthodologie, depuis le recueil des données en passant par leur analyse jusqu’à la restitution des apprentissages. LES PRIORITÉS INITIALES former les membres de son réseau à l’évaluation de l’impact par l’échange d’expérience, le pair à pair, les apprentissages coopératifs ; faciliter l’entrée dans l’évaluation à petits pas. Définir les objectifs de l’observation des effets Les objectifs de l’observation des effets/de l’impact déterminent les dispositifs de collecte et d’analyse. Trop nombreux et trop larges, ils ne permettent pas une analyse approfondie. On voudrait évaluer la complexité de nos projets […] et des contextes dans lesquels ils évoluent avec des outils clés en main et des résultats visibles et partageables, le tout dans un temps record (à peine le projet terminé). Or, chaque méthodologie d’enquête ne peut évaluer qu’un petit bout du projet et pas toute sa complexité : ce n’est pas grave, il suffit de l’assumer et d’être honnête, sans vouloir généraliser ses résultats ou tirer des conclusions hâtives. Il ne s’agit pas pour autant de minimiser nos démarches d’évaluation et nos résultats car ils ont le mérite d’exister et d’être des sources de réflexion. » FADM 44 EFFETS ET IMPACT DE L’ECSI Les objectifs de l’observation des effets/de l’impact À chaud, les réponses sont plus nombreuses mais doivent donc être circonscrits en précisant : plus superficielles. son utilité et l’usage qui en sera fait (pourquoi ? À froid, les réponses sont plus approfondies et les pour qui ?) ; changements mesurés sur la durée, mais les retours les champs d’amélioration auxquels ils se rattachent sont plus difficiles. (format des animations, dispositifs, évolutions des représentations…). Pour les animations ponctuelles : le questionnaire à chaud reste l’outil privilégié : il mesure la satisfaction plus que les effets et l’impact ; Évaluer à chaud et/ou les temps d’évaluation se juxtaposent aux animations. évaluer à froid Intégrer dès que possible l’observation des effets à Selon les formats et la capacité à joindre les publics, l’animation favorise la collecte des données. Pour ce les deux formats sont utilisés. Chacun présente de faire, elle doit être conçue dès le départ avec cette l’intérêt selon les questions qui se posent et ce qui dimension. est recherché : POINTS DE VUE Intégrer l’évaluation directement dans les animations – même si nombre d’acteur·rice·s s’y essaient – n’est pas toujours possible ni souhaitable. Nous avons abandonné l’utilisation de [la jauge] car les dessinateurs et dessinatrices de presse ne se sentaient pas à l’aise avec l’évaluation en général, et particulièrement avec l’idée de demander aux élèves de s’exprimer sur leur perception du métier en leur présence. De plus, cela risquait de biaiser l’évaluation. » CFP Ainsi, les démarches d’observation des effets doivent être adaptées aux publics et à leur profil comme au type d’animations (ponctuelles, dans la durée…). Elles doivent distinguer ce qui relève de : la thématique, ce qui suppose de comparer les représentations au début et à la fin soit avec le même outil, soit avec une combinaison d’outils différents ; l’animation et son format. EFFETS ET IMPACT DE L’ECSI 45  POINTS DE VUE Certain·e·s acteur·rice·s, ou instances de gouvernance lancent simultanément différentes démarches d’évaluation, sur des actions parfois différentes mais en lien, pour diversifier les données collectées ou pour porter un regard distancié sur les stratégies d’Ecsi qu’il·elle·s pilotent. C’est le cas de KuriOz, qui s’engage sur une évaluation externe, un dispostif de suivi-évaluation et les AOC de la FADM sur le projet JACE, ou encore du SPF. Un point de vigilance est évoqué : la nécessité de bien se donner les moyens, en particulier en temps, en « espace d’échange » et en méthodologie, de croiser les apprentissages propres à chaque démarche. L’Afdi souligne un autre point de vigilance : celui du risque de la mise en concurrence des légitimités face à deux démarches d’évaluation adressées aux mêmes personnes, mais dont l’une est impulsée par l’association qui porte l’action, l’autre par l’établissement scolaire dans lequel se déroule l’action. Seul un travail d’identification d’indicateurs communs permet alors de mettre en cohérence ces deux démarches. Un état des lieux en début (« état de référence foule), il apparaît nécessaire de : zéro ») et fin d’animation participe à donner des se doter des moyens pour exploiter et valoriser les éléments sur l’impact de l’intervention et l’évolution informations plus fines, notamment les réponses des représentations sur la thématique. Il convient ouvertes ; néanmoins de noter la difficulté d’évaluer les effets à passer de l’analyse micro à l’analyse macro, puis à long terme d’actions ponctuelles. une valorisation ; disposer d’espaces pour mettre à profit les apprentissages issus de l’observation d es effets. Intégrer le qualitatif Le travail réalisé devrait permettre de réinvestir les apprentissages dans l’organisation afin d’améliorer pour mettre en place des l’action. analyses plus signifiantes Les indicateurs généraux (nombre de…) ne Se doter d’un dispositif permettent pas de mettre en lumière les axes d’amélioration, mais ils restent la norme car les d’observation des effets analyses quantitatives et qualitatives rigoureuses gérable demandent une méthodologie pour traiter, gérer et analyser des données plus complexes et « lourdes» C’est le fait d’avoir défini le plus collectivement à mettre en œuvre. D’ailleurs, le constat est fait que possible ce que l’on veut savoir et pourquoi, ces dernières sont insuffisamment exploitées et quels sont les acteur·rice·s impliqué·e·s et quels valorisées. bénéfices il·elle·s vont en retirer pour leur action et le renforcement de ses effets, quels sont les Or, outre qu’il ne faut pas confondre quantité et indicateurs simples à recueillir et les plus signifiants qualité (la conscientisation d’un petit nombre peut à retenir qui permet d’assurer au mieux le caractère avoir plus d’impact social que la sensibilisation d’une gérable du dispositif et la dimension renseignable 46 EFFETS ET IMPACT DE L’ECSI et exploitable des indicateurs. Il faut aussi faire attention aux systèmes de suivi très complexes ou détaillés, qui s’avèrent finalement peu utilisés et donc peu exploités. La recherche d’allié·e·s est un enjeu important. Croiser les regards et les compétences en interne (jusqu’aux instances politiques) et en externe constitue un puissant levier. Cela est d’autant plus vrai que le traitement des données qualitatives qui remontent des démarches d’observation des effets constitue un maillon faible, ce qui nuit à la capacité de s’appuyer sur les résultats produits pour les partager et consolider ou modifier les stratégies d’Ecsi. Sur ce chantier aussi, les acteur·rice·s ont besoin de se former et de trouver des appuis. EFFETS ET IMPACT DE L’ECSI 47  05 48 EFFETS ET IMPACT DE L’ECSI CONCLUSION EFFETS ET IMPACT DE L’ECSI 49 50 EFFETS ET IMPACT DE L’ECSI 05 CONCLUSION Inscrire les démarches qualité dans les stratégies est un enjeu majeur. L’inscription des démarches qualité dans les pratiques au niveau stratégique est perçue comme une nécessité première par les membres de la CP. EFFETS ET IMPACT DE L’ECSI 51 INSCRIRE LES DÉMARCHES QUALITÉ DANS LES STRATÉGIES : UN ENJEU MAJEUR qu’elles deviendront une composante à part entière, Les enjeux et indispensable, des actions. Le caractère essentiel qui leur sera ainsi alloué se traduira en ressources Au regard des difficultés d’adoption et d’appropriation humaines et en moyens, en valorisation et en de ces démarches, des enjeux apparaissent autour : diffusion des informations, en mutualisation des de la volonté et du portage par les instances de méthodes et des acquis. Les prérequis suivants sont gouvernance d’une démarche qualité centrée sur nécessaires : l’observation des effets des actions ; Définir et partager collectivement le sens et du sens donné à ces démarches, qui apparaissent l’utilité des démarches qualité permet d’intégrer secondaires au lieu d’être au cœur des actions. celles-ci aux stratégies comme une composante transversale. Intégrer les démarches très en amont dans les L’inscription des démarches qualité dans les phases de conception des projets/programmes pratiques au niveau stratégique est perçue permet, par la réflexion qu’elles exigent, d’en comme une nécessité première par les améliorer la qualité. membres de la CP. Intégrer un système d’information des décideur·euse·s permet que les conclusions des Le portage politique et stratégique au sein des démarches puissent servir au pilotage stratégique organisations conditionne largement la place de l’organisation. accordée aux démarches qualité. C’est en effet en les intégrant dès le départ au niveau stratégique POINTS DE VUE LE MOT DE LA FIN La question de la capitalisation, de la transmission et de la communication des résultats me semble une étape clé. Sinon on risque un grand découragement, une fois l’évaluation terminée, si finalement on se dit : tout ça pour ça ? (FADM.) Cette démarche fait partie intégrante de l’Ecsi. En effet, toute action d’Ecsi vise à favoriser des effets chez les publics. Ne pas savoir quels sont les effets produits revient à ne jamais connaître l’utilité réelle de l’animation ni de tout le travail préparatoire. (Festisol.) 52 EFFETS ET IMPACT DE L’ECSI L’implicite est la norme selon qu’il s’agit d’actions ponctuelles grand public ou d’actions dans la durée auprès d’un public captif. Dans le premier cas, les destinataires des actions Qu’il s’agisse de mission sociale et de problématique ne pourront en aucun cas être associé·e·s à la sociale (souvent confondues) ou des changements conception de l’évaluation : au mieux participeront- attendus, l’implicite est la norme. Dès lors, c’est en il·elle·s à un recueil de réactions « à chaud ». aval des projets, lors du lancement des processus d’observation des effets, que le besoin de précision apparaît et que les référentiels sont construits. La redevabilité : mythe De même, les termes « démarche » et « processus » sont souvent utilisés de manière indifférenciée. C’est ou réalité ? la même chose pour « effets » et « impact » (et à cet égard, la terminologie des critères du Comité d’aide Dans cette perspective, élargir la redevabilité à au développement de l’Organisation de coopération d’autres que les bailleurs, ne peut pas être raisonné et de développement économique (CAD-OCDE) de manière uniforme. n’est pas aidante, même ceux-ci ont été clarifiés en Si l’on pense aux partenaires, eux·elles aussi sont très 2019). varié·e·s, depuis les coproducteur·rice·s des activités Ainsi, la réflexion sur l’observation des effets mérite aux partenaires opérationnel·le·s, aux partenaires de prendre en compte notamment : ponctuel·le·s, aux intervenant·e·s… La question de les objectifs de l’action : par exemple, les effets quelle redevabilité et pour qui doit sous-tendre d’actions qui cherchent à ouvrir un débat ne sont la réflexion sous peine de créer des usines à gaz pas assimilables à ceux d’actions qui visent un inexploitées par ceux·elles qu’elles visent. changement de représentation ; Quant aux publics, là encore, la redevabilité ne peut la durée : en sociologie, les changements de pas être réfléchie de la même manière selon le type mentalités s’inscrivent dans le temps, de l’ordre d’animation (ponctuelle, dans la durée…), le type d’une génération. Quelle durée d’incubation de publics (captifs ou non…), les profils des publics prendre en compte ? (enfants, adultes…) Acteur·rice·s / parties prenantes : de qui s’agit- il concrètement ? L’implicite a des répercussions opérationnelles. Ainsi, la notion d’acteur·rice·s et de parties prenantes apparaît comme un ensemble vaste et indifférencié, et même quand ceux·elles-ci sont listé·e·s, l’usage de cette terminologie les réenglobe dans la réflexion. Comment, dans ce cadre, assurer leur participation à l’observation des effets ? Et, d’ailleurs, la participation de qui et à quoi ? Par exemple, concernant la participation des bénéficiaires, la réflexion ne pourra pas être la même EFFETS ET IMPACT DE L’ECSI 53  engagement de toute l’organisation, ainsi qu’une Assurer le passage des prise de conscience et une volonté affirmée des concepts aux réalités instances de gouvernance. Cette CP avait pour objectif de partager et de croiser Ainsi, pour être opérationnel, les notions et concepts les pratiques des acteur·rice·s concernant la manière doivent être explicités et adaptés aux situations. dont il·elle·s évaluent l’impact des actions d’Ecsi Des attentes générales n’ont pas de sens en soi et qu’il·elle·s mettent en œuvre. ne peuvent en aucun cas devenir des injonctions, Il en est ressorti une grande diversité de pratiques, sous peine de créer des dispositifs formels mais des constats partagés ainsi que des apprentissages déconnectés des réalités… sur les différentes façons de faire… et de dire ! Or, c’est souvent ce qui est reproché aux approches Chacun·e des acteur·rice·s a son propre langage qualité : mobiliser des forces vives et des ressources collectif, celui porté par l’organisation dans laquelle sur des recherches d’informations qui peuvent être il·elle s’investit. Les collectifs – dont ces organisations vite impossibles à renseigner (sauf à tordre le cou sont souvent membres – ont aussi leur propre aux faits) et inexploitables. Se crée alors une césure langage collectif. entre opérateur·rice·s de terrain et « technocrates », vécue et souvent réelle, à l’instar de ce qui s’est passé L’enjeu, y compris en matière de plaidoyer, consiste avec les attentes des bailleurs autour des demandes à expliciter et à mettre en cohérence ces différentes de financement, qui ont obligé des organisations, y approches sans pour autant les formater, car compris du « Sud », à embaucher des spécialistes du cela serait aux dépens de leur richesse et de leur cadre logique au détriment du personnel projet. adaptation au contexte. Durant cette CP, les acteur·rice·s d’Ecsi ont appris que la démarche d’évaluation d’impact était accessible Et la suite ? à tou·te·s, que tou·te·s se posaient les mêmes questions et que c’est en expérimentant qu’il·elle·s Le passage des concepts à la pratique demande se renforçaient individuellement et collectivement. de préciser en interne des organisations, avec les Quant à la suite de cette CP, les allers-retours entre partenaires, les notions et concepts pour pouvoir concept et opérationnalité sont apparus comme une partager le sens de ce qui est fait. Il demande aussi des clés de progression à travailler ensemble. à être fait de manière collective pour partager discours et analyses, et pouvoir échanger sur des fondamentaux communs. Des références existent et constituent une base solide pour ce faire. L’appropriation des outils (AOC et théories du changement, référentiels, cartographie des acteur·rice·s…) est aussi un enjeu pour qu’ils deviennent suffisamment maniables et utilisables, tout en s’adaptant aux différents projets et acteur·rice·s. Enfin, intégrer les démarches qualité dans les pratiques des organisations, au-delà de l’exercice imposé pour les bailleurs de fonds, pour qu’elles soient parties intégrantes des projets dans une perspective d’amélioration et d’apprentissage, nécessite une dynamique collective qui suppose un 54 EFFETS ET IMPACT DE L’ECSI EFFETS ET IMPACT DE L’ECSI 55  06 56 EFFETS ET IMPACT DE L’ECSI DES EXPÉRIENCES INSPIRANTES EFFETS ET IMPACT DE L’ECSI 57 58 EFFETS ET IMPACT DE L’ECSI 06 DES EXPÉRIENCES INSPIRANTES Les membres de la CP sont invité·e·s à capitaliser des expérimentations de démarches d’observation des effets qui doivent se dérouler pendant la CP. La crise sanitaire perturbe fortement la mise en œuvre de ces expérimentations. Nombre d’entre eux·elles capitalisent donc des expériences en cours ou récemment réalisées qui leur paraissent inspirantes, d’autres présentent des démarches d’observation des effets qu’il·elle·s vont mettre en œuvre dans un avenir proche. Les démarches capitalisées peuvent néanmoins être toutes qualifiées d’expérimentation. Tou·te·s les rédacteur·rice·s insistent sur la dimension itérative, formative, de test, de work in progress des démarches d’observation des effets mises en œuvre. Il·elle·s tâtonnent, expérimentent, s’appuient sur des acteur·rice·s relais pilotes en espérant qu’il·elle·s auront un rôle d’ambassadeur·rice au sein du réseau pour diffuser et permettre l’appropriation de la démarche. Tout comme pour l’action d’Ecsi elle-même, les acteur·rice·s font évoluer chemin faisant leur démarche d’évaluation. Éducatifs, pour les actions, ou d’apprentissage, pour les démarches d’observation des effets, les processus enclenchés sont de même nature. Ils sollicitent, de la part des porteur·euse·s, la même capacité d’adaptation à leurs interlocuteur·rice·s et à leurs contextes, de la flexibilité dans leur déroulement et du temps pour produire des résultats. Si la méthode la plus rigoureuse et concertée possible est de mise, la linéarité, elle, ne l’est pas ! EFFETS ET IMPACT DE L’ECSI 59 LISTE DES EXPÉRIENCES CAPITALISÉES PAGE FICHE N° TITRE ORGANISATION PAGE 62 FICHE 1 LE FESTIVAL DES SOLIDARITÉS FESTISOL L’observation des effets du Festival des solidarités sur ses publics : une démarche qui a du sens ! PAGE 68 FICHE 2 E’CHANGEONS LE MONDE E’CHANGEONS LE MONDE - Artisans du monde Gap : Animer une dynamique FESTISOL collective – Festival des solidarités PAGE 72 FICHE 3 LA DÉMARCHE D'ÉVALUATION D'EXP'OSE RADSI NA La production d’un dispositif en situation de confinement PAGE 76 FICHE 4 LE LABEL « ÉCOLES DE COMMERCE ÉQUITABLE » CEF Intégrer un outil de suivi-évaluation à une démarche de mobilisation : le label « Écoles de commerce équitable » PAGE 80 FICHE 5 LA DÉMARCHE DE SUIVI-ÉVALUATION DES TANDEMS SOLIDAIRES, BFCI DISPOSITIF RÉGIONAL D’ÉDUCATION À LA CITOYENNETÉ MONDIALE PAGE 86 ENCADRÉ 1 : VISUEL UTILISÉ LORS DE LA FORMATION INITIALE BFCI POUR PRÉSENTER LES CINQ OBJECTIFS PÉDAGOGIQUES DES TANDEMS SOLIDAIRES PAGE 87 ENCADRÉ 2 : EXTRAITS DE LA FICHE BILAN TANDEMS SOLIDAIRES BFCI PAGE 88 FICHE 6 MESURER LES EFFETS D’ACTIONS D’ECSI AUPRÈS D’UN PUBLIC EN SPF SITUATION DE PAUVRETÉ OU DE PRÉCARITÉ Penser la démarche avec les bénévoles et favoriser son appropriation au sein d’un réseau décentralisé PAGE 92 FICHE 7 VALORISER L’UTILITÉ SOCIÉTALE DES VILLAGES COPAIN DU SPF MONDE : PRÉSENTATION DE LA DÉMARCHE PAGE 94 FICHE 8 ÉVALUER L’IMPACT DE LA PARTICIPATION AUX FORUMS SOCIAUX SCCF MONDIAUX PAGE 100 FICHE 9 TESTER GRANDEUR NATURE UNE ENQUÊTE LONGITUDINALE : FADM EXEMPLE AVEC LE PROJET JACE PAGE 105 ENCADRÉ 3 : LE PROJET JACE « JEUNES AMBASSADEURS DU FADM COMMERCE ÉQUITABLE » 60 EFFETS ET IMPACT DE L’ECSI  L’hétérogénéité des fiches est signe de leur richesse Les fiches de et de la liberté qu’ont su prendre les acteur·rice·s capitalisation et encadrés pour partager leurs expériences, au-delà d’une trame et d’un questionnement commun qui leur Ces expériences et ces outils inspirants ne sont étaient proposés et qu’ils ont parfois coconstruits. pas une recette ou un mode d’emploi. Pour Formater les fiches était chronophage, inutile et mieux comprendre leur pertinence ou parfois leurs artificiel. limites, chaque auteur·e s’est attaché·e à formuler Certain·e·s acteur·rice·s ont mis le focus sur les raisons (les « pourquoi ? ») qui ont présidé au des outils utilisés dans le cadre de la démarche choix (des finalités, des objectifs, des contextes, d’observation des effets présentée dans leur des modalités d’accompagnement des acteur·rice·s, fiche de capitalisation. Cela donne lieu à des des méthodes…), autant que possible pour chacune encadrés. Ces derniers peuvent être illustratifs et des étapes de la démarche présentée. Ce travail concrétiser l’expérience présentée dans la fiche de d’identification explicite des raisons a pu se faire de capitalisation. D’autres encadrés sont autonomes et manière rétrospective, donc après – et non avant – présentent une expérimentation en cours ou à venir, l’action. Ce décalage dans le temps a d’autant plus sans pour autant suivre la trame de capitalisation favorisé, lors de la rédaction de la fiche, la prise de présentée supra ou être en lien direct avec une telle recul et la formulation des apprentissages. fiche. PAGE 106 FICHE 10 LE PORTFOLIO DE COMPÉTENCES : FADM Évaluer les compétences acquises au cours du projet JACE PAGE 109 ENCADRÉ 4 : UTILISER INSTAGRAM POUR ÉVALUER L’ÉDUCATION À FONDS POUR LA LA CITOYENNETÉ : LE CAS DU PROJET BEING 21 RECHERCHE EN ÉTHIQUE ÉCONOMIQUE PAGE 112 FICHE 11 LES VOLONTAIRES EN SERVICE CIVIQUE : DES ALLIÉ·E·S POUR FADM L’ÉVALUATION ? PAGE 118 FICHE 12 ANIMER UN TRAVAIL DE PRISE DE RECUL POUR MIEUX IDENTIFIER FDH LES EFFETS D’UN ENGAGEMENT CITOYEN PAGE 120 ENCADRÉ 5 : LETTRES DE PÉPINS FDH PAGE 124 FICHE 13 LA DÉMARCHE DE KURIOZ KURIOZ Imbriquer évaluation, dispositif de suivi-évaluation et approches orientées changement PAGE 128 FICHE 14 TESTER UN NOUVEL OUTIL POUR APPRÉCIER LE CHANGEMENT DE AFDI PERCEPTION D’UN PUBLIC SCOLAIRE PAGE 132 ENCADRÉ 6 : QUESTIONNAIRE APPRENANT·ES AFDI PAGE 134 FICHE 15 LES OUTILS DE CARTOONING FOR PEACE POUR APPRÉCIER LE CFP CHANGEMENT DE REPRÉSENTATION PAGE 138 FICHE 16 UN BAROMÈTRE POUR MESURER LES EFFETS DES DISPOSITIFS CEF D’ÉDUCATION AU COMMERCE ÉQUITABLE EFFETS ET IMPACT DE L’ECSI 61 1 LE FESTIVAL DES SOLIDARITÉS L’OBSERVATION DES EFFETS DU FESTIVAL DES SOLIDARITÉS SUR SES PUBLICS, UNE DÉMARCHE QUI A DU SENS ! www.festivaldessolidarites.org/fiches-pratiques Cette capitalisation est issue des réflexions menées au sein du groupe de travail « Apprentissage » du Festival des solidarités. Le contexte : Cette démarche effet a dû s’adapter caractéristiques qui constituent l’ADN du Festisol : aux une démarche aux la diversité de structures porteuses, de publics, objectifs multiples de formats d’animations et de thématiques ; la décentralisation : 2 600 structures pensent Le Festival des solidarités (Festisol) propose, et portent les programmations de leur Festisol depuis plus de 24 ans, des événements conviviaux local sur plus de 400 territoires en France ; et engagés pour donner envie d’agir pour un monde le travail en collectif et en partenariat : c’est plus juste et plus durable. collectivement que les décisions se prennent et Près de 250 000 personnes ont ainsi participé à que le Festisol s’organise, à toutes les échelles ; l’édition 2019. la dynamique ascendante : les coordinations régionales et nationales sont dans une logique Le Festisol s’appuie sur une démarche d’éducation à d’accompagnement, voire d’impulsion et la citoyenneté et à la solidarité internationale (Ecsi). d’incitation, plutôt que d’imposition ; Les changements que l’Ecsi souhaite favoriser l’engagement : cinq personnes sur six, parmi les sont très qualitatifs, l’impact des actions d’Ecsi est 6 000 personnes mobilisées, sont bénévoles, et donc complexe à analyser et valoriser. Par ailleurs, les programmations sont organisées avec des les collectifs locaux indiquent qu’il leur arrive trop moyens limités. Le sens de l’engagement au souvent de toucher un public déjà sensibilisé, chez Festisol (et de ses effets sur le public) est donc qui l’effet des animations d’Ecsi serait limité. Cela un élément fondamental de sa pérennité. peut provoquer une perte de sens à se mobiliser. En réponse, la coordination nationale a décidé Il s’agit d’accompagner le réseau dans une démarche d’accompagner le réseau sur la définition des effets c