Étude de cas: Toujours ensemble

6 août 2019

Recentrer et bonifier le programme en vue de sa pérennisation.

« Grâce à l’accompagnement d’Innoweave, nous avons été capables d’identifier les points forts du programme et les aspects du programme où nous n’avions pas de données, notamment au niveau des habiletés sociales. Il y a eu un partage de connaissances vraiment utile… Nous n’aurions jamais pensé, dans les attentes de départ, que la théorie de changement serait aussi utile pour présenter le projet. »

– Toujours ensemble

Survol du projet

Sac à dos est un programme pilote de l’organisme Toujours ensemble qui offre du soutien scolaire depuis 1986 dans un quartier défavorisé de Montréal. Le programme offre un soutien parascolaire aux enfants de niveau primaire de Verdun à travers des ateliers de lecture, des ateliers ludo-éducatifs ainsi qu’un soutien aux parents. Le programme vise à contribuer à la réussite éducative des enfants ayant des difficultés scolaires, personnelles et sociales en diminuant deux facteurs de risque liés au décrochage scolaire soit la faible motivation scolaire et le manque d’engagement des parents.

Pertinence et niche pour l’évaluation évolutive

L’évaluation évolutive du programme Sac à dos visait le renforcement et la consolidation du programme afin qu’il devienne permanent. Étant une initiative en voie de création par un processus d’essais-erreurs, il s’agit donc d’une évaluation évolutive qui s’insère dans la niche « émergence » parmi les différentes niches qui justifient l’utilisation de ce type d’évaluation. L’évaluation évolutive s’est étalée sur 8 mois et a été guidée par les évaluatrices Stephanie Garrow et Lara Evoy.

Les questions d’évaluation

Les questions d’évaluation visaient l’ajustement de la mise en œuvre du programme et la clarification des impacts visés.

Parmi celles-ci, on retrouve les questions suivantes :

Quels aspects du projet ont le plus grand impact sur les résultats attendus?
Quels aspects ne donnent pas les résultats attendus et devraient être abandonnés ou remplacés?
Comment peut-on arriver à mieux cerner les besoins des bénéficiaires et des partenaires, et comment mieux y répondre?

Méthodes et interventions préconisées

Les méthodes choisies pour l’évaluation ont été multiples et construites parallèlement au développement du programme. Elles incluaient :

Un atelier pour clarifier la théorie de changement : activité de clarification des objectifs du programme avec l’équipe.
Une analyse des données disponibles : plans d’action des jeunes, questionnaires de lecture, présences, journaux de bord, outils et autre matériel.
Des entrevues stratégiques avec les acteurs clés : enseignants, parents et employés. La création, la distribution et la compilation d’un questionnaire de satisfaction à l’intention des parents ont été réalisées.
Une rencontre de partage de connaissances avec les parties prenantes.

Tout au long du processus, plusieurs va-et-vient ont été réalisés entre la collecte de données, leur analyse et le développement du projet. Ces retours en temps réel ont permis aux intervenants d’apporter des ajustements au fur et à mesure du déroulement du projet.

Impact

Impact Le plus grand impact du processus d’évaluation évolutive constitue le fait que le programme Sac à dos est maintenant permanent et détient une méthode d’évaluation intégrée.

L’évaluation évolutive a contribué au développement du projet et de l’organisme à travers:

Des améliorations apportées au programme. L’ÉÉ a permis de recentrer les objectifs du programme sur la motivation des enfants. Les données ont démontré que le plan d’action sert d’outil de mobilisation, tandis que les ateliers de lecture ont un impact positif sur la découverte de nouveaux livres et l’appréciation de la lecture en général. De plus, au lieu de travailler simultanément sur plusieurs facteurs de risque, le programme en cible maintenant deux: (a) la faible motivation scolaire et (b) le manque d’engagement des parents.
La clarification des cibles du programme. Les données ont montré que les groupes d’enfants constituent une force du programme mais que celui-ci n’est pas destiné aux élèves ayant des besoins particuliers. Il est moins adapté pour les jeunes ayant des troubles d’apprentissage. Le volet parental doit aussi être renforcé.
L’identification des facteurs de succès : Le processus mené avec les évaluatrices a permis de relever la valeur de la relation entre l’organisme et les écoles et l’importance de l’emplacement des locaux du programme au sein des écoles.
L’intégration des outils d’évaluation au sein des autres programmes de l’organisme. Un bénéfice inattendu a été que la démarche et les outils développés au sein du programme ont mené à une réflexion sur d’autres programmes de l’organisme. À travers l’évaluation évolutive, Toujours Ensemble s’est doté d’une culture d’évaluation. En outre, le fait de nommer «l’accroissement du nombre des jeunes aux classes régulières du secondaire » comme impact attendu a mené à un plus grand arrimage entre les objectifs et les activités de différents programmes: le programme Sac à Dos, qui est orienté vers les jeunes du primaire, et d’autres programmes de l’organisme comme Parcours et Passeport, qui visent plus particulièrement les adolescents.

Conditions gagnantes

Un organisme prêt. Un élément clé du succès a été la préparation de l’organisme qui savait ce qu’il recherchait, après avoir pris le temps de définir et de préciser l’intérêt et le rôle de l’évaluation évolutive. La demande d’appui financier de Toujours Ensemble a été formulée 8 mois après sa participation à l’atelier d’Innoweave sur l’évaluation évolutive, une période pendant laquelle l’équipe a pu continuer à préciser ses objectifs et sa démarche.

Partage des tâches entre l’organisme et les évaluatrices. Les évaluatrices ont assuré l’accompagnement, la préparation d’une grille d’analyse des données, une rencontre de suivi sur les analyses et la mise au point des constats. Toujours Ensemble a été responsable de la collecte de données, de la compilation et de l’analyse des données, ainsi que de l’organisation des rencontres. Le fait qu’une personne de l’organisme ait été dédiée à faire le lien entre le milieu et les évaluatrices a été facilitant et a permis de vraiment bien intégrer les résultats de l’évaluation évolutive au développement du programme.

Leadership fort et participatif. Le chef de l’équipe Sac à Dos a priorisé la réflexion qu’a suscitée l’évaluation évolutive, ce qui a énormément contribué au succès de la démarche. Voyant l’utilité de la méthode pour outiller son équipe et tester les réflexes évaluatifs de son programme et de son organisme, il a trouvé des façons innovantes d’inviter les autres programmes de l’organisme, le conseil d’administration et ses principaux partenaires issus de la communauté à participer à la réflexion sur les impacts et la direction que prendra le projet Sac à Dos dans l’avenir.