En tant qu’Experts de la GPS, nous apprécions être sur le terrain, organiser des ateliers et des formations présentiels, mener des entretiens, rencontrer le personnel et les clients des PSF, discuter du pour et du contre de telle ou telle approche, partager un café… C’est de cette manière que nous parvenons à observer les pratiques en direct, discuter en profondeur, et à croiser les informations. Cela nous aide à bien comprendre le contexte, les enjeux, les relations entre les différentes parties prenantes, les lacunes existantes et les besoins à combler. C’est également ainsi que nous parvenons à fournir un appui sur mesure, renforcer les capacités locales, favoriser l’intégration des bonnes pratiques, soutenir les améliorations et susciter l’adhésion à la GPS.
La pandémie de la COVID-19 a été un défi pour nous tous, limitant les opportunités d’interactions directes. Nous avons dû nous adapter, ce qui a mené nombre d’entre nous à réaliser des évaluations et un accompagnement à distance.
Plus d’un an après le début de la pandémie, nous avons pensé qu’il était temps de partager quelques retours d’expérience sur les évaluations à distance. Pour cela, nous avons sollicité vos contributions et reçu des retours détaillés de 9 experts de la GPS, ayant conduit des évaluations à distance au cours de l’année écoulée*. Nous résumons ici vos principales contributions.
*Audits SPI4, Evaluations de Protection des Clients, Certification de Protection des Clients, ratings sociaux, missions de due diligence, ou évaluations de projets.
La montée en puissance des évaluations à distance, malgré une préférence partagée pour les missions terrain
Durant les premiers mois de la pandémie, CERISE a communiqué sur un nombre limité de situations où nous estimions que des audits à distance pouvaient être justifiés (un délai strict à respecter, en cas d’audit répété dans une même institution, ou lorsqu’un consultant avait déjà travaillé avec le PSF). Mais au fil du temps, nous avons reçu de plus en plus de demandes de partenaires et de leurs instances de gouvernance pour des évaluations externes. Dans certains cas il s’agissait de l’échéance du label de certification Smart Campaign, dans d’autres, d’une volonté de comprendre les besoins et les préférences des clients dans le contexte de la crise sanitaire, ou simplement une volonté de poursuivre les opérations malgré la crise.
Qu’est-ce qui change dans une évaluation à distance ?
Les expériences ont été assez variées. Pour la majorité des personnes interrogées, la réalisation de l’évaluation à distance a allongé la durée globale de la mission. Cela est principalement dû au fait qu’il était plus difficile d’entrer en contact avec les interlocuteurs et d’accéder aux informations, comparé aux missions ayant lieu physiquement. La reprogrammation d’entretiens et les échanges par mails pouvaient prendre un temps considérable avant d’obtenir les informations nécessaires. Comme l’a partagé Roberto Ibarra Rivas : « En travaillant à distance, les agendas définis étaient fréquemment modifiés par les personnes à interviewer, ce qui a vraiment prolongé le processus d’entretien ».
Pour quelques Experts de la GPS, la réalisation de l’évaluation à distance a eu l’effet inverse : cela a raccourci la durée globale de la mission, en réduisant le temps de déplacement, ou bien lorsqu’une partie de la mission était déléguée à des consultants locaux.
Que les missions soient plus courtes ou plus longues, de nombreux experts ont estimé que la réalisation d’évaluations à distance n’avait pas réduit la qualité de la mission par rapport aux évaluations en personne. Ils ont particulièrement apprécié l’usage d’outils de visio-conférences, qui leur ont permis de mener des entretiens de manière relativement vivante, tout en reconnaissant qu’il faut d’abord se familiariser avec de tels outils pour en tirer le meilleur parti. Carla Aguirre Marinovic considère même que « d’une certaine manière, cela a amélioré le service rendu, puisque [elle a] pu apporter une assistance technique supplémentaire aux institutions, adaptée à leurs besoins ». En effet, les évaluations à distance ont pu être menées sur une période plus longue, avec des appels réguliers adaptés aux contraintes de temps, à la capacité d’intégration et à l’agenda des institutions au lieu de se concentrer sur une semaine intensive de visite terrain.
Cependant, la facilité d’utilisation des outils numériques ne semble pas être la même pour tous. Alors que les Experts GPS travaillant avec des PSF latino-américains semblent avoir trouvé une bonne alternative avec les outils numériques, c’était moins le cas pour les Experts GPS travaillant avec des institutions en Afrique ou en Asie. Le manque de connectivité est une première raison qui les a empêchés de mener l’ensemble de leurs entretiens comme prévu initialement ou de recevoir la documentation attendue. La langue pourrait être un autre problème, comme l’a mentionné Kanchan Gidwani : « Beaucoup de choses se perdent dans la traduction lors des appels virtuels ». Pour certains Experts GPS, la qualité de la mission a donc été négativement impactée par le fait qu’elle ait été menée à distance. Comme le partage Anne-Laure Behaghel : « Je n’ai pu interviewer que la direction et le Conseil d’Administration, personne sur le terrain, et encore moins des clients. Par ailleurs, on est obligé de se reposer beaucoup plus sur du déclaratif dans son analyse, car le croisement des informations est plus difficile si on demande des compléments par e-mail, que l’on n’obtient pas toujours ».
Le risque de l’évaluation à distance est également de passer à côté d’informations clés qui seraient directement disponibles lors d’une réunion en présentiel : par exemple, ne pas se rendre compte que l’organisation a beaucoup d’informations disponibles dans son SIG, alors qu’elle ne peut partager que des extractions de données Excel simples et basiques par e-mail.
La conduite des entretiens
Pour mener des entretiens avec le personnel des PSF, les Experts GPS interrogés ont principalement utilisé les outils de téléphonie ou visioconférence tels que Zoom, Teams, Skype ou Whatsapp. Cependant, chaque fois que le contexte le permettait, ils ont eu tendance à se rendre directement sur le terrain et à mener des entretiens en personne. C’était particulièrement le cas pour les Experts GPS qui étaient basés dans le pays où la mission était menée. Pour le Dr Tej Hari Ghimire, « aller sur le terrain était aussi une bonne occasion de sensibiliser sur les mesures de protection à prendre pour se protéger du COVID-19 dans les zones rurales reculées ». Cette approche mixte a permis à la plupart des experts d’interviewer le personnel tant au niveau du siège qu’au niveau des agences : « ça a été une bonne expérience, l’approche mixte a bien fonctionné », a déclaré Edgar Juárez Sepúlveda. Toutefois, dans d’autres contextes (par difficulté d’accès à une connexion, ou lorsqu’aucune possibilité d’aller sur le terrain), les Experts GPS ont dû renoncer à interroger le personnel au niveau des agences.
Pour les entretiens avec les clients, la situation est également contrastée. Certains Experts GPS ont pu mener des entretiens via des appels vidéo ; d’autres ont attendu que la situation sanitaire s’améliore pour reprendre leurs entretiens sur le terrain ; quelques experts ont travaillé avec des consultants locaux qui ont mené les entretiens en personne dans la mesure du possible ; tandis que d’autres n’ont pu mener aucun entretien avec les clients, faute d’accès à la connexion et du fait des contraintes de confinement.
Crystal, un PSF en Géorgie avec lequel CERISE travaille, a eu une expérience intéressante dans la conduite d’entretiens à distance avec ses clients. Dans le cadre d’une étude d’impact, les enquêtes quantitatives auprès des clients ont été réalisées par téléphone ; mais pour les enquêtes qualitatives approfondies, les entretiens ont été menés via Microsoft Teams. L’institution a réussi à réaliser 45 entretiens d’une heure en moyenne. Le faible niveau d’utilisation d’internet chez les clients de plus de 50 ans, en particulier dans les zones rurales, a été une contrainte majeure. Ainsi des membres plus jeunes de la famille ou membres du personnel local de l’organisation ont été impliqués pour guider les clients dans l’installation de Teams et de la connexion internet. Une fois le problème technique résolu, les entretiens réalisés ont été d’une grande qualité. Les clients ont apprécié être écoutés, et l’interface de l’ordinateur a permis des discussions transparentes, sincères et franches.
Ci-dessous, des entretiens qualitatifs en virtuel avec les clients de Crystal par Natia Katsiashvili (au centre).
Des ajustements dans les méthodologies
Mener des évaluations à distance impliquait assez logiquement de devoir faire quelques ajustements dans la méthodologie utilisée. Dans certains cas, l’échantillonnage a dû être revu pour se concentrer sur les agences du PSF ayant un bon accès à une connexion internet (avec par conséquent un biais de sélection). D’autres Experts GPS ont mentionné que, pour compenser le manque d’observation directe, ils ont dû approfondir les entretiens et demander des documents supplémentaires.
Certains ont adapté leur méthodologie en travaillant plus étroitement avec le PSF, impliquant davantage le personnel dans la conception de l’évaluation, la collecte et l’analyse des données. Aïda Gueye a déclaré : « J’ai finalement passé plus de temps à travailler avec les Responsables GPS des PSF ». Pour Anne-Laure Behaghel, la démarche était « plus celle d’une auto-évaluation accompagnée que d’un audit externe ». Dans le cas de Crystal, au lieu de rendre visite à l’organisation à l’occasion de 2 missions terrain ponctuelles, le travail s’est étalé sur plusieurs mois, ponctué par des appels hebdomadaires entre CERISE et Crystal tout au long de la mission. Cette approche a permis une meilleure appropriation par l’équipe locale, un renforcement des capacités et un partage d’expérience plus efficaces, ce qui a donné confiance à l’organisation dans sa capacité à mener seule des évaluations auprès de ses clients.
Des conseils ?
Les Experts GPS se sont adaptés au contexte COVID-19 avec flexibilité et créativité. Mener des évaluations à distance était une nécessité pour continuer le travail ; mais chaque fois que cela était possible, la préférence était toujours de mener des entretiens et des ateliers en personne.
Puisqu’il est probable que les missions en personne soient encore limitées dans les prochains mois, nous avons demandé aux Experts GPS s’ils avaient des conseils à partager. Voici quelques-unes de leurs réponses :
- « Apprenez à utiliser les outils numériques à distance… » – Javier Vaca
- « Fixez-vous un agenda avec des horaires précis […] et respectez ces horaires ! » – Jessica Herrera
- « Travaillez avec des champions GPS et des consultants locaux » – Aïda Gueye
Et vous ? Auriez-vous des astuces à partager avec la communauté ?
N’hésitez pas à nous les envoyer pour que nous puissions mettre à jour ce blog régulièrement avec vos éventuelles contributions!
