Précédente - Suivante
Table des matières
- Précédente - Suivante
Le Ministère de la Coopération a regroupé en 1982 les études économiques générales et les évaluations de projets et de programmes dans une nouvelle organisation originale qui permet leur bonne insertion dans les activités opérationnelles du Ministère: le Secrétariat Permanent des études, évaluations et statistiques (SPEES).
Cette organisation comprend:
Le comité des etudes
Il est présidé par le Directeur de Cabinet et se compose des directeurs, chefs de service, sousdirecteurs ainsi que des membres du SPEES. Un représentant du Directeur Général de la Caisse Centrale de Coopération Economique (CCCE) et le responsable de la Cellule Evaluation du Trésor participent aux réunions du Comité.
Le comité des etudes qui se réunit environ 3 fois par an est chargé:
- de définir le programme d'études et d'évaluation du ministère, de décider de son mode de financement et d'en suivre l'exécution,
- de discuter des conclusions opérationnelles qui peuvent être tirées des études et évaluations achevées.
Le secrétariat permanent des etudes, evaluations et statistiques (SPEES)
Le SPEES assure la préparation des travaux du Comité des Etudes et suit la mise en oeuvre des décisions qui y sont prises. Il est également chargé de proposer le programme d'études et d'évaluation du Ministère, d'en organiser l'exécution, et de faire toutes propositions destinées à l'exploitation des résultats des travaux réalisés. Il est habilité à correspondre avec les différents services du Ministère, les missions de coopération et les organismes extérieurs.
Le SPEES est composé de membres nommés par le Président du Comité des Etudes: ils restent par ailleurs rattachés administrativement à une direction ou à un service du Ministère.
Il comprend aujourd'hui quatre personnes
Coordinateur
Patrice Tranchant
Marie-France Fabre
Joël Dine
Evelyne Morvan
assure le secrétariat de l'équipe.
Les activités du SPEES peuvent en l'état actuel se présenter comme suit:
La participation des agents
La mise en oeuvre du programme décidé par le Comité des Etudes s'appuie sur une participation large et importante des agents du Ministère et suppose une bonne compréhension de l'organisation du travail ainsi qu'une forte mobilisation de chacun des intervenants:
- Les directeurs d'étude ou d'évaluation sont considérés comme affectés par le département pour un temps partiel déterminé et pour la durée de l'étude; ils sont responsables directs de son aboutissement.
Cette mission de réflexion, d'animation et d'organisation est ouverte à tous les cadres du département, dans la mesure de leur temps disponible, et peut constituer un lien utile avec leurs fonctions passées ou futures. La capacité du département à favoriser la réponse à cette fonction est indispensable à la réalisation d'un programme d'évaluations régulières.
- Le comité de pilotage est le complément naturel de la fonction de directeur d'étude ou d'évaluation. Constitué de personnes complémentaires en fonction de l'objectif initial, c'est lui qui doit d'une part exprimer clairement et opérationnellement les questions auxquelles devront répondre l'évaluation ou l'étude (termes de référence précis, préétude ... ) et d'autre part proposer les modalités d'utilisation des résultats.
2.1 Rappel de quelques définitions
Une action de coopération, qu'il s'agisse d'un projet stricto sensu ou d'autres formes d'intervention (assistance technique, formation, aide financière), est l'aboutissement d'un processus continu qui passe par des étapes plus ou moins formalisées selon le type d'action; ces étapes sont les suivantes:
- identification et préparation qui peut prendre la forme d'une évaluation ex-ante de l'action proposée, dont le résultat se concrétise par la prise en compte de l'action et son financement (ou éventuellement son rejet);
- execution de l'action, avec en cours d'exécution un suivi périodique, ce suivi étant au minimum un suivi financier (suivi des dépenses et contrôles de conformité avec les prévisions), mais aussi un suivi technique de son déroulement, en vue notamment d'adapter régulièrement le contentu de l'action à l'évolution de son contexte et aux premiers résultats obtenus; c'est cette forme d'intervention qui est appelée suivi-évaluation;
- l'achèvement d'une action de coopération (ou d'une phase de cette action) qui se matérialise par la fin des paiements, donne lieu, en principe, à un document de synthèse (rapport de fin d'exécution pour les projets financés par le FAC).
L'évaluation rétrospective (ou ex-post) prend place après l'achèvement d'une action, ou au minimum d'une phase de cette action. Elle a pour but, à partir de l'observation détaillée de ce qui s'est passé depuis l'origine de la décision, d'analyser les écarts entre provisions et réalisations et l'origine de ces écarts, d'examiner l'impact réel de cette action sur le développement, mais surtout de dégager les enseignements à tirer de cette analyse pour améliorer l'impact des futures actions de coopération.
La "frontière" entre le suivi-évaluation et l'évaluation rétrospective n'est pas toujours très nette, notamment lorsqu'il s'agit d'analyser des actions engagées depuis de nombreuses années; globalement on peut dire que le suivi évaluation s'appuie sur un diagnostic de la situation du moment car c'est avant tout un outil de pilotage opérationnel, alors que l'évaluation rétrospective suppose une relecture de toute l'histoire de l'action, depuis son origine.
2.2 Le champ de l'évaluation
L'évaluation technique des projets est menée sous la responsabilité des services gestionnaires.
Les travaux d'évaluation animés par le SPEES relèvent de l'exigence d'évaluation des politiques publiques" conformément à l'esprit du décret 90-82 du 22 janvier 1990: I'évaluation d'une politique publique au sens du présent décret a pour objet de rechercher si les moyens juridiques, administratifs et financiers mis en oeuvre permettent de produire les effets attendus de cette politique et d'atteindre les objectifs qui lui sont assignés".
Pour ce Ministère, il s'agit donc d'évaluer les politiques d'aide au développement appréhendées, selon le cas, sous l'angle géographique, sectoriel ou d'un ensemble cohérent de moyens.
Dans tous les cas, le champ de l'évaluation est bien la politique française d'aide et non la ou les politiques menée(s) par nos partenaires.
2.3 Typologie des évaluations
Les évaluations entreprises s'articulent autour de quatre approches:
2.3.1 - évoluations géogrophiques: l'évaluation de l'aide française envers un Etat vise à observer et décrire les ressorts de la coopération française et de ses initiatives d'aide dans leur contexte spécifique, géographique et temporel (analyse des évolutions sur une période relativement longue de 10 à 15 ans) et dans leurs dimensions multiples (la coopération est une expression de relation d'État à État, ce qui explique ses dimensions politique, culturelle, économique... ).
Le principal résultat attendu est de mettre en lumière les objectifs et les évolutions de la politique française d'aide envers un état, ce qui permet la formulation de recommandations opérationnelles propres à guider l'intervention de la France pour les années à venir.
2.3.2 - évoluations de politiques sectorielles de l'aide : elles sont à la jonction d'une part de l'analyse filière (comment s'organisent nos appuis à la mise en oeuvre de politiques nationales répondant à des objectifs déterminés préalablement) et d'autre part de la synthèse d'évaluations de projets ou programmes financés par l'aide française dans un secteur. Elles permettent de vérifier la cohérence et l'adéquation de nos appuis à des orientations sectorielles définies par le Département.
2.3.3 - évoluations de politiques de moyens: 11 s'agit des principaux instruments ou mécanismes utilisés directement ou indirectement par l'aide française (Assistance technique, bourses, C.D.I.; ou encore utilisations des réseaux, appui à la coopération décentralisée ... ): y-a-t-il une logique d'ensemble dans la mise en oeuvre de ces instruments (aspect politique), et comment les adaptations nécessaires (en terme d'objectif et en terme d'efficacité) sont elles réalisées ?
2.3.4 - évaluations de projets ou de programmes: 11 ne s'agit pas de se substituer aux responsabilités d'évaluation technique par les services. Le choix d'une évaluation de projet correspond le plus souvent soit à la phase préparatoire d'une évaluation géographique ou sectorielle, soit à une contribution (observations factuelles) à une réflexion thématique plus large (environnement, etc... ).
2.4 Objectifs des évaluations
Les évaluations entreprises ont un double objectif:
2.4.1- ou plan interne, elles permettent, à partir de l'analyse des résultats quantifiés et de l'origine des écarts entre provisions et réalisations, d'apprécier l'adéquation de nos actions aux objectifs implicites ou explicites; elles contribuent à l'amélioration de la qualité de nos instruments de coopération et d'aide au développement; elles ont également une fonction de capitalisation de l'expérience acquise et d'enrichissement du dialogue interne.
2.4.2 - ou plan externe, elles ont pour but de contribuer à renforcer notre capacité de dialogue et de proposition tant vis à vis des-pays et organismes avec lesquels nous coopérons que des autres aides qui interviennent dans les mêmes pays.
3.1 Processus de décision
La liste des actions à évaluer est établie partir des propositions des Services, des Missions de Coopération et du SPEES.
Cette liste est arrêtée par le Comité des Etudes et fait l'objet d'un programme annuel soumis au Comité Directeur du FAC.
3.2 Exécution des évaluations
L'ensemble des dispositions retenues pour l'exécution des évaluations au sein du Ministère est guidé par le souci d'obtenir dans chaque cas une description/analyse la plus précise possible et des recommandations utilisables par les services.
Afin que ses travaux puissent répondre aux objectifs fixés, l'équipe d'évaluation est dirigée par un directeur d'étude, désigné pour chaque évaluation au sein du Ministère
Ce Directeur d'Etude est l'animateur d'un Comité de Pilotage restreint, auquel participe le SPEES. Ce Comité intervient plus particulièrement au niveau de l'examen des termes de référence, du choix des intervenants et de l'analyse des différents documents produits par l'équipe d'évaluation (rapports intérimaires et rapports finaux).
La rédaction des termes de référence détaillés, précisant les objectifs recherchés, la méthode de travail proposée (notamment les déplacements sur le terrain) et les délais impartis, constitue une tâche-clé pour le Directeur d'Etude avec la collaboration du Comité de Pilotage. Les termes de référence ainsi élaborés sont arrêtés par le SPEES.
Les évaluations sont réalisées par une équipe indépendante et pluridisciplinaire: les membres de l'équipe d'évaluation (qu'ils soient internes ou externes à ce Ministère, ne doivent pas être (ou avoir été) partie prenante dans l'exécution des actions évaluées, et la diversité de leurs formations ou de leur expérience professionnelle doit garantir que l'évaluation n'est pas seulement un contrôle de conformité financier ou technique, mois une analyse approfondie de l'impact réel sur le développement de l'action évaluée.
Dans la plupart des cas, il est fait appel à l'aide de compétences extérieures de sources diverses: fonctionnaires d'autres administrations, universitaires, consultants indépendants ou bureaux d'études avec lesquels est passé un marché.
Les évaluations établies à la demande du Ministère sont des travaux internes. Les responsables de l'action évaluée disposent de la possibilité de compléter le rapport par des commentaires appropriés avant que le document ne soit adressé au Cabinet et diffusé à l'intérieur du Ministère. Les modalités de diffusion finale du rapport sont, dans tous les cas, décidées par le Cabinet du Ministre. Des synthèses diffusées plus largement sont également réalisées.
Les conclusions des évaluations sont examinées par le Comité des Etudes.
Un bilan périodique des évaluations et des conclusions pratiques à en tirer est présenté au Comité Directeur du FAC.
L'évaluation est avant toute une démarche pragmatique de réflexion qui vise à prendre un certain recul pour améliorer nos méthodes d'intervention et leur efficacité. Elle ne doit pas être confondue avec une fonction d'inspection ou de contrôle, notamment celle exercée par la Sous-Direction du Budget. Les points importants dans cette démarche sont:
- le choix des actions à évaluer, phase-clé du processus;
- le recours à une expertise indépendante et pluridisciplinaire, travaillant sur la base de termes de référence bien ciblés;
- la rétroaction de ces évaluations sur les actions du Ministère, qui nécessite que celles-ci soient conduites avec le souci d'aboutir à des recommandations issues de l'analyse évaluative et utilisables par les services, et qu'un dialogue interne soit systématiquement organisé au départ et à l'issue de l'évaluation.
