Évaluation provisoire de la politique d'évaluation du Conseil du Trésor

Rapport d'évaluation

Centre d'excellence en évaluation
Conseil du Trésor du Canada

Janvier 2003

Table des matières

• RÉSUMÉ
• 1.0 INTRODUCTION
  • 1.1 PORTÉE DE L'ÉVALUATION PROVISOIRE
  • 1.2 QUESTIONS EXAMINÉES LORS DE L'ÉVALUATION
  • 1.3 MÉTHODOLOGIE D'ÉVALUATION
• 2.0 LA POLITIQUE D'ÉVALUATION
  • 2.1 EXIGENCES DE LA POLITIQUE
  • 2.2 CONTEXTE
  • 2.3 RESPONSABILITÉS DE LA MISE EN OEUVRE DE LA POLITIQUE
• 3.0 RÉSULTATS DE L'ÉVALUATION PROVISOIRE
  • 3.1 PROGRÈS AU NIVEAU DE LA MISE EN OEUVRE
  • 3.2 LACUNES TOUCHANT LA MISE EN OEUVRE INTÉGRALE
  • 3.3 DIFFICULTÉS RATTACHÉES À LA MISE EN OEUVRE
  • 3.4 RÔLES ET RESPONSABILITÉS DU CEE
• 4.0 CONCLUSIONS
  • 4.1 PROGRÈS RÉALISÉS DANS LA MISE EN OEUVRE
  • 4.2 DIFFICULTÉS ET OBSTACLES CONCERNANT LA MISE EN OEUVRE
  • 4.3  RÔLES ET RESPONSABILITÉS DU CEE

Résumé

L'évaluation provisoire vise à faire le point sur les progrès réalisés jusqu'à présent dans la mise en oeuvre de la nouvelle politique d'évaluation (la politique). Parallèlement à l'approbation de la politique, le Conseil du Trésor a financé les deux premières années du programme étalé sur quatre ans, le financement des troisième et quatrième années étant tributaire des résultats de l'évaluation provisoire. L'évaluation provisoire a été réalisée au cours des premières étapes du processus de mise en oeuvre, le travail sur le terrain s'étant déroulé dans les 12 à 18 mois suivant le début du processus. Selon les normes établies, cette évaluation provisoire a été effectuée relativement tôt dans la vie de la politique d'évaluation révisée. Par conséquent, elle est nécessairement centrée sur les questions de mise en oeuvre plutôt que sur les répercussions de la politique.

L'étude a été réalisée par des conseil-experts de l'extérieur et est fondée sur les méthodes décrites dans le cadre de gestion et de responsabilisation axées sur les résultats (CGRR) mis au point pour la politique (c.-à-d., enquête auprès des ministères, études de cas et entrevues avec les représentants des ministères, les intervenants des organisations externes et les secteurs des programmes du SCT). Le CGRR a été mis au point conjointement par le Centre d'excellence en évaluation (CEE), le bureau du Secrétariat du Conseil du Trésor mis sur pied pour faciliter la mise en oeuvre de la politique, et la collectivité d'évaluation du gouvernement fédéral, représentée par un groupe de travail composé de chefs de l'évaluation.

Les principales questions examinées pour l'évaluation provisoire ont été les suivantes :

• Question no 1 : Quelle est l'ampleur des progrès réalisés dans la mise en oeuvre?
• Question no 2 : Que reste-t-il à accomplir pour parvenir à la mise en oeuvre complète?
• Question no 3 : Quelles sont les difficultés particulières posées par la mise en oeuvre de la politique à court et à long terme?
• Question no 4 : Quel(s) est(sont) le(s) rôle(s) pertinent(s) du CEE dans la mise en oeuvre de la politique?

Constatations relatives aux progrès réalisés et aux lacunes en matière de mise en oeuvre (questions nos 1 et 2)

Les résultats de l'évaluation indiquent d'abord que la mise en oeuvre comme telle de la politique varie considérablement selon les ministères et organismes. Bon nombre de petits organismes déclarent disposer d'une fonction d'évaluation très limitée, voire inexistante. Parmi les ministères de taille moyenne et de grande taille, certains ne font que commencer à mettre en oeuvre la nouvelle politique, tandis que d'autres considèrent être encore loin du point médian du processus. Comme on peut s'y attendre, les progrès les plus importants ont été accomplis dans les ministères qui disposaient d'une fonction plus mature avant l'adoption de la politique révisée.

Les résultats d'évaluation indiquent par ailleurs que :

• Trente-neuf (soit 93 %) des 42 ministères et organismes dotés d'une fonction d'évaluation ont un comité actif de vérification et d'évaluation, dont 33 (85 %) sont présidés par des sous-ministres ou des fonctionnaires de niveau équivalent.
• La moitié des ministères et organismes ayant répondu à l'enquête ont un plan d'évaluation approuvé pour 2002-2003 (hausse de 23 % par rapport à 2001-2002).
• Au cours des deux dernières années, 27 % des études d'évaluation (représentant 54 % des grands ministères/organismes) ont dépassé les domaines de programme traditionnels pour s'appliquer aux politiques et initiatives plus vastes du gouvernement.
• La productivité en matière de CGRR et d'études d'évaluation a augmenté de façon significative au cours des deux dernières années.
• Le nombre d'études sur la mesure du rendement est en hausse. En raison de la mise en application des CGRR, on prévoit un accroissement du niveau d'intégration de la mesure du rendement et de l'évaluation.

Avant l'établissement de la politique, on a reconnu la présence de lacunes au niveau de la capacité d'évaluation dans bon nombre de ministères et d'organismes. L'évaluation provisoire montre que les ministères investissent dans la fonction d'évaluation et, malgré l'augmentation des ETP, dont le nombre est passé de 230 à 286, on est encore aux prises avec une pénurie importante d'évaluateurs professionnels (105 ETP) qui sont nécessaires pour parvenir à une fonction d'évaluation mature dans les ministères, et pour répondre aux exigences de la politique d'évaluation. Les résultats d'évaluation indiquent par ailleurs que :

• Dans certains grands ministères, la capacité d'évaluation demeure minimale, tandis que les petits organismes ne disposent généralement pas de ressources pour l'évaluation.
• Il existe des problèmes au niveau du calendrier et du rôle accordé aux évaluations, ce qui empêche leur utilisation dans le processus décisionnel pour les présentations au CT.
• Étant donné que la politique d'évaluation révisée est en vigueur depuis avril 2001, il est trop tôt pour déterminer si les CGRR sont adéquatement mis en application et s'ils améliorent effectivement la qualité du travail d'évaluation et de mesure du rendement.
• Les exigences du travail d'évaluation des gestionnaires de programme des ministères dépassent parfois la capacité du secteur de l'évaluation, tel qu'il est doté actuellement.
• Dans le cas des ministères de taille moyenne et de grande taille, il faudra beaucoup de temps pour évaluer tous les programmes, politiques et initiatives couverts par la politique d'évaluation. Par exemple, alors que 11 des 24 ministères de taille moyenne et de grande taille indiquent qu'il faudrait moins de six ans pour effectuer l'évaluation de tous les programmes, politiques et initiatives visés par la politique, 13 des 24 estiment qu'il faudrait compter de six à dix ans.

Constatations relatives aux progrès réalisés et aux lacunes en matière de mise en oeuvre (questions nos 1 et 2)

Étant donné que l'évaluation provisoire a été menée peu de temps après l'entrée en vigueur de la politique d'évaluation, on a réalisé des progrès satisfaisants quant à la mise en oeuvre de la politique, et ce, en dépit de diverses difficultés éprouvées, telles que :

• le remaniement ou la redéfinition nécessaires de la fonction au sein de nombreux ministères;
• une pénurie importante d'évaluateurs qualifiés travaillant actuellement au sein du gouvernement fédéral.

De surcroît, les petits organismes, dont la plupart sont dotés d'une capacité d'évaluation restreinte ou inexistante, accusent un retard au niveau de la mise en oeuvre de la politique. Jusqu'à présent, les progrès réalisés dans la mise en oeuvre concernent principalement les ministères de taille moyenne et de grande taille qui, déjà, possédaient une certaine capacité d'évaluation avant l'entrée en vigueur de la politique. Les petits organismes ne sont toujours pas en mesure de répondre aux exigences de la nouvelle politique. On devrait prendre des mesures pour s'assurer que ces organismes connaissent la politique, le CEE et ses produits et services, et qu'ils disposent du soutien nécessaire pour mettre en oeuvre les aspects pertinents de la politique, compte tenu de leurs besoins opérationnels particuliers.

Constatations relatives aux difficultés que soulève la mise en oeuvre intégrale (question no 3)

Certaines des difficultés importantes que soulève la mise en oeuvre de la nouvelle politique sont les suivantes :

• De nombreux ministères procèdent actuellement à l'établissement ou au remaniement de leur fonction d'évaluation de façon qu'elle soit convenablement dotée.
• Le nombre de professionnels de l'évaluation au sein du gouvernement fédéral et la demande d'évaluateurs qualifiés ont eu de fortes répercussions sur les efforts déployés pour le recrutement, ainsi que sur la création et le maintien des capacités.
• Compte tenu de la taille relativement petite de la collectivité de l'évaluation, les méthodes traditionnelles de recrutement, de formation et de perfectionnement professionnel du gouvernement fédéral ne sont vraisemblablement pas adaptées ou efficaces.
• Pour parvenir à la mise en oeuvre intégrale de la politique d'évaluation, il faudra un « changement de mentalité » au sein de nombreux ministères, notamment une évolution des rôles des gestionnaires de programme, de la fonction d'évaluation et des cadres supérieurs. La création d'une nouvelle culture d'entreprise exigera du temps, des ressources et du soutien des cadres supérieurs.
• Le contexte de « gestion axée sur les résultats », conjugué aux exigences de la politique sur les paiements de transfert, crée une demande importante d'évaluateurs dont l'expertise est nécessaire pour mesurer le rendement et élaborer un cadre d'évaluation afin d'aider les gestionnaires de programmes.

Conclusions relatives aux difficultés que soulève la mise en oeuvre intégrale (question no 3)

L'augmentation du niveau de productivité de la fonction au cours des 18 derniers mois, décrite dans la présente évaluation provisoire, risque de ne pas être durable si on ne prend pas des mesures vigoureuses pour combler les lacunes actuelles en matière de budget et de ressources humaines.

Les prévisions de volume de travail sont établies en fonction d'un taux d'augmentation d'environ 200 % pour les deux prochaines années alors qu'on a prévu une augmentation de l'effectif de 20 à 30 % seulement au cours de la même période. Cette demande accrue de productivité de la fonction après la mise en oeuvre des diverses politiques (principalement la politique d'évaluation même et la politique sur les paiements de transfert) et les méthodes de mesure des résultats exigeront une augmentation proportionnelle tant du budget que du personnel afin d'assurer le maintien de la productivité. Lors de la mise en valeur des ressources d'évaluation à l'échelle du gouvernement, il est important que les ministères soutiennent la fonction d'évaluation après la mise en oeuvre intégrale de la politique.

Afin de régler les questions de perfectionnement de la collectivité, telles que le maintien en poste, la formation et le perfectionnement professionnel, il faudra faire preuve de créativité pour trouver une solution de rechange à la méthode traditionnelle de recrutement et de formation professionnelle actuellement adoptée par le gouvernement fédéral. Compte tenu de la taille relativement modeste de la collectivité, il faudra établir et maintenir des partenariats et des réseaux avec les associations professionnelles externes et les groupes internes du secteur de l'évaluation. Bien que cette méthode exige au départ des ressources importantes, elle réglera vraisemblablement plus rapidement ces questions que les méthodes traditionnelles adoptées par le gouvernement pour le recrutement et le perfectionnement de professionnels.

Constatations relatives aux rôles et responsabilités du CEE
(question no 4)

Il est impératif d'établir dans l'immédiat une organisation d'experts-conseils et de coordination telle que le CEE, afin de soutenir et d'orienter la mise en oeuvre de la politique, étant donné que la collectivité de l'évaluation est confrontée à un certain nombre de problèmes.

Dans de nombreux ministères, la mise en oeuvre intégrale de la politique exigera un changement culturel afin de créer un environnement dans lequel les gestionnaires prennent l'initiative d'intégrer la pratique d'évaluation à leur travail. Le CEE peut jouer un rôle de direction en aidant les ministères à amorcer ce changement culturel, en reconnaissant qu'un changement fondamental de cette nature exigera du temps, des ressources et du soutien des cadres supérieurs.

Les rôles définis par les ministères et les organismes durant le processus d'évaluation provisoire sont les suivants :

• jouer un rôle de direction et de porte-parole de la collectivité de l'évaluation au sein du gouvernement du Canada;
• prodiguer des conseils et formuler des avis pour la mise en oeuvre de la politique;
• développer la capacité d'évaluation des ministères et des organismes.

Parmi les intervenants à l'extérieur des groupes d'évaluation au sein des ministères et organismes (p. ex. secteurs des programmes du SCT, Bureau du vérificateur général, associations professionnelles d'évaluateurs), on appuie massivement la participation accrue du CEE à :

• la surveillance et la communication de rapports sur la capacité d'évaluation et la mise en oeuvre de la politique au sein du gouvernement fédéral;
• l'examen des rapports d'évaluation au titre des présentations au CT;
• le soutien du rôle du service du budget du SCT.

Conclusions relatives aux rôles et responsabilités du CEE
(question no 4)

Il est nécessaire que le CEE continue d'assumer un rôle de direction afin d'aider la collectivité de l'évaluation à mettre en oeuvre la politique. Jusqu'à présent, le CEE a réussi dans ce rôle, compte tenu des nombreuses difficultés éprouvées au cours des 18 derniers mois. Selon l'enquête réalisée dans le cadre de l'évaluation provisoire, il est clair que pour accomplir des progrès complémentaires dans la mise en oeuvre de la politique, la collectivité de l'évaluation cherche un organe de direction centralisé, assumant un rôle semblable à celui du CEE, aux premières étapes de la mise en oeuvre. Ce rôle de direction sera nécessaire en permanence afin de promouvoir l'importance de l'évaluation auprès des cadres supérieurs, d'apporter un soutien continu au développement des capacités à l'échelle du système, la formation, les outils et les guides destinés à faciliter la mise en oeuvre de la politique, de relever des pratiques exemplaires pour diffusion au sein de la collectivité.

Parmi les rôles importants que le CEE devra assumer au cours des deux prochaines années, citons son soutien au Secrétariat dans l'utilisation des résultats d'évaluation pour le processus décisionnel. Les entrevues menées auprès des principales personnes interrogées des secteurs des programmes du Secrétariat soulignent que le CEE devrait participer davantage à l'analyse des CGRR et aux évaluations au titre des présentations. Compte tenu du nombre accru d'études d'évaluation prévues durant la période et du renforcement du rôle du service du budget du Secrétariat, ce besoin sera probablement plus criant au cours des deux prochaines années.

1.0 Introduction

Le présent rapport vise à présenter un résumé des constatations de l'évaluation provisoire de la politique d'évaluation du Conseil du Trésor, entrée en vigueur en avril 2001. La présente section décrit le contexte de l'évaluation, y compris la portée, les questions et les méthodes utilisées pour l'évaluation. La section 2.0 porte sur le contexte de la politique d'évaluation. Les constatations de l'évaluation provisoire sont présentées à la section 3.0. Enfin, les conclusions de l'étude sont exposées à la section 4.0.

1.1 Portée de l'évaluation provisoire

L'évaluation provisoire vise à faire le point sur les progrès réalisés jusqu'à présent dans la mise en oeuvre de la nouvelle politique d'évaluation (la politique) dans 87 ministères et organismes assujettis à la politique. Afin de faciliter la mise en oeuvre de la politique, le Conseil du Trésor a financé les deux premières années d'un programme étalé sur quatre ans, le financement des troisième et quatrième années étant tributaire des résultats d'une évaluation provisoire. Les ministres du Conseil du Trésor ont établi un Centre d'excellence en évaluation (CEE) destiné à aider la mise en oeuvre de la politique, en particulier le développement des capacités. Étant donné que cette évaluation provisoire a été réalisée au cours des premiers stades du processus de mise en oeuvre, elle est davantage centrée sur les questions de mise en oeuvre plutôt que sur les répercussions de la politique. Comme il est énoncé dans le cadre de gestion et de responsabilisation axé sur les résultats (CGRR) mis au point pour la politique :

« Il faut plus 18 mois pour mettre pleinement en oeuvre la politique d'évaluation ou pour évaluer ses répercussions. Cependant, comme on doit déterminer s'il faut prolonger le financement de l'analyse de rentabilisation aux troisième et quatrième années, il est nécessaire de procéder à des évaluations préliminaires » .⁽¹⁾

La portée de l'évaluation provisoire est l'évaluation des progrès accomplis jusqu'à présent en matière de mise en oeuvre et de résultats prévus de la politique.

1.2 Questions examinées lors de l'évaluation

Les principaux problèmes d'évaluation traités dans l'évaluation provisoire sont décrits dans le CGRR pour la politique. Ici également, compte tenu de la période choisie pour l'évaluation, la présente étude est centrée sur l'étendue des progrès réalisés jusqu'à présent en regard des objectifs de démarrage ou de mise en oeuvre. Les questions d'évaluation sont présentées au tableau 1 ci-dessous.

Tableau 1 - Questions et sous questions examinées lors de l'évaluation provisoire

1.3 Méthodologie d'évaluation

La méthodologie utilisée pour l'évaluation provisoire a intégré trois sources de données énoncées dans le CGRR pour la politique. Ces sources de données ont consisté en une enquête auprès de la collectivité de l'évaluation, des entrevues avec les principales personnes interrogées et des études de cas. Chaque méthode a été conçue et mise en oeuvre par un consultant externe.

1.3.1 Enquête auprès de la collectivité de l'évaluation⁽²⁾

Pour collecter les données détaillées sur l'état actuel des fonctions d'évaluation au sein des ministères et organismes fédéraux, on a procédé à une enquête auprès de la collectivité de l'évaluation durant les mois de juin et de juillet 2002. Un questionnaire portant sur une vaste gamme de questions rattachées aux fonctions d'évaluation des organisations individuelles et du CEE a été envoyé par la poste à chacun des 87 ministères et organismes fédéraux assujettis à la politique. On a utilisé deux versions différentes de l'enquête, selon la taille de l'organisation et sa capacité d'évaluation. Le questionnaire le plus long (appelé le modèle standard) a été envoyé à 44 ministères de grande taille et de taille moyenne dotés d'une certaine capacité d'évaluation au moment de l'administration de l'enquête. On a fait parvenir un questionnaire plus court (appelé le modèle pour les petits organismes) à 43 petits organismes considérés être dotés d'une capacité d'évaluation limitée ou inexistante au moment de l'administration de l'enquête. Pour catégoriser les ministères et organismes aux fins de l'enquête, on s'est fondé sur les renseignements relatifs à la collectivité de l'évaluation gérés par le CEE. La version la plus courte a été conçue de façon à tenir compte de la taille, des besoins et du contexte propres aux petits organismes, tout en limitant les exigences en matière de rapport. Dans le cas des ministères et organismes qui ont reçu le questionnaire plus long, on a invité les chefs de l'évaluation à répondre à l'enquête. Ce fut également le cas des petits organismes au sein desquels un chef de l'évaluation était clairement identifié; lorsque le poste n'existait pas, on a fait parvenir le questionnaire à l'agent financier supérieur qui a été prié de le remplir au nom de l'organisme.

On a obtenu un taux de réponse global de 72 %, soit un taux de réponse de 93 % des ministères de grande taille et de taille moyenne (41 questionnaires retournés) et de 51 % des petits organismes (22 questionnaires retournés).

1.3.2 Entrevues avec les principales personnes interrogées⁽³⁾

On a effectué ces entrevues avec des représentants de 16 ministères et organismes, des secteurs des programmes du Secrétariat du Conseil du Trésor (SCT), du Bureau du vérificateur général (BVG) et de la Société canadienne d'évaluation (SCE). Cette méthode a été jugée essentielle pour obtenir de l'information sur la mise en oeuvre de la politique et sur la capacité d'évaluation afin de soutenir le processus décisionnel dans le contexte de la gestion axée sur les résultats. Au total, 61 personnes ont participé aux entrevues.

On a réalisé les entrevues à l'aide d'un guide d'entrevue semi-structuré, fondé sur les questions d'évaluation. On a remis au préalable aux principales personnes interrogées une copie du guide d'entrevue afin qu'elles préparent leurs réponses. Les entrevues ont été réalisées de juillet à octobre 2002.

Les ministères choisis pour les entrevues formaient un groupe représentatif de ministères et d'organismes de grande, moyenne et petite taille et dont la capacité d'évaluation variait considérablement (minimale à solide). Dans chaque ministère ou organisme sélectionné, l'équipe d'évaluation s'est efforcée de s'entretenir avec le directeur d'évaluation, le directeur général responsable de l'évaluation et le sous-ministre ou les sous-ministres adjoints/délégués. Au total, 44 représentants ministériels ont participé aux entrevues avec les principales personnes interrogées : 19 directeurs de l'évaluation ou gestionnaires de l'évaluation, 12 directeurs généraux responsables de la fonction d'évaluation et 13 cadres supérieurs du niveau de sous-ministre, sous-ministre délégué ou sous-ministre adjoint.

On a également réalisé des entrevues avec des représentants des secteurs des programmes du SCT, du BVG et de la SCE.

1.3.3 Études de cas ⁽⁴⁾

Afin de fournir des renseignements qualitatifs plus détaillés sur des questions telles que le recours à l'évaluation par les gestionnaires de programme et la qualité des rapports d'évaluation, huit études de cas ont été menées auprès de ministères de taille moyenne et de grande taille. Les critères de sélection des ministères devant participer à ces études de cas dans le cadre de l'évaluation provisoire ont été les suivants :

• une fonction assez bien établie pour permettre l'analyse des produits d'évaluation élaborés par le ministère;
• un groupe représentatif d'organismes centrés sur les politiques ainsi que sur l'exécution des programmes;
• un groupe représentatif de ministères participant aux politiques et programmes scientifiques, sociaux, culturels et ceux concernant l'administration de la justice;
• dans la mesure du possible, des ministères et organismes importants, c'est-à-dire de taille moyenne ou de grande taille.

Pour chaque étude de cas, on a demandé au ministère participant de fournir jusqu'à trois études d'évaluation ou CGRR, réalisés au cours du dernier exercice. L'équipe responsable des études de cas a examiné ces rapports, et a réalisé des entrevues avec les gestionnaires de programme et les directeurs d'évaluation ayant participé aux études sélectionnées.

2.0 La politique d'évaluation

Le 1er avril 2001, le Conseil du Trésor a adopté de nouvelles politiques révisées pour les fonctions d'évaluation et de vérification interne au sein du gouvernement fédéral. Ces politiques remplaçaient la politique d'examen des programmes du SCT, qui avait servi précédemment d'orientation stratégique pour les deux fonctions. En approuvant la politique révisée d'évaluation (la politique), les ministres du Conseil du Trésor ont élaboré une stratégie de mise en oeuvre sur quatre ans et ont assuré le financement des deux premières années. Les ministres ont également établi un Centre d'excellence en évaluation (CEE) au sein du Secrétariat, chargé de soutenir et surveiller la réussite de la mise en oeuvre de la politique à l'échelle du gouvernement. Alors qu'une partie du financement des deux premières années (2,8 millions de dollars a servi à l'établissement du CEE, la majorité des ressources (8,6 millions de dollars a été allouée aux ministères et organismes assujettis à la politique (voir tableau 2 ci-dessous). Les ministres du Conseil du Trésor ont également demandé une évaluation préliminaire des deux politiques révisées après une période de 18 mois (automne 2002), et une évaluation complète à la fin du cinquième exercice (2005-2006). Les décisions relatives au financement pour les troisième et quatrième années de la stratégie de mise en oeuvre seraient tributaires des résultats de l'évaluation préliminaire de la politique sur une période 18 mois.

Tableau 2 - Financement des deux premières années de mise en oeuvre de la politique

2.1 Exigences de la politique

L'objectif de la politique révisée consiste à « s'assurer que le gouvernement dispose de renseignements à jour axés sur les points stratégiques, fondés sur les objectifs et les preuves sur le rendement de ses politiques, programmes et initiatives pour produire de meilleurs résultats pour les Canadiens. »

Pour appuyer cet objectif, les principales exigences de la politique révisée sont :

• Capacité requise, associée aux cadres supérieurs. Les administrateurs généraux doivent établir une capacité d'évaluation appropriée. Pour ce faire, ils doivent nommer un chef principal de l'évaluation, et établir un comité d'évaluation présidé par un haut fonctionnaire du ministère. Les ministères/organismes ont toujours la possibilité de regrouper les fonctions d'évaluation et de vérification dans une seule direction.
• Portée accrue. Les évaluations doivent maintenant être appliquées aux politiques, programmes et initiatives, au lieu de se limiter aux domaines de programme traditionnels. Elles doivent également couvrir tous les programmes exécutés par l'entremise de partenariats (interministériels, intergouvernementaux, etc.).
• Accent mis sur le contrôle du rendement et sur les premiers résultats. Les ministères doivent intégrer l'évaluation dans le cycle de vie des programmes, politiques et initiatives pour :
  • élaborer des cadres de gestion et de responsabilisation axés sur les résultats (CGRR) visant les politiques, initiatives et programmes, nouveaux ou renouvelés;
  • établir des pratiques continues de mesure et de surveillance du rendement;
  • évaluer les questions reliées à la mise en oeuvre rapide et à l'administration de la politique, du programme ou de l'initiative;
  • évaluer les questions reliées à la pertinence, aux résultats et à la rentabilité.

À cette fin, les chefs de l'évaluation doivent collaborer avec les gestionnaires afin de les aider à améliorer la conception, l'exécution et la mesure du rendement.

• Planification stratégique de l'évaluation. Afin d'assurer l'équilibre du travail d'évaluation et de mieux répondre aux priorités du ministère et du gouvernement, les ministères/organismes devraient établir un plan d'évaluation axé sur des points stratégiques.
• Intégration au processus décisionnel stratégique et à la gestion. La politique définit les facteurs contribuant au succès de l'évaluation, notamment l'établissement d'un cadre propice dans lequel les gestionnaires intègrent la pratique d'évaluation à leur travail; et le recours à l'évaluation en synergie avec les autres outils de gestion afin d'améliorer le processus décisionnel. Les chefs de l'évaluation doivent veiller à ce que la pratique d'une saine évaluation dans leur organisation soit faite au regard de ces facteurs. À cette fin, on doit mettre l'accent sur l'objectivité de la fonction d'évaluation, et non sur l'indépendance.
• Normes révisées de pratique. La politique comporte un ensemble de lignes directrices simplifiées et fusionnées pour la pratique professionnelle en évaluation.

2.2 Contexte

2.2.1 Contexte

L'adoption de la nouvelle politique d'évaluation est survenue dans un climat de renouvellement de la fonction publique fédérale. « Les politiques révisées de vérification interne et d'évaluation font partie de l'engagement permanent du gouvernement en vue de l'amélioration continue de la gestion et de la responsabilisation » (communiqué de presse du 14 février de la ministre Robillard). Ces changements résultaient d'examens parallèles des deux politiques, effectués en 2000, qui incluaient des consultations auprès des secteurs public et privé.

2.2.2 Accent mis sur la gestion axée sur les résultats

L'amélioration de la vérification interne et de l'évaluation appuie le programme de gestion moderne, comme il est indiqué dans Des résultats pour les Canadiens et les Canadiennes : Un cadre de gestion pour le gouvernement du Canada⁽⁵⁾ .

La politique révisée d'évaluation accorde un rôle central à la fonction d'évaluation pour la gestion axée sur les résultats dans la mesure où elle soutient les efforts déployés par les gestionnaires de programme pour assurer le suivi du rendement réel et aider les décideurs à évaluer objectivement les résultats des politiques, programmes et initiatives. Elle accorde ainsi à l'évaluation un rôle distinct de la vérification interne, qui vise à fournir des assurances quant à la stratégie de gestion des risques, les cadres de contrôle de gestion et de l'information, tant financière que non financière, d'un ministère ou d'un organisme.

2.2.3 Lacunes reconnues en matière de capacité

À l'instar des autres collectivités fonctionnelles de l'administration publique fédérale, la fonction d'évaluation éprouve des difficultés à se renouveler. Le nombre d'évaluateurs et le niveau des ressources financières consacrées à l'évaluation ont baissé considérablement depuis le début des années 1990. L'étude du SCT réalisée en 2000, qui a mené à l'adoption de la nouvelle politique, a montré que la capacité n'était qu'à 56 % du niveau nécessaire pour la mise en oeuvre intégrale des exigences de la politique proposée⁽⁶⁾. Par ailleurs, il faut tenir compte du vieillissement des effectifs de la fonction publique, reflété dans la collectivité de l'évaluation, et relié au taux élevé de départs prévus parmi le personnel expérimenté du secteur de l'évaluation.

Compte tenu de la capacité réduite reconnue du secteur d'évaluation, la politique révisée exige également que le secteur élargisse la portée de l'activité.

2.2.4 Pression des politiques connexes

Parmi les autres facteurs contextuels importants entrant en jeu pour la mise en oeuvre de la politique révisée, citons les pressions sur la capacité découlant des autres politiques connexes rattachées à la gestion des risques et à la gestion axée sur les résultats. Deux politiques en particulier ont eu des répercussions importantes.

Politique sur les paiements de transfert

La politique sur les paiements de transfert (PPT) adoptée récemment par le Conseil du Trésor exige l'élaboration d'un cadre de gestion et de responsabilisation axé sur les résultats (CGRR) pour l'approbation de tous les programmes de contributions et de subventions de tous les ministères/organismes. Dans de nombreux ministères et organismes, aider à l'élaboration du CGRR est maintenant un aspect relativement nouveau et fondamental de la fonction d'évaluation. Étant donné que chaque CGRR définit les exigences pour les rapports futurs sur les résultats, la PPT a entraîné une augmentation du volume de travail futur relié à la surveillance du rendement et à l'évaluation de ces programmes.

Politique de surveillance active

À titre de composante clé de l'initiative Des résultats pour les Canadiens et les Canadiennes, la politique de surveillance active exige que les ministères surveillent les pratiques et mécanismes de contrôle de la gestion, adoptés pour exécuter les programmes. Il s'agit avant tout de se doter de mécanismes d'alerte rapide et de contrôle efficaces, sans revenir à l'approche directive et de surveillance des dernières années. Pour ce faire, il faut attribuer un rôle prédominant à la fonction d'évaluation au sein des ministères.

2.3 Responsabilités de la mise en oeuvre de la politique

La responsabilité de la mise en oeuvre de la politique d'évaluation est partagée par tous les intervenants. C'est un partenariat entre le Secrétariat du Conseil du Trésor et les ministères et organismes. Au sein des ministères, la réussite ne repose pas seulement sur les chefs de l'évaluation - les cadres supérieurs et les gestionnaires de programme des ministères jouent tous un rôle important, qui consiste à assurer un cadre propice « dans lequel les gestionnaires intègrent l'évaluation à leur travail » et « où l'évaluation est utilisée en synergie avec les autres outils de gestion pour améliorer le processus décisionnel ». Au sein du Conseil du Trésor, le CEE et les autres secteurs du SCT doivent collaborer pour appuyer la collectivité de l'évaluation dans « l'utilisation des produits d'évaluation pour appuyer le processus décisionnel au centre »⁽⁷⁾. Ce partenariat fait également partie intégrante des efforts communs déployés pour mettre en oeuvre la surveillance active des programmes, politiques et initiatives au gouvernement fédéral.

2.3.1 Centre d'excellence pour l'évaluation (CEE)

Le CEE a été établi en vue de jouer un rôle de direction pour la fonction d'évaluation au sein du gouvernement fédéral; de prendre des initiatives pour régler les difficultés communes dans la collectivité, p. ex. élaborer un cadre de gestion des ressources humaines afin de répondre aux besoins à long terme en matière de recrutement, de formation et de perfectionnement, et assurer le soutien à la mise en valeur des ressources, l'amélioration des pratiques et au renforcement de la collectivité d'évaluation au sein de l'administration publique fédérale.

Le mandat et le rôle du CEE découlent des énoncés d'orientation générale de la politique révisée. Les activités du CEE sont axées principalement à l'externe en ce qui a trait au développement de la capacité d'évaluation dans tout le système et le repositionnement de la fonction d'évaluation. Le CEE a déterminé un certain nombre d'activités pour les deux premières années de mise en oeuvre de la politique, qu'il a définies dans son plan stratégique et opérationnel (novembre 2001). Ce plan définit également les cinq secteurs stratégiques qui serviront de fondement aux activités du Centre. Ces secteurs clés portent sur la mise en oeuvre de la politique, la surveillance, le développement des capacités, les avis stratégiques ainsi que la communication et le réseautage.

À l'instar de l'évaluation globale, l'évaluation du CEE consistera à examiner les progrès réalisés jusqu'à présent par le Centre par rapport à ses objectifs de mise en oeuvre à long terme. Cette évaluation porte sur les 18 premiers mois d'activités.

3.0 Résultats de l'évaluation provisoire

Les résultats de l'évaluation sont présentés dans cette section, en fonction des principales questions traitées, à savoir :

• progrès réalisés dans la mise en oeuvre de la politique;
• lacunes qui empêchent la mise en oeuvre intégrale;
• difficultés que soulève la mise en oeuvre;
• rôles et responsabilités pertinents pour le CEE.

3.1 Progrès au niveau de la mise en oeuvre

L'évaluation provisoire est centrée sur les progrès réalisés au cours des 18 premiers mois de la mise en oeuvre de la politique. Plus précisément, elle quantifie la mesure dans laquelle les ministères et organismes ont progressé pour satisfaire aux principales exigences de la politique, à savoir : redéfinition de la fonction d'évaluation au sein de l'organisation de façon qu'elle soit perçue comme une capacité requise, intégrée par les cadres supérieurs; élargissement de la portée des évaluations; accent mis davantage sur la surveillance du rendement et les premiers résultats; planification stratégique de l'évaluation; intégration de l'évaluation à la gestion et au processus décisionnel stratégique et maintien de normes de pratiques dans les évaluations.

3.1.1 État actuel de la mise en oeuvre de la politique

L'état actuel de la mise en oeuvre varie considérablement d'un ministère ou organisme à l'autre. Bon nombre de petits organismes déclarent avoir une fonction d'évaluation très limitée ou inexistante. Parmi les ministères de taille moyenne et de grande taille, certains ne font que commencer à mettre en oeuvre la nouvelle politique, tandis que d'autres déclarent d'avoir parcouru plus que la moitié du chemin du processus de mise en oeuvre.

Dans le cadre de l'enquête, des entrevues avec les principales personnes interrogées et des études de cas, on a posé un certain nombre de questions aux ministères et organismes afin de mesurer l'état de l'infrastructure et la capacité de l'évaluation. Pour se doter d'une infrastructure d'évaluation solide, il faut que la politique d'évaluation du Conseil du Trésor soit intégralement mise en oeuvre et bien comprise, non seulement par les évaluateurs professionnels mais également par les gestionnaires de programme de l'ensemble du gouvernement fédéral. Il faut également se doter de structures de responsabilisation au sein du ministère ou de l'organisme, telles qu'un comité de vérification interne et d'évaluation, ainsi qu'un plan d'évaluation approuvé qui soit pertinent et mis en application (mise à jour régulière des objectifs et suivi des recommandations approuvées dans les rapports d'évaluation). Enfin, il faut que les administrateurs généraux s'engagent à assurer des niveaux appropriés de ressources pour la fonction afin de s'assurer que l'évaluation est enchâssée dans la culture de gestion, et que les employés fonctionnels sont convenablement formés pour faciliter la mise en oeuvre de la politique.

Les résultats de l'étude montrent qu'environ la moitié des ministères et organismes assujettis à la politique possèdent une fonction d'évaluation active. D'après les données de l'enquête, 42 des 87 ministères et organismes interrogés ont une fonction d'évaluation active et disposent de ressources d'évaluation sous forme d'un budget et d'ETP réservés à l'évaluation.

Parmi les organisations qui déclarent avoir une fonction d'évaluation, la capacité d'évaluation varie considérablement dans l'éventail de niveaux. Comme il est illustré à la figure 1 ci-dessous, selon les indicateurs de l'enquête auprès de la collectivité de l'évaluation, seul un ministère peut être classé comme ayant une capacité d'évaluation adéquate pour la mise en oeuvre intégrale de la politique. Seize autres ministères disposent d'une capacité modérée, mais indiquent qu'ils ont encore besoin de ressources supplémentaires importantes pour atteindre un niveau stable d'évaluation qui correspondrait à la mise en oeuvre complète de la politique. Vingt-cinq autres organisations partent d'une position faible à minimale mais travaillent en vue de renforcer leur capacité et auront besoin d'une somme considérable de soutien et de temps pour parvenir à la mise en oeuvre complète de la politique. Les petits organismes (n=21) ont indiqué n'avoir pas ou pratiquement pas de fonction d'évaluation. On peut présumer que le reste de la collectivité de l'évaluation (24 non répondants parmi les petits organismes) n'ont pas ou ont peu de capacité d'évaluation.

Figure 1 - Capacité d'évaluation évaluée (source : données de l'enquête)

Nota : « Capacité faible ou inexistante » comprend à la fois les répondants (n=21) et les non-répondants (n=24).

Selon les résultats des entrevues, la maturité de la fonction d'évaluation avant l'établissement de la nouvelle politique constitue le principal facteur distinctif, en vertu duquel les ministères ou organismes définissent leur position à l'égard de la mise en oeuvre. Les ministères dotés d'une fonction d'évaluation relativement mature avant l'établissement de la politique déclarent qu'elle demeure stable et que leur capacité se renforce, selon les différentes étapes de mise en oeuvre de la politique. Par contre, les ministères qui déclarent en être aux premières étapes de la mise en oeuvre indiquent en général que leur fonction d'évaluation était sous-développée avant la mise en oeuvre de la politique, ou qu'elle a subi des transformations majeures au cours des deux dernières années grâce, notamment, à sa restructuration et à sa redéfinition au sein du ministère.

En règle générale, les constatations des études de cas corroborent l'information recueillie durant les entrevues avec les principales personnes interrogées et lors de l'enquête. Les études de cas étaient axées sur les ministères qui, pour la plupart, étaient dotés d'une fonction d'évaluation relativement mûre avant la mise en oeuvre de la politique. Parmi les huit ministères de taille moyenne et de grande taille ayant participé aux études de cas, on a constaté que la mise en oeuvre était relativement avancée, bon nombre des objectifs de la politique ayant été atteints dans le récent travail d'évaluation présenté à l'équipe de l'étude pour examen. Dans chaque ministère, on a constaté que la fonction d'évaluation produisait des résultats d'évaluation crédibles qui satisfont aux normes du Conseil du Trésor, et qui facilitent ou faciliteront la gestion axée sur les résultats. Selon les études de cas, on a réalisé d'importants progrès dans l'atteinte de nombreux objectifs de la politique au sein des huit ministères.

3.1.2 Portée de l'évaluation

Une exigence de la nouvelle politique consiste à étendre la portée de l'évaluation au-delà des domaines de programme traditionnels afin de traiter des politiques, programmes et initiatives, ce qui s'est concrétisé selon les résultats du sondage et des entrevues avec les principales personnes interrogées. Selon l'enquête, cette composante de la politique a été mise en oeuvre par environ la moitié des ministères de taille moyenne et de grande taille. D'après les modèles de collecte des données, 54 % de ces ministères ont effectué des évaluations des politiques ou des initiatives, représentant 27 % des évaluations menées au sein des grands ministères. Dans les entrevues avec les principales personnes interrogées, certains ministères ont indiqué qu'ils en étaient encore au stade de définir le domaine et le cadre d'évaluation de leur organisation. Les études de cas ne collectaient pas directement l'information sur l'évolution de la portée de l'évaluation.

3.1.3 Capacité de la fonction d'évaluation

Avant l'établissement de la politique, on avait reconnu qu'on manquait de ressources et d'évaluateurs professionnels dans le secteur d'évaluation de bon nombre de ministères et organismes. Les ressources affectées à la mise en oeuvre de la politique étaient destinées en partie à régler la pénurie manifeste de personnel dans de nombreuses organisations. Il est nécessaire d'établir et de maintenir un budget d'évaluation suffisant et des effectifs d'évaluation adéquats pour répondre aux principales exigences de la politique. L'évaluation provisoire a montré que les ministères investissent davantage dans la fonction d'évaluation par rapport aux niveaux de 2000 et, malgré la hausse du nombre d'ETP, le nombre d'évaluateurs engagés demeure insuffisant. Malgré ces difficultés, le nombre d'études d'évaluation et sur la mesure du rendement a augmenté progressivement et, selon les prévisions, il devrait monter en flèche au cours des deux prochaines années. On prévoit toutefois une croissance nettement moins rapide des ETP par rapport à la productivité escomptée de la fonction au cours des deux prochaines années.

Budgets d'évaluation

D'après les réponses à l'enquête, le montant total des crédits consacrés à l'évaluation en 2002-2003 dans l'ensemble de la collectivité de l'évaluation s'élève à 42,4 millions de dollars. Cela représente une hausse de 9,4 millions de dollars (soit 28 %) par rapport au budget d'évaluation estimé précédent établi à 33 millions de dollars selon l'étude⁽⁸⁾ menée en 2000 par le Secrétariat, juste avant la mise en oeuvre de la politique. Les ministères de grande taille et de taille moyenne reçoivent la majorité des crédits budgétaires, 65 % (soit 27,4 millions de dollars) du total étant concentré au sein de seulement onze organisations.

Seulement qu'un faible pourcentage du budget total consacré à l'évaluation au sein du gouvernement s'applique aux petits organismes. Seulement trois des répondants des petits organismes ont indiqué qu'ils disposaient d'un budget total d'évaluation de plus de 50 000 $. De toute évidence, les petits organismes possèdent une très faible capacité et peu de ressources consacrées à l'évaluation.

En 2002-2003, les ministères ont investi près de 4 millions de dollars pour la fonction en plus des 5,4 millions de dollars attribués par le Conseil du Trésor dans le cadre de la stratégie de mise en oeuvre de la politique d'évaluation. Cela indique que, même s'ils peuvent faire mieux, les ministères ont pris des mesures pour remanier la fonction. La somme de 4 millions de dollars est répartie de façon relativement uniforme entre les ministères de taille moyenne et de grande taille, 29 ministères ayant déclaré avoir investi davantage au cours de la présente année financière.

Effectifs de l'évaluation

Comme il est indiqué à la figure 2, selon les estimations d'une étude réalisée en 2000⁽⁹⁾ , à la demande du Secrétariat, les ETP sont passés de 230 évaluateurs à environ 286 selon les indications des répondants à l'évaluation provisoire, soit une hausse de 24 % du personnel chargé de l'évaluation sur une période de deux ans. Toutefois, selon les ministères, il reste une pénurie importante d'environ 40 %, soit 105 ETP, nécessaires pour soutenir la mise en oeuvre de la politique.

Figure 2 - Effectifs d'évaluation

Le tableau 3 illustre la répartition des évaluateurs actuels selon la classification et le niveau. Sur le nombre actuel de 286 évaluateurs, 62 % sont affectés dans dix grands ministères. Environ 19 % des évaluateurs de divers niveaux et classifications sont considérés être de niveau subalterne, 33 % de niveau d'analyste, 28 % sont des analystes principaux et 6 % des cadres supérieurs.

Table 3 - Répartition des évaluateurs actuels (ETP)

Un nombre important de ministères et organismes comptent engager du personnel au cours des trois prochaines années, ce qui montre clairement que la collectivité prend des mesures pour accroître sa capacité. Comme il est indiqué au tableau 4, les répondants ont déclaré qu'ils comptaient engager environ 84 évaluateurs au cours des trois prochaines années, dont 52 occuperont de nouveaux postes et 32 remplaceront d'autres employés.

Tableau 4 - Mesures de dotation (ETP) pour 2002-2005

En dépit de ces embauches prévues, la collectivité de l'évaluation s'attend à une hausse de 26 évaluateurs seulement au cours des trois prochaines années. La collectivité atteindra un sommet de 319 évaluateurs en 2003-2004 et subira une légère baisse de son effectif, ramené à 312, d'ici 2004-2005. Ce phénomène est principalement attribuable au nombre important de départs prévus, incluant le roulement de personnel (43) et les départs à la retraite (32) au cours des trois prochaines années. On ne connaît pas la proportion du roulement du personnel qui consistera en mutations entre ministères (c.-à-d. que l'évaluateur demeure dans la collectivité de l'évaluation), et la proportion du roulement du personnel qui représentera effectivement des départs de personnes quittant la collectivité. De toute façon, le roulement du personnel et les départs à la retraite auront un effet équilibrant sur les embauches prévues au cours de la même période.

La figure 3 montre que le résultat net de cette activité se traduira néanmoins par une pénurie considérable de quelque 79 évaluateurs sur les 391 nécessaires pour que le secteur d'évaluation atteigne un niveau stable, comme l'ont indiqué les répondants. Il demeurera toujours difficile de surmonter cette pénurie étant donné que la demande d'évaluateurs qualifiés et expérimentés dépasse l'offre actuelle.

Figure 3 - Prévision de la tendance en ETP pour 2002 - 2005

La plupart des principales personnes interrogées du niveau de gestionnaire, directeur ou directeur général de la fonction d'évaluation reconnaissent que le développement de la capacité d'évaluation au sein des ministères sera un long processus qui soulèvera des difficultés importantes, compte tenu de l'effectif actuel de la collectivité de l'évaluation au sein du gouvernement fédéral et de la demande élevée d'évaluateurs.

En dépit de ces problèmes de capacité qui ont été décelés lors de l'enquête et des entrevues avec les principales personnes interrogées, les études de cas ont déterminé que le personnel d'évaluation a joué des rôles clés dans chacune des études d'évaluation et les CGRR. Les rôles ont consisté notamment à diriger les projets et à offrir de l'aide et du soutien aux gestionnaires de programme. Dans quelques projets, le personnel chargé de l'évaluation a été en mesure de prendre la relève pour la direction d'un projet lorsque les gestionnaires de programme ne possédaient pas suffisamment d'expertise ou avaient des contraintes de temps importantes.

Productivité - Études d'évaluation, CGRR et études sur la mesure du rendement

Comme l'indique le tableau 5, on prévoit une hausse significative de la productivité au sein de la collectivité entre 2001-2002 et 2002-2003. Par exemple, on a planifié une augmentation des CGRR, qui devraient passer de 57 à 181 (hausse de 218 %)⁽¹⁰⁾, et des études d'évaluation de 85 à 315 (hausse de 272 %)⁽¹¹⁾. Les études sur la mesure du rendement augmenteront également de façon significative, de 45 à 92 (hausse de 112 %)⁽¹²⁾. Cette hausse marquée de la productivité est proportionnellement beaucoup plus importante que la hausse estimative des ETP pour la même période. Cela pose des problèmes au niveau de la durabilité de la hausse de productivité.

Tableau 5 - Travail d'évaluation de 2001-2002 à 2002-2003 (Tous les répondants)

3.1.4 Accent mis sur la mesure du rendement et les premiers résultats

Une des exigences de la nouvelle politique consiste à mettre davantage l'accent sur la surveillance de la mesure du rendement et l'analyse rapide de la conception et mise en oeuvre des programmes/politiques/initiatives. Tous les ministères dont les principales personnes interrogées ont participé aux entrevues ont indiqué avoir réalisé des progrès dans ce domaine. Cependant, ces personnes ont également indiqué que la fonction de mesure du rendement du ministère n'est pas suffisamment mature pour fournir de l'information fondée sur des données validées de haute qualité en rapport avec les coûts.

La plupart des ministères ont déclaré dans les entrevues avec les principales personnes interrogées que la surveillance du rendement sera un domaine prioritaire pour le perfectionnement de la fonction au cours des prochaines années. À titre d'exemple de progrès réalisés à ce chapitre, citons l'augmentation significative du nombre d'études sur la mesure du rendement, dont 45 signalées en 2000-2001, 58 en 2001-2002 et 92 planifiées en 2002-2003.

Compte tenu du rôle de la fonction d'évaluation consistant à aider à l'établissement de CGRR dans la plupart des ministères, de nombreux ministères prévoient une plus forte intégration de la mesure du rendement et des évaluations que précédemment. Cela est attribuable au fait que le CGRR exige l'élaboration d'une méthode de mesure du rendement, en plus d'une stratégie d'évaluation et de communication des résultats, afin que les gestionnaires soient en mesure de présenter les résultats des programmes/politiques/initiatives.

Durant les entrevues, bon nombre des principales personnes interrogées ont déclaré qu'il est trop tôt pour déterminer la mesure dans laquelle les gestionnaires de programme se sont effectivement « ralliés » à cette exigence de la politique, en particulier en ce qui a trait à leur responsabilité de gérer en permanence la mesure du rendement. Qui plus est, les principales personnes interrogées ont également indiqué qu'il ne s'était pas écoulé suffisamment de temps pour déterminer l'étendue de la mise en application des CGRR. La plupart ont indiqué que l'on pourra véritablement évaluer la portée de l'intégration de la mesure du rendement et de l'évaluation durant la première série d'évaluations rattachées aux exigences des CGRR.

L'information découlant des études de cas montre que si les CGRR étudiés semblaient pouvoir être mis en application, on s'interroge en revanche sur l'efficacité de la mise en oeuvre s'est. Dans certains cas, on a éprouvé d'énormes difficultés à rallier les nombreux intervenants participant au CGRR alors que, dans d'autres, on s'est demandé si le CGRR contenait suffisamment de renseignements détaillés sur les stratégies de collecte des données et d'établissement de rapports. De même, les directeurs de programme interviewés estiment que les CGRR sont davantage un exercice administratif qu'un outil de gestion utile.

Les principales personnes interrogées ont mentionné que le lien entre la mesure du rendement et l'évaluation exige un renforcement de la capacité parmi les gestionnaires de programme pour que l'intégration soit un outil de gestion utile. Dans certains ministères, cette capacité est évidente parmi les gestionnaires. En règle générale, les études de cas ont montré que si les gestionnaires de programme participants n'étaient peut-être pas pleinement au courant de la politique, ils considéraient néanmoins l'évaluation comme un outil de gestion intégré utile.

3.1.5 Planification de l'évaluation

La planification stratégique de l'évaluation aide à maintenir un bon équilibre dans le travail d'évaluation et respecter les priorités du ministère et du gouvernement. On a découvert que, dans l'ensemble, des progrès avaient été réalisés dans les ministères et organismes qui avaient mis sur pied un mécanisme de planification routinier du processus d'évaluation. Cependant, cet aspect des exigences de la nouvelle politique n'est pas encore pleinement implanté dans bon nombre de petits organismes. Environ la moitié des ministères et organismes (49 %) ont déclaré qu'ils avaient un plan d'évaluation approuvé pour 2002-2003. Il s'agit d'une augmentation de 23 % par rapport au nombre de plans approuvés en 2001-2002.

Soixante et onze pour cent (71 %) des ministères de taille moyenne et de grande taille ont déclaré avoir des plans approuvés en 2000-2001 et 88 % en 2002-2003. Les petits organismes n'ont indiqué aucun changement à ce chapitre, avec deux plans approuvés en 2000-2001 et en 2002-2003. Dans l'ensemble, cela indiquerait que la collectivité fait des progrès en ce qui concerne la planification stratégique accrue au moyen de plans d'évaluation approuvés - mais seulement dans les ministères de taille moyenne et de grande taille.

Selon les études de cas, la vaste majorité des études d'évaluation et les CGRR présentés pour examen ont été menées en raison des exigences du SCT plutôt que dans le cadre de la planification stratégique et des priorités du ministère.

Lors des entrevues, certains répondants ont déclaré qu'ils reliaient le plan d'évaluation à la planification stratégique et aux priorités du ministère. Par contre, quelques-uns ont indiqué que, même s'ils établissaient des plans d'évaluation, ils avaient tendance à répondre davantage aux demandes immédiates et actuelles plutôt qu'à relier l'évaluation à la planification stratégique et aux priorités du ministère. Cependant, ces ministères ont l'intention de relier les plans à la planification stratégique du ministère pour les prochaines années.

Durant les entrevues, quelques ministères se sont déclarés préoccupés par le fait que le processus des CGRR « prescrira » la planification de l'évaluation, laissant moins de possibilités et de ressources pour relier la planification de l'évaluation à la planification stratégique et aux priorités globales du ministère.

3.1.6 Intégration au processus décisionnel des cadres supérieurs

Parmi les exigences de la nouvelle politique, l'évaluation doit être considérée comme une capacité à intégrer obligatoirement aux outils de gestion afin d'aider les cadres supérieurs dans le processus décisionnel. Pour ce faire, on peut, entre autres, établir un comité d'évaluation présidé par un cadre supérieur du ministère. En établissant un comité auquel les cadres supérieurs peuvent participer activement, ces derniers ont la possibilité de s'informer des résultats d'évaluation, et s'en serviront probablement davantage dans le processus décisionnel au sein de leur organisation.

Les réponses à l'enquête montrent que 39 (soit 93 %) des 42 ministères/organismes ayant une fonction d'évaluation (répondants au modèle standard) ont un comité d'évaluation actif, dont 33 (85 %) sont présidés par des chefs d'organismes. La plupart ont indiqué que le comité est actif et qu'il se réunit régulièrement. Par contre, seulement deux des petits organismes ont indiqué avoir un comité d'évaluation actif.

Ces résultats laissent entendre que la majorité des ministères et organismes actuellement dotés d'une capacité d'évaluation ont des comités d'évaluation, et déploient des efforts concertés pour les utiliser régulièrement. Cependant, de nombreux petits organismes ne sont pas encore dotés de cette infrastructure de base, sans doute à cause de leurs ressources limitées, ou de leur taille qui ne justifie pas un comité consacré à la fonction d'évaluation.

La plupart des principales personnes interrogées ont indiqué que les résultats d'évaluation sont utilisés d'une certaine manière dans la prise des décisions stratégiques au sein de leur ministère. Les personnes interviewées ont souligné plus fréquemment une augmentation de la participation des cadres supérieurs aux comités d'évaluation au cours des deux dernières années. Cette participation accrue s'est traduite par une plus grande prise de conscience des résultats d'évaluation par les cadres supérieurs. De la même façon, les études de cas ont montré que les cadres supérieurs, par l'entremise des comités, ont examiné les résultats d'évaluation et les ont utilisés pour la prise de décisions concernant les programmes/politiques/initiatives. Les principales personnes interrogées au niveau des chefs, directeurs ou directeurs généraux de l'évaluation ont mentionné un autre indicateur important de la fonction pour le processus décisionnel des cadres supérieurs : le financement accru affecté à la fonction, par la réaffectation interne. De surcroît, ces cadres supérieurs interviewés ont indiqué qu'ils connaissent les résultats des évaluations, et qu'ils les utilisent souvent pour prendre des décisions, considérant l'évaluation comme une composante essentielle de la gestion axée sur les résultats.

Selon les études de cas, les constatations des études d'évaluation ont été présentées aux cadres supérieurs (du niveau de SMA ou de SM) et approuvées par ces derniers. Les CGRR n'étaient pas nécessaires pour passer par ce processus d'approbation.

Les représentants des secteurs des programmes du SCT et du BVG ont également indiqué que la fonction d'évaluation est essentielle pour travailler dans le contexte actuel de gestion axée sur les résultats. Durant ces entrevues, on s'est déclaré préoccupé par l'utilité de certaines évaluations qui portaient principalement sur les questions de conception et d'exécution, et moins sur les questions plus difficiles de pertinence et de répercussions sur les programmes. Les répondants considéraient que ces types d'évaluation étaient d'une utilité limitée pour la prise de décisions stratégiques. Ce sous-groupe de principales personnes interrogées a également mentionné qu'il était essentiel de procéder aux évaluations au moment approprié pour qu'elles soient utiles au processus décisionnel lors des présentations au CT. Certains répondants ont indiqué que, à certaines occasions, la diffusion des résultats d'évaluation ne coïncide pas avec le processus décisionnel (p. ex. les résultats d'évaluation ne sont pas disponibles pour être joints à une présentation au Conseil du Trésor pour le renouvellement ou le remaniement de programmes).

3.2 Lacunes touchant la mise en oeuvre intégrale

Parmi les ministères de taille moyenne et de grande taille, plus de la moitié (25 sur 42) tentent de mettre en oeuvre la politique à partir d'une position faible ou minimale. Dans nombre de cas, un renforcement considérable de la capacité s'impose dans un environnement qui est très compétitif lorsqu'il s'agit d'attirer des évaluateurs qualifiés. Si on tient compte de ces difficultés, on peut dire que des progrès considérables ont été réalisés, en particulier dans les domaines de la productivité, les hausses les plus importantes étant le nombre des études d'évaluation, de CGRR et d'études sur la mesure du rendement produites au cours des dernières années. En dépit de cette hausse de la productivité, un certain nombre de lacunes demeurent avant qu'on puisse considérer que la politique est intégralement mise en oeuvre par la collectivité de l'évaluation.

Parmi les petits organismes, on a relevé de nombreuses lacunes dont la plupart reposaient sur une fonction d'évaluation limitée ou inexistante.

3.2.1 Programmes, politiques et initiatives visés par les CGRR et les évaluations

Selon les principales personnes interrogées, le champ d'application varie considérablement d'un ministère à l'autre selon les entrevues avec les représentants des ministères et les représentants des secteurs des programmes du SCT. On a posé aux répondants une série de questions destinées à fournir une auto-évaluation des lacunes en matière de capacité, à déceler les exigences pour combler ces lacunes et à déterminer toutes les autres ressources nécessaires.

Comme l'indique la figure 4, seulement neuf ministères de grande taille et de taille moyenne ont indiqué qu'ils respectent tous leurs engagements actuels en ce qui concerne les CGRR. De plus, dix ministères ont déclaré qu'au moins 25 % de leurs engagements n'étaient pas respectés, et moins de 50 % dans le cas de trois ministères parmi eux.

Figure 4 - Pourcentage des engagements en ce qui concerne les CGRR ne pouvant être respectés

Ces constatations laissent entendre que la politique sur les paiements de transfert du SCT a une incidence sur un grand nombre de ministères et d'organismes et pourrait accroître les lacunes en matière de capacité en créant « un important arriéré dans le travail d'évaluation ».

Lorsqu'on a demandé quel était le délai nécessaire pour évaluer tous les programmes, politiques et initiatives visés par la politique d'évaluation, les ministères de grande taille et de taille moyenne ont indiqué qu'ils avaient encore besoin de beaucoup de temps (figure 5). Dix répondants ont déclaré qu'il leur faudrait au moins de trois à cinq ans à compter de maintenant, tandis que 13 autres répondants ont indiqué qu'il faudrait de six à dix ans.

Figure 5 - Délai nécessaire pour effectuer l'évaluation de tous les programmes, politiques et initiatives

Ces résultats de l'enquête sont corroborés par les renseignements recueillis durant les entrevues réalisées avec les principales personnes interrogées. Les représentants des ministères et organismes interrogés indiquent que les demandes d'évaluation des gestionnaires du ministère (p. ex. études d'évaluation, établissement de CGRR) dépassent parfois ce que la fonction est en mesure d'offrir compte tenu des ressources actuelles. Les entrevues avec les représentants des secteurs des programmes du SCT indiquent que l'évaluation des principaux programmes, politiques et initiatives n'est pas encore terminée, en raison des problèmes de calendrier et de qualité des évaluations et des CGRR dans la mesure où ils sont reliés aux présentations au CT.

Ces résultats montrent clairement que la collectivité de l'évaluation n'est pas en mesure d'honorer tous ses engagements en vertu de la politique, et qu'elle a encore du chemin à faire pour atteindre un niveau de maturité et de stabilité convenable. Cette situation peut être attribuable à plusieurs facteurs, y compris des budgets d'évaluation insuffisants, l'état de l'effectif actuel de la collectivité de l'évaluation au sein du gouvernement fédéral, ainsi que la forte demande d'évaluateurs dans l'ensemble du système, créée par la politique d'évaluation ainsi que par la politique sur les paiements de transfert.

Lorsqu'on leur a demandé de quels montants complémentaires ils auraient besoin pour combler les lacunes en matière de capacité afin de mettre en oeuvre intégralement la politique d'évaluation, les répondants ont indiqué qu'ils auraient besoin de 13 millions de dollars de plus par rapport aux niveaux actuels, qui comprend les 5,4 millions de dollars de financement temporaire pour le deuxième exercice de la stratégie de mise en oeuvre. Les ministères de grande taille et de taille moyenne ont déclaré qu'ils auraient besoin de 11,9 millions de dollars (soit 92 % du total). Ce total représente une hausse de 31 % par rapport aux 42,4 millions de dollars actuels (37 millions de dollars en services votés + 5,4 millions de dollars attribués par le SCT) du budget d'évaluation. Comme il a été mentionné précédemment, les répondants ont besoin de 105 ETP supplémentaires. Il est intéressant de noter que les petits organismes ont indiqué 12 ETP seulement alors qu'ils ont également déclaré que la pénurie d'employés constitue le principal obstacle à la mise en oeuvre intégrale de la politique.

Lorsqu'on leur a demandé comment ces montants complémentaires seraient utilisés, 88 % de répondants ont indiqué qu'il fallait les consacrer à la mesure du rendement dans l'ensemble du ministère/de l'organisme, 79 % à mener des études d'évaluation et 58 % à établir des CGRR. Parmi les autres réponses, citons assurer le suivi et la surveillance des résultats d'évaluation et des recommandations, mener des études d'évaluation et formuler des conseils stratégiques, et effectuer de la recherche (par exemple, concevoir des modèles et des outils).

3.2.2 Lacunes dans l'utilisation de l'évaluation pour le processus décisionnel et la responsabilisation

Durant les entrevues, bon nombre de répondants ont souligné que, à ce stade de la mise en oeuvre de la politique, il était difficile de déterminer les lacunes dans l'utilisation actuelle de l'évaluation pour le processus décisionnel. On sera davantage en mesure d'évaluer les lacunes une fois que l'on aura eu le temps nécessaire et la possibilité de concevoir des études d'évaluation, en vertu de la politique, qui seront disponibles pour les gestionnaires.

3.3 Difficultés rattachées à la mise en oeuvre

Durant l'évaluation, on a décelé un certain nombre de difficultés soulevées par la mise en oeuvre de la politique, qui sont résumées brièvement ci-après.

3.3.1 Mise en oeuvre de la politique durant l'étape de reconstitution de la fonction

Durant les entrevues, les répondants de nombreux ministères ont indiqué que l'une des principales difficultés éprouvées dans la mise en oeuvre de la politique est la nécessité de reconstituer la fonction d'évaluation afin de répondre aux demandes actuelles. On devrait considérer cette difficulté fondamentale à la lumière des autres problèmes décelés dans cette section.

3.3.2 Travail préliminaire à la mise en oeuvre de la politique

Cette reconstitution a notamment exigé de se concentrer sur la préparation du « travail préliminaire » touchant la mise en oeuvre de la nouvelle politique (p. ex. embauche de personnel, planification, élaboration de mécanismes de mesure du rendement). Selon les réponses recueillies, la mise en oeuvre de la politique d'évaluation exigera un « changement culturel » au sein de nombreux ministères, notamment des rôles évolutifs pour les gestionnaires de programme, la fonction d'évaluation et les cadres supérieurs. Ce changement exigera du temps, des ressources et du soutien de la part des cadres supérieurs.

Les études de cas ont montré que le niveau de participation des gestionnaires de programme variait selon le ministère, allant de la participation importante à tous les aspects et étapes du projet, à une participation plus restreinte, en particulier à cause des contraintes de temps. Quelques ministères ont déclaré qu'ils avaient déployé des efforts importants pour le développement des capacités d'évaluation parmi les gestionnaires de façon à ce qu'il puissent participer davantage au processus d'évaluation et d'élaboration des CGRR.

3.3.3 Restrictions en matière de crédits budgétaires et de personnel

Comme il a été mentionné précédemment, il existe actuellement une pénurie importante d'évaluateurs dans les ministères qui, selon les estimations, se chiffrerait à environ 40 % au niveau des évaluateurs déjà formés. Les entrevues avec les principales personnes interrogées ont indiqué que l'effectif actuel et la demande croissante en évaluateurs qualifiés ont eu des répercussions majeures sur leur réussite en matière de recrutement et de développement des capacités.

Les répondants ont également fait état d'un vaste éventail d'enjeux et de restrictions liées aux obstacles à la mise en oeuvre de la politique d'évaluation (figure 6). Cependant, pour la plupart des ministères et organismes, les principaux obstacles sont rattachés aux exigences élémentaires en matière d'infrastructure.

Soixante huit pour cent des répondants des ministères de grande taille et de taille moyenne ont indiqué une pénurie d'employés et une absence de budget d'évaluation comme principaux obstacles à la mise en oeuvre de la politique. Ils ont également précisé que l'étendue des compétences de l'effectif actuel (54 %) et les nouveaux enjeux et priorités au sein de leur organisation (51 %) demeuraient d'importantes difficultés. Par ailleurs, le roulement de personnel constitue un autre obstacle majeur dans les ministères de grande taille et de taille moyenne.

Ces préoccupations sont en réalité plus importantes parmi les petits organismes, 94 % des répondants ayant également indiqué une pénurie de personnel et 89 % un manque de budget. L'étendue des compétences de l'effectif actuel (44 %) a également été mentionnée comme constituant un obstacle majeur à la mise en oeuvre.

Figure 6 - Obstacles à la mise en oeuvre de la politique

3.3.4 Difficultés de recrutement, de formation et de perfectionnement

Le développement de la collectivité est particulièrement difficile pour la collectivité de l'évaluation, compte tenu de sa taille relativement petite. En d'autres termes, certaines méthodes traditionnelles de recrutement professionnel au sein du gouvernement fédéral ne sont pas adaptées ou efficaces pour cibler ce groupe professionnel spécialisé relativement petit.

Par ailleurs, la collectivité éprouve manifestement des difficultés semblables dans le domaine de la formation et du perfectionnement professionnel. Dans ce domaine, les possibilités pour les petits groupes sont relativement coûteuses par comparaison à celles offertes aux groupes professionnels plus grands.

3.3.5 Exigences de la politique sur les paiements de transfert

Pour les ministères de grande taille et de taille moyenne, l'impact perçu du volume de travail au titre des CGRR est mitigé. Les résultats de l'enquête (tableau 6) montrent que 25 % (8/32) des répondants ont accompli « beaucoup moins » dans au moins un domaine du travail d'évaluation (mesure du rendement, évaluations, conseils stratégiques ou autres) et que 44 % (14/32) des répondants avaient accompli « un peu moins » en 2000-2001 pour satisfaire aux exigences de la politique sur les paiements de transfert (PPT) du SCT. Seulement 7 % (2/27) des répondants ont indiqué qu'ils ont accompli « beaucoup moins » alors que 41 % (11/27) des répondants ont estimé avoir accompli « un peu moins » en 2001-2002.

Tableau 6 - Pourcentage de ministères touchés par la politique sur les paiements de transfert du SCT en 2001-2002 et en 2002-2003

En général, ces résultats peuvent sous-entendre que si la politique n'a pas eu beaucoup d'incidence sur la capacité de certains ministères et organismes à fournir des services dans d'autres domaines de l'évaluation, une portion importante des répondants (69 %) accomplissent en réalité moins de travail dans au moins un domaine à cause de la politique.

Parmi les incidences de la mise en oeuvre de la PPT, selon de nombreux chefs de l'évaluation et de représentants des secteurs des programmes du SCT, citons l'accent mis dans bon nombre de cas sur le processus au lieu du contenu par le gestionnaire. Cela pourrait donner lieu à l'élaboration d'une méthode de style « liste de contrôle » pour la mesure du rendement et l'évaluation au lieu d'une véritable reconnaissance du bien-fondé et de l'utilité des fonctions. Par exemple, bon nombre de gestionnaires semblent davantage attachés à terminer le CGRR (une exigence de la PPT), sans porter une grande considération aux avantages et difficultés de sa mise en oeuvre effective.

Cette préoccupation ressort de certaines constatations des études de cas d'organismes dans lesquels les CGRR n'avaient pas encore été mis en oeuvre. Dans quelques cas, les gestionnaires de programme ont déclaré qu'ils considéraient la stratégie de mesure du rendement (décrite dans les CGRR) davantage comme un exercice administratif qu'un outil de gestion utile.

Certains répondants ont déclaré qu'il fallait faire preuve de prudence lorsqu'on détermine jusqu'à quel point la mesure du rendement dans un ministère est planifiée plutôt que mise en oeuvre concrètement. Selon les représentants des secteurs des programmes du SCT et des fonctions d'évaluation des ministères et organismes, il y aurait une portion importante de CGRR comportant des stratégies de mesure du rendement planifiées qui n'ont pas encore été mises en application.

3.3.6 Rôle des gestionnaires de projet dans l'évaluation

Parmi les difficultés mentionnées durant les entrevues, citons le rôle du gestionnaire de programme dans l'évaluation. Tant les représentants des secteurs des programmes du SCT que ceux des ministères se sont déclarés préoccupés par l'utilité des évaluations pour la prise de décisions stratégiques si la responsabilité de la fonction continue de reposer sur le gestionnaire de programme. On a souligné qu'on aurait tendance à mettre davantage l'accent sur les questions d'exécution du programme ou du processus, et à éviter de poser certaines questions susceptibles d'engendrer des constatations négatives. Mettre l'accent sur les questions de conception et d'exécution représente un aspect crucial de l'évaluation, en particulier si l'évaluation doit servir d'outil aux gestionnaires de programme. Toutefois cet aspect, aux dépens des autres questions, pourrait avoir une incidence sur l'utilité des résultats d'évaluation pour les décisions stratégiques. Au sein des ministères, il sera crucial de trouver un juste équilibre entre les besoins stratégiques et opérationnels globaux (tels que la gestion en vue d'obtenir des résultats stratégiques ou de plus haut niveau) et le besoin d'évaluation des programmes individuels. Les constatations des études de cas montrent que cet équilibre est atteint dans certaines études examinées. Dans certains cas, les évaluations étaient jugées très utiles par le gestionnaire de programme alors que, en même temps, le chef de l'évaluation a déclaré que les résultats d'évaluation étaient utilisés par les cadres supérieurs.

Selon les entrevues avec les principales personnes interrogées, il faut tenir compte de la connaissance de l'évaluation par les gestionnaires de programme, en particulier à la lumière de l'exigence de la nouvelle politique selon laquelle les gestionnaires doivent intégrer la pratique d'évaluation à leur travail. Selon quelques répondants, les gestionnaires de programme devront acquérir une meilleure compréhension de l'évaluation, éventuellement par une formation, pour assurer la mise en oeuvre intégrale de la politique.

Les études de cas ont révélé que même si les gestionnaires de programme ne possédaient pas une connaissance approfondie de la politique, ils connaissaient l'objet des évaluations. Par ailleurs, les gestionnaires de programme de huit grands ministères participaient activement à la planification et à la mise en oeuvre des études d'évaluation, ainsi qu'aux rapports sur ces dernières. De plus, les gestionnaires ont déclaré qu'ils trouvaient, en général, les résultats utiles et qu'ils permettaient de formuler des recommandations applicables.

3.4 Rôles et responsabilités du CEE

Cette section contient une brève description de l'évolution du mandat et des rôles du CEE au cours des 18 premiers mois, présente une évaluation de résultats obtenus par le Centre, et expose les commentaires des clients recueillis durant l'évaluation, ainsi que d'autres études récentes.

3.4.1 Évolution du mandat et des rôles du CEE

Au cours des 18 premiers mois de mise en oeuvre de la politique, le CEE s'est attaché principalement à expliquer la nouvelle politique et ses exigences, et à faciliter la mise en oeuvre de la politique dans les ministères et organismes. Au fil des ans, la capacité d'évaluation de bon nombre d'organisations a été affectée par des événements tels que l'Examen des programmes. Par conséquent, le CEE s'est engagé dans une large mesure à aider les ministères et organismes à renforcer leur capacité d'évaluation par l'établissement d'une stratégie et d'un plan de perfectionnement de la collectivité, comportant un vaste éventail d'activités.

Après sa première année d'activité, il est devenu évident pour le CEE qu'il existait un besoin interne croissant au sein du SCT, dont le catalyseur a été le Secteur des programmes du SCT. Ce dernier recherchait de l'aide et du soutien pour l'examen des CGRR, des évaluations et la surveillance active. Ainsi, le CEE a consacré de plus en plus de ressources aux responsabilités internes du SCT. Ce besoin interne est le fruit de l'incidence inattendue d'un certain nombre de facteurs :

• La politique sur les paiements de transfert du SCT a imposé des demandes importantes et immédiates sur la collectivité de l'évaluation et le CEE. Le Centre joue maintenant un rôle clé dans l'orientation sur les questions de CGRR.
• La politique de surveillance active a créé une charge de travail supplémentaire sur le Centre et ses ressources, c.-à-d. les équipes de portefeuille.

Par suite de cette évolution du mandat et des rôles du CEE, le Centre s'est davantage centré sur l'encadrement du processus décisionnel rattaché au financement futur des nouveaux programmes. Plus précisément, le CEE joue un rôle dans la surveillance, l'examen et l'évaluation des évaluations individuelles en guise de soutien aux présentations au CT.

3.4.3 Résultats provisoires du CEE

Le CEE a axé ses efforts à la fois à l'extérieur des ministères et organismes, et à l'interne aux ministres du CT et au SCT, dans le but d'aider à la réalisation d'un certain nombre de résultats clés (voir le tableau 7). Ces résultats sont en général atteints à plus long terme à l'échelle du système, ce qui représente un facteur important dans l'évaluation du rendement sur une période de 18 mois.

Tableau 7 - Résultats désirés du CEE

Durant cette période, les quatre grands rôles du CEE, à la lumière desquels il a défini ses plans et activités, sont les suivants :

• orientation et soutien afin d'aider les ministères à repositionner la fonction d'évaluation;
• perfectionnement de la collectivité afin d'aider au développement des capacités;
• intégration des résultats au processus décisionnel;
• centre d'expertise en évaluation.

3.4.3.1 Leadership et soutien afin d'aider les ministères à repositionner la fonction

En 18 mois, le CEE a accompli des progrès grâce à un certain nombre de réalisations, notamment :

• attribution de 8,6 millions de dollars aux ministères pour mettre en valeur et accroître la capacité d'évaluation; rétablissement de réseaux d'évaluation au sein du gouvernement fédéral, et utilisation de ce réseau pour mettre en évidence le repositionnement de la fonction d'évaluation dans les ministères;rétablissement de la présence de l'évaluation sur le Web avec des sujets actuels et des conseils sur les pratiques d'évaluation;orientation sur les CGRR pour les évaluateurs et gestionnaires, y compris des ateliers, un Guide pour la réalisation des CGRR, une approche et une orientation stratégiques, une compilation des pratiques exemplaires; élaboration d'un CGRR pour la politique.

On a pu ainsi préparer le terrain pour continuer à réaliser des progrès dans la mise en oeuvre de la politique au sein des ministères.

3.4.3.2 Perfectionnement de la collectivité pour aider au développement des capacités

Le CEE a réalisé des progrès en matière d'obtention de résultats dans le domaine de perfectionnement de la collectivité qui aideront à préparer le terrain pour le perfectionnement futur de la collectivité et le développement des capacités. Parmi les résultats, citons :

• établissement d'une stratégie de perfectionnement de la collectivité pour la collectivité d'évaluation du gouvernement fédéral;
• élaboration de profils démographiques et de compétences pour les évaluateurs professionnels au gouvernement fédéral;
• coordination et soutien des mesures de recrutement d'évaluateurs professionnels à l'échelle de la collectivité;
• élaboration d'un programme de formation et de perfectionnement pour les évaluateurs en exercice;
• établissement d'un mécanisme d'Échange d'idées novatrices afin de favoriser l'échange des pratiques exemplaires au sein de la collectivité.

3.4.3.3 Intégration des résultats au processus décisionnel

Les résultats obtenus par le CEE durant les 18 premiers mois de mise en oeuvre de la politique comprennent :

• examen, analyse et formulation de conseils aux analystes du SCT sur les CGRR appuyant la politique sur les paiements de transfert (plus de 360 CGRR);
• établissement de bases de données afin de surveiller l'état et le rendement de la fonction d'évaluation dans les ministères et organismes, et d'assurer le suivi des tendances et enjeux en matière d'évaluation dans l'ensemble du système.

Ces résultats faciliteront l'atteinte des objectifs finaux d'amélioration de la conception et du rendement des programmes de paiement de transfert, et l'usage accru des résultats d'évaluation au SCT et par les ministres du CT.

3.4.3.4 Centre d'expertise en évaluation

Le Centre a joué un rôle important dans la prestation de savoir-faire en matière d'évaluation à de nombreux intervenants en dehors des ministères et organismes. Les gouvernements étrangers, par exemple, demandent régulièrement des conseils sur la pratique d'évaluation au Canada, en raison de la réputation dont jouit le Canada au sein des organes internationaux tels que l'OCDE. En général, on prodigue des conseils et formule des avis sur la pratique d'évaluation aux entités suivantes :

• visites de délégations étrangères;
• questions d'évaluation de tous les secteurs du SCT;
• ministres du CT;
• gouvernements provinciaux et autres paliers de gouvernement;
• réponses au Comité des comptes publics, au Bureau du vérificateur général et autres questions externes sur l'évaluation.

3.4.4 Commentaires des clients sur le CEE

Les commentaires des clients sur le CEE ont été recueillis auprès d'un certain nombre de sources, y compris lors de l'enquête auprès de la collectivité de l'évaluation effectuée pour la présente évaluation, des entrevues avec les principales personnes interrogées, des études de cas, de l'enquête pour évaluer les besoins des utilisateurs auxquels on pourrait répondre à l'aide des produits et services dans le cadre de la refonte du site Web du CEE, et une étude de l'effectif et du profil des compétences actuels de la collectivité de l'évaluation. Ces constatations sont structurées en fonction du niveau de connaissances du CEE, de ses rôles et responsabilités ainsi que de ses produits et services.

3.4.4.1 Niveau de satisfaction globale à l'égard du CEE

Les résultats montrent que les ministères et organismes ayant une fonction d'évaluation (n=42) ont indiqué qu'ils sont globalement satisfaits du CEE. Cette constatation correspond à l'information recueillie durant les entrevues avec les principales personnes interrogées. Selon les résultats de l'enquête présentés à la figure 7, 57 % se sont déclarés satisfaits du Centre, 20 % très satisfaits et seulement 6 % insatisfaits.

Figure 7 - Niveau de satisfaction globale à l'égard du CEE

3.4.4.2 Connaissance qu'ont les clients du CEE

L'enquête menée auprès des ministères et organismes indique que la collectivité de l'évaluation connaît le Centre ainsi que ses produits et services. Soixante dix sept pour cent (77 %) des répondants ont déclaré qu'ils connaissaient « un peu » ou « très bien » le CEE. Cependant, les réponses émanant des ministères de grande taille et de taille moyenne sont très différentes de celles des petits organismes qui n'ont qu'une fonction d'évaluation limitée ou inexistante.

Comparés aux petits organismes, les ministères plus importants connaissent mieux le CEE. Quarante six pour cent (46 %) indiquent le connaître « un peu », tandis que 54 % de répondants affirment le connaître « très bien ». Les petits organismes sont beaucoup moins familiers avec le CEE, 26 % des répondants seulement ayant déclaré le connaître « un peu », et 69 % des répondants ont indiqué ne connaître « pas du tout » le Centre.

Selon les études de cas, les gestionnaires de programme connaissent peu le CEE; il est cependant important de noter que le principal contact que le CEE a avec les ministères se situe au niveau du personnel de la fonction d'évaluation. Les représentants du secteur de l'évaluation des ministères ont indiqué que le CEE les avait soutenus en tant que conseiller pour bon nombre de leurs projets de CGRR présentés pour examen dans le cadre des études de cas.

3.4.4.2 Rôles et responsabilités du CEE

Dans l'enquête, on a également demandé aux ministères et organismes d'indiquer le niveau d'importance et de satisfaction à l'égard des rôles et responsabilités actuels du CEE. Certaines de ces catégories comportent les points suivants : « rôle de premier plan au sein de la collectivité de l'évaluation », « porte-parole de la collectivité au sein du gouvernement du Canada » et « mise en valeur des ressources et du potentiel du ministère ou de l'organisme ». Ici également, les réponses des ministères de grande taille et de taille moyenne et des petits organismes varient considérablement, les niveaux de satisfaction les plus faibles émanant des petits organismes.

Comme il est indiqué au tableau 8, les niveaux d'importance enregistrés auprès des petits organismes vont de « neutre » à « important », et de « important » à « très important » dans les ministères de grande taille et de taille moyenne. Cette différence de niveaux peut être attribuable au plus faible niveau de connaissance du Centre et des échanges avec ce dernier de la part des petits organismes. Dans les cas des ministères et organismes connaissant bien le CEE, les niveaux de satisfaction oscillent entre « neutre » et « satisfait ».

Dans certains cas, il existe un écart significatif entre le niveau d'importance et le niveau de satisfaction à l'égard des rôles et responsabilités particuliers du CEE. Dans ces cas, les répondants y accordent généralement une grande importance, mais n'indiquent qu'un niveau de satisfaction moyen. Ces cas concernent le « développement des capacités du ministère et de l'organisme », pour laquelle les répondants ont indiqué, en moyenne, y accorder une grande importance (4,3) mais être neutres quant au niveau de satisfaction (3,4). Dans le cas des ministères de grande taille et de taille moyenne, on a accordé une très grande importance au « porte-parole de la collectivité au sein du gouvernement du Canada » (4,7), mais un niveau de satisfaction moyen seulement (3,5). Certains soutiennent que le CEE devrait accorder plus d'attention à ces secteurs afin d'accroître le niveau de satisfaction dans les secteurs plus importants pour la collectivité.

Tableau 8 - Niveaux d'importance et de satisfaction

Un certain nombre de constatations sur les rôles et responsabilités du CEE ressortent des entrevues avec les principaux répondants. À la lumière des difficultés actuelles de mise en oeuvre de la politique d'évaluation, la plupart des personnes interrogées de la collectivité de l'évaluation ont indiqué la nécessité fondamentale de se doter d'une organisation chargée de la coordination et de l'expertise-conseil, comme le CEE. Des niveaux semblables de soutien à une telle organisation sont accordés par les intervenants de l'extérieur tels que le BVG et les associations professionnelles d'évaluateurs (Société canadienne d'évaluation). Dans les entrevues menées au SCT, les représentants des secteurs des programmes ont indiqué que le CEE devrait assumer un rôle de soutien en se chargeant de l'examen des rapports d'évaluation et de la coordination du travail d'évaluation rattaché aux initiatives horizontales.

3.4.4.3 Produits et services du CEE

On a également demandé aux répondants d'indiquer le niveau d'importance et le niveau de satisfaction accordés à un certain nombre de produits et services du CEE. Les données des organisations dotées d'une fonction d'évaluation sont présentées au tableau 9. Les résultats montrent que la « distribution de CV » et les « salons de l'emploi » sont relativement moins importants comparés aux autres produits et services du CEE, ce qui montre qu'ils ne sont pas prioritaires pour la collectivité.

Un certain nombre de produits et services ont reçu une cote élevée en matière d'importance accordée par la collectivité de l'évaluation. Il s'agit des « réunions des chefs de l'évaluation », des « conseils et orientation en guise de soutien à la mise en oeuvre de la politique », des « séances de planification stratégique », du « guide pour la réalisation (ou la mise en valeur) des CGRR », le « site Web » et les « pratiques exemplaires dans le secteur de l'évaluation ». Ce sont les domaines où le CEE devrait continuer à oeuvrer.

Quant aux rôles et responsabilités du CEE, le fossé entre les niveaux d'importance et de satisfaction indique que le CEE devrait améliorer certains de ses produits et services, notamment les « pratiques exemplaires dans le secteur de l'évaluation » et les questions rattachées au « site Web » dans le cas des ministères de grande taille et de taille moyenne.

Tableau 9 - Niveaux d'importance et de satisfaction à l'égard des produits et services du CEE

Les entrevues avec les principales personnes interrogées indiquent qu'on est satisfait des produits et services fournis par le CEE, mais qu'on a besoin d'autres produits et services, ainsi que d'améliorations des produits et services actuels. Par exemple, on a besoin de plus de conseils stratégiques et d'avis sur le contenu en plus des conseils axés sur le processus; l'élaboration de meilleures pratiques et des exemples; une cohésion des messages et avis aux analystes du SCT et des ministères; un calendrier et un volume important de renseignements détaillés dans l'examen des rapports d'évaluation pour les analystes du SCT; la communication du mandat et des rôles à la collectivité de l'évaluation et aux intervenants externes, et une collaboration plus étroite avec les analystes du SCT.

3.4.4.5 Orientation et point de mire futurs

Un certain nombre de sources procurent une orientation au CEE et lui indiquent le domaine vers lequel le CEE devrait orienter ses efforts à l'avenir. Dans une enquête précédente⁽¹⁴⁾ auprès des collectivités de l'évaluation et de la vérification interne, on a demandé aux employés des 59 ministères et organismes sur quels domaines le Centre d'excellence du SCT devrait, à leur avis, mettre l'accent. Ils ont répondu que le CEE devrait jouer un rôle de premier plan, « en exerçant une fonction centralisée dans l'établissement de la capacité nécessaire, des normes, des politiques et même dans la prestation des services de formation et de perfectionnement ». De plus, les répondants ont indiqué le besoin d'intégrer dans la fonction centralisée l'éducation des rôles des ministères clients et la collectivité fonctionnelle de l'initiative d'évaluation.

Comme il est indiqué au tableau 10, l'enquête réalisée auprès de la collectivité de l'évaluation dans le cadre de la présente étude d'évaluation indique que le point de mire du CEE devrait être le perfectionnement de la collectivité, notamment le recrutement et l'aide à la gestion du personnel, en fournissant des pratiques exemplaires et de l'aide à la formation, et en offrant des ateliers et des outils.

Parmi les autres domaines clés dans lesquels le CEE devrait, de l'avis de la collectivité, jouer un rôle, citons les suivants : faciliter les communications, établir des réseaux et assurer la coordination entre les membres de la collectivité et les autres intervenants tels que les analystes du SCT, fournir l'orientation et des conseils stratégiques sur les questions clés d'évaluation, promouvoir le rôle de « porte-parole » au nom de la collectivité et trouver du financement et des ressources complémentaires pour les ministères et organismes.

Tableau 10 - Domaines d'orientation future

Compte tenu de vos besoins, vers quoi le CEE devrait-il orienter ses efforts à l'avenir? (réponses codées à une question ouverte; plusieurs réponses possibles)

Les entrevues avec les principales personnes interrogées ont également souligné un certain nombre de secteurs auxquels le CEE devrait participer davantage. Les principales personnes interrogées ont fait état des ressources limitées du CEE, et bon nombre de répondants ont été réticents à s'exprimer sur les rôles étendus au-delà des activités actuelles. Les personnes interrogées ont reconnu que la mise en oeuvre intégrale de la politique exigerait un changement culturel, afin de créer un environnement dans lequel les gestionnaires pourraient intégrer la pratique d'évaluation à leur travail. Bon nombre ont indiqué que le CEE peut jouer un rôle de premier plan en aidant les ministères à instaurer ce changement culturel, tout en reconnaissant les difficultés à long terme, les ressources et le soutien des cadres supérieurs que cela exigerait.

Les participants aux études de cas ont également recommandé certains secteurs sur lesquels le CEE devrait se pencher davantage à l'avenir, notamment fournir de l'orientation dans les secteurs suivants : établissement des coûts des évaluations, choix quant au niveau des évaluations, attentes du SCT en matière d'évaluation, domaines souples en évaluation, élaboration de CGRR et échange des leçons tirées entre ministères.

4.0 Conclusions

4.1 Progrès réalisés dans la mise en oeuvre

Étant donné qu'on se trouve au premier stade de la mise en oeuvre, on peut conclure qu'on a réalisé des progrès raisonnables dans la mise en oeuvre de la politique, et malgré les diverses difficultés contextuelles telles que :

• le remaniement et(ou) la redéfinition de la fonction au sein de nombreux ministères;
• une pénurie importante d'évaluateurs qualifiés au sein des secteurs.

Les petits organismes accusent un retard en ce qui a trait aux progrès réalisés dans la mise en oeuvre, bon nombre ayant une capacité d'évaluation minimale ou inexistante. Jusqu'à présent, la plupart des progrès mesurés sur le plan de la mise en oeuvre de la politique ont été enregistrés dans les ministères de grande taille et de taille moyenne qui étaient déjà dotés d'une certaine capacité d'évaluation avant la mise en oeuvre de la politique. Les petits organismes ne sont toujours pas en mesure de répondre aux exigences de la nouvelle politique. On devrait prendre des mesures complémentaires pour s'assurer que ces organismes connaissent la politique ainsi que le CEE et ses produits et services, et qu'ils disposent du soutien nécessaire pour choisir et mettre en oeuvre les aspects pertinents de la politique compte tenu de leur contexte particulier.

4.2 Difficultés et obstacles concernant la mise en oeuvre

Le niveau de productivité accru de la fonction au cours des deux dernières années ne pourra se maintenir que si l'on déploie des efforts importants pour combler les lacunes en matière de budget et de ressources humaines qui caractérisent actuellement la fonction d'évaluation.

Selon les prévisions, les volumes de travail devraient subir une augmentation d'environ 200 % au cours des deux prochaines années, alors que le nombre d'employés chargés de l'évaluation ne devrait augmenter que de 20 à 30 % seulement au cours de la même période. Pour soutenir la demande accrue de productivité de la fonction d'évaluation, après la mise en application des diverses politiques et méthodes de mesure des résultats, il faudra prévoir des augmentations comparables à la fois des budgets et du personnel. Lors du développement des capacités de la fonction d'évaluation dans l'ensemble du gouvernement, il demeurera important de veiller au maintien du soutien ministériel de la fonction d'évaluation au-delà de la mise en oeuvre intégrale de la politique.

Pour avancer dans le règlement des questions de perfectionnement de la collectivité telles que le maintien en poste, la formation et le perfectionnement professionnel, il faudra faire preuve de créativité afin de trouver des solutions de rechange aux méthodes traditionnelles de recrutement et de formation des professionnels adoptées actuellement par le gouvernement fédéral. En raison de la taille relativement modeste de la collectivité, il faudra établir et maintenir des partenariats et des réseaux permanents avec les associations professionnelles externes et les groupes internes du secteur de l'évaluation. Bien que cette approche exige des ressources importantes au départ, elle permettra vraisemblablement de régler plus rapidement ces questions que les méthodes actuelles.

4.3 Rôles et responsabilités du CEE

Il est fondamental que le CEE continue de jouer un rôle de premier plan en aidant la collectivité de l'évaluation à mettre en oeuvre la politique. Jusqu'à présent, le CEE a réussi dans ce rôle, compte tenu du nombre de difficultés auxquelles il a été confronté au cours des 18 derniers mois. Si, selon les constatations de l'évaluation provisoire, il reste des progrès à accomplir dans la mise en oeuvre de la politique, il faudra un groupe centralisateur prêt à jouer un rôle de premier plan, semblable à celui assumé par le CEE au cours des 18 premiers mois. Les principaux secteurs exigeant un leadership permanent sont la promotion de l'importance de l'évaluation auprès des cadres supérieurs, le soutien de la mise en valeur globale des ressources, la formation, les outils et les guides de soutien de la mise en oeuvre de la politique, et la définition des pratiques exemplaires pour diffusion au sein de la collectivité.

Au cours des deux prochaines années, le CEE devra également continuer d'encourager le SCT à utiliser les résultats des évaluations dans le processus décisionnel. Selon les constatations de l'évaluation provisoire relevées lors des entrevues avec les secteurs du SCT, le CEE doit davantage participer à l'analyse des CGRR et aux évaluations rattachées aux présentations. Compte tenu de l'accroissement important du nombre d'évaluations prévues au cours des deux prochaines années et au-delà, le besoin de soutien devrait s'accroître de façon substantielle durant cette période.

Notes complémentaires :

(1) Cadre de gestion et de responsabilisation axé sur les résultats : Politique d'évaluation - Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor.

(2)  L'enquête auprès de la collectivité de l'évaluation a été réalisée par Trevor Bhupsingh Consulting.

(3)  Les entrevues avec les principales personnes interrogées ont été réalisées par Goss Gilroy Inc. Compte tenu du calendrier parallèle de l'évaluation de la politique de vérification, certaines entrevues avec les principales personnes interrogées ont été menées conjointement avec un intervieweur de chaque équipe d'évaluation présente. Les principales personnes interrogées ont eu le choix entre une entrevue distincte ou conjointe.

(4)  Les études de cas ont été réalisées par Conseils et Vérification Canada.

(5) Secrétariat du Conseil du Trésor, 2000.

(6) Communications internes.

(7)  Politique d'évaluation du Conseil du Trésor, 2001.

(8)  Étude de Conseils et Vérification Canada, 2000.

(9) Estimation des ETP selon l'étude de Conseils et Vérification Canada réalisée en 2000.

(10)  L'augmentation est de 218 % lorsqu'on la compare aux 57 CGRR produits en 2000-2001.

(11)  L'augmentation estimative est de 193 % lorsqu'on la compare aux 85 études d'évaluation produites en 2000-2001.

(12)  L'augmentation estimative est de 112 % lorsqu'on la compare aux 45 études sur la mesure du rendement produites en 2000-2001.

(13)  Le nombre réel approuvé au moment de la collecte des données (juillet 2002) était de 116 rapports d'évaluation dont198 n'étaient pas encore approuvés. Selon le taux d'achèvement de 2001-2002, cela donne à titre estimatif 249 évaluations achevées d'ici la fin de l'exercice 2002-2003 dont 65 non encore approuvées.

(14)  2001, Centre de psychologie du personnel de la Commission de la fonction publique du Canada.