Rapport annuel 2011 sur l'état de la fonction d'évaluation

ISSN : 1928-3482
No de catalogue BT1-20/2011F-PDF

© Sa Majesté la Reine du chef du Canada,
représentée par le président du Conseil du Trésor, 2012

Ce document est disponible en médias substituts sur demande.

Nota : Pour ne pas alourdir le texte français, le masculin est utilisé pour désigner tant les hommes que les femmes.

Table des matières

Message de la secrétaire du Conseil du Trésor

L'évaluation sert plusieurs fins au gouvernement du Canada. Elle peut être utilisée par les sous ministres, les ministres et les parlementaires pour améliorer les politiques et les programmes gouvernementaux, pour assurer l'affectation efficace et efficiente des ressources selon les priorités et pour donner aux contribuables canadiens l'assurance que leur argent est dépensé de façon optimale. Depuis le renouvellement de la Politique sur l'évaluation en avril 2009, la fonction d'évaluation fédérale modifie sa perspective et englobe plus de programmes fédéraux, afin d'offrir un soutien plus complet aux ministres lorsqu'il est question de proposer ou d'examiner des dépenses.

Les administrateurs généraux des ministères et organismes devraient continuer d'asseoir les bases essentielles à une saine gestion des dépenses et au renforcement des propositions de leurs ministres respectifs, notamment en :

  • mettant en œuvre des stratégies de mesure continue du rendement au niveau des programmes;
  • menant, au moment opportun, des évaluations de la pertinence, de l'efficacité, de l'efficience et de la rentabilité des programmes;
  • mettant en œuvre les plans d'action approuvés découlant des évaluations.

À titre de dirigeante de la fonction d'évaluation fédérale, je tiens à souligner combien il importe d'investir dans la portée globale de l'évaluation pour appuyer de façon générale la reddition de comptes et les dépenses gouvernementales responsables. En ayant accès à de l'information sur la pertinence et le rendement des programmes, les décideurs peuvent faire des choix éclairés en matière de dépenses.

En assurant la vaste portée des évaluations, les investissements relatifs à chaque évaluation devraient être proportionnels aux besoins décisionnels. Étant donné que la portée de l'évaluation gagne en importance d'une année à l'autre, ce qui a pour effet d'instaurer une base d'information propice à la prise de décisions, il est dans l'intérêt des ministères de s'affairer à mettre en place des modèles d'évaluation plus rentables et mieux calibrés. En outre, il incombe aux administrateurs généraux et aux chefs de l'évaluation de remarquer que, aux termes de la Politique sur l'évaluation, les ministères disposent d'une grande marge de manœuvre pour adapter la portée et l'étendue des évaluations, et pour regrouper les programmes assujettis à une même évaluation.

Alors que la base de données d'évaluation du gouvernement du Canada continue de s'enrichir, j'encourage les administrateurs généraux à tirer pleinement parti du soutien que les évaluations peuvent leur offrir au regard du processus décisionnel en invitant les chefs de l'évaluation de leur organisation à partager leurs perspectives stratégiques et leurs connaissances tirées de tout l'éventail des évaluations.

Michelle d'Auray
Secrétaire du Conseil du Trésor

Faits saillants

Ressources affectées à l'évaluation

Les ressources affectées à la fonction d'évaluation fédérale sont restées relativement stables de 2009-2010 à 2010-2011. En 2010-2011, les ressources financières consacrées à l'évaluation par l'ensemble des grands ministères et organismes (GMO) s'élevaient à quelque 67,4 millions de dollars et avaient 1,6 million de dollars comme valeur médiane. Comme dans les exercices antérieurs, les salaires représentaient la majeure partie des ressources affectées à la fonction d'évaluation en 2010-2011, à savoir 55 p. 100. Une modeste augmentation de 4,8 p. 100 par rapport aux niveaux de 2009-2010 a fait passer le nombre d'équivalents temps plein (ETP) à 497 en 2010-2011, le nombre médian étant situé à 13,4. Les ETP englobent les spécialistes de l'évaluation, les employés de soutien et les cadres.

Programmes de subventions et de contributions

Aux termes de la Loi sur la gestion des finances publiques, les programmes permanents de subventions et de contributions (S et C) doivent être évalués en intégralité tous les cinq ans. La première période de cinq ans accordée pour satisfaire à cette exigence arrive à échéance en décembre 2011. Dans tous les GMO, la portée de l'évaluation a continué de s'élargir entre 2009-2010 et 2010-2011. Toutefois, il convient de souligner que la proportion dans laquelle les programmes permanents de S et C a été évalué a ralenti sa tendance, passant de 33,2 p. 100 à 7,4 p. 100 par année. Les activités de surveillance du Secrétariat du Conseil du Trésor du Canada (le Secrétariat) permettent de constater que la proportion globale des évaluations des programmes de S et C à l'échelle du gouvernement avait atteint 63 p. 100 au terme de la période quadriennale commençant le 1er avril 2007 et se terminant le 31 mars 2011. Les ministères disposaient initialement de cinq ans pour se conformer à l'exigence législative d'évaluer la totalité des programmes permanents de S et C; il leur reste maintenant une année pour y parvenir.

Autres dépenses de programmes directes

En vertu de la Politique sur l'évaluation, tous les autres types de dépenses de programmes directes (autres que les dépenses inhérentes aux programmes de S et C) doivent être évaluées tous les cinq ans, et ce, à compter d'avril 2013. D'ici là, les évaluations visant les autres dépenses de programmes directes continueront d'être axées sur le risque et laissées à la discrétion de chaque administrateur général. Alors que la portée des évaluations des programmes de S et C a considérablement diminué en 2010-2011, il appert que l'étendue des évaluations liées aux autres types de dépenses directes de programmes (autres que S et C) a, au contraire, fortement augmenté. En 2010-2011, les dépenses directes des programmes autres que les programmes de S et C assujetties à une évaluation équivalaient grosso modo au double de celles évaluées en 2009-2010 (3,70 milliards de dollars et 1,83 milliard respectivement). Il convient en outre de mentionner que, aux termes de la Politique sur l'évaluation, les ministères sont invités à employer une approche fondée sur le risque pour établir la portée de leurs évaluations des dépenses directes des programmes autres que les programmes de S et C, et ce, d'ici le 31 mars 2013, date à laquelle la période de transition de la politique arrive à échéance.

En examinant tous les types confondus de dépenses directes de programmes (S et C et autres), il a été possible de constater que, de 2009-2010 à 2010-2011, l'expansion de la portée des évaluations se faisait à un rythme plus lent, comme l'indiquent respectivement les augmentations annuelles de portée de 14,2 p. 100 et de 6,7 p. 100. Plusieurs facteurs peuvent être cités pour expliquer la faiblesse de la croissance de la portée générale des évaluations en 2010-2011, et le Secrétariat prend des mesures pour que des progrès soient réalisés à cet égard. Grâce à sa surveillance constante de la fonction, le Secrétariat a des indications préliminaires selon lesquelles le pourcentage annuel des évaluations augmentera de façon significative en 2011-2012.

Gouvernance et soutien relatifs à la fonction d'évaluation

En général, les ministères ont instauré des structures de gouvernance garantes de fonctions d'évaluation neutres. Tous les GMO sont dotés d'un comité d'évaluation ministériel présidé, dans 75 p. 100 des cas, par un administrateur général. La plupart des ministères ont pris les mesures nécessaires pour que leur chef de l'évaluation dispose d'un accès direct et sans entrave à leur administrateur général. Pour ce faire, ils se sont assurés que leur chef de l'évaluation relève de leur administrateur général, et ce, sur les plans administratif (51 p. 100) ou fonctionnel (31 p. 100).

Le niveau de soutien attribuable à la mesure continue du rendement des programmes et dont bénéficient les évaluations est semblable à celui relevé en 2009-2010. Les GMO assujettis au processus d'examen du Cadre de responsabilisation de gestion (CRG) avaient, dans une proportion de 60 p. 100, des évaluations faisant généralement ou quasiment toujours état de difficultés relatives à l'examen de l'efficacité des programmes expliquées par un manque de données sur le rendement. Pour remédier à la situation, les évaluateurs n'ont d'autres choix que de consacrer davantage de temps et de ressources pour recueillir eux mêmes les données ou de recourir à d'autres approches.

Qualité de l'évaluation

La qualité des rapports d'évaluation est demeurée élevée chez tous les GMO. De fait, 88 p. 100 des ministères ont obtenu la cote « Acceptable » ou « Fort » eu égard à cette composante de gestion du CRG. Ces cotes étaient fondées sur une appréciation de la qualité des méthodologies d'évaluation employées, l'examen de l'optimalisation des ressources des programmes par les évaluations et la qualité des recommandations, entre autres facteurs.

Utilisation des évaluations

Il a été possible de constater, dans le cadre du processus du CRG, que l'utilisation des évaluations était jugée « Acceptable » ou « Fort » pour 81 p. 100 des GMO. Les ministères ont indiqué accorder une plus grande place aux évaluations dans les présentations au Conseil du Trésor, les rapports ministériels sur le rendement et le processus des examens stratégiques que dans les mémoires au Cabinet.

Lors des consultations tenues en novembre 2011, les chefs ministériels de l'évaluation ont précisé que, lorsqu'ils travaillaient avec des ressources d'évaluation limitées, ils devaient souvent faire des choix relativement à l'éventail d'utilisations que chaque évaluation soutiendrait et la portée globale des évaluations potentielles des programmes de leur ministère.

Même si les ministères se servent des évaluations pour prendre des décisions à l'interne, les analystes du Secrétariat utilisent les éléments probants des évaluations lorsqu'ils examinent les propositions de financement soumises au Conseil du Trésor pour examen, ainsi que les propositions avancées dans le cadre d'examens des dépenses comme les examens stratégiques, et formulent des conseils connexes. Au cours des examens stratégiques menés en 2010-2011, le Secrétariat a constaté que les ministères dont les évaluations avaient une faible portée étaient habituellement ceux qui éprouvaient le plus de difficulté à expliquer correctement les résultats de leurs programmes, alors que ceux qui évaluaient leurs programmes de façon plus exhaustive contribuaient généralement de manière plus significative aux examens stratégiques. Bien que les analystes du Secrétariat ont indiqué que les évaluations ciblées étaient très utiles pour éclairer les décisions concernant les programmes de S et C, question d'étayer diverses décisions en matière de gestion des dépenses, une portée d'évaluation adéquate a exigé un équilibre juste entre des évaluations de nature globale et des évaluations ciblées.

Une importante majorité (80 p. 100) de GMO a déclaré assurer un suivi systématique des plans d'action de la direction découlant des recommandations des évaluations. De tous les éléments (1 247 éléments) des plans d'action de la direction que les GMO comptaient mener à bien en 2009-2010, 53 p. 100 avaient été entièrement réalisés et 36 p. 100 l'avaient été en partie.

Leadership assuré par le Secrétariat du Conseil du Trésor du Canada

Le Secrétariat a dressé un plan d'action pour 2011-2012 faisant état des activités prioritaires pour appuyer la mise en œuvre de la politique et pour promouvoir la progression d'ensemble de la fonction d'évaluation fédérale. Ce plan englobait les quatre grands volets suivants :

  • Améliorer l'accès à des évaluateurs qualifiés;
  • Élaborer et partager des approches d'évaluation efficaces;
  • Améliorer la qualité et l'utilisation des évaluations;
  • Accroître le leadership du Secrétariat relativement à la fonction d'évaluation du gouvernement du Canada.

Pour améliorer l'accès à des évaluateurs qualifiés, le Secrétariat a entrepris diverses initiatives, notamment l'adoption des Compétences en leadership des chefs de l'évaluation, qui a eu pour effet de placer le gouvernement du Canada au premier plan de la scène internationale pour ce qui est de l'établissement d'un ensemble de compétences et habiletés recherchées chez les leaders de la fonction d'évaluation. Parmi les autres initiatives, citons la mise au point d'un cadre de perfectionnement professionnel des évaluateurs et la réalisation d'une étude visant à cerner les besoins d'apprentissage des membres de la fonction d'évaluation fédérale. Le Secrétariat mobilise actuellement des partenaires afin de créer des possibilités de formation favorables aux priorités pangouvernementales sur le plan de l'apprentissage en matière d'évaluation.

Le Secrétariat a continué de mettre au point des lignes directrices sur les approches d'évaluation efficaces, dont certaines portant sur la gouvernance des évaluations des initiatives horizontales, l'évaluation des fonctions et programmes de politiques, les approches d'évaluation fondées sur la théorie, les évaluations tenant compte des ressources des programmes et les évaluations calibrées. Un guide pour l'élaboration d'un plan ministériel d'évaluation a vu le jour vers la fin de 2010-2011, puis a été diffusé à grande échelle auprès des ministères en 2011-2012.

Le Secrétariat a eu recours à de nombreux autres moyens pour partager les approches efficaces entre les ministères, notamment des réunions trimestrielles en présence des chefs de l'évaluation, des ateliers sur les pratiques exemplaires, des exposés et des discussions d'experts lors de conférences et une tribune en ligne permettant aux membres de la collectivité de l'évaluation fédérale d'échanger.

Le Secrétariat a continué de promouvoir la qualité et l'utilisation des évaluations au gouvernement du Canada. Pour ce faire, il a assuré une surveillance constante de la qualité et de l'utilisation des évaluations et a conseillé et soutenu les analystes du Secrétariat, lesquels tiennent compte des éléments probants des évaluations dans le cadre de l'examen des propositions ministérielles soumises au Conseil du Trésor et au Cabinet. Dans le contexte des évaluations annuelles du CRG ayant trait à la qualité et à l'utilisation des évaluations au sein des ministères, le Secrétariat a pu continuer à recenser et à communiquer les points à améliorer des fonctions d'évaluation ministérielles.

Pour renforcer son leadership relativement à la fonction d'évaluation fédérale en 2010-2011, le Secrétariat a obtenu un appui solide de la part du comité des sous ministres adjoints (SMA) champions en gestion axée sur les résultats, lequel consiste en un comité consultatif interministériel composé de SMA et présidé par le secrétaire adjoint du Secteur de la gestion des dépenses du Secrétariat. Le comité a pour mandat de favoriser les progrès au sein des ministères et organismes sur les plans de la gestion axée sur les résultats et de l'évaluation, et d'encourager une meilleure intégration des données sur le rendement dans la prise de décisions liées à la gestion des dépenses. Depuis son arrivée en scène en octobre 2010, le comité s'est concentré principalement sur le partage d'approches et de pratiques exemplaires liées à la planification intégrée et à l'optimalisation des données sur le rendement générées par la fonction d'évaluation et rattachées à la Politique sur la structure de la gestion, des ressources et des résultats.

Résumé et conclusions

Le rapport de 2011 permet de prendre connaissance des progrès réalisés relativement à la fonction d'évaluation à l'échelle pangouvernementale au cours de deux premières années suivant la mise en œuvre de la Politique sur l'évaluation de 2009. Au nombre des progrès accomplis, il convient de citer la stabilité des ressources financières et humaines, les efforts de collaboration du Secrétariat relativement à l'amélioration de l'accès à des évaluateurs qualifiés, l'établissement de structures ministérielles de gouvernance et le maintien de la grande qualité des rapports d'évaluation. Les constatations issues des consultations auprès des secteurs de programme du Secrétariat, constatations sur lesquelles les analystes s'appuient pour formuler des conseils au Conseil du Trésor, indiquent que certains ministères parviennent à concevoir adéquatement leurs évaluations et la portée de celles ci en vue d'orienter les principaux processus décisionnels.

Le présent document permet en outre de constater que, même si les ressources inhérentes à la fonction pangouvernementale sont demeurées relativement stables en 2010-2011, la portée de l'évaluation des programmes permanents de S et C et l'étendue globale de l'évaluation des dépenses directes de programme a progressé à un rythme plus lent. Le rapport cite divers facteurs qui seront étudiés de façon approfondie par le Secrétariat. La surveillance continue exercée par le Secrétariat en 2011-2012 porte à croire que l'étendue des évaluations augmentera à un taux largement supérieur à celui de 2010-2011.

Outre les signes positifs susmentionnés, le rapport fait état de certains problèmes et points à améliorer au regard de la fonction, notamment :

  • Améliorer la mise en œuvre de la mesure continue du rendement dans les secteurs des programmes, y compris le renforcement de la capacité des gestionnaires de programmes à ce chapitre afin que ceux ci soient à même de mieux soutenir la fonction d'évaluation dans le cadre des évaluations;
  • Aider les chefs ministériels de l'évaluation à concevoir, de manière efficace au niveau des coûts, les évaluations et la portée de celles ci, notamment en tirant parti des évaluations antérieures afin d'optimaliser les ressources disponibles, le tout en tenant compte des principaux utilisateurs et usages;
  • Améliorer et accélérer l'utilisation stratégique des données d'évaluation tout en gardant à l'esprit les évaluations ciblées requises pour éclairer le processus décisionnel.

1. Introduction

1.1 Objet du présent rapport

Le Rapport annuel 2011 sur l'état de la fonction d'évaluation, qui représente la deuxième édition du rapport sur la fonction d'évaluation, donne au Conseil du Trésor et aux Canadiens de l'information au sujet de dernières tendances de la fonction à plusieurs chapitres, à savoir l'infrastructure, la gouvernance et le soutien afférents à la fonction, les ressources financières et humaines, la portée des évaluations, la qualité des évaluations et l'utilisation des évaluations aux fins de la prise de décisions. À compter de cette année, le rapport s'articulera autour d'un thème d'actualité lié à la fonction d'évaluation fédérale. Cette année, le rapport a pour thème « Donner un meilleur accès aux évaluateurs qualifiés de la fonction d'évaluation fédérale ».

Le rapport se caractérise par les objectifs suivants :

  • Informer le gouvernement du Canada, les parlementaires et les Canadiens à propos des progrès réalisés eu égard à la mise en œuvre de la Politique sur l'évaluation au sein des ministères;
  • Aider les administrateurs généraux à cerner les points des fonctions d'évaluation à améliorer dans les ministères;
  • Aider le Secrétariat à exercer son rôle de leadership fonctionnel en relevant les améliorations à apporter à la fonction d'évaluation pangouvernementale, question d'atteindre l'objectif de la politique.

1.2 Sources d'information consultées pour la préparation du présent rapport

Le présent rapport s'appuie sur les sources suivantes1 :

  • La surveillance constante de la fonction assurée de diverses façons par le Secrétariat, dont l'enquête annuelle d'évaluation de la capacité des fonctions d'évaluation ministérielles, les évaluations annuelles des fonctions ministérielles aux termes du CRG, les interactions périodiques avec les unités ministérielles d'évaluation, puis la mobilisation de ces dernières;
  • La consultation ciblée de novembre 2011 à laquelle prenaient part les chefs ou les directeurs ministériels de l'évaluation et au cours de laquelle il était principalement question des défis et des possibilités relatifs à la mise en œuvre de la Politique sur l'évaluation;
  • La consultation menée auprès des cadres supérieurs des secteurs des programmes du Secrétariat, dont les constatations des évaluations sont utilisées par les analystes pour conseiller le Conseil du Trésor;
  • L'évaluation des besoins d'apprentissage menée en novembre et en décembre 2011 auprès des évaluateurs, des gestionnaires de l'évaluation, des directeurs de l'évaluation et des chefs de l'évaluation des ministères et organismes.

Depuis la diffusion du Rapport annuel 2010 sur l'état de la fonction d'évaluation, des modifications et des améliorations ont été apportées à la méthodologie employée pour analyser et présenter les données de l'édition 2011 du document. Ainsi, les lecteurs remarqueront que les chiffres présentés l'année dernière ont subi des changements. Afin de doter les rapports ultérieurs d'une base plus stable, les données recueillies auprès des ministères et des organismes à la fin de chaque exercice (données réelles) sont utilisées dans la mesure du possible, plutôt que celles recueillies en cours d'exercice. De plus, le rapport se concentre sur les GMO que le Secrétariat surveille constamment pour s'assurer de la fiabilité de leurs données.

1.3 Contexte de la fonction d'évaluation en 2010-2011

Rôle principal de la fonction d'évaluation en matière de gestion des dépenses

Aux termes de la Politique sur l'évaluation (2009) du gouvernement du Canada, la fonction d'évaluation a un rôle précis à jouer au regard des décisions inhérentes aux dépenses gouvernements, rôle qu'elle assume en fournissant des données neutres et crédibles à propos de l'optimisation des ressources des programmes fédéraux. Il s'ensuit que la fonction d'évaluation a donné lieu à la constitution d'une base de données probantes sur la pertinence, l'efficacité, l'efficience et la rentabilité des programmes gouvernementaux.

Délais fixés pour respecter les exigences en matière d'évaluation sur les plans législatif et politique

La Loi fédérale sur la responsabilité de 2006 a modifié la Loi sur la gestion des finances publiques de telle façon que tous les programmes permanents de S et C soient assujettis à une évaluation tous les cinq ans. La première période de cinq ans accordée pour satisfaire à l'exigence législative précitée a pris fin en décembre 2011.

Principales exigences de la Politique sur l'évaluation (2009) eu égard à la portée des évaluations :

  • Toutes les dépenses directes de programmes, à l'exception de celles liées aux subventions et contributions, sont évaluées tous les cinq ans (la mise en œuvre commencera en avril 2013).
  • Tous les programmes permanents de S et C sont évalués tous les cinq ans, conformément à l'article 42.1 de la Loi sur la gestion des finances publiques (la mise en œuvre a commencé en décembre 2006).
  • Le volet administratif des principales dépenses législatives est évalué tous les cinq ans (la mise en œuvre a commencé en avril 2009).

Lorsqu'elle a été renouvelée en avril 2009, la Politique sur l'évaluation a accru les exigences relatives à la portée des évaluations pour que la totalité des dépenses directes permanentes de programmes soient évaluées tous les cinq ans.

L'augmentation des exigences relatives à la portée des évaluations, jumelée à l'avis formulé par un comité d'administrateurs généraux2 en 2008, fait en sorte que les ministères disposent d'une période de transition déterminée de quatre ans qui devrait leur laisser suffisamment de temps pour se doter d'une capacité d'évaluation. En tout et pour tout, les ministères ont neuf ans pour atteindre cet objectif. La première période quinquennale au cours de laquelle les GMO seront tenus d'évaluer la totalité de leurs dépenses directes permanentes de programmes couvrira les années 2013-2014 à 2017-2018.

Au cours de la période de transition de quatre ans précisée dans la politique, les décisions liées à la planification de la portée des évaluations des dépenses directes de programmes (autres que les dépenses afférentes aux programmes permanents de S et C) demeureront fondées sur le risque et seront laissées à la discrétion de chaque administrateur général. Il importe de préciser que la période de transition prévue aux termes de la politique n'englobe pas les programmes qui doivent être évalués tous les cinq ans, conformément à la loi.

La Figure 1 donne un aperçu des différents délais fixés pour respecter les exigences en matière d'évaluation sur les plans législatif et politique.

Figure 1. Délais fixés pour respecter les exigences en matière d’évaluation sur les plans législatif et politique
Figure 1. Délais fixés pour respecter les exigences en matière d’évaluation sur les plans législatif et politique. Version textuelle ci-dessous:
Figure 1. Délais fixés pour respecter les exigences en matière d’évaluation sur les plans législatif et politique - Version textuelle

Cette figure illustre les périodes distinctes qui ont été fixées pour satisfaire aux principales exigences de la Loi sur la gestion des finances publiques et de la Politique sur l’évaluation de 2009. La moitié inférieure de la figure indique que la première période de cinq ans établie pour l’évaluation de toutes les subventions et contributions permanentes, conformément aux exigences de la Loi sur la gestion des finances publiques, a commencé en décembre 2006 et s’est terminée en décembre 2011. La figure indique que toutes les dépenses liées aux subventions et contributions permanentes seront évaluées tous les cinq ans à compter de décembre 2011. Comme l’indique la moitié supérieure de la figure, la Politique sur l’évaluation est entrée en vigueur en avril 2009. La figure montre les deux catégories de dépenses visées par les exigences de la politique relatives à la couverture de l’évaluation. À compter d’avril 2009, l’aspect administratif des principales dépenses législatives est évalué tous les cinq ans. En ce qui concerne l’autre catégorie, qui regroupe toutes les dépenses de programmes directes existantes, la politique prévoit que des plans d’évaluation axés sur le risque doivent être élaborés pendant la période de transition précédant le début des exigences relatives à la couverture complète. La période de transition a commencé en avril 2009 et se terminera en avril 2013. La figure montre que, après la période de transition, la première période de cinq ans prévue pour atteindre la couverture complète de toutes les dépenses de programmes directes existantes s’étend d’avril 2013 au début d’avril 2018.

À la fin de 2010-2011, à mi-chemin de la période de transition de quatre ans prévue par la politique, les ministères et organismes en sont à adapter leurs pratiques d'évaluation et réalisent des progrès en vue de l'atteinte de l'objectif de la politique.

Au cours de ce segment de la période de transition, le Secrétariat a remarqué que certains ministères ont consacré plus de ressources à leurs fonctions d'évaluation afin d'évaluer un plus grand nombre de dépenses directes de programmes. En outre, certains ministères ont commencé à employer des modèles d'évaluation à rentabilité rehaussée, notamment en regroupant les dépenses directes de programmes aux fins d'évaluation.

2. Thème du rapport : Donner un meilleur accès aux évaluateurs qualifiés de la fonction d'évaluation fédérale

2.1 Initiatives pour relever un défi important cerné en 2010

Le rapport de 2010 faisait état d'un important défi à l'échelle du gouvernement, à savoir la difficulté d'embaucher des évaluateurs qualifiés attribuable à un nombre restreint de candidats. Cette constatation était fondée sur les observations des administrateurs généraux et des chefs de l'évaluation des ministères.

Le Centre d'excellence en évaluation (CEE) du Secrétariat a adressé ce défi en faisant de ce dernier un des principaux points de son plan d'action. Afin d'aider les ministères à avoir un meilleur accès à des évaluateurs qualifiés, le CEE a pris des mesures dans divers secteurs d'activités en 2010-2011 et dans les exercices ultérieurs.

Les principales initiatives sont décrites dans les sections suivantes.

Compétences en leadership des chefs de l'évaluation

En septembre 2011, subséquemment à la tenue d'importantes consultations auprès des ministères et des organismes, la secrétaire du Conseil du Trésor a diffusé les Compétences en leadership des chefs de l'évaluation fédéraux. L'introduction de cet ensemble de compétences et d'habiletés recherchées du côté des chefs de l'évaluation a placé le gouvernement du Canada au premier plan de la scène internationale pour ce qui est de l'établissement des compétences dans le domaine de l'évaluation.

Ces compétences en leadership permettent de prendre connaissance des comportements attendus de la part des chefs de l'évaluation, lesquels agissent à titre de conseillers stratégiques des administrateurs généraux et de principaux experts du domaine de l'évaluation au sein de leurs organisations respectives. Les grandes catégories de compétences visées sont l'expertise en évaluation, les valeurs et l'éthique, la réflexion stratégique, la mobilisation et l'excellence en gestion.

Les compétences en leadership se veulent un outil auquel les administrateurs généraux peuvent recourir pour sélectionner les chefs de l'évaluation, ainsi que pour examiner le rendement et répondre aux besoins en perfectionnement de ces derniers.

Les chefs de l'évaluation des GMO sont tenus de satisfaire aux exigences en matière de compétences d'ici au 31 mars 2013.

Le cadre de perfectionnement professionnel des évaluateurs du Secrétariat, y compris les éléments qui le constituent, est en voie d'élaboration et viendra faciliter la tâche des chefs de l'évaluation relativement aux exigences en matière de compétences.

Cadre de perfectionnement professionnel des évaluateurs

Dans le cadre de ses efforts soutenus visant à assurer un leadership au regard de la promotion des pratiques d'évaluation à l'échelle de l'appareil gouvernemental, le CEE du Secrétariat a commencé à mettre au point un cadre de perfectionnement professionnel en vue d'aider les chefs de l'évaluation à cerner les priorités en matière d'apprentissage et à recenser les possibilités de perfectionnement professionnel et, ce faisant, de répondre à leurs besoins et aux besoins de leurs évaluateurs et gestionnaires de l'évaluation. Le cadre a vu le jour au début de 2011-2012 et le travail visant à poursuive la mise au point de certains de ses éléments se poursuit actuellement.

Lorsqu'ils ont été interrogés à l'automne 2011, les chefs de l'évaluation de certains ministères ont indiqué que le nombre trop restreint d'évaluateurs qualifiés pose toujours un problème relativement à leurs fonctions d'évaluation. Une des pistes possibles pour remédier à ce problème consiste à prendre des mesures afin de multiplier les possibilités de perfectionnement des personnes affectées à ces fonctions au gouvernement du Canada. Les chefs de l'évaluation ont également indiqué que les évaluateurs de tous les niveaux doivent pouvoir compter sur un plus grand nombre de possibilités d'apprentissage.

Afin de déterminer l'éventail des cours actuellement offerts aux évaluateurs par les universités canadiennes, le Secrétariat a demandé au Consortium des universités pour l'enseignement de l'évaluation (CUEE), d'établir un répertoire des cours qu'offraient ses membres concernant l'évaluation. Le CUEE a en outre fait concorder les cours pertinents de ce répertoire à la version provisoire du Profil de compétences de la Collectivité des spécialistes de l'évaluation de la fonction publique fédérale conçu par le Secrétariat. De plus, le Secrétariat a collaboré avec l'École de la fonction publique du Canada en vue de réaliser le même exercice, cette fois-ci, pour les cours offerts par cette dernière. Le Secrétariat s'appuie actuellement sur ces deux démarches afin de cerner les domaines à l'égard desquels les évaluateurs fédéraux doivent disposer d'un plus grand nombre de possibilités d'apprentissage à compter de 2012-2013.

Sondage en ligne sur les besoins d'apprentissage : principales constatations

Dans le but de connaître les priorités des évaluateurs en matière d'apprentissage, le Secrétariat a mené, en novembre et décembre 2011, un sondage en ligne auprès des personnes affectées à la fonction d'évaluation de l'administration fédérale. Dans le cadre du sondage, le Secrétariat demandait aux évaluateurs de fournir de l'information au regard de leurs besoins d'apprentissage et il interrogeait les gestionnaires de l'évaluation et les chefs ministériels de l'évaluation relativement à leurs besoins et aux besoins de leur personnel d'évaluation.

Les résultats du sondage ont révélé que les évaluateurs et les gestionnaires de l'évaluation sont, règle générale, très scolarisés. De facto, près des trois quarts, à savoir 73 p. 100, sont titulaires d'une maîtrise ou d'un doctorat. Néanmoins, plus de la moitié des répondants (55 p. 100) ont indiqué que certains de leurs besoins aux chapitres de la formation et du perfectionnement ne sont pas comblés relativement à leurs fonctions d'évaluation actuelles, et 68 p. 100 des participants au sondage ont quant à eux précisé que certains de leurs besoins ne sont pas comblés lorsqu'il est question de cheminement professionnel. Il convient toutefois de mentionner que cette constatation n'a rien d'une surprise étant donné que plus de la moitié des répondants (près de 55 p. 100) ont indiqué avoir tout au plus cinq ans d'expérience dans le domaine de l'évaluation. La figure 2 permet de prendre connaissance du nombre d'années d'expérience des évaluateurs ayant répondu au sondage. Il convient de préciser, par la même occasion, qu'une grande proportion des répondants (38 p. 100) comptent de 6 à 15 années d'expérience dans le domaine de l'évaluation et que d'autres répondants (7 p. 100) comptent entre 16 et 25 années d'expérience dans le domaine.

Figure 2. Nombre d’années d’expérience dans le domaine de l’évaluation
Figure 2. Nombre d’années d’expérience dans le domaine de l’évaluation. Version textuelle ci-dessous:
Figure 2. Nombre d’années d’expérience dans le domaine de l’évaluation - Version textuelle

Ce diagramme à barres présente le pourcentage du personnel de la fonction d’évaluation ayant des années d’expérience diverses dans le domaine de l’évaluation, à savoir moins d’un an, de 1 à 5 ans, de 6 à 10 ans, de 11 à 15 ans, de 16 à 20 ans, de 21 à 25 ans et plus de 25 ans. On a attribué des barres distinctes à deux groupes d’employés, soit les évaluateurs et gestionnaires responsables de l’évaluation et les directeurs et chefs de l’évaluation. Dans le groupe des évaluateurs et gestionnaires responsables de l’évaluation, 11 p. 100 ont moins d’un an d’expérience, 43 p. 100 ont de 1 à 5 ans d’expérience, 23 p. 100 ont de 6 à 10 ans d’expérience, 15 p. 100 ont de 11 à 15 ans d’expérience, 5 p. 100 ont de 16 à 20 ans d’expérience, 2 p. 100 ont de 21 à 25 ans d’expérience et aucun n’a plus de 25 ans d’expérience dans le domaine de l’évaluation. L’autre série de barres, celles représentant les directeurs et chefs de l’évaluation, indique que 13 p. 100 ont moins d’un an d’expérience, 36 p. 100 ont de 1 à 5 ans d’expérience, 23 p. 100 ont de 6 à 10 ans d’expérience, 18 p. 100 ont de 11 à 15 ans d’expérience, 3 p. 100 ont de 16 à 20 ans d’expérience, 5 p. 100 ont de 21 à 25 ans d’expérience et 3 p. 100 ont plus de 25 ans d’expérience dans le domaine de l’évaluation.

Lorsqu'ils étaient invités à citer en quoi consistaient leurs principales sources de formation en évaluation, la moitié des répondants donnaient l'autoformation en guise de réponse (lecture, recherches en ligne et exercices pratiques). Nonobstant l'importance que revêt l'autoformation, il convient de préciser que la grande majorité des évaluateurs et des gestionnaires de l'évaluation (87 p. 100) ont également reçu de la formation en évaluation alors qu'ils travaillaient au gouvernement fédéral et que, dans la plupart des cas (79 p. 100), cette formation avait été offerte au cours des deux dernières années. Dans la plupart des cas, les répondants affirmaient avoir participé à des activités de formation offertes par divers intervenants, notamment la Société canadienne d'évaluation (44 p. 100), le Evaluators' Institute de Washington (25 p. 100), les universités et les collèges (16 p. 100), la American Evaluation Association (8 p. 100), leurs ministères ou organismes (4 p. 100) et l'École de la fonction publique du Canada (2 p. 100).

En revanche, la plupart des répondants citaient comme principaux point problématiques relatifs à la formation les éléments suivants : la formation est souvent trop élémentaire par rapport à leurs besoins (60 p. 100), la formation est trop dispendieuse (51 p. 100), ils ne sont pas au fait de la disponibilité de la formation (40 p. 100) et ils n'ont pas le temps de participer à une activité de formation (38 p. 100). Les constatations indiquent que, s'il souhaite disposer des conditions idéales pour cadre de perfectionnement professionnel des évaluateurs, le Secrétariat, de concert avec ses partenaires en matière d'apprentissage, aurait intérêt à poursuivre la mise au point de formations poussées et abordables dans des domaines spécialisés.

Lorsqu'interrogés à propos des points qu'il conviendrait d'aborder dans le cadre des formations, les répondants ont fait part de la nécessité d'offrir de la formation destinée à orienter les nouveaux évaluateurs fédéraux relativement à la fonction d'évaluation au sein du gouvernement du Canada.

Les évaluateurs et les gestionnaires de l'évaluation s'intéressent à toute une gamme de sujets. Toutefois, lorsqu'ils devaient indiquer leurs principales priorités d'apprentissage à partir d'une liste, les évaluateurs et les gestionnaires choisissaient le plus souvent les éléments suivants :

  • Conception des évaluations et détermination des questions connexes;
  • Analyse quantitative et interprétation;
  • Analyse économique (rapports coût-efficacité et coûts-avantages);
  • Analyse qualitative et interprétation.

Les répondants se sont dits ouverts à l'idée d'employer une grande variété d'approches et de formules de perfectionnement professionnel comme la formation en cours d'emploi, les études de cas en petits groupes, les ateliers, les activités de mentorat et d'encadrement par les pairs, et la formation en classe.

Lorsque l'analyse exhaustive des données recueillies en ligne sera terminée, le Secrétariat poursuivra ses consultations auprès des chefs ministériels de l'évaluation et des partenaires participant à la mise au point des formations et étudiera les mesures qu'il pourrait prendre pour soutenir les priorités pangouvernementales en matière d'apprentissage en évaluation.

Facilitation de l'accès à des évaluateurs externes

Les ministères doivent disposer d'un meilleur accès à des évaluateurs externes et, à cet égard, le CEE a uni ses forces à celles des ministères et de Travaux publics et Services gouvernementaux Canada (TPSGC) pour mettre au point des approches et des outils d'approvisionnement destinés aux services d'évaluation et de mesure du rendement. Dans le cadre de cette démarche, le CEE agissait à titre de conseiller technique pour TPSGC afin que les besoins de la collectivité fédérale d'évaluation soient compris et pris en compte dans les outils d'approvisionnement. Dans le contexte de sa Stratégie nationale d'approvisionnement en matière de services professionnels, TPSGC a tenu des consultations avec les ministères et les fournisseurs relativement à la préparation d'offres à commandes et d'arrangements en matière d'approvisionnement pour le service d'évaluation et de mesure du rendement et, somme toute, a demandé des propositions de la part des fournisseurs en juillet et août 2011. Vers la fin de 2011, TPSGC en était aux dernières étapes de la préparation de ces offres permanentes et arrangements en matière d'approvisionnement.

3. Suivi des progrès réalisés à l'échelle du gouvernement relativement à la mise en œuvre de la Politique sur l'évaluation de 2009 : Situation actuelle et progrès récents

3.1 Ressources financières

Comme l'indique le Tableau 1, les ressources financières affectées à la fonction d'évaluation fédérale ont augmenté pendant plusieurs années, mais ont commencé à se stabiliser en 2010-2011. Au cours de cet exercice, les ressources consacrées à la fonction d'évaluation au sein de tous les GMO s'élevaient à environ 67,4 millions de dollars, ce qui équivaut à une légère hausse de 0,9 p. 100 par rapport à l'année précédente. À l'instar des dernières années, les salaires représentaient la plus importante part des ressources consacrées à la fonction en 2010-2011 (55 p. 100). Alors que les ressources pour les salaires et les dépenses de fonctionnement et d'entretien ont augmenté par rapport aux niveaux de 2009-2010, celles destinées aux services professionnels et aux autres dépenses ont diminué.

En 2010-2011, la valeur médiane des ressources affectées par le GMO à la fonction d'évaluation s'établissait à 1,6 million de dollars. Dans l'ensemble des GMO, les ressources consacrées à l'évaluation représentaient moins de un dixième de 1 p. 100 des dépenses directes de programmes présentées dans le budget principal des dépenses.

Tableau 1. Ressources financières consacrées à la fonction d'évaluation des GMO du gouvernement du Canada entre 2007-2008 et 2010-2011
Catégorie
de ressources
2007-08
(millions de dollars)
2008-09
(millions de dollars)
2009-10
(millions de dollars)
2010-11Voir la note * du tableau 1
(millions de dollars)

Notes du tableau 1

Les totaux peuvent différer de la somme des composantes en raison de l'arrondissement. Sont incluses les organisations définies comme étant des GMO dans la Politique sur l'évaluation, telles que déterminées pour chaque exercice. La liste des GMO évalués peut changer un peu d'une année à l'autre.

Note 1 du tableau

La colonne « 2010-2011 » présente les dépenses budgétées plutôt que les dépenses réelles.

Retour ? la r?f?rence de la note * du tableau 1

Note 2 du tableau

Indique les ressources permanentes (c.-à-d. les services votés) dans cette catégorie.

Retour ? la r?f?rence de la note du tableau 1

Note 3 du tableau

La catégorie « Autre » comprend le financement ponctuel des salaires, des services professionnels et des dépenses de F et E, ainsi que les ressources provenant des secteurs de programmes ministériels ou d'autres fonctions ministérielles.

Retour ? la r?f?rence de la note du tableau 1

SalaireVoir la note du tableau 1 28,4 30,8 33,9 37,3
Services
ProfessionnelsVoir la note du tableau 1
17,9 17,1 14,8 13,7
Fonctionnement et
entretien (F et E)Voir la note du tableau 1
4,2 4,2 4,4 4,6
AutreVoir la note du tableau 1 6,7 8,8 13,7 11,8
Total des
ressources
57,3 60,9 66,8 67,4
Hausse annuelle (%) s.o. 6,3 9,7 0,9

3.2 Ressources humaines

À l'image des ressources financières consacrées à la fonction d'évaluation, les ressources humaines affectées à la fonction ont elles aussi augmenté pendant plusieurs années. Comme l'indique le Tableau 2, une légère hausse de 4,8 p. 100 par rapport à 2009-2010 a fait passer à 497 le nombre d'ETP en 2010-2011. La valeur médiane des GMO à ce chapitre s'établissait à 13,4 en 2010-2011.

Tableau 2. ETP affectés à la fonction d'évaluation dans les GMO du gouvernement du Canada entre 2007-2008 et 2010-2011
  2007-08 2008-09 2009-10 2010-11Voir la note * du tableau 2

Notes du tableau 2

Les ETP indiqués représentent les ressources combinées des services votés et des crédits complémentaires déclarés par les ministères après la fin de chaque exercice.

Sont incluses les organisations définies comme étant des GMO dans la Politique sur l'évaluation, telles que déterminées pour chaque exercice. La liste des GMO peut changer un peu d'une année à l'autre.

Note 1 du tableau

La colonne « 2010-2011 » correspond aux ETP budgétés plutôt qu'aux ETP réels.

Retour ? la r?f?rence de la note * du tableau 2

Équivalents temps plein (ETP) 409 418 474 497
Hausse annuelle (%) s.o. 2,2 13,4 4,9

Dans le rapport de l'an dernier, les administrateurs généraux et les chefs de l'évaluation ministériels ont déclaré que de trouver des évaluateurs qualifiés constituait un grave problème. Bien que ce problème persiste, il est plus aigu pour certains ministères que pour d'autres. Bon nombre des chefs de l'évaluation consultés par le Secrétariat ont souligné que, comparativement aux années antérieures, les unités d'évaluation étaient moins sujettes aux mouvements de personnel, et ce, probablement en raison du contexte économique incertain. Dans ce contexte, les unités dotées d'une expertise suffisante n'ont pas nécessairement à chercher de nouveaux évaluateurs, alors que, inversement, les unités qui ne comptent pas l'expertise souhaitée peuvent avoir de la difficulté pourvoir des postes d'évaluateur. Cela dit, il reste toujours important d'offrir de la formation au personnel en place. Comme l'indique le Rapport annuel 2010 sur l'état de la fonction d'évaluation, le CEE du Secrétariat a précisé que la formation représente un élément à cibler pour la fonction d'évaluation de l'appareil gouvernemental. La section 2 du présent rapport offre des renseignements additionnels au regard de l'évaluation des besoins d'apprentissage réalisée par le Secrétariat et du cadre de perfectionnement professionnel des évaluateurs de ce dernier.

3.3 Ressources contractuelles

En 2010-2011, 73 p. 100 des évaluations (99 sur 136) réalisées par les GMO se caractérisait par la participation de ressources contractuelle pour l'exécution de, à tout le moins, une partie du travail. Inversement, 27 p. 100 des évaluations n'ont pas nécessité de recourir à de telles ressources. Ces données représentent une légère diminution par rapport à l'année 2009-20103, où 75 p. 100 des évaluations faisait appel à des services contractuels. Le coût total des services contractuels retenus en 2010-2011 pour la réalisation des évaluations des GMO s'élevait à 13,8 millions de dollars, ce qui équivaut à 20 p. 100 de l'ensemble des ressources affectées à la fonction d'évaluation au cours de l'exercice. En guise de comparaison, il convient de préciser que, en 2009-2010, les GMO ont consacré un total de 20,3 millions à de tels services ou, autrement dit, l'équivalent de 30 p.  cent de la totalité de leurs ressources vouées à l'évaluation.

3.4 Portée de l'évaluation

3.4.1. Portée de l'évaluation des programmes permanents de S et C

À l'échelle des GMO, la proportion dans laquelle les programmes permanents de S et C sont évalués a diminué, passant de 33,2 p. 100 en 2009-2010 à 7,4 p. 100 en 2010-2011 (voir le tableau 3). En moyenne, les ministères dotés de programmes permanents de S et C devront évaluer chaque année 20 p. 100 de leurs programmes permanents de S et C s'ils désirent évaluer tous leurs programmes de S et C sur cinq ans. Au cours de la période quadriennale ayant commencé le 1er avril 2007 et s'étant terminée le 31 mars 2011, 16 p. 100 des programmes de S et C étaient évalués annuellement en moyenne. La surveillance des GMO exercée par le Secrétariat a permis de constater que le taux cumulatif d'évaluation au cours de la période s'établissait à 63 p. 100 à l'échelle du gouvernement.

Étant donné que la première période quinquennale dont disposent les ministères pour se conformer à l'exigence législative d'évaluer la totalité des programmes de S et C se termine au troisième trimestre de l'exercice 2011-2012, c'est-à-dire en décembre 2011, le taux cumulatif d'évaluation de ces programmes sera communiqué dans le Rapport annuel 2012 sur l'état de la fonction d'évaluation.

3.4.2. Portée globale de l'évaluation des dépenses de programmes directes

Même si le taux d'évaluation des programmes de S et C a nettement fléchi au sein des GMO, il appert que le taux annuel d'évaluation des autres types de dépenses directes de programmes a augmenté par rapport à celui de l'année 2009-2010. Comme l'indique la figure 3, les dépenses directes des programmes autres que les programmes de S et C assujetties à une évaluation en 2010-2011 équivalaient grosso modo au double de celles évaluées en 2009-2010 (3,70 milliards de dollars et 1,83 milliard respectivement).

Figure 3. Dépenses de programmes directes de S et C et dépenses autres que celles de S et C évaluées entre 2007-2008 et 2010-2011
Figure 3. Dépenses de programmes directes de S et C et dépenses autres que celles de S et C évaluées entre 2007-2008 et 2010-2011. Version textuelle ci-dessous:
Figure 3. Dépenses de programmes directes de S et C et dépenses autres que celles de S et C évaluées entre 2007-2008 et 2010-2011 - Version textuelle

Ce diagramme à barres montre la valeur monétaire relative des dépenses de programmes directes évaluées dans deux catégories, à savoir les dépenses liées aux subventions et aux contributions et les autres dépenses de programmes directes, celles-ci non liées aux subventions et contributions, sur une période de quatre ans s’échelonnant de 2007-2008 à 2010-2011. On constate qu’en 2007-2008, le montant des dépenses non liées aux subventions et aux contributions évaluées était plus de deux fois plus élevé que celui des dépenses liées aux subventions et aux contributions évaluées. La tendance s’est inversée en 2008-2009 et en 2009-2010. Ainsi, en 2008-2009, le montant des dépenses liées aux subventions et aux contributions évaluées a été près de quatre fois plus élevé que celui des dépenses non liées aux subventions et aux contributions évaluées. Cette tendance a persisté en 2009-2010 et le montant des dépenses liées aux subventions et aux contributions évaluées a été plus de cinq fois et demie plus élevé que celui des dépenses non liées aux subventions et aux contributions évaluées. La tendance s’est inversée de nouveau en 2010-2011 et le montant des dépenses non liées aux subventions et aux contributions évaluées a dépassé de plus de 25 p. 100 celui des dépenses liées aux subventions et aux contributions évaluées.

Cependant, la proportion dans laquelle les dépenses directes de programmes étaient évaluées, toutes catégories confondues (S et C et autres), n'a que peu augmenté de 2009-2010 à 2010-2011, années où les taux s'établissaient respectivement à 14,2 p. 100 et 6,7 p. 100. En outre, au cours des deux années ayant suivi l'introduction de la Politique sur l'évaluation en avril 2009, le taux cumulatif d'évaluation a été de 20 p. 100 et le taux annuel moyen a été de 10,1 p. 100. En ce qui concerne les années à venir, un total de 62 p. 100 des GMO ont soumis des plans ministériels d'évaluation au Secrétariat, plans qui prévoient l'évaluation de la totalité des dépenses directes de programmes au cours de la période de cinq ans commençant en 2011-2012 et se terminant en 2015-2016, et ce, malgré que la première période de cinq ans au cours de laquelle les GMO seront tenus d'évaluer l'intégralité de ces dépenses s'étende de 2013-2014 à 2017-2018.

Tableau 3. Évaluations des dépenses de programmes
des GMO du gouvernement du Canada
entre 2007-2008 et 2010-2011
Exercice Nombre total
d'évaluations
Dépenses de programmes directes visées par les évaluations
(millions de dollars)
Dépenses de programmes directes totalesVoir la note * du tableau 3
figurant dans le budget principal des dépenses
(millions de dollars)
Taux annuel d'évaluation
(pourcentage)
Dépenses des programmes de S et C visées par les évaluations
(millions de dollars)
Dépenses des programmes de S et C totalesVoir la note du tableau 3
figurant dans le budget principal des dépenses
(millions de dollars)
Taux annuel d'évaluation des programmes de S et C
(pourcentage)
Notes du tableau 3
Note 1 du tableau

Les dépenses de programmes directes totales comprennent les dépenses prévues des programmes permanents de S et C; les dépenses des programmes de S et C constituent un type particulier de dépenses de programmes directes.

Retour ? la r?f?rence de la note * du tableau 3

Note 2 du tableau

Les valeurs indiquées dans cette colonne correspondent uniquement aux dépenses prévues des programmes de S et C et forment un sous-ensemble des dépenses de programmes directes totales.

Retour ? la r?f?rence de la note du tableau 3

Note 3 du tableau

Seules les évaluations censées compter aux fins des exigences du paragraphe 6.1.8 de la Politique sur l'évaluation (2009) sont incluses.

Retour ? la r?f?rence de la note du tableau 3

2007-08   121 5 041 77 617 6,5 1 579 25 469 6,2
2008-09   134 5 879 79 327 7,4 4 662 27 311 17,1
2009-10Voir la note du tableau 3 164 11 999 84 665 14,2 10 167 30 605 33,2
2010-11Voir la note du tableau 3 136 6 607 99 325 6,7 2 903 39 145 7,4

3.4.3. Explication des changements sur le plan de la portée des évaluations

La diminution de la portée des évaluations entre 2009-2010 et 2010-2011 est vraisemblablement attribuable à divers facteurs. Le premier de ces facteurs consiste en l'augmentation des dépenses directes de programmes à évaluer, lesquelles sont passées de 84,67 milliards de dollars à 99,33 milliards de dollars entre 2009-2010 et 2010-2011.

La surveillance exercée par le Secrétariat a également permis de constater que plusieurs GMO avaient prévu de mener à bien en 2010-2011 un certain nombre d'évaluations qui se sont prolongées jusqu'en 2011-2012. Le fait est que certains ministères conçoivent généralement des évaluations d'une ampleur et d'une complexité importante qui demandent plus de temps à mener à terme, mais qui font une utilisation optimale de chaque dollar investi eu égard à la portée de l'évaluation.

Pour certains ministères, il est possible que l'élaboration des plans ministériels d'évaluation en fonction du calendrier de renouvellement des principales autorisations de dépenser se soit également traduite par une faible augmentation du taux d'évaluation en 2010-2011.

Enfin, étant donné que les ministères ne sont pas tenus de procéder à l'évaluation de la totalité de ces dépenses au cours de la période préalable à la mise en œuvre de la politique, certains d'entre eux ont décidé de mener leurs évaluations selon une approche axée sur le risque. De plus, au lieu de mener des évaluations qui seraient prises en compte aux termes de la politique, certains ministères ont décidé de mener, au cours de l'exercice 2010-2011, des évaluations autres qui revêtaient une importance pour eux4.

En 2010–2011, le nombre et le coût totaux des produits d'évaluation soumis au Secrétariat qui n'entraient pas dans son calcul de la portée de l'évaluation ont augmenté (voir la Figure 4). De fait, le nombre de ces produits a crû de 33 p. 100 entre 2009-2010 et 2010-2011, alors que le cumul des fonds affectés à la production de ces mêmes produits a plus que doublé, passant de 2,5 millions de dollars à 5,5 millions de dollars.

Le Secrétariat continuera de surveiller la fonction afin d'obtenir une meilleure compréhension des autres facteurs, notamment des défis sur le plan de la capacité, permettant potentiellement d'expliquer les variations de la portée annuelle de l'évaluation. Le Secrétariat, au terme de ses activités de surveillance, dispose d'indications préliminaires selon lesquelles le pourcentage annuel de la portée des évaluations augmentera de façon significative en 2011-2012.

Figure 4. Nombre et coût totaux des produits d’évaluation non inclus dans le calcul de la portée de l’évaluation entre 2009-2010 et 2010-2011
Figure 4. Nombre et coût totaux des produits d’évaluation non inclus dans le calcul de la portée de l’évaluation entre 2009-2010 et 2010-2011. Version textuelle ci-dessous:
Figure 4. Nombre et coût totaux des produits d’évaluation non inclus dans le calcul de la portée de l’évaluation entre 2009-2010 et 2010-2011 - Version textuelle

Ce diagramme combinant un graphique à barres et un graphique linéaire montre que le nombre de produits d’évaluation présentés au Secrétariat, mais exclus de ses calculs sur la couverture de l’évaluation a augmenté, passant de 24 produits en 2009-2010 à 32 produits en 2010-2011. De plus, les coûts totaux rattachés à ces produits ont augmenté, passant de 2,5 millions de dollars en 2009-2010 à 5,5 millions de dollars en 2010-2011.

La figure 5 donne un aperçu des cotes du CRG attribuées pour la portée de l'évaluation en 2010-2011.

Figure 5. Cotes du CRG attribuées pour la portée de l’évaluation 2010-2011 (32 GMO)
Figure 5. Cotes du CRG attribuées pour la portée de l’évaluation 2010-2011 (32 GMO). Version textuelle ci-dessous:
Figure 5. Cotes du CRG attribuées pour la portée de l’évaluation 2010-2011 (32 GMO) - Version textuelle

Ce diagramme à barres présente le pourcentage des 32 grands ministères et organismes ayant obtenu chacune des quatre cotes possibles du CRG pour Couverture de l’évaluation en 2010-2011. Ainsi, 25 p. 100 des grands ministères et organismes ont obtenu la cote « Fort », 59,4 p. 100 la cote « Acceptable », 15,6 p. 100 la cote « Possibilité d’amélioration » et aucun (0 p. 100) la cote « Attention requise ».

3.5 Gouvernance et soutien

La Politique sur l'évaluation oblige les ministères à mettre en place des structures de gouvernance afin d'assurer la neutralité de la fonction d'évaluation. Tous les GMO sont dotés d'un comité d'évaluation ministériel (CEM). Il convient de noter que, en 2010-2011, 26 des 35 CEM (74 p. 100) étaient présidés par un administrateur général. Une moyenne fondée sur 34 GMO indique que les CEM se sont généralement réunis à cinq reprises au cours de l'année 2009-2010 pour discuter de questions relatives à l'évaluation. En outre, 20 des 35 CEM (57 p. 100) se consacrent exclusivement à la fonction d'évaluation.

En vertu de la Politique sur l'évaluation, les chefs de l'évaluation doivent disposer d'un accès direct et sans entrave à l'administrateur général de leurs organisations respectives. En 2010-2011, 18 des 35 chefs de l'évaluation (51 p. 100) relevaient d'un administrateur général sur le plan administratif et 11 autres (31 p. 100) relevaient d'un administrateur général sur le plan fonctionnel et d'un autre cadre supérieur pour les questions d'ordre administratif. Les autres chefs de l'évaluation (17 p. 100) relevaient quant à eux d'un autre cadre supérieur en ce qui concerne les volets fonctionnels et administratifs.

La plupart des chefs de l'évaluation, c'est-à-dire 26 sur 35 d'entre eux (74 p. 100), assument plus d'un rôle au sein de leurs organisations respectives. Par exemple, 18 des 35 chefs de l'évaluation (51 p. 100) agissent également à titre de dirigeant principal de la vérification. D'autres rôles communs des chefs de l'évaluation consistent notamment à diriger la mesure du rendement et la gestion des risques au sein de leurs ministères.

En tout et pour tout, 31 des 35 fonctions ministérielles (88,6 p. 100) sont associées à une autre fonction telles que la vérification interne, la mesure du rendement, la planification stratégique ou les finances.

La figure 6 présente les cotes du CRG attribuées pour la gouvernance et le soutien en 2010-2011.

Figure 6. Cotes du CRG attribuées pour la gouvernance et le soutien en 2010–2011 (32 GMO)
Figure 6. Cotes du CRG attribuées pour la gouvernance et le soutien en 2010–2011 (32 GMO). Version textuelle ci-dessous:
Figure 6. Cotes du CRG attribuées pour la gouvernance et le soutien en 2010–2011 (32 GMO) - Version textuelle

Ce diagramme à barres présente le pourcentage des 32 grands ministères et organismes ayant obtenu chacune des quatre cotes possibles du CRG pour Gouvernance et soutien en 2010-2011. Ainsi, 46,9 p. 100 des grands ministères et organismes ont obtenu la cote « Fort », 40,6 p. 100 la cote « Acceptable », 12,5 p. 100 la cote « Possibilité d’amélioration » et aucun (0 p. 100) la cote « Attention requise ».

3.5.1 Soutien de la mesure du rendement à l'égard de la fonction d'évaluation

La collecte de données sur le rendement est indispensable pour que les évaluateurs puissent effectuer l'analyse de l'efficience et de l'économie requise par un des éléments fondamentaux d'évaluation établis par la Directive sur la fonction d'évaluation, ainsi que l'analyse des progrès réalisés en vue de l'obtention des résultats attendus du programme au terme d'un autre élément fondamental d'évaluation.

Dans le cadre du processus du CRG de 2010–2011, 18 des 30 GMO (60 p. 100) ont eu des évaluations qui faisaient généralement ou presque toujours cas de difficultés à analyser l'efficacité des programmes en raison d'un nombre limité de données sur le rendement.

Au cours de consultations menées à l'automne 2011, les chefs de l'évaluation ont également exprimé des craintes au sujet du manque de données de qualité sur le rendement au sein de leurs ministères et de la nécessité de renforcer la capacité des secteurs des programmes eu égard à la conception et à la mise en œuvre d'une mesure du rendement. Ils ont aussi indiqué que l'amélioration de la mesure du rendement serait synonyme d'efforts soutenus de la part des ministères dans un avenir rapproché. De plus, certains chefs de l'évaluation ont souligné tout le temps et tous les efforts que l'unité d'évaluation doit parfois consacrer pour donner aux secteurs des programmes des conseils sur la mesure du rendement et pour surveiller la mise en œuvre de cette dernière. Plusieurs chefs de l'évaluation ont dit s'attendre à ce que les difficultés afférentes à la mesure continue du rendement continuent de créer des lacunes au chapitre des données d'évaluation et à ce que les unités d'évaluation n'aient d'autre choix que de consacrer des ressources à la collecte de données primaires pour remédier à la situation.

3.6 Qualité

En ce qui concerne les évaluations du CRG menées en 2010-2011, le Secrétariat a appliqué des critères très semblables à ceux employés l'année précédente afin de se prononcer quant à la qualité des rapports d'évaluation soumis par les ministères. Voici en quoi consistaient quelques-uns des critères :

  • Examen de l'optimalisation des ressources en fonction de la pertinence, de l'efficacité, de l'efficience et de l'économie des programmes;
  • Qualité de la méthodologie d'évaluation;
  • Citation des limites influant sur l'exécution des évaluations et de l'incidence de ces mêmes limites sur les constatations de l'évaluation;
  • Qualité et justification des constatations et des conclusions de l'évaluation;
  • Qualité des recommandations;
  • Qualité de la réponse et du plan d'action de la direction.

La qualité des rapports était élevée dans tous les ministères; 88 p. 100 d'entre eux ont obtenu la cote « Acceptable » ou « Fort » (voir la Figure 7).

Figure 7. Cotes du CRG attribuées pour la qualité des évaluations en 2010-2011 (32 GMO)
Figure 7. Cotes du CRG attribuées pour la qualité des évaluations en 2010-2011 (32 GMO). Version textuelle ci-dessous:
Figure 7. Cotes du CRG attribuées pour la qualité des évaluations en 2010-2011 (32 GMO) - Version textuelle

Ce diagramme à barres présente le pourcentage des 32 grands ministères et organismes ayant obtenu chacune des quatre cotes possibles du CRG pour Qualité des rapports d’évaluation en 2010-2011. Ainsi, 37,5 p. 100 des grands ministères et organismes ont obtenu la cote « Fort », 50 p. 100 la cote « Acceptable », 9,4 p. 100 la cote « Possibilité d’amélioration » et 3,1 p. 100 la cote « Attention requise ».

3.7 Utilisation de l'évaluation

Le Secrétariat a demandé aux ministères d'indiquer en quoi et dans quelle mesure les résultats des évaluations ont été utilisés en 2010-2011. Les GMO5 ont déclaré les taux suivants d'utilisation (voir la Figure 8) :

  • En tout et pour tout, 88,6 p. 100 des GMO ont indiqué avoir pris en compte les constatations de la quasi-totalité (s'entend de 80 p. 100 ou plus) des évaluations aux fins des présentations au Conseil du Trésor en 2010-2011. De plus, 2,8 p. 100 des GMO ont indiqué avoir tenu compte des constatations de plusieurs évaluations (s'entend de 50 à 79 p. 100) dans un but identique.
  • En tout et pour tout, 40 p. 100 des GMO ont précisé avoir pris en compte les constatations de la quasi-totalité des évaluations pour les mémoires au Cabinet préparés au cours de l'année 2010-2011. En outre, 17,1 p. 100 des GMO ont mentionné que les constatations de plusieurs évaluations avaient été étudiées dans le même dessein.
  • En tout et pour tout, 82,9 p. 100 des GMO ont indiqué avoir tenu compte des constatations de quasiment toutes les évaluations en vue de produire des rapports ministériels sur le rendement au cours de l'exercice 2010-2011. De plus, 8,6 p. 100 des GMO ont précisé avoir pris en compte les constatations de plusieurs évaluations dans un but identique.
  • En tout et pour tout, 75 p. 100 des GMO ont indiqué avoir pris en compte les constatations de presque toutes les évaluations aux fins de l'Examen stratégique de 2010-2011. De plus, 2,8 p. 100 des GMO ont mentionné avoir tenu compte des constatations de plusieurs évaluations dans un même but.
Figure 8. Fins auxquelles les ministères et organismes ont utilisé les évaluations en 2010-2011 (35 GMO)
Figure 8. Fins auxquelles les ministères et organismes ont utilisé les évaluations en 2010-2011 (35 GMO). Version textuelle ci-dessous:
Figure 8. Fins auxquelles les ministères et organismes ont utilisé les évaluations en 2010-2011 (35 GMO) - Version textuelle

Ce diagramme à barres empilées illustre la fréquence d’utilisation des évaluations pour quatre fins différentes en 2010-2011. Ainsi, 88,6 p. 100 des grands ministères et organismes ont déclaré que les résultats de presque toutes les évaluations ont été pris en compte dans les présentations au Conseil du Trésor et 2,8 p. 100 ont indiqué que les résultats de plusieurs évaluations ont été pris en compte dans les présentations au Conseil du Trésor (« presque toutes » correspondant à 80 p. 100 et plus et « plusieurs » correspondant à 50 à 79 p. 100); 40 p. 100 des grands ministères et organismes ont déclaré que les résultats de presque toutes les évaluations ont été pris en compte dans les mémoires au Cabinet et 17,1 p. 100 ont indiqué que les résultats de plusieurs évaluations ont été pris en compte dans les mémoires au Cabinet; 82,9 p. 100 des grands ministères et organismes ont déclaré que les résultats de presque toutes les évaluations ont été pris en compte dans les rapports ministériels sur le rendement et 8,6 p. 100 ont indiqué que les résultats de plusieurs évaluations ont été pris en compte dans les rapports ministériels sur le rendement; et 75 p. 100 des grands ministères et organismes ont déclaré que les résultats de presque toutes les évaluations ont été pris en compte dans leur examen stratégique de 2010-2011 et 8 p. 100 ont indiqué que les résultats de plusieurs évaluations ont été pris en compte dans leur examen stratégique de 2010-2011. Les pourcentages d’utilisation des évaluations dans les examens stratégiques concernent les 12 grands ministères et organismes ayant fait l’objet d’un tel examen en 2010-2011.

Pour déterminer dans quelle mesure les ministères avaient utilisé les résultats des évaluations en 2010-2011, le Secrétariat a appliqué des critères du CRG semblables à ceux employés l'année précédente. Voici en quoi consistaient ces critères :

  • La mesure dans laquelle les résultats des évaluations concernées sont pris en compte dans les présentations au Conseil du Trésor, dans les mémoires au Cabinet, ainsi que dans le rapport sur les plans et les priorités et le rapport ministériel sur le rendement de l'organisation;
  • La mesure dans laquelle les résultats pertinents des évaluations peuvent être pris en compte dans le cadre des examens des dépenses de l'organisation;
  • Le suivi systématique des plans d'action de la direction issus de l'évaluation et les rapports périodiques sur la mise en œuvre des recommandations de l'évaluation;
  • La mesure dans laquelle les réponses et les plans d'action de la direction sont mis en œuvre comme prévu;
  • La mesure dans laquelle les rapports d'évaluation sont présentés au Secrétariat et affichés sur le site Web de l'organisation en temps opportun.

En ce qui concerne la mise en œuvre des recommandations formulées dans les évaluations, 80 p. 100 des GMO ont déclaré assurer un suivi systématique et régulier des mesures énoncées dans les plans d'action de la direction découlant des recommandations des évaluations. De plus, en ce qui a trait aux points que les GMO comptaient mener à bien en 2009-2010 (un total de 1 247 points), 53 p. 100 ont été mis en œuvre entièrement, 36 p. 100 ont été mis en œuvre partiellement, 4 p. 100 ne sont toujours pas commencés, 2 p. 100 ont été jugés désuets et 5 p. 100 affichaient un état d'avancement impossible à qualifier.

Globalement, l'utilisation des évaluations a reçu une cote élevée dans tous les ministères; 81 p. 100 d'entre eux ayant obtenu la cote « Acceptable » ou « Fort » du CRG (voir la Figure 9).

Figure 9. Cotes du CRG attribuées pour l’utilisation de l’évaluation en 2010-2011 (32 GMO)
Figure 9. Cotes du CRG attribuées pour l’utilisation de l’évaluation en 2010-2011 (32 GMO). Version textuelle ci-dessous:
Figure 9. Cotes du CRG attribuées pour l’utilisation de l’évaluation en 2010-2011 (32 GMO) - Version textuelle

Ce diagramme à barres présente le pourcentage des 32 grands ministères et organismes ayant obtenu chacune des quatre cotes possibles du CRG pour Utilisation de l’évaluation en 2010-2011. Ainsi, 18,8 p. 100 des grands ministères et organismes ont obtenu la cote « Fort », 62,5 p. 100 la cote « Acceptable », 18,8 p. 100 la cote « Possibilité d’amélioration » et aucun (0 p. 100) la cote « Attention requise ».

La réalisation d'évaluations utiles tout en satisfaisant aux exigences inhérentes à la portée d'évaluation et aux questions fondamentales n'est pas une mince tâche dans un contexte où les ressources sont limitées. Lorsque les fonctions ministérielles d'évaluation opèrent dans un contexte où les ressources sont restreintes, des compromis doivent être faits quant aux utilisations possibles de chaque évaluation et à la portée globale des activités d'évaluation rattachée aux programmes ministériels. Il convient en outre de souligner que la multitude d'utilisations et d'utilisateurs des produits d'évaluation ne simplifie en rien la tâche.

À la lumière de ses contacts réguliers avec les chefs ministériels de l'évaluation, le Secrétariat s'attend à ce que la situation se simplifie une fois que la majorité des programmes auront été évalués au moins une fois. Ainsi, il sera possible d'utiliser le modèle des évaluations existantes pour concevoir d'autres évaluations, celles-ci plus rentables et mieux ciblées.

Les analystes du secteur des programmes du Secrétariat utilisent les éléments probants des évaluations, si ceux-ci sont disponibles, pour étudier et commenter les propositions de financement soumises au Conseil du Trésor aux fins d'examen et les propositions présentées dans le cadre des examens des dépenses comme les examens stratégiques (notamment pour faciliter l'identification des domaines de programmes caractérisés par un faible rendement et une priorité basse).

Au cours des examens stratégiques menés en 2010-2011, il a été possible de constater que les ministères dont les évaluations avaient une faible portée étaient habituellement ceux qui éprouvaient le plus de difficulté à expliquer adéquatement les résultats de leurs programmes. En outre, même si les examens stratégiques bénéficient généralement d'une vaste portée des évaluations, il n'en demeure pas moins que le soutien le plus efficace aux examens stratégiques demeure celui qui est offert par les évaluations, individuelles ou groupées, qui expliquent les réalisations globales de programmes ministériels ayant des résultats attendus semblables.

Les évaluations plus ciblées ont été jugées très utiles à d'autres types d'utilisation comme les décisions d'apporter des changements à divers programmes de S et C.

Conséquemment, le Secrétariat est d'avis que, pour soutenir une multitude de décisions en matière de gestion des dépenses, les activités d'évaluation doivent se traduire par un juste équilibre des évaluations globales et des évaluations ciblées (en choisissant d'évaluer les programmes de façon individuelle, d'évaluer plusieurs programmes d'un coup, ou encore de planifier et de réaliser des évaluations ciblées des petits programmes de sorte à dégager une idée générale du rendement d'au moins de deux programmes ou plus qui sont apparentés).

4. Leadership assuré par le Secrétariat du Conseil du Trésor du Canada

4.1 Plan d'action 2011-2012

En 2010-2011, le Secrétariat a commencé à rajuster ses activités de surveillance et de soutien relatives à la fonction d'évaluation fédérale. Pour ce faire, il s'est appuyé sur les éléments suivants :

  • Les données de surveillance recueillies dans le cadre d'une enquête annuelle d'évaluation de la capacité de l'ensemble des fonctions d'évaluation des organisations, ainsi que dans le contexte des évaluations du CRG ayant trait à la qualité et à l'utilisation des évaluations au sein des ministères.
  • Le Rapport annuel 2010 sur l'état de la fonction d'évaluation.
  • Les consultations menées auprès des administrateurs généraux et des chefs de l'évaluation en 2010-2011.
  • Les recommandations du rapport de septembre 2010 du Comité permanent des comptes publics.

Pour orienter ses efforts de soutien au cours de l'exercice 2011-2012, le Secrétariat a mis au point un plan d'action qui fait état des activités prioritaires permettant aux ministères de poursuivre la mise en œuvre de la politique et de promouvoir la progression globale de la fonction d'évaluation fédérale.

Le plan d'action comprenait quatre grands volets :

  • Amélioration de l'accès à des évaluateurs qualifiés;
  • Mise au point et diffusion d'approches d'évaluation efficaces;
  • Amélioration de la qualité et de l'utilisation des évaluations;
  • Amélioration du leadership exercé par le Secrétariat au regard de la fonction d'évaluation du gouvernement du Canada.

Les paragraphes suivants présentent les principales initiatives menées à bien ou amorcées en 2010-2011 dans chacun des volets susmentionnés, et citent quelques-unes des activités en cours en 2011-2012.

Il a été question des initiatives visant à améliorer l'accès à des évaluateurs qualifiés à la Section 2 du rapport intitulée « Thème du rapport : Donner un meilleur accès aux évaluateurs qualifiés de la fonction d'évaluation fédérale ».

4.1.1 Élaboration et diffusion d'approches d'évaluation efficaces

À la toute fin de l'année 2010-2011, le Secrétariat achevait de préparer son guide ayant comme objet l'élaboration des plans ministériels d'évaluation. Il a ensuite largement diffusé le guide dans les ministères en 2011–2012.

Au cours de l'année 2010-2011, le Secrétariat a également continué la mise au point de lignes directrices sur les approches efficaces en matière d'évaluation. Plus particulièrement, le Secrétariat a entrepris les activités suivantes :

  • La direction de groupes de travail interministériels collaboratifs chargés d'élaborer des directives sur la gouvernance de l'évaluation d'initiatives horizontales, des directives sur l'évaluation des fonctions et des programmes de politiques, ainsi que des directives sur l'exploration d'approches potentielles pour la réalisation d'évaluations calibrées;
  • L'élaboration de directives provisoires sur les approches d'évaluation fondées sur la théorie et la mobilisation de quelques ministères pour participer à des projets pilotes destinés à éclairer les rajustements apportées aux directives;
  • L'élaboration de directives provisoires ayant trait à l'utilisation des ressources des programmes dans le contexte des évaluations fédérales et l'obtention des commentaires des ministères eu égard à ces directives.

À mesure que les directives sur les approches d'évaluation seront produites, ce qui surviendra en 2011-2012 et dans les exercices ultérieurs, le Secrétariat les diffusera largement auprès des ministères et organismes.

En 2010-2011, le Secrétariat a employé divers moyens pour diffuser les approches efficaces auprès des ministères, et il continuera de le faire en 2011-2012. Voici en quoi consistent ces moyens :

  • Réunions trimestrielles en présence des chefs de l'évaluation ministériels et des directeurs de l'évaluation pour discuter de diverses questions d'évaluation;
  • Ateliers sur les pratiques exemplaires en évaluation;
  • Exposés lors de conférences et participation à des discussions de groupe sur les approches d'évaluation;
  • Tribune en ligne à l'intention de la collectivité des chefs de l'évaluation ministériels;
  • Lancement d'une tribune en ligne s'adressant à la collectivité des évaluateurs fédéraux;
  • Activités de sensibilisation ciblées dans divers ministères.

4.1.2 Amélioration de la qualité et de l'utilisation des évaluations

Le Secrétariat surveille continuellement la qualité et l'utilisation des évaluations. En 2010-2011, dans le contexte des évaluations annuelles du CRG de la qualité et de l'utilisation des évaluations au sein des ministères, il a continué à relever et à communiquer les aspects à améliorer des fonctions d'évaluation ministérielles.

Afin d'améliorer sa surveillance de l'utilisation de l'évaluation et, en définitive, de promouvoir une utilisation accrue des évaluations lors de la prise de décisions, le Secrétariat a entrepris des recherches préliminaires pour mieux comprendre dans quelle mesure et de quelle façon les évaluations sont utilisées au sein des ministères, ainsi que dans le contexte des organismes centraux (présentations au Conseil du Trésor, mémoires au Cabinet et examens stratégiques). L'étude portait sur les divers types d'utilisation des évaluations et sur les facteurs favorables à l'utilisation adéquate des évaluations, et permettra d'améliorer les méthodes employées pour juger de l'utilisation de l'évaluation dans le contexte du CRG. Les travaux de recherche se poursuivront en 2011-2012 et après.

4.1.3. Amélioration du leadership exercé par le Secrétariat au regard de la fonction d'évaluation du gouvernement du Canada

Contacts avec les cadres supérieurs des ministères et organismes

Le comité des SMA champions en gestion axée sur les résultats, qui est un comité consultatif interministériel composé de SMA et présidé par le secrétaire adjoint délégué du Secteur de la gestion des dépenses du Secrétariat, a été mis sur pied en octobre 2010 afin de favoriser les progrès sur les plans de la gestion axée sur les résultats et de l'évaluation au sein des ministères et organismes, et d'ouvrir la voie menant à une meilleure intégration des données sur le rendement dans les décisions en matière de gestion des dépenses. Depuis sa création, le comité a centré ses activités sur la diffusion d'approches et de pratiques exemplaires liées à la planification intégrée et à l'utilisation optimale des données sur le rendement générées par la fonction d'évaluation et ayant trait la Politique sur la structure de la gestion, des ressources et des résultats.

Le secrétaire adjoint délégué du Secteur de la gestion des dépenses du Secrétariat a également, à la demande des ministères, rencontré les comités ministériels d'évaluation afin de traiter de la question de l'évaluation au sein des ministères.

5. Résumé et conclusions

5.1 Progrès réalisés relativement à la mise en œuvre de la Politique sur l'évaluation

Le présent rapport fait état de quelques signes encourageants en ce qui concerne la fonction fédérale d'évaluation au cours des deux premières années suivant la mise en œuvre de la Politique sur l'évaluation de 2009. Somme toute, les ressources financières et humaines consacrées à la fonction sont restées relativement stables, de légères hausses ayant été observées entre 2009-2010 et 2010-2011. En ce qui touche les ressources humaines, il convient de mentionner que des progrès ont été réalisés eu égard à l'un des principaux problèmes de la fonction cerné dans le rapport de 2010, puisque le Secrétariat a entrepris diverses initiatives favorables à un meilleur accès à des évaluateurs qualifiés.

Dans l'ensemble, les ministères ont mis en place les structures de gouvernance nécessaires pour leurs fonctions d'évaluation, et la qualité des rapports d'évaluation est restée dans la fourchette de cotes « Acceptable » à « Fort » en 2010-2011. Les consultations menées auprès des secteurs des programmes du Secrétariat, dont les éléments probants sont pris en compte par les analystes chargés d'examiner les propositions ministérielles au Conseil du Trésor, ont permis de constater que certains ministères conçoivent adéquatement leurs évaluations et que la portée de ces mêmes évaluations facilite le processus décisionnel.

Le présent rapport permet en outre de constater que, même si les ressources inhérentes à la fonction pangouvernementale sont demeurées relativement stables en 2010-2011, les résultats différaient pour ce qui est de la portée de l'évaluation. La portée globale de l'évaluation (programmes de S et C et autres programmes) a diminué. Même si la portée des évaluations des programmes de S et C a diminué, il a été possible de constater que la portée de l'évaluation des autres types de dépenses de programmes directes a doublé. Plusieurs facteurs associés à cette diminution de la portée globale des activités d'évaluation ont fait l'objet des discussions. Le Secrétariat poussera davantage l'analyse de ces facteurs et prendra les mesures nécessaires pour appuyer des progrès à ce chapitre.

Le rapport confirme enfin que les ministères ont recours aux évaluations à diverses fins, question de répondre aux besoins de toute une gamme d'utilisateurs.

5.2 Améliorations requises et défis connexes eu égard à la fonction d'évaluation

Il sera important de comprendre pourquoi des changements ont été observés du côté de la portée des évaluations afin de bien comprendre les problèmes auxquels sera confrontée la fonction d'évaluation dans les années à venir.

Toutefois, certains défis et pistes d'amélioration sautent déjà aux yeux, à savoir :

  • Continuer à améliorer la mise en œuvre de mécanismes continus de mesure du rendement dans les secteurs des programmes, ce qui comprend le renforcement de la capacité des gestionnaires de programmes en vue d'appuyer plus efficacement la fonction lors de l'exécution des évaluations;
  • Aider les chefs de l'évaluation ministériels à concevoir des évaluations de manière efficiente et à accroître la portée de leurs activités d'évaluation, notamment en tirant parti des évaluations antérieures afin d'optimaliser leurs ressources d'évaluation, le tout, en tenant compte des principaux utilisateurs et des principales utilisations;
  • Améliorer et accélérer l'utilisation stratégique des données d'évaluation tout en équilibrant les besoins relatifs aux évaluations ciblées destinées à éclairer le processus décisionnel.

Soutien du Secrétariat au regard de l'amélioration pangouvernementale en 2011-2012 et dans les exercices ultérieurs

Le Secrétariat présentera d'autres directives et mécanismes de soutien (ateliers sur l'exécution d'évaluations tenant compte des ressources) en 2011-2012 et en 2012-2013 afin d'améliorer les pratiques d'évaluation liées à la fonction, de proposer d'autres approches d'évaluation aux ministères et d'aider les ministères à calibrer leurs évaluations. Le CEE du Secrétariat poursuivra ses efforts en vue de favoriser la diffusion des pratiques exemplaires au sein des ministères, et ce, de plusieurs façons comme les réunions périodiques des chefs de l'évaluation et les tribunes en ligne s'adressant aux chefs de l'évaluation et aux évaluateurs.

Afin d'aider les ministères et les utilisateurs à faire une utilisation optimale de leurs évaluations dans une multitude de contextes, le CEE travaillera de concert avec les ministères et les secteurs des programmes du Secrétariat afin d'améliorer la circulation de l'information relative aux besoins et utilisations des évaluations. Dans la foulée des premières discussions avec les secteurs de programmes du Secrétariat, le CEE s'attend à promouvoir l'organisation de réunions bilatérales entre les représentants du Secrétariat et ceux des ministères pour que ceux-ci puissent examiner les plans d'évaluation ministériels en préparation.

Le Secrétariat continuera de travailler avec ses partenaires de formation dans le but de créer des possibilités de perfectionnement professionnel favorables aux priorités pangouvernementales d'apprentissage recensées dans le cadre d'un sondage mené auprès des évaluateurs fédéraux et de consultations auprès des chefs de l'évaluation.

Le CEE a collaboré activement avec les autres centres de politiques du Secrétariat, et plus particulièrement avec le centre responsable de la Politique sur la structure de la gestion, des ressources et des résultats, lequel dirige l'élaboration des directives intégrées concernant la mesure du rendement et d'autres mesures de renforcement de la capacité s'adressant aux ministères et en particulier aux gestionnaires des programmes.

Annexe: Méthodologie et sources de données

Les notes sur la méthodologie et une description des principales sources de données utilisées pour la préparation du présent rapport figurent dans cette annexe.

Depuis la diffusion du Rapport annuel 2010 sur l'état de la fonction d'évaluation, des modifications ont été apportées à la méthodologie utilisée pour analyser et présenter les données du présent rapport dans le but d'établir des bases plus solides pour les rapports ultérieurs. Dans la mesure du possible, les données agrégées présentées dans le document, et plus particulièrement les données liées aux ressources financières et humaines afférentes à la fonction d'évaluation, ont été recueillies auprès des ministères et organismes, à la fin de chaque exercice (données réelles) plutôt que pendant chaque exercice (données prévues). De plus, l'information présentée dans le rapport porte avant tout sur les grands ministères et organismes (GMO), puisque la surveillance exercée par le Secrétariat produit continuellement des données fiables sur ces organisations.

L'information figurant dans le rapport tient également compte des améliorations apportées à la méthodologie du CRG pour calculer la portée des activités d'évaluation des ministères exprimée sous forme de taux.

En ce qui concerne les ministères et les organismes assujettis à la Politique sur l'évaluation, le Secrétariat surveille les évaluations menées par les chefs de l'évaluation des organisations et destinées à satisfaire aux exigences de la politique se rapportant à la portée des évaluations. Les ministères peuvent choisir d'entreprendre d'autres évaluations et travaux connexes visant à répondre aux besoins ministériels, mais non à ceux de la politique ayant trait à la portée. Voici quelques exemples clés d'évaluations ministérielles qui ne seraient pas considérées aux fins du calcul du Secrétariat :

  • Les évaluations des programmes à durée limitée, qui n'ont pas à être évalués en vertu de la politique, sauf si la secrétaire du Conseil du Trésor en fait la demande;
  • Les évaluations des programmes déjà évalués au cours de la période de cinq ans précédente (sont également comprises les méta-évaluations, qui sont des synthèses d'évaluations);
  • Les évaluations qui ne tiennent pas compte de tous les éléments fondamentaux exigés par la politique, comme les évaluations formatives qui n'examinent pas l'efficacité du programme;
  • Les produits associés à l'évaluation, comme les examens de l'évaluabilité ou les études sur les leçons apprises, qui sont habituellement créés en analysant diverses évaluations d'un domaine de programme donné ou d'un type de programme particulier.

Le rapport ne tient pas compte des évaluations et des travaux connexes qui ne visent pas à satisfaire aux exigences de la politique, sauf à la section 3.4.3.

Enquête d'évaluation de la capacité

L'Enquête d'évaluation de la capacité (EEC) est une enquête annuelle menée auprès des unités d'évaluation de tous les ministères et organismes assujettis à la Politique sur l'évaluation dans le cadre de laquelle les données de chaque exercice sont recueillies. Les données de 2011 et des années antérieures de l'EEC ont été utilisées à des fins de comparaison dans le présent document. Depuis 2007, l'administration de l'EEC s'inscrit dans le cadre du processus élargi du Cadre de responsabilisation de gestion (CRG) permettant d'évaluer une fois l'an les ministères relativement à la qualité et à l'utilisation des évaluations.

Aux termes de la Politique sur l'évaluation, tous les ministères et organismes sont tenus de participer à l'EEC. Toutefois, certains petits ministères et organismes (PMO) n'y participent pas. De plus, étant donné que l'enquête annuelle est menée dans la cadre du processus d'évaluation du CRG, certains PMO non assujettis au CRG à une année donnée peuvent choisir de ne pas remplir le sondage. Compte tenu des dépenses de programmes directes moins élevées des PMO, du report de la plupart des exigences de la Politique sur l'évaluation qui s'appliquent aux PMO et de plus faible capacité générale d'évaluation des PMO, le niveau d'activité d'évaluation attendu de ces organisations est faible et la surveillance de leur fonction d'évaluation par le Secrétariat est ajustée en conséquence. Avec l'introduction du rapport annuel sur l'état de la fonction d'évaluation, le Secrétariat prend des mesures pour améliorer le taux de réponse des PMO à l'EEC, sans toutefois leur imposer un fardeau administratif indu.

Évaluation de la composante de gestion « qualité et utilisation de l'évaluation » du CRG

Le CRG est un important outil de gestion du rendement utilisé par le gouvernement fédéral. Il est censé étayer la responsabilisation de gestion des administrateurs généraux et améliorer les pratiques de gestion à l'échelle des ministères et organismes. Voici en quoi consistent plus précisément les objectifs du CRG :

  • Clarifier les attentes à l'égard des administrateurs généraux en matière de gestion et orienter le dialogue continu sur les priorités de gestion;
  • Donner une perspective intégrale et intégrée de l'état des pratiques de gestion et des problèmes connexes;
  • Orienter la mise au point d'approches axées sur le risque qui assurent une meilleure délégation des pouvoirs aux ministères et aux organismes affichant un solide rendement de gestion.

Le CRG résume la vision à l'origine des diverses réformes de la gestion en dix attentes générales de gestion à l'endroit de chaque administrateur général. D'autres données sur le CRG, notamment les évaluations publiées, sont accessibles sur le site Web du Secrétariat.

Le Secrétariat administre annuellement le processus d'évaluation du CRG, lequel est fondé sur les éléments probants soumis par les ministères et les organismes. Tous les GMO et environ un tiers des PMO sont évalués chaque année, ce qui représente de 55 à 60 ministères et organismes. L'évaluation de chacune de ces organisations est effectuée en fonction de divers critères propres à des composantes de gestions multiples.

La qualité et l'utilisation des évaluations constituent une composante de gestion du CRG. En 2010-2011, quatre éléments probants ont servi à évaluer le rendement de gestion rattaché à cette composante :

  • La qualité des rapports d'évaluation;
  • La gouvernance et le soutien de la fonction d'évaluation;
  • Les dépenses de programmes directes visées par les évaluations;
  • L'utilisation des évaluations pour soutenir la prise de décisions dans l'organisme.

Les résultats de l'évaluation du CRG des GMO, utilisés dans ce rapport, sont ceux de 2010 (ronde VIII). En fait, les GMO sont définis par exception, selon la définition des PMO figurant dans la Politique sur l'évaluation. En vertu de la politique, les PMO sont des organisations dont les niveaux de référence annuels et les recettes à valoir sur le crédit sont inférieurs à 300 millions de dollars.

Consultations auprès des chefs de l'évaluation

Les 9 et 10 novembre 2011, le Centre d'excellence en évaluation (CEE) du Secrétariat a dirigé deux séances de discussion informelles d'une demi-journée à laquelle participaient les chefs de l'évaluation ou les directeurs de l'évaluation de 32 ministères et organismes. Tous les ministères et organismes assujettis à la Politique sur l'évaluation avaient été invités à participer à ces discussions. Les participants ont été invités à faire part de leurs points de vue relativement aux principaux problèmes et aux principales possibilités de la fonction d'évaluation, ainsi que sur l'avenir de la fonction.

Consultations auprès des utilisateurs des données d'évaluation au Secrétariat du Conseil du Trésor du Canada

Le 18 janvier 2012, le CEE a consulté des cadres du Secrétariat pour connaître leurs points de vue au sujet de la façon dont les évaluations sont utilisées, des changements qu'ils ont observés du côté de l'évaluation au cours des dernières années (sur les plans de la portée, de la qualité et de l'utilisation) et des défis et possibilités inhérents à l'élargissement de l'utilisation des évaluations.

Sondage en ligne portant sur les besoins d'apprentissage des évaluateurs

Un sondage en ligne a été mené entre le 24 novembre et le 16 décembre 2011 auprès des évaluateurs, des gestionnaires de l'évaluation, des directeurs et des chefs de l'évaluation. À la demande des directeurs et des chefs de l'évaluation des ministères et organismes, les évaluateurs et les gestionnaires de l'évaluation fédéraux étaient invités à répondre au sondage en ligne hébergé sur le site du Secrétariat. Un taux de réponse approximatif de 42 p. 100 a été enregistré.


Détails de la page

Date de modification :