Évaluation quinquennale du Cadre de responsabilisation de gestion

• Page précédente
• Table des matières
• Texte complet
• Page suivante

1  INTRODUCTION

1.1  APERÇU

Le Secrétariat du Conseil du Trésor du Canada (SCT) a adopté le Cadre de responsabilisation de gestion (CRG) en 2003 afin de renforcer la responsabilisation des administrateurs généraux et des ministères en matière de gestion. En tant que cadre de gestion, le CRG^[1] a pour objectif de :

• préciser les attentes en matière de gestion à l’intention des administrateurs généraux afin de les aider à gérer leur organisation;
• élaborer une perspective exhaustive et intégrée des problèmes et des défis en matière de gestion ainsi qu’orienter l’engagement du SCT auprès des organisations;
• déterminer les tendances pangouvernementales et les problèmes systémiques dans le but d’établir les priorités et de centrer les efforts sur celles-ci.

Pour souligner l’importance de solides compétences en gestion chez les administrateurs généraux, les résultats de l’évaluation du CRG sont intégrés au processus d’évaluation de leur rendement mené par le Bureau du Conseil privé (BCP).

Le processus d’évaluation du CRG est géré par la Direction du CRG du Secteur des priorités et de la planification du SCT. Le CRG est une évaluation annuelle et, depuis 2003, six évaluations du CRG ont été réalisées.

1.2 Évaluation du CRG

En novembre 2008, le SCT a commandé une évaluation quinquennale du CRG dont les objectifs étaient les suivants :

• déterminer de quelle manière le SCT évalue les pratiques de gestion et le rendement du secteur public dans l’ensemble de l’administration fédérale (c’est‑à‑dire, le CRG est‑il pertinent, efficace et rentable?);
• comparer le CRG aux outils d’évaluation du rendement et aux pratiques de gestion du secteur public des autres administrations;
• cerner quels aspects du CRG (en tant qu’outil d’évaluation), de ses exigences en matière de rapport, de ses outils et de sa méthodologie peuvent être améliorés, et formuler des recommandations à cet égard.

Une équipe mixte formée de représentants de PricewaterhouseCoopers LLP (PwC) et d’Interis Consulting Inc. (Interis) a été chargée de mener l’évaluation. Les questions d’évaluation ont été élaborées par le SCT en collaboration avec la collectivité des administrateurs généraux. La méthode d’évaluation globale a été approuvée par le SCT.

APPROCHE ET MÉTHODE D’ÉVALUATION

L’évaluation avait pour objectif d’évaluer le CRG et de proposer des recommandations visant à l’améliorer. L’énoncé des travaux élaboré par le SCT a permis de formuler 23 questions d’évaluation. Nous avons fondé notre cadre d’évaluation sur ces questions en élaborant des indicateurs et des méthodes d’évaluation pour y répondre. Afin de réaliser une analyse intégrée, nous avons regroupé les questions d’évaluation en quatre questions stratégiques (vous trouverezles 23 questions d’évaluation et leur groupement sous les quatre questions stratégiques à l’annexe E).

Nous avons eu recours à de nombreuses sources pour répondre à ces questions d’évaluation. Nous avons notamment examiné des documents, effectué une analyse documentaire et mené des entrevues. Nous avons également tenu des consultations et organisé des tables rondes avec certains représentants de groupes d’intervenants. Enfin, nous avons établi des comparaisons avec des administrations semblables au niveau international, et nous avons procédé à une analyse d’établissement des coûts.

Vous trouverez ci-dessous un bref résumé de notre approche en matière de collecte de données :

• Examen de documents/analyse documentaire : L’équipe d’évaluation a non seulement examiné les documents fournis par le personnel du SCT mais elle a aussi effectué des recherches supplémentaires dans d’autres documents. Tel qu’indiqué à l’annexe G, la documentation examinée a été utilisée comme suit :
  • Les observations sur les rondes d’évaluation antérieures et la documentation du processus ont servi à valider l’information recueillie lors des entrevues et des consultations. Cette information a servi à déterminer si le CRG atteint ou non ses objectifs ainsi qu’à évaluer le processus et les outils connexes du CRG.
  • Une analyse documentaire a permis de cerner les approches et les théories reconnues de la gestion du rendement pour comprendre le contexte du CGR en tant que cadre de gestion du rendement.
  • Une analyse documentaire a permis de cerner les éléments clés de chaque modèle afin d’évaluer le rendement du CRG par rapport à des modèles comparables qui sont en place dans d’autres administrations. Elle a aussi recensé les observations et les perspectives internationales ayant pour objet tant le CRG que les autres modèles afin de comparer les réussites et les défis associés aux divers modèles. Enfin, cette analyse a permis de valider les observations qui ont été formulées et les résultats des analyses qui ont été effectuées en vue de déterminer quels éléments de ces autres modèles peuvent être intégrés au CRG. En outre, nous nous sommes servis de l’analyse documentaire évaluer chaque cadre comparable au CRG en fonction de trois grandes catégories : nature et objectif du cadre, méthode d’évaluation et résultats de l’évaluation.
• Entrevues avec les intervenants clés^[2]: Les entrevues et les consultations ont été menées comme suit :
  • Des entrevues de représentants de ministères et d’organismes ont été menées avec 27 administrateurs généraux et quatre consultations de groupe distinctes ont été tenues; deux auprès des représentants ministériels du CRG (au niveau des SMA), une auprès du Réseau du CRG et une avec le Réseau des administrateurs de petits organismes (RAPO)^[3].
  • Des entrevues et des consultations ont aussi été réalisées avec des groupes d’intervenants provenant d’organismes centraux dont le secrétaire du Conseil du Trésor, les secrétaires adjoints des secteurs des programmes, les secrétaires adjoints des secteurs des politiques, les responsables de composantes de gestion (CG) et le Bureau du Conseil privé.
• Comparaison internationale : Dans le cadre de cette évaluation, nous avons été invités à comparer le CRG à certaines administrations comparables à l’étranger. Notre comparaison a ciblé le Royaume‑Uni, les États‑Unis et l’Union européenne. La section 2.0 du présent rapport fait un survol des résultats et de plus amples détails sont présentés à l’annexe D. Nous avons également consulté une équipe de représentants internationaux au sein de PwC et d’Interis qui s’est penchée sur l’approche et les résultats de la comparaison internationale.
• Analyse et enquête sur l’établissement des coûts : Dans le cadre de cette évaluation, on nous a également demandé de procéder à une évaluation quantitative des coûts du CRG. Pour ce faire, nous avons demandé à 21 ministères et organismes, ainsi qu’au SCT, de nous fournir une estimation du niveau approximatif d’effort fourni par chaque personne ayant participé à la ronde VI de l’évaluation du CRG.
• Examen du processus et de l’outil d’évaluation du CRG : De concert avec l’information recueillie dans le cadre des consultations et des entrevues individuelles, un examen détaillé de la documentation relative au processus d’évaluation du CRG a été mené afin d’évaluer l’efficacité et l’efficience du processus d’évaluation du CRG, de ses méthodes de communication et de ses mécanismes de soutien.
• Le portail du CRG et le système d’évaluation du CRG ont été évalués à titre d’outils destinés à administrer le processus d’évaluation de façon efficace et efficiente. Cette évaluation a été menée au moyen d’une entrevue structurée et approfondie portant sur le processus d’évaluation et sur la fonction de soutien des bases de données. Les renseignements recueillis ont été étayés sur une analyse documentaire et sur les résultats des consultations et des entrevues menées auprès des intervenants.
• Analyse des CG et méthode d’évaluation connexe : Une analyse détaillée a été menée pour chacune des 21 CG, notamment :
  • o  les tendances en matière des résultats observées dans chaque organisation dans le cadre des rondes d’évaluation;
  • o  une comparaison de la méthode de pondération afin d’obtenir une note d’évaluation globale par CG (c’est‑à‑dire, fondée sur une règle décisionnelle, moyenne pondérée, moyenne, fondée sur des points);
  • o  une comparaison et une analyse des critères de notation de chaque CG – portant plus particulièrement sur les tendances observées entre les rondes V et VI dans la définition d’une note « forte » et dans l’exactitude de la définition au fil du temps;
  • o  une comparaison annuelle entre les rondes V et VI du nombre et de la nature des changements apportés aux éléments de preuve par CG;
  • o  un classement des CG en différentes catégories selon le niveau de subjectivité des critères d’évaluation, à l’attention qu’ils portent au processus par rapport aux indicateurs fondés sur les résultats et au niveau de définition du modèle de maturité des critères d’évaluation.

Nous avons analysé et résumé les éléments probants obtenus à partir de chacune de ces sources afin d’émettre les constatations, les conclusions et les recommandations comprises dans le présent rapport. La figure 1 ci‑dessous illustre à un haut niveau le cadre d’évaluation que nous avons utilisé, y compris les liens entre les quatre questions stratégiques et les trois principaux enjeux de l’évaluation devant être compris dans la Politique d’évaluation du SCT.

Figure 1: Cadre d’évaluation

Figure 1 : Cadre d'évaluation - Version textuelle

Au cours des étapes de planification, de tenue et de présentation de l’évaluation, les comités suivants ont supervisé et orienté le processus :

• Comité directeur de sous‑ministres : Un comité directeur de sous‑ministres a été formé afin de superviser l’évaluation et de fournir des observations et des conseils à l’équipe d’évaluation lors de certaines étapes clés. Les membres du comité directeur de sous‑ministres sont présentés à l’annexe A.
• Comité ministériel d’évaluation : Tout au long de l’évaluation, des membres du Comité d’évaluation ainsi que du Bureau de la vérification interne et de l’évaluation du SCT ont supervisé et contribué à l’élaboration de la méthode d’évaluation et des produits livrables afférents.
• Comité consultatif international : Un groupe d’experts de haut niveau issu du secteur public international a été établi afin d’assurer l’orientation et la surveillance du processus. Il a aussi fourni des conseils sur les principaux jalons et produits livrables de l’évaluation.

Limites de l’évaluation. Voici les principales contraintes auxquelles nous avons été confrontés lors de l’exécution de nos plans d’évaluation :

• Exactitude/validité du processus d’évaluation du CRG/outil : Dans le cadre de l’évaluation, nous nous sommes penchés sur la solidité, la pertinence, la validité et l’exactitude de l’outil d’évaluation du CRG en mettant l’accent sur la méthodologie (incluant les éléments de preuve), les critères d’évaluation et la méthode de notation. Même si l’évaluation a révélé que le processus d’évaluation du CRG est solide et que les résultats reflètent de façon générale la réalité des organisations, elle n’a pas permis d’établir de manière concluante la validité ou l’exactitude de l’outil, étant donné que le CRG est nécessairement fondé sur des indicateurs qualitatifs et quantitatifs. Une fois les recommandations mises en œuvre et la prochaine étape de maturité du CRG franchie, il serait possible d’envisager une analyse approfondie de l’exactitude des résultats relatifs à chacune des CG.
• Rentabilité du CRG : Comme les ministères et les organismes n’assurent pas le suivi des coûts liés à l’évaluation du CRG, nous n’avons pu réaliser une analyse exhaustive d’établissement des coûts dans les ministères et les organismes qui aurait appuyé notre évaluation de la rentabilité. Les résultats de l’analyse d’établissement des coûts ont permis d’estimer certaines dépenses attribuables au CRG pendant la ronde VI. Il faut aussi envisager déployer davantage d’efforts pour mieux cerner les coûts liés au CRG afin d’établir une base de comparaison des tendances. Celles-ci incluraient,  par exemple, l’allégement du fardeau lié à la présentation de rapports au fil du temps.
• Preuves quantitatives établissant l’incidence sur les pratiques de gestion : Comme les indicateurs et la méthode de notation du SCT évoluent, nous n’avons pu cerner de preuves quantitatives (fondées sur les notes du CRG) de l’amélioration des pratiques de gestion depuis l’instauration du CRG. Ici, notre analyse était fondée sur des entrevues et des ateliers afin de recueillir plusieurs perspectives provenant des représentants des ministères et du SCT.

    En ce qui a trait aux deux points précédents, sans données fiables sur les coûts ou sans capacité de mesurer l’amélioration des notes du CRG, nous n’avons pu établir aucune corrélation entre l’investissement ministériel dans le CRG et le rendement du CRG.

• Comparaison internationale : Comme nous l’avons précisé à la section 2.2 sur les comparaisons internationales, même si nous avons été invités à examiner les approches adoptées en Australie et en Nouvelle‑Zélande, nous avons déterminé que ces administrations n’étaient pas comparables aux fins de notre étude. En effet, elles mettaient soit l’accent sur des aspects différents, ou elles n’étaient pas mises en œuvre dans l’ensemble de l’administration publique. Nous avons plutôt comparé le CRG à des approches adoptées au Royaume‑Uni, dans les pays de l’Union européenne et aux États‑Unis.

  Les données concernant les coûts des programmes étaient limitées dans les modèles de comparaison internationale. De plus, nous n’avons pu relever de données concluantes établissant un lien entre le rendement de gestion et la réalisation des objectifs organisationnels.

• Validation du modèle logique du CRG : Le modèle logique du CRG a été élaboré après la conception et la mise en œuvre de la méthodologie de cette étude. Ainsi, il n’était pas possible de définir de lien direct entre le CRG et les améliorations du rendement de gestion dans les ministères. En l’absence d’un modèle logique, l’équipe d’évaluation a utilisé les objectifs du CRG communiqués dans la Demande de propositions de la présente évaluation. Même s’il était essentiel dans le contexte d’une évaluation d’inclure l’ébauche du modèle logique dans le présent rapport, cette dernière devrait être validée auprès des intervenants clés.

  Le CRG est un outil de collecte de renseignements utilisé par le SCT pour évaluer le rendement de gestion des ministères. Il s’agit d’un élément essentiel pour s’assurer que les programmes et les services sont fournis dans le respect des normes les plus élevées, de la manière la plus rentable qui soit.

  Les limites sont cependant raisonnables, compte tenu de la nature qualitative et subjective du CRG en tant qu’outil d’évaluation du rendement de gestion. L’équipe d’évaluation a pu répondre aux questions d’évaluation en mobilisant les intervenants pertinents et en vérifiant l’information recueillie sous la forme de nombreux éléments de preuve. Nous estimons donc que les normes d’évaluation définies dans la Politique d’évaluation du CT (2001) ont été suivies.

1.3 Objet du rapport

Le présent rapport a pour objectif de fournir :

• un examen du rendement du CRG jusqu’à ce jour;
• une analyse des enjeux clés, notamment, la gouvernance, la méthodologie d’évaluation, la fiabilité et l’exactitude des évaluations, les exigences en matière de rapports, les systèmes, le processus, le traitement des entités et l’harmonisation avec le cycle de planification et les autres initiatives du gouvernement fédéral; l’analyse comprend des comparaisons internationales avec d’autres modèles de rendement de gestion;
• des recommandations de changements proposés pour le CRG dans le but d’améliorer son opérationnalité et sa viabilité, une fois les principaux enjeux cernés.

1.4 Conclusions

Tel que décrit en détail à la section 3 du rapport, nous avons conclu que le CRG est un succès et qu’il atteint ses objectifs actuels. Le CRG a permis de préciser les attentes de la direction envers les administrateurs généraux, d’orienter l’engagement du SCT auprès des ministères et des organismes et de fournir à la fois une perspective organisationnelle des pratiques de gestion aux ministères et un portrait des tendances pangouvernementales et des enjeux de gestion au SCT.

En outre, nous avons conclu que le CRG est un outil de gestion précieux et pertinent qui doit continuer d’être mis à jour et appuyé. Ainsi, nous constatons que le CRG a sensiblement évolué depuis sa création en 2003 afin d’être à la hauteur des attentes croissantes au sein du secteur public. Une démonstration claire de la responsabilisation est maintenant exigée et pour satisfaire ce critère, une évaluation beaucoup plus rigoureuse a remplacé l’ancienne approche relativement informelle. Selon les résultats de notre comparaison internationale, il est raisonnable de conclure que si le CRG n’avait pas existé, il aurait fallu créer un outil semblable pour satisfaire les exigences croissantes en matière de responsabilisation.

Même si nous n’avons pu tirer de conclusion quant à la rentabilité du CRG en raison des limites imposées par le manque de renseignements sur l’établissement des coûts ou par l’exactitude ou la validité des résultats d’évaluation, nous avons pu conclure que le processus d’évaluation du CRG est solide et que ses résultats traduisent, de façon générale, la réalité des organisations.

Nous avons relevé certains aspects à l’égard desquels des améliorations peuvent être apportées afin d’accroître l’efficacité et l’efficience du processus du CRG et d’améliorer la validité globale des résultats d’évaluation. À l’avenir, le SCT pourrait envisager d’élaborer une approche en matière d’établissement des coûts qui, une fois mise en œuvre, établirait une base de comparaison des coûts pour les années à venir. En outre, il sera essentiel de valider le modèle logique auprès des intervenants clés afin de pouvoir l’utiliser comme fondement de la mesure du rendement futur du CRG.

Enfin, pour que le CRG continue à atteindre ses objectifs et à soutenir les efforts en vue de l’excellence de la gestion, nous avons conclu que le CRG doit poursuivre son évolution à titre d’instrument habilitant en matière de rendement pour les administrateurs généraux. Les recommandations présentées à la section 4.0 appuieront cette transition.

• Page précédente
• Table des matières
• Texte complet
• Page suivante