Évaluation quinquennale du Cadre de responsabilisation de gestion

• Page précédente
• Table des matières
• Texte complet
• Page suivante

4  RECOMMANDATIONS

Comme on a pu le voir à la section précédente, nos principales constatations ont été élaborées en fonction des éléments probants recueillies à partir de nombreux éléments de preuve. Elles ont été consolidées, analysées et résumées dans dix constatations clés. Suivant les résultats obtenus, nous avons pmis au point cinq recommandations donnant suite à nos principales constatations. Ces recommandations appuient l’évolution du CRG à titre d’habilitateur du rendement et dans le maintien de son utilité et de sa viabilité comme outil conçu pour permettre au SCT et aux administrateurs généraux de viser l’excellence en matière de gestion.

L’illustration suivante lie les cinq recommandations clés aux dix principales constatations et aux éléments de preuve utilisés à l’appui de ces constatations.

Figure 7 : Liens entre les recommandations d’évaluation, les principales constatations et les éléments de preuve

Figure 7 - Version textuelle

Figure 7 - Afficher l'image pleine dimension

4.1  Recommandations détaillées

La section qui suit décrit nos recommandations. Elle inclut une description des avantages et des risques liés à leur mise en œuvre. Les réponses des gestionnaires ont été élaborées et elles sont présentées dans un document distinct.

Pour s’assurer que le CRG prenne en considération les indicateurs les plus pertinents pour un organisme donné et qu’il offre des incitatifs suffisants aux membres de la haute direction, nous recommandons au SCT d’envisager la mise en œuvre d’une approche d’évaluation du CRG fondée sur les risques et les priorités. Les approches possibles requérant une analyse approfondie sont expliquées ci‑dessous.

Évaluation fondée sur les risques et les priorités propres à l’organisation : Même si la lettre de contexte remise avec l’évaluation finale à l’administrateur général souligne les priorités, le SCT pourrait, après avoir consulté les ministères et les organismes, déterminer quels indicateurs sont liés aux principaux risques et priorités de cette organisation pour l’année en cours. Cette discussion pourrait avoir lieu lors de la séance d’information sur l’évaluation de la ronde précédente.

Afin de restreindre le temps et les ressources nécessaires pour arriver à un consensus au sujet des indicateurs, il serait aussi possible de grouper les ministères et les organismes (par exemple, par secteur industriel ou selon leur taille) et de déterminer les indicateurs qui devraient être évalués pour le groupe en fonction des risques et des priorités qui leurs sont propres.

Évaluation fondée sur le groupement des indicateurs : Il s’agit de distribuer les indicateurs selon trois catégories : obligatoires, facultatifs et cycliques. Les indicateurs obligatoires (par exemple, le contrôle et la gestion des finances) seraient évalués chaque année pour toutes les organisations. Dans la catégorie facultative, le cycle d’évaluation pourrait dépendre des risques ou des priorités des groupes ministériels (par exemple, par secteur industriel ou selon la taille des organisations). Enfin, la catégorie des indicateurs cycliques pourrait inclure une série d’indicateurs reflétant les priorités gouvernementales actuelles. Ces indicateurs s’appliqueraient selon un cycle préétabli. Moyennant un préavis raisonnable, les catégories d’indicateurs pourraient être modifiées.

Évaluation axée sur les résultats des rondes précédentes : Examen de la précédente note d’évaluation du CRG. En fonction de son rendement et pour certains indicateurs seulement, un ministère ou un organisme ayant obtenu la note « fort » dans la ronde d’évaluation en cours ne serait pas officiellement évalué à la ronde suivante. Il serait exempté de l’évaluation pour une année. Cette approche pourrait aussi être jumelée à une auto‑évaluation des indicateurs exemptés d’évaluation formelle afin de confirmer qu’aucun changement important n’est survenu durant l’année. Un exercice semblable a été tenté au titre de la CG1 lors de la ronde VI.

Évaluation fondée sur la taille du ministère ou de l’organisme : Nous savons que le SCT a déjà appliqué cette approche aux évaluations. Les petits et les très petits organismes sont évalués suivant un cycle triennal et une version « allégée » du CRG. Le SCT pourrait envisager l’élargissement de ce concept en établissant des critères et des exigences de présentation de rapports distincts du CRG pour les petits organismes. Il pourrait, par exemple, accepter une version allégée du CRG afin de diminuer le fardeau administratif disproportionné imposé aux petits organismes dans le cadre de l’approche actuelle d’évaluation du CRG.

Nous croyons que le principal avantage de l’adoption d’une approche fondée sur le risque réside dans son pouvoir d’adaptation aux besoins particuliers des ministères et des organismes. Elle fournit un moyen explicite aux ministères et au SCT d’établir leurs priorités. L’adoption d’une approche fondée sur le risque appuie aussi la réduction des ressources affectées par les ministères et le SCT à la gestion du processus d’évaluation du CRG.

L’utilisation de cette approche comporte aussi deux risques. D’abord, si tous les aspects ne sont pas mesurés à chaque ronde, un enjeu majeur peut être omis ou passé inaperçu. Ensuite, si une approche fondée sur le risque est utilisée, les comparaisons entre organisations peuvent être plus complexes à réaliser.

Même si chacune des CG mesure un aspect de gestion distinct, elles appuient une méthodologie et un cadre global d’évaluation. Nous recommandons qu’un ensemble commun de principes directeurs (règles d’or) soit établi, accepté et appliqué à chacune des CG. Voici quelques exemples de règles d’or qui pourraient être observées :

1. maintenir un équilibre optimal entre les indicateurs quantitatifs et qualitatifs pour chaque CG;
2. élaborer des indicateurs axés sur les résultats et fondés sur le rendement de gestion;
3. tirer profit de l’information disponible grâce à d’autres activités de surveillance qui pourraient appuyer les indicateurs de chaque CG;
4. maintenir la stabilité des indicateurs, un élément crucial à l’évaluation des progrès au fil du temps;
5. assurer la clarté et la transparence des indicateurs, des critères de mesure et de la documentation d’orientation;
6. engager les collectivités fonctionnelles dans un dialogue ouvert sur l’élaboration continue de la méthodologie et des mesures d’évaluation des CG;
7. inclure l’identification et l’évaluation de la conformité aux politiques et du rendement de gestion axé sur les résultats;
8. chercher des moyens de reconnaître l’innovation et offrir des incitatifs pour l’encourager dans les ministères et les organismes.

Les paragraphes suivants expliquent les règles d’or recommandées précédemment.

a) Maintenir un équilibre optimal entre les indicateurs quantitatifs et qualitatifs : Nous recommandons que le SCT révise les éléments de preuve exigés en tenant compte du juste équilibre entre des indicateurs quantitatifs objectifs et des indicateurs qualitatifs subjectifs. Lorsque la subjectivité est nécessaire, des définitions suffisamment élaborées sont nécessaires pour réduire le risque d’application incohérente dans les ministères et les organismes.

b) Élaborer des indicateurs axés sur les résultats et fondés sur le rendement de gestion : Au moment d’évaluer des éléments du rendement de gestion (en comparaison à la conformité aux politiques), des indicateurs axés sur les résultats (plutôt que sur les processus) permettent à une organisation de déterminer si ses pratiques de gestion ont eu une incidence sur la qualité de ses décisions et de ses mesures. Nous recommandons qu’au moment d’examiner les éléments de preuve, il soit envisagé de structurer les indicateurs mesurant le rendement de gestion en fonction des résultats, de manière à représenter plus fidèlement l’incidence des pratiques de gestion. Comme le modèle logique du CRG élaboré par la Direction du CRG met en relief les résultats attendus du CRG, il pourrait être utilisé pour établir ces indicateurs.

c) Tirer profit de l’information disponible : Une fois les indicateurs et les critères de mesure élaborés, les sources d’information utilisées pour l’évaluation par rapport aux indicateurs doivent être établies. Tirer profit de l’information existante au moyen d’autres mécanismes de surveillance à la fois des mécanismes internes des ministères et des organismes et ceux provenant des organismes centraux (par exemple, Bureau du contrôleur général, vérificateur général du Canada) permettrait d’accroître l’efficacité de la production de rapports liés au processus d’évaluation du CRG.

d) Maintenir la stabilité des indicateurs : Une fois l’indicateur élaboré pour une seule CG et le consensus obtenu, les indicateurs doivent idéalement demeurer stables. Il ne faut envisager des changements que si des modifications importantes ont été apportées au contexte de ce secteur de gestion.

e) Assurer la clarté et la transparence des indicateurs, des critères de mesure et de la documentation d’orientation : Si possible, tous les indicateurs, éléments de preuve et critères de mesure doivent être clairs, simples à comprendre et transparents dans un contexte d’évaluation. En respectant la règle d’or a), la clarté et la transparence doivent guider le jugement lorsque la subjectivité est requise dans un indicateur.

Dans le cadre de la méthodologie d’évaluation, nous recommandons qu’une approche de notation cohérente soit élaborée afin de faciliter l’attribution d’une note globale par CG, qui serait conforme à une norme tout en restant flexible. L’application d’une moyenne pondérée viendrait appuyer cet objectif.

Enfin, nous suggérons que le SCT envisage de modifier la terminologie de l’échelle de notation de l’évaluation du CRG. Nos consultations ont révélé que le terme « acceptable » comporte une connotation négative. D’autres termes comme « satisfait aux normes », « à la hauteur des attentes » ou « bien placé » peuvent être pris en considération.

f) Engager les collectivités fonctionnelles dans un dialogue ouvert sur l’élaboration continue de la méthodologie et des mesures d’évaluation des CG. Lorsque, pour des raisons de mise à jour ou d’amélioration, des changements doivent être apportés à la méthodologie et aux mesures des CG, nous recommandons que les intervenants ministériels soient consultées au cours du processus d’élaboration. Le SCT pourrait mettre à profit les collectivités fonctionnelles afin de stimuler un dialogue coopératif et continu, de sorte que les changements répondent aux besoins des intervenants et qu’ils soient acceptés par les ministères et les organismes.

g) Inclure l’identification et l’évaluation de la conformité aux politiques et du rendement de gestion axé sur les résultats : Le CRG doit continuer de mesurer à la fois le rendement de gestion et l’observation des politiques. De plus, nous recommandons que le SCT sépare l’évaluation du rendement de gestion et l’examen de la conformité aux politiques en déterminant quels indicateurs mesurent le rendement et lesquels mesurent la conformité.

Différentes approches pourraient être incorporées afin d’évaluer la conformité aux politiques par rapport au rendement de gestion.

• Les indicateurs de la conformité aux politiques pourraient suivre une approche surtout quantitative fondée sur des éléments probants. En revanche, il pourrait être plus opportun de mesurer le rendement de gestion suivant une auto‑évaluation, des entrevues ou des enquêtes afin de mieux comprendre les indicateurs plus qualitatifs.
• L’information fournie grâce à d’autres mécanismes de surveillance ou de présentation de rapports est plus susceptible d’être utilisée par les indicateurs de la conformité aux politiques. Par exemple, certaines données relatives aux indicateurs de la conformité aux politiques se trouvent dans les rapports de vérification de l’organisation.

h) Reconnaître l’innovation et offrir des incitatifs pour l’encourager : Afin de continuer à stimuler l’innovation et la créativité dans l’administration fédérale, le SCT a la possibilité d’offrir des incitatifs et de reconnaître ces efforts. Diverses approches peuvent permettre d’incorporer l’innovation au CRG :

• Élaboration d’une CG « innovation » : Le SCT pourrait envisager l’ajout d’une CG facultative liée à l’« innovation ». Les ministères et les organismes auraient à présenter des éléments probants à l’appui de leurs efforts en matière d’innovation. Annuellement, l’évaluation de l’innovation pourrait cibler une priorité particulière de l’État, comme par exemple « l’écologisation des opérations ». Une évaluation par rapport aux critères établis pourrait être menée par des membres compétents provenant de groupes externes et de l’administration fédérale. Des prix et des marques de reconnaissance pourraient être décernés aux meilleurs de la catégorie.
• Innovation incorporée aux critères de notation « fort » : L’innovation pourrait être incorporée à titre de composante des critères de notation « fort » pour chaque CG évaluée. Selon les résultats des évaluations du CRG, ceux qui font preuve d’innovation dans une CG selon le nouveau critère de notation pourraient être sélectionnés pour être davantage évalués ou récompensés, tel que précédemment décrit.

L’introduction de règles d’or dans l’évaluation du rendement de gestion profitera aux organisations en précisant les attentes et en accroissant la cohérence des évaluations. En outre, elle profitera au SCT ainsi qu’aux ministères et aux organismes en évaluant avec plus de précision les progrès accomplis et en mettant l’accent sur des secteurs ayant une importance particulière pour l’organisation.

Nous signalons que si des changements devaient être apportés au cadre d’évaluation du rendement, la stabilité à court terme des éléments de preuve pourrait être menacée. De plus, nous notons qu’une quantité importante de ressources est requise afin de simplifier les indicateurs de manière exhaustive et adéquate; cette approche devrait peut‑être être présentée graduellement.

Nous recommandons qu’un comité directeur composé d’administrateurs généraux ou de cadres supérieurs ministériels (par exemple, sous‑ministres adjoints) soit constitué ou encore qu’une tribune existante soit mise à profit. Cet organisme de gouvernance pourrait se prononcer sur les changements apportés au processus du CRG et sur l’utilisation des résultats du CRG afin de guider l’évolution des priorités de gestion.

• Actuellement, une certaine contribution des ministères et des organismes est demandée afin d’élaborer les indicateurs et le processus du CRG. Afin d’accroître l’acceptation du processus d’évaluation, il faut demander l’avis de l’organisme de gouvernance sur l’incidence des indicateurs du CRG sur les organisations touchées.
• Comme les cadres supérieurs des ministères et des organismes sont collectivement responsables des pratiques de gestion adoptées dans l’ensemble de l’administration fédérale, il est possible de faire participer l’organisme de gouvernance afin qu’il examine les résultats d’évaluation (y compris les enjeux horizontaux), qu’il discute de ses répercussions et, en fonction de ces résultats, qu’il se prononce sur les priorités-clés pour l’année à venir.

Un organisme de gouvernance constitué de hauts fonctionnaires des ministères clients profitera au SCT. Il augmentera la probabilité que les changements apportés au CRG soient acceptés et que les ministères et les organismes y donnent suite. L’organisme de gouvernance deviendra un outil de communication supplémentaire à la disposition du SCT. En revanche, l’instauration d’un organisme de gouvernance supplémentaire peut augmenter le temps requis pour parvenir à une entente et la prise de décisions risque d’être retardée.

Nos constatations révèlent que certains éléments centraux du processus du CRG ne sont pas clairement compris par les intervenants des ministères. Cela a une incidence directe sur l’acceptation et la satisfaction à l’égard du processus et de la méthodologie. Il est possible d’accroître l’engagement des intervenants dans les ministères et les organismes grâce à une amélioration de la communication lors de certaines étapes clés du processus d’évaluation du CRG.

Nous recommandons que le SCT envisage l’élaboration d’une stratégie et d’un plan de mobilisation et de communication liés aux rondes d’évaluation du CRG afin d’accroître la visibilité du processus. Cette mesure pourrait combler le manque de communication dans les domaines suivants :

• la classification des indicateurs en deux catégories : conformité aux politiques ou rendement de gestion;
• le processus d’examen et d’assurance de la qualité au SCT ayant lieu avant la publication des résultats d’évaluation provisoires et définitifs;
• le rôle des évaluations du CRG dans le système global de l’administration publique et l’évaluation des administrateurs généraux par le CHF (la communication doit être coordonnée avec le BCP).

Outre les discussions bilatérales directes entre le SCT et les ministères, la stratégie de mobilisation et de communication pourrait aussi s’appuyer sur les tribunes existantes ou sur des collectivités comme celles des dirigeants principaux des finances et des dirigeants principaux de la vérification. L’organisme de gouvernance du CRG, conformément à notre recommandation précédente, pourrait aussi être au cœur de cette stratégie. De plus, la stratégie de communication pourrait aborder la façon d’expliquer aux parlementaires le processus du CRG et les résultats obtenus.

Nous recommandons en outre que lorsque des changements sont apportés à la méthodologie, aux indicateurs ou au processus d’évaluation, la mobilisation des intervenants des ministères et des organismes soit rapide afin de laisser un délai suffisant pour réagir et pour favoriser la présentation de renseignements complets et exacts.

L’élaboration et l’exécution d’un plan et d’une stratégie de mobilisation et de communication profitent au SCT en favorisant une plus grande acceptation du processus du CRG dans les ministères et les organismes. Nous reconnaissons toutefois qu’un tel plan peut augmenter la pression sur le SCT afin qu’il fournisse des comptes rendus en temps opportun, tout en imposant des contraintes supplémentaires entourant les dates limites des communications.

Nous recommandons que le SCT envisage d’accroître le rôle de la Direction du CRG au SCT. Elle serait en charge d’assurer la surveillance et l’intégration horizontale de l’ensemble des CG, aussi bien sur le plan de la méthodologie que des résultats. Ce rôle accru obligerait la Direction du CRG à examiner les indicateurs et les critères par souci de cohérence entre les éléments.

Une fois les résultats du CRG obtenus, nous recommandons que la Direction du CRG collabore avec les responsables des CG ou des indicateurs afin de cerner les enjeux horizontaux (touchant l’ensemble d’un ministère), qu’elle élabore les plans d’action appropriés, qu’elle communique le plan et qu’elle assure le suivi des résultats. La Direction du CRG présenterait des comptes rendus des progrès réalisés aux secrétaires adjoints et au secrétaire délégué.

L’attribution de responsabilités officielles de surveillance de la méthodologie d’évaluation du CRG et de la gestion des enjeux horizontaux comporte plusieurs avantages : un soutien est donné au cadre et, surtout, les intervenants sont tenus responsables des plans d’action.