RECONNAISSANCE

INTRODUCTION

PROFIL DE LA POLITIQUE

STRATÉGIE DE MESURE CONTINUE DU RENDEMENT

STRATÉGIE D'ÉVALUATION -- QUESTIONS

STRATÉGIE D'ÉVALUATION -- COLLECTE DES DONNÉES

STRATÉGIE D'ÉVALUATION -- INDICATEURS DE RENDEMENT

STRATÉGIE DE RAPPORT


 

Centre d'excellence en évaluation
Secrétariat du Conseil du Trésor

Reconnaissance

Ce CGRR a été élaboré par le Centre d'excellence en évaluation, en collaboration avec un Comité de travail interministériel composé de représentants de la communauté de l'évaluation ainsi qu'un Comité consultatif supérieur de l'évaluation. Ce cadre a également été réalisé avec le concours de la firme Hara Associates Inc.

Le nouveau rôle de la fonction d'évaluation prévoit l'intégration des principes de l'évaluation aux pratiques de gestion, de manière à faciliter l'adoption de la gestion axée sur les résultats. Le présent plan stratégique adhère à ces nouveaux principes.

Dans le cadre de ces politiques, le SCT a créé un Centre d'excellence en évaluation et un Centre d'excellence en vérification interne. Les mandats élargis de ces Centres découlent des nouvelles politiques et confient au SCT un rôle en matière de leadership pour leurs collectivités respectives dans toute l'administration fédérale. Créé le 1er avril 2001, le Centre d'excellence en évaluation est dirigé par un directeur principal et compte un effectif de base de 12 ETP. Le Centre achève ses activités de dotation et vient de lancer une série d'activités d'expansion conformément à son mandat.

Introduction

Le 1er avril 2001, le Conseil du Trésor a remplacé l'ancienne politique sur l'examen par deux politiques distinctes, la première traitant de la pratique de l'évaluation dans l'administration fédérale et la seconde, de la vérification. Les deux politiques feront l'objet d'une évaluation intérimaire après 18 mois (à l'automne de 2002) et d'une évaluation intégrale après cinq ans (en 2005 2006).

Parallèlement à la création d'une nouvelle politique d'évaluation (la Politique), le Conseil du Trésor a financé les deux premières années d'un programme proposé de quatre ans appuyant la mise en oeuvre. Les ministères et organismes qui ont soumis des analyses de rentabilisation admissibles reçoivent des ressources supplémentaires pour améliorer leur capacité d'évaluation (financement selon les analyses de rentabilisation). Un Centre d'excellence pour l'évaluation (CEE) a également été mis sur pied pour surveiller et aider à sa mise en oeuvre de la Politique. La somme de 8,6 millions de dollars a été octroyée pour les deux premières années du programme, mais le financement prévu pour les deux autres années dépend de l'évaluation intérimaire qui sera faite de la Politique au cours des deuxième et troisième trimestres de 2002.

Le présent CGRR définit la stratégie qui a été retenue pour l'évaluation, au terme de 18 mois et après 5 ans, de la Politique et de ses dispositions, y compris le financement du Centre d'excellence et des ministères sur la base des analyses de rentabilisation. Le cadre décrit les indicateurs de rendement, les stratégies de collecte des données et de rapport, ainsi que les questions d'évaluation qui serviront à déterminer le degré de progrès et succès au niveau de la mise en oeuvre de la Politique, et la contribution du CEE à cet égard.

Surveillance continue du rendement de la Politique d'évaluation

La version officielle de la Politique s'accompagnait d'un engagement clé en vertu duquel le Secrétariat du Conseil du Trésor (SCT), en collaboration avec ses intervenants, inclurait au présent CGRR une stratégie de mesure permettant d'assurer le suivi du rendement continu de la politique.

Conformément à cet engagement, un système annuel de mesure du rendement est proposé. Ce système incorpore les rôles et responsabilités relatifs au maintien des principaux indicateurs de rendement que devront assumer les ministères ou organismes et les autres partenaires du Conseil du Trésor qui partagent la responsabilité de la mise en oeuvre de la Politique. 

Responsabilité partagée

La responsabilité de la mise en oeuvre de la Politique est partagée entre les différents ministères et organismes, dont les fonctions d'évaluation sont régies par la Politique, ainsi que les organismes centraux, tels que le Conseil du Trésor et le Bureau du Conseil privé, qui doivent assurer un soutien adéquat à la Politique.

Dans ce contexte de responsabilité partagée, il incombe au CEE d'évaluer la Politique et d'assurer la surveillance continue de la fonction. Les ministères et organismes, pour leur part, doivent veiller à exécuter les activités de collecte des données et les auto évaluations qui s'imposent à l'appui de ces efforts.

Le présent document précise donc les rôles et responsabilités précis des ministères, du CEE et d'autres intervenants à cet égard.

Élaboration du CGRR

Conformément à l'esprit de partenariat, le présent CGRR a été élaboré en collaboration avec le Comité consultatif supérieur (CCS) sur l'évaluation et un groupe de travail spécial formé par ce dernier. Les membres du CCS proviennent des ministères et organismes membres de la collectivité de l'évaluation à la fonction publique fédérale. Par ailleurs, des ébauches des principaux éléments du CGRR, dont le modèle de logique, les rôles et responsabilités et les questions liées à l'évaluation, ont également été soumises aux chefs de l'Évaluation lors de la séance de planification stratégique tenue en octobre 2001.


PROFIL DE LA POLITIQUE

Contexte : renouvellement de la fonction d'évaluation

La nouvelle Politique d'évaluation s'inscrit dans un climat de renouvellement de la fonction publique fédérale. « Les politiques révisées de vérification interne et d'évaluation font partie de l'engagement permanent du gouvernement en vue de l'amélioration continue de la gestion et de la responsabilisation » (la ministre Robillard, communiqué du 14 février). Les politiques d'évaluation et de vérification découlent d'examens parallèles qui ont compris des consultations du secteur public et du secteur privé. Les activités améliorées de vérification interne et d'évaluation appuient le programme de gestion qui a été énoncé dans le document cadre intitulé Des résultats pour les Canadiens et les Canadiennes : un cadre de gestion pour le gouvernement du Canada (Secrétariat du Conseil du Trésor, 2000.).

Accent sur l'apport à la gestion axée sur les résultats

La Politique d'évaluation révisée confère à l'évaluation un rôle de premier plan dans le soutien de la gestion axée sur les résultats exercée par les gestionnaires de la fonction publique. L'évaluation peut soutenir les efforts que déploient les gestionnaires pour assurer le suivi du rendement réel et présenter des rapports à son égard tout en contribuant à l'évaluation objective des résultats des programmes ou des politiques que mènent les décideurs. C'est cet élément qui distingue l'évaluation de la vérification interne, une fonction qui donne des assurances relatives à la stratégie de gestion du risque, au cadre de contrôle de la gestion et à l'information financière et non financière d'un ministère ou d'un organisme.

La politique a pour objectif de « faire en sorte que le gouvernement dispose en temps voulu de renseignements stratégiques, objectifs et solides au sujet du rendement de ses politiques, programmes et initiatives, pour produire de meilleurs résultats pour les Canadiens et les Canadiennes.»

Écart reconnu au chapitre de la capacité

À l'instar d'autres secteurs de la fonction publique, la fonction d'évaluation est confrontée aux défis du renouvellement. Le nombre d'employés et les autres ressources affectés aux évaluations ont diminué sensiblement depuis le début des années 90. Il est ressorti d'une enquête administrative menée auprès des principaux ministères et organismes avant l'instauration de la nouvelle Politique que la capacité pourrait atteindre un niveau aussi bas que 56 % du niveau nécessaire pour mettre en oeuvre intégralement les nouvelles exigences (Communicationsinternes). À cela s'ajoute le défi que constitue le vieillissement de la fonction publique et les taux de départ connexes élevés chez les employés chevronnés de l'évaluation.

L'accroissement de la portée du travail exigée par la nouvelle Politique d'évaluation se greffe à cet écart au chapitre de la capacité. Pour tenter de combler cet écart, le Conseil du Trésor a mis sur pied le financement précité, sur la base des analyses de rentabilisation, à l'intention des ministères et organismes admissibles et du Centre d'excellence pour l'évaluation.

Les progrès réalisés en vue de combler l'écart au chapitre de la capacité font partie des grandes questions liées à l'évaluation qui sont abordées dans le présent CGRR.

Tensions exercées par des politiques connexes - Politique sur les paiements de transfert et Politique sur la surveillance active

Un important facteur de l'environnement entourant la Politique de l'évaluation est la tension sur la capacité que d'autres politiques connexes exercent sur la gestion du risque et la gestion axée sur les résultats. Deux politiques ont une incidence particulièrement importante.

Exigences de la politique

La nouvelle Politique, qui est reproduite à l'annexe A, comporte les principales exigences qui suivent :

À cette fin, les chefs de l'Évaluation doivent collaborer avec les gestionnaires pour les aider à améliorer la conception, la prestation et la mesure du rendement.

Toutes les mesures qui précèdent visent à atteindre l'objectif de la politique, qui consiste à « faire en sorte que le gouvernement dispose en temps voulu de renseignements stratégiques, objectifs et solides au sujet du rendement de ses politiques, programmes et initiatives, pour produire de meilleurs résultats pour les Canadiens et les Canadiennes. »

Centre d'excellence pour l'évaluation (CEE)

Le CEE a été créé au sein du Secrétariat du Conseil du Trésor (SCT) afin d'assurer un leadership et d'appuyer mise en oeuvre de la nouvelle politique. Le CEE sert de plaque tournante du leadership de la fonction d'évaluation au gouvernement fédéral. Il lance des initiatives relatives à des défis partagés dans la collectivité, comme la conception d'un cadre des ressources humaines visant les besoins à long terme en matière de recrutement, de formation et de perfectionnement. De plus, il procure du soutien au renforcement de la capacité, à l'amélioration des pratiques et au renforcement de la collectivité de l'évaluation de la fonction publique fédérale.

Voici certaines des activités exécutées par le CEE :

La plupart du temps, le CEE ne participera pas directement à la prestation de la formation, mais pourra jouer un rôle en matière d'élaboration, de partenariat et de coordination ou d'approbation du contenu.

Vous trouverez à l'annexe B un énoncé plus détaillé du rôle stratégique du Centre d'excellence pour l'évaluation du SCT.

Partenariat pour la mise en oeuvre

Tous les intervenants partagent la responsabilité de mettre en oeuvre la Politique d'évaluation. Il s'agit d'un partenariat conclu entre le Secrétariat du Conseil du Trésor et les ministères et organismes. Au sein des ministères, le succès ne repose pas uniquement sur les chefs de l'Évaluation : les cadres supérieurs et les gestionnaires de programmes des ministères ont un rôle à jouer pour veiller à la création d'un environnement propice « permettant aux gestionnaires d'incorporer l'évaluation dans leur travail », où l'évaluation est « utilisée avec d'autres outils de gestion pour améliorer la prise de décisions » (Politique d'évaluation - Exercice efficace de l'évaluation). Au sein du Conseil du Trésor, le CEE et d'autres secteurs du SCT doivent unir leurs efforts pour appuyer la collectivité de l'évaluation et utiliser « les produits d'évaluation pour informer les décideurs au niveau central » (Politique d'évaluation - Exercice efficace de l'évaluation). Enfin, d'autres organismes supérieurs, comme le Bureau du Conseil privé, ont un rôle à jouer afin de veiller à ce que les produits d'évaluation soient utilisés à bon escient. Le tableau 1 décrit les rôles et les responsabilités en matière de mise en oeuvre de la Politique d'évaluation.

Ce partenariat fait aussi partie intégrante des efforts conjoints qui sont déployés pour mettre en oeuvre la surveillance active des programmes, politiques et initiatives par le gouvernement fédéral.

Tableau 1 : Rôles et responsabilités selon la Politique d'évaluation

Ministères et organismes

SCT (et BCP)

Centre d'excellence pour l'évaluation du SCT

Offrir un environnement propice qui :
  • reconnaît les valeurs et met en oeuvre la gestion axée sur les résultats.
  • appuie le maintien de la surveillance continue du rendement à l'égard des politiques, programmes et initiatives, ainsi que des pratiques d'évaluation.
  • reconnaît l'apport des gestionnaires pour la mise en oeuvre de la surveillance du rendement et pour l'apprentissage à partir des bons et des moins bons résultats.
  • se sert de la fonction d'évaluation pour appuyer la prise de décisions stratégiques.
  • fournit des ressources satisfaisantes pour exécuter la portée élargie de la politique et mettre en oeuvre la gestion axée sur les résultats.
  • maintient un effectif d'évaluation objectif et compétent grâce aux activités de maintien en poste, de recrutement et de formation et perfectionnement.
  • incorpore la surveillance du rendement et l'évaluation aux autres systèmes de responsabilisation et d'assurance du rendement.

Mettre en oeuvre la Politique d'évaluation pour :

  • obtenir une structure de surveillance active et de planification aux fins de l'évaluation qui fait participer la haute direction et est intégrée à la prise de décisions stratégiques du ministère ou de l'organisme.
  • intégrer la surveillance continue du rendement aux politiques, aux programmes et aux initiatives.
  • veiller à ce que l'évaluation couvre adéquatement les politiques, programmes et initiatives.
  • offrir des évaluations de bonne qualité et des CGRR conformes aux normes de pratique établies par la politique et par le SCT.
  • améliorer la conception, la mise en oeuvre et la dotation en ressources des programmes, politiques et initiatives grâce à des recommandations opportunes en matière d'évaluation qui peuvent être exécutées.

Travailler en partenariat avec le CEE et d'autres ministères et organismes pour :

  • surveiller activement la santé de la fonction d'évaluation et la mise en oeuvre de la Politique d'évaluation.
  • Créer et maintenir une fonction d'évaluation efficace au sein de la fonction publique.
Offrir un environnement propice qui :
  • se sert des résultats de la surveillance et de l'évaluation du rendement fondés sur les faits pour prendre de décisions (p. ex., présentations au CT, mémoires au Cabinet, budgets).
  • reconnaît la bonne planification pour la surveillance et l'évaluation du rendement dans les présentations et les mémoires.
  • fournit des ressources satisfaisantes pour mettre en oeuvre les exigences de la Politique d'évaluation.
  • assure un régime stratégique conforme aux autres politiques influant sur la fonction d'évaluation.
Rendre compte au Conseil du Trésor, en partenariat avec les ministères et les organismes :
  • de la surveillance de la mise en oeuvre de la politique et des rapports à cet égard.
  • de la surveillance de la santé de la fonction d'évaluation et des rapports à cet égard.
  • de l'assurance du leadership de la fonction d'évaluation.
  • de la prestation de conseils au CT sur des questions liées à l'évaluation.

Agir comme défenseur de la collectivité de l'évaluation de la fonction publique :

  • en conseillant le SCT, le BCP et les autres organismes centraux concernant la cohérence de la vision et de l'approche entre les autres politiques et la Politique d'évaluation.
  • en communiquant aux cadres supérieurs des ministères la Politique d'évaluation et le rôle de l'évaluation dans le cadre de la gestion moderne.
  • en communiquant au Parlement et aux Canadiens les valeurs et les contributions de l'évaluation.
  • en évaluant les exigences en ressources et en faisant des présentations à cet égard.

Renforcer la capacité d'évaluation des ministères et des organismes:

  • en fournissant des outils, guides, pratiques exemplaires, politiques et conseils.
  • en élaborant un cadre des ressources humaines axé sur la collectivité, ce qui comprend la formation et la certification, les profils des compétences et une stratégie des ressources humaines.
  • en favorisant une collectivité de l'évaluation informée axée sur la collaboration grâce aux consultations, ateliers, séances d'information, événements et autres activités de réseautage.

Des activités aux résultats

Activités et intrants

La figure 1 illustre comment la Politique d'évaluation devrait réaliser les résultats escomptés. Les ministères et organismes ainsi que le SCT exécutent cinq genres d'activités par l'entremise du Centre d'excellence :

Résultats immédiats

La dotation en ressources, la formation et le perfectionnement devraient donner lieu à un effectif d'évaluation compétent et assurer une capacité adéquate pour exécuter les travaux nécessaires. Les produits de la facilitation, comme les guides, les outils et le partage d'information, devraient entraîner de meilleures pratiques d'évaluation. Grâce à une planification améliorée, l'évaluation sera utilisée de manière plus stratégique à l'intérieur des ministères et à l'échelle du gouvernement et elle sera mieux intégrée à la planification, à la conception et à la gestion ainsi qu'aux besoins en matière de responsabilisation des programmes, des politiques et des initiatives. Les études et les rapports d'évaluation devraient fournir en temps voulu des rapports crédibles fondés sur les faits.

Modèle Logique de la Politique D'Évaluation du CT

Résultats intermédiaires

Un effectif d'évaluation compétent doté d'une capacité adéquate, s'accompagnant de meilleures pratiques d'évaluation intégrées aux travaux des gestionnaires et produisant en temps voulu des rapports crédibles fondés sur les faits, devrait donner lieu aux résultats suivants :

Résultat final

Une meilleure utilisation des résultats fondés sur les faits dans le cadre de la prise de décisions et l'amélioration des programmes, des politiques et des pratiques se solderont par de meilleurs résultats pour les Canadiens et les Canadiennes, une meilleure reddition de comptes au Parlement et une utilisation plus efficace des ressources.


STRATÉGIE DE MESURE CONTINUE DU RENDEMENT

À la décision de mettre en oeuvre la nouvelle Politique se rattache l'exigence du Conseil du Trésor d'élaborer, en collaboration avec les intervenants, une stratégie de mesure continue du rendement.

Une série de mesures centrales du rendement est proposée aux fins de la surveillance annuelle. Les efforts ponctuels de collecte des données dans le cadre des évaluations après 18 mois et après 5 ans (dont il a sera question dans les sections qui suivent) se grefferont à ces mesures.

Responsabilité partagée

La stratégie de surveillance doit être mise en oeuvre conjointement par les ministères et par le Centre d'excellence. Les rôles de chaque organisation sont énoncés ci après. Bien que certains efforts doivent être déployés, il est évident que l'exactitude des rapports sur la santé de la fonction d'évaluation intéressera tous les intervenants et qu'ils en tireront profit. À titre d'exemple, les résultats préliminaires aideront le SCT à déterminer s'il doit continuer de fournir le financement selon les analyses de rentabilisation pour deux années de plus (2003 2004 et 2004 2005).

Rôle des ministères dans la mesure continue du rendement de la politique

L'incidence de la politique se fera surtout sentir dans les ministères et organismes. Il convient d'évaluer le progrès d'une manière qui respecte :

Collecte des données de base - quatrième trimestre de 2001 2002

À titre d'étape initiale de l'élaboration des données de base, les ministères seront priés de répondre à un sondage sur les données de base que le CEE mènera au cours du quatrième trimestre de 2001 2002. Ce sondage permettra de recueillir les renseignements de base qui seront disponibles pour les exercices 2000 2001 et 2001 2002 ou devraient l'être. Le premier sondage est proposé pour les motifs suivants :

Processus annuel

La Politique d'évaluation exige des ministères qu'ils élaborent un « plan axé sur la stratégie » aux fins de l'évaluation, ce que la plupart ont déjà fait. Les chefs de l'Évaluation doivent faire parvenir ces plans chaque année au CEE (lorsqu'ils auront franchi le processus d'approbation ministériel). Il est proposé que :

La chronologie des événements proposée pour 2001 2002 et 2002 2003 est reproduite ci après. Les principaux événements pour l'évaluation après 18 mois y sont également indiqués. La collecte de données et l'analyse préliminaire découlant de l'évaluation après 18 mois devraient être achevées avant la réunion de planification stratégique des chefs de l'Évaluation qui doit avoir lieu à l'automne 2002.

Chronologie Initiale

Engagement concernant l'analyse de l'écart

La capacité d'évaluation de nombreux ministères n'est pas la même, et il est reconnu que la fonction d'évaluation au gouvernement traverse une période de renouvellement. Il est également reconnu que la nouvelle Politique élargit la portée des activités d'évaluation de sorte qu'elles englobent l'évaluation des politiques, des initiatives et des programmes partagés. De même, la nouvelle Politique du Conseil du Trésor sur les paiements de transfert, qui exige la mise en place de CGRR à l'égard des programmes de subventions et de contributions, se répercute sur la charge de travail et la capacité dans un avenir rapproché ainsi que sur les activités d'évaluation qui suivront.

Par conséquent, la section sur le rapport d'étape dans le plan d'évaluation comportera une évaluation continue des progrès réalisés en vue de combler l'écart entre la capacité actuelle et la capacité requise pour mettre en oeuvre intégralement la politique. Les défis courants seront également abordés, de même que les chronologies éventuelles permettant de fermer cet écart.

Lorsque les ministères effectueront cette évaluation, ils pourront s'inspirer des analyses des écarts qui ont déjà été fournies au Secrétariat du Conseil du Trésor dans le cadre des sondages antérieurs et des demandes de financement précédentes.

Indicateurs ministériels aux fins de la surveillance permanente

Les indicateurs qui suivent sont proposés aux fins de l'inclusion dans la section des plans d'évaluation des ministères portant sur les rapports d'étape; ils feront également l'objet d'une révision annuelle. Lorsque le ministère n'a pas la capacité de produire les indicateurs proposés, il présentera des rapports sur les plans et les chronologies en vue de la mise au point de cette capacité ou il fournira une évaluation qui explique pourquoi une telle capacité n'est pas nécessaire ou possible pour l'instant. Lors des révisions annuelles de la section portant sur les rapports d'étape, les changements apportés aux indicateurs et le niveau de réussite atteint pour respecter les délais antérieurs seront résumés succinctement. Des indicateurs sont proposés dans les secteurs suivants, indicateurs qui feront l'objet d'une ligne directrice du CEE fournissant des précisions sur chacun :

Une liste des indicateurs susmentionnés, donnant le titre du document et le programme, la politique ou l'initiative pertinents sera fournie ou ajoutée en annexe. Les extrants importants dont il n'a pas été question ci dessus pourraient être abordés dans la section du compte rendu sommaire décrite ci après.

Les recommandations modifiant des programmes, des politiques ou des initiatives, la validation entraînant dans une large mesure la reconduction ou la prorogation des mandats ou les améliorations et les réalisations au chapitre de la mise en oeuvre de la surveillance continue du rendement sont autant d'exemples d'incidences.

On s'attend à ce que le pourcentage soit mesuré en fonction de la valeur pécuniaire des dépenses des programmes et des subventions et contributions. Vu l'absence de cadre permettant d'énumérer la totalité des politiques et des initiatives dans de nombreux ministères, il faut s'attendre à ce que les indicateurs en pourcentage soient approximatifs.

Les indicateurs qui précèdent seraient accompagnés d'un énoncé sur les attentes quant au moment où les arriérés devraient être rattrapés et quant à la manière de les rattraper et(ou) sur les prévisions futures de l'arriéré selon les conditions actuelles. Les ministères voudront vraisemblablement traiter à cette rubrique de l'incidence de la Politique sur les paiements de transfert sur les exigences du CGRR et sur les exigences des évaluations futures.

Les ministères peuvent souhaiter ajouter un énoncé établissant un lien entre l'évaluation des ressources et les attentes quant au moment où les arriérés évalués seront rattrapés.

Certains ministères et organismes ne sont pas dotés d'un cadre leur permettant d'évaluer la mesure dans laquelle les programmes, les politiques et les initiatives sont visés par les travaux d'évaluation ou par la surveillance continue du rendement. Si tel est le cas, on prévoit que des rapports d'étape initiaux et des plans aborderont la question des échéanciers et des jalons en vue de la mise en oeuvre de ce cadre. Par ailleurs, il est tenu compte du fait que les rapports des petits et des grands ministères n'ont pas tous le même degré d'organisation ni le même caractère officiel.

Rôle du CEE en matière de mesure continue du rendement de la Politique

Récapitulation des évaluations des ministères et des organismes dans les plans d'évaluation

Le Centre d'excellence pour l'évaluation mènera une évaluation annuelle de la santé de la fonction d'évaluation et de la mise en oeuvre de la Politique d'évaluation. Un des principaux intrants de cette évaluation sera une récapitulation des évaluations dans les révisions annuelles que les ministères et organismes apportent à leurs plans d'évaluation. À cette activité s'ajouteront les activités mêmes du CEE au chapitre de l'examen de la qualité des produits d'évaluation et de l'examen des plans d'évaluation des ministères.

Le rapport annuel du CEE traitera des points suivants :

Pour surveiller le rendement dans ces secteurs, le CEE appliquera la série d'indicateurs principaux du rendement qui est reproduite au tableau 2.

Surveillance des propres activités du CEE

Dans le rapport annuel, le CEE fera également état de son propre rendement et de ses réalisations en vue d'appuyer la fonction d'évaluation et de faciliter la mise en oeuvre de la Politique d'évaluation. Ce rapport comportera notamment une évaluation de la contribution du CEE :

Tableau 2
Principaux indicateurs du rendement pour la surveillance
par le CEE de la mise en oeuvre de la Politique
et de la santé de la fonction d'évaluation

Infrastructure et capacité actuelles.
  • Fréquence des réunions du comité d'évaluation et niveau de la personne assumant la présidence.
  • Degré de participation du comité d'évaluation aux plans d'évaluation (planification, approbation, examen et approbation d'études d'évaluation individuelles).
  • Qualité des plans d'évaluation (liés aux priorités du ministère et du gouvernement, orientés de manière stratégique, fondés sur l'évaluation du risque).
  • Nombre d'ETP consacrés actuellement à la fonction d'évaluation, par groupe et niveau.
  • Taille des budgets de consultation.

Extrants et réalisations de la fonction d'évaluation.

  • Nombre de rapports d'évaluation achevés.
  • Nombre de CGRR achevés.
  • Nombre d'études de mesure du rendement.
  • A Évaluation des extrants et des réalisations par rapport à ceux des années antérieures (qualitative).

Qualité des évaluations.

  • Degré de respect des normes liées à la politique (p. ex., pratiques de consultation, recommandations pouvant faire l'objet de mesures, etc.).
  • Respect des délais.
  • Proportion fournissant des rapports équilibrés.
  • Degré moyen de crédibilité des résultats.

Progrès réalisés au chapitre de la surveillance continue du rendement.

  • Proportion de plans d'évaluation signalant la réalisation d'une surveillance continue satisfaisante du rendement au sein des ministères.
  • Proportion des plans signalant un environnement propice et des progrès réels réalisés en matière d'amélioration de la surveillance continue du rendement.

Évaluation des arriérés.

  • Proportion de ministères signalant d'importants arriérés de travaux requis, d'évaluations et de CGRR.
  • Proportion de ministères prévoyant d'importants arriérés.
  • Évaluation qualitative du degré de risques des ministères qui n'ont pas été pris en compte.

Évaluation de l'écart au chapitre des ressources.

  • Déficit ou excédent prévu au chapitre des ETP.
  • Nombre de ministères signalant des améliorations des bureaux et l'expérience satisfaisante par rapport aux exigences moyennes.
  • Déficit ou excédent prévu au chapitre des ressources totales.
  • Changement au chapitre des ressources depuis la mise en oeuvre de la nouvelle politique.

Lors des activités de communication et de réseautage qu'il mènera pour surveiller son propre rendement, le CEE :

L'efficacité de l'ensemble des activités du CEE sera évaluée par l'entremise de consultations des intervenants et des clients lors des évaluations après 18 mois et après 5 ans (voir la Section 4, ci dessous).


STRATÉGIE D'ÉVALUATION - QUESTIONS

Dix questions ont été établies aux fins de l'évaluation. Elles sont reproduites au tableau 3, chacune étant accompagnée de sous questions. Le texte qui suit résume chaque question et sous question. Les indicateurs du rendement servant à répondre aux questions et les activités de collecte des données qui s'y rattachent sont abordés dans d'autres sections.

Les dix questions sont classées A à J et groupées selon le Succès, la Rentabilité et le Maintien de la pertinence. Les sous questions de chaque rubrique passent des questions orientées sur les « extrants » aux questions plus difficiles à évaluer concernant l'atteinte des « résultats escomptés ».

La structure des questions permet également de traiter de la mesure dans laquelle chaque partenaire ou acteur de la mise en oeuvre de la Politique s'est bien acquitté de son rôle. Des questions d'évaluation distinctes traitent du rôle de la fonction d'évaluation à l'intérieur des ministères, du rôle de la haute direction, du rôle des gestionnaires chargés de programmes, de politiques et d'initiatives, du CEE, ainsi que du rôle des autres directions du SCT.

Questions liées au progrès et au succès

A. Les ministères ont ils mis en oeuvre la politique?

Cette question cherche à savoir si les caractéristiques fondamentales de la Politique ont été instaurées, depuis le plus grand champ d'application des évaluations et des CGRR à la création d'un comité d'évaluation efficace en passant par l'établissement d'un plan d'évaluation stratégique. La mise en place d'un champ d'application adéquat des politiques, programmes et initiatives est jugée dans le contexte des ressources mises à la disposition de la fonction d'évaluation; ce point est abordé à la question C.

Tableau 3 :
Sommaire des questions relatives à la Politique d'évaluation

QUESTIONS LIÉES AU PROGRÈS ET AU SUCCÈS

A. LES MINISTÈRES ONT ILS MIS EN OEUVRE LA POLITIQUE?

  1. Les ministères ont ils élargi la portée de l'évaluation au delà des secteurs traditionnels?
  2. Un comité de l'évaluation efficace ou un autre processus interne contribuant à l'établissement des priorités ministérielles, à la planification et à la prise de décisions existe t il?
  3. Un plan d'évaluation stratégique efficace avec suivi existe t il? La capacité à l'appui de cette planification a t elle été établie?
  4. Les CGRR et les évaluations couvrent ils de manière satisfaisante les programmes, politiques et initiatives des ministères?

B. LES MINISTÈRES ONT ILS RÉALISÉ DES PROGRÈS AU CHAPITRE DE LA MISE EN OEUVRE DE LA MESURE CONTINUE DU RENDEMENT?

  1. La capacité ou le cadre existe t il pour évaluer le degré de mise en place de la mesure du rendement?
  2. Des systèmes de mesure continue du rendement sont ils en place pour les programmes, politiques et initiatives qui sont intégrés aux CGRR?
  3. La fonction d'évaluation a t elle contribué à l'élaboration de la surveillance continue du rendement?
  4. Les environnements des ministères et organismes sont ils propices à l'élaboration de systèmes de surveillance continue du rendement?
  5. Des données sur le rendement sont elles produites et utilisées?

C. LES MINISTÈRES ONT ILS PU FOURNIR UNE CAPACITÉ SATISFAISANTE D'ÉVALUATION?

  1. Les ministères ont ils pu augmenter le nombre d'employés compétents au sein de la fonction d'évaluation ou ailleurs dans l'organisation?
  2. Les écarts déjà identifiés au chapitre des ressources ont ils été comblés?
  3. Le progrès réalisé au chapitre de la capacité est il satisfaisant par rapport aux ressources disponibles? Un écart pertinent à ce chapitre continue t il d'exister?
  4. Un changement des niveaux de ressources permettrait il d'optimiser davantage les ressources?

D. LE CEE A T IL FOURNI UN ENVIRONNEMENT PROPICE?

  1. Le CEE a t il fourni les outils, événements, conseils et autres éléments de soutien d'un environnement propice à l'évaluation?
  2. Le CEE a t il atteint ses objectifs en matière de stratégie de développement de la collectivité?
  3. Un cadre satisfaisant de formation et de certification des évaluateurs existe t il?
  4. Le CEE a t il mis en oeuvre un système de surveillance?
  5. Le CEE a t il présenté aux organismes supérieurs des rapports efficaces sur les résultats et les conclusions des systèmes de surveillance?
  6. Le CEE a t il bien défendu la collectivité de l'évaluation dans la fonction publique?

E. LA FONCTION D'ÉVALUATION PRODUIT ELLE DES COMMENTAIRES OPPORTUNS ET EFFICACES INTÉGRÉS À LA PRISE DE DÉCISIONS DES MINISTÈRES?

  1. Les systèmes de surveillance du rendement des ministères utilisent ils efficacement les études d'évaluation et les appuient ils?
  2. La qualité des rapports est elle acceptable? Des améliorations ont elles été constatées? Dans quelle mesure la fonction d'évaluation a t elle réussi à identifier les éventuelles améliorations des programmes, politiques et initiatives?
  3. Les recommandations sont elles produites à temps?
  4. Dans quelle mesure la nouvelle Politique d'évaluation a t elle contribué à ce qui précède?

F. LES MINISTÈRES ONT ILS AMÉLIORÉ L'UTILISATION QU'ILS FONT DES RÉSULTATS DE L'ÉVALUATION POUR LA PRISE DE DÉCISIONS?

  1. La haute direction a t elle confiance en la fonction d'évaluation améliorée?
  2. Dans quelle mesure les cadres supérieurs ont ils adhéré à la Politique d'évaluation révisée?
  3. Dans quelle mesure un environnement ministériel propice a t il été établi aux fins de la gestion axée sur les résultats et de l'évaluation?
  4. Existe t il un processus décisionnel bien rodé dans les ministères et organismes permettant de donner suite aux recommandations de l'étude d'évaluation?
  5. Un suivi est il exercé sur la mise en oeuvre des recommandations acceptées? La haute direction y participe t elle?
  6. La fonction d'évaluation est elle bien utilisée? Dans quelle mesure la haute direction du ministère participe t elle à l'établissement des priorités d'évaluation?
  7. Dans quelle mesure les résultats de l'évaluation ont ils été utilisés dans la prise de décisions stratégiques du ministère? Une amélioration a t elle été constatée?

G. LA POLITIQUE D'ÉVALUATION A T ELLE CONTRIBUÉ À AMÉLIORER LA MISE EN OEUVRE DE LA CONCEPTION ET LA DOTATION EN RESSOURCES DES PROGRAMMES, POLITIQUES ET INITIATIVES DU MINISTÈRE OU DE L'ORGANISME?

  1. Dans quelle mesure les gestionnaires de programmes ont ils adhéré à la Politique d'évaluation révisée?
  2. Les gestionnaires de programmes se sentent ils en sécurité lorsqu'ils exécutent et mettent en oeuvre la surveillance objective et l'évaluation?
  3. Dans quelle mesure les programmes, politiques et initiatives ont ils été améliorés par les constatations et les recommandations des évaluations?

H. LES ORGANISMES SUPÉRIEURS (SCT, BCP) UTILISENT ILS LES RÉSULTATS DE L'ÉVALUATION ET DE LA SURVEILLANCE DU RENDEMENT POUR PRENDRE DES DÉCISIONS?

  1. Les systèmes de rapports parlementaires appuient ils et encouragent ils l'utilisation des CGRR, les mesures du rendement et l'évaluation?
  2. Des CGRR, des mesures du rendement et des résultats d'évaluation de bonne qualité pouvant être mis en oeuvre sont ils requis ou reconnus à l'appui de présentations aux organismes supérieurs?
  3. Les engagements à fournir des CGRR et des mesures du rendement font ils l'objet d'un suivi?
  4. Les résultats du rendement et les constatations des évaluations sont ils utilisés pour prendre des décisions concernant des présentations au CT, des mémoires au Cabinet et d'autres décisions?
  5. Les organismes supérieurs ont ils fourni un régime de politiques cohérent qui tient compte de l'incidence des autres politiques sur la fonction d'évaluation?

RENTABILITÉ

I. LA POLITIQUE D'ÉVALUATION EST ELLE RENTABLE?

  1. La fonction d'évaluation pourrait elle être offerte de manière plus rentable?
  2. Le CEE a t il optimisé les ressources?
  3. Existe t il d'autres méthodes d'organisation de la prestation de la Politique d'évaluation?

MAINTIEN DE LA PERTINENCE

J. FAUT IL APPORTER D'AUTRES CHANGEMENTS À LA POLITIQUE OU À SA MISE EN OEUVRE?

  1. La fonction d'évaluation procure t elle des résultats pour les Canadiens et les Canadiennes?
  2. Existe t il de meilleurs moyens d'offrir la fonction d'évaluation au gouvernement fédéral?
  3. Des améliorations peuvent elles être apportées à la Politique d'évaluation?

B. Les ministères ont ils réalisé des progrès au chapitre de la mise en oeuvre de la mesure continue du rendement?

Les questions de mesure du rendement sont discutées séparément dans le cadre de l'évaluation parce que l'accent est placé sur la mesure continue dans la nouvelle Politique d'évaluation. Ce point commence par la question la plus élémentaire, à savoir si les ministères possèdent des connaissances et un contrôle suffisants de la mesure du rendement qui leur permettront d'évaluer l'étendue des progrès réalisés. Les résultats varient d'un ministère à l'autre. Dans le cas des ministères possédant cette capacité de base, les questions traitent des niveaux de réalisation dans l'ordre, en commençant par la surveillance du rendement des opérations, intégrée au CGRR, et en terminant par la production et l'utilisation effectives de données sur le rendement. Les facteurs contributifs à évaluer sont l'environnement propice fourni par les ministères et le rôle de la fonction d'évaluation elle même en vue de l'exécution de la surveillance continue du rendement.

Ici également, le progrès doit être jugé dans le contexte des ressources réelles qui sont mises à la disposition de l'évaluation.

C. Les ministères ont ils pu fournir une capacité satisfaisante d'évaluation?

Il s'agit d'une importante question à l'égard de laquelle les ministères et le Conseil du Trésor assument une responsabilité conjointe. Elle traite des résultats immédiats prévus par la Politique, à savoir un effectif d'évaluation compétent et une capacité satisfaisante. La mesure des écarts au chapitre de la capacité commence par des augmentations du personnel et d'autres mesures que les ministères peuvent devoir prendre pour renforcer la capacité. À cette fin, les analyses des écarts à intégrer aux plans annuels d'évaluation des ministères sont très utiles.

Jumelé aux questions A et B, ce point met l'accent sur la question de savoir si des progrès satisfaisants ont été réalisés par rapport aux ressources fournies. Bien que le SCT ait consacré 8,6 millions de dollars à titre de financement selon les analyses de rentabilisation, les besoins réels qui ont été identifiés avant le sondage sur la politique dépassaient de beaucoup cette somme. Il est aussi important de se demander si le financement actuel sur deux ans selon les analyses de rentabilisation permet d'optimiser les ressources. C'est à cette rubrique que sera abordée la question du financement selon les analyses de rentabilisation des troisième et quatrième années.

D. Le CEE a t il fourni un environnement propice?

Le rôle même du CEE est examiné à cette question. Les sous questions commencent par les extrants comme les outils et les événements, puis passent aux questions plus vastes des initiatives de développement de la collectivité et de ressources humaines. Le CEE doit aussi mettre en place un système de surveillance de la politique (en commençant par le présent CGRR). Enfin, on peut se demander si les rôles plus vastes comme conseiller le SCT et se faire le défenseur des intérêts de la collectivité de l'évaluation ont été exécutés. Cette question traite de la contribution du CEE aux résultats immédiats visés par la Politique, à savoir les pratiques d'évaluation améliorées, l'effectif d'évaluation compétent et la capacité satisfaisante.

E. La fonction d'évaluation produit elle un entendement opportun et efficace intégré à la prise de décisions des ministères?

Cette question porte sur la qualité du travail exécuté par la fonction d'évaluation conformément à la nouvelle Politique. Elle traite des résultats immédiats, à savoir les rapports fondés sur les faits et les rapports crédibles en temps voulu. La question des évaluations de bonne qualité se distingue de celle de savoir si les ministères les utilisent à bon escient, qui est abordée aux questions F et G qui suivent.

F. Les ministères ont ils amélioré l'utilisation qu'ils font des résultats de l'évaluation pour la prise de décisions stratégiques?

Cette question traite du résultat intermédiaire visé par la Politique, à savoir l'utilisation améliorée des résultats pour la prise de décisions par les ministères et du résultat final, c'est à dire une meilleure reddition de comptes au Parlement. L'évaluation commence par l'examen des conditions préalables de l'amélioration de l'utilisation, la confiance accrue de la haute direction dans la fonction et la structure capable de diriger les évaluations et de traiter et d'utiliser les résultats obtenus. La dernière question est de savoir si les résultats de l'évaluation ont été utilisés efficacement.

G. La politique d'évaluation a t elle contribué à améliorer la mise en oeuvre de la conception et la dotation en ressources des programmes, politiques et initiatives du ministère ou de l'organisme?

Cette question traite du résultat intermédiaire visé par la Politique, à savoir l'amélioration de la conception, de la mise en oeuvre et de la dotation en ressources des programmes, politiques et initiatives et des résultats finaux, c'est à dire de meilleurs résultats pour les Canadiens et les Canadiennes et une utilisation plus efficace des ressources. De nouveau, l'évaluation commence par l'examen des conditions préalables importantes, à savoir si les gestionnaires appuient la nouvelle politique et se sentent à l'aise d'y collaborer. La dernière sous question traite des résultats réels.

H. Les organismes supérieurs (SCT, BCP) utilisent ils les résultats de l'évaluation et de la surveillance du rendement pour prendre des décisions?

Cette question cherche à savoir si le SCT (et le BCP, le cas échéant) s'acquitte de son propre rôle prévu à la politique, c'est à dire « en utilisant les produits d'évaluation pour informer les décideurs au niveau central ». Lors des consultations ayant entouré ce CGRR, de nombreuses parties ont fait constater que, si les CGRR et les constatations de l'évaluation ne touchent pas les décisions relatives au financement et aux politiques prises au niveau central, alors les ministères et organismes ne seront pas aussi motivés à mettre en oeuvre intégralement la Politique d'évaluation.

Questions liées à la rentabilité et au maintien de la pertinence

I. La politique d'évaluation est elle rentable?

Les éventuelles économies de coûts et les autres méthodes seront examinées ici et découleront de l'analyse des questions antérieures. L'optimisation des ressources par le CEE sera aussi évaluée, en fonction des résultats de l'analyse du succès que les activités du CEE ont connu pour la question E ci dessus.

J. Faut il apporter d'autres changements à la politique ou à sa mise en oeuvre?

Cette question sommative évalue le succès de la Politique et de sa mise en oeuvre et propose d'éventuels changements.

Rôle des évaluations après 18 mois et 5 ans

Habituellement, on répond aux questions formatives sur les extrants d'un programme, d'une politique ou d'une initiative dans l'évaluation intérimaire et aux questions sommatives sur le succès du programme dans l'évaluation finale.

Toutefois, dans le cas de la Politique d'évaluation, il importe d'accorder de l'attention à toutes les questions énumérées ci dessus lors de l'évaluation après 18 mois, même si les résultats risquent de ne pas être concluants. Les consultations menées auprès de représentants des ministères et des organismes ont fait ressortir deux motifs pour expliquer ce qui précède :


STRATÉGIE D'ÉVALUATION - COLLECTE DE DONNÉES

Au centre de la stratégie de collecte des données se trouve la surveillance annuelle du rendement par l'entremise des plans d'évaluation stratégique des ministères dont il a été question à la section 2. La présente section traite des activités supplémentaires de collecte des données qui se rapportent aux études d'évaluation après 18 mois et 5 ans. Le tableau 4 à la fin de la section résume les activités de collecte des données, leur fréquence et l'entité responsable de les exécuter.

Liste des bénéficiaires du financement selon les analyses de rentabilisation

Un grand nombre de ministères et d'organismes reçoivent des crédits supplémentaires au titre de l'évaluation par l'entremise du programme d'analyse de rentabilisation des ressources requises pour l'évaluation qui est administré par le SCT. Les participants ont reçu un financement pour les deux premières années du programme de quatre ans. Le financement pour les troisième et quatrième années dépend des résultats de l'étude d'évaluation intérimaire faite après 18 mois. Les participants constituent une source principale de données pour les évaluations après 18 mois et après 5 ans.

Renseignements de base existants

Il existe deux sources principales de renseignements de base sur l'évaluation de la capacité et des écarts :

Collecte de données après 18 mois

Une période de 18 mois ne saurait suffire pour mettre en oeuvre intégralement la Politique d'évaluation ou en évaluer l'incidence. Toutefois, puisqu'il est nécessaire de déterminer si le financement selon les analyses de rentabilisation doit être prorogé pour une troisième et une quatrième années, il faut effectuer une analyse préliminaire de ce qui suit :

Les activités de collecte des données après 18 mois porteront sur le progrès réalisé lors des étapes initiales de mise en oeuvre, par exemple la constitution d'une fonction d'évaluation qui rend des comptes, l'expansion de la portée de l'évaluation et le rétrécissement des écarts au chapitre de la capacité. D'importants efforts devront également être déployés pour étendre les données de base pour des indicateurs tels que le degré actuel de satisfaction des administrateurs généraux à l'égard de la fonction d'évaluation. Les activités de collecte des données sont expliquées ci après.

Collecte de données de base et plans d'évaluation des ministères

Comme il a été question au sujet de la chronologie à la rubrique Surveillance du rendement, un exercice préliminaire de collecte de données de base sera mené au premier trimestre de 2002 2003, et les mêmes données sur le rendement seront recueillies en permanence dans les plans d'évaluation ministériels ultérieurs. La section proposée sur la surveillance commune des plans eux-mêmes devrait à tout le moins comporter une rétrospective qualitative sur les changements et les améliorations par rapport à l'année antérieure. De plus, les analyses des écarts peuvent être comparées au sondage antérieur sur la capacité d'évaluation, dans le cas des ministères qui y ont participé.

Rapports d'étape sur l'analyse de rentabilisation et présentation de ceux-ci

Les bénéficiaires de financement selon les analyses de rentabilisation seront priés de fournir un rapport d'étape à l'appui de la poursuite du financement pour les deux dernières années du programme. Ces rapports devront comparer le progrès à l'analyse des écarts et aux jalons qui ont été proposés initialement. On tiendra dûment compte du fait que le financement reçu par la plupart des ministères et organismes est considérablement inférieur à celui qu'ils avaient demandé et que cela influera en conséquence sur les progrès escomptés. Les ministères et organismes signaleront ce qu'ils ont réussi à accomplir grâce à leurs propres ressources et aux fonds qui leur ont été remis par suite de l'analyse de rentabilisation.

On prévoit que le contenu des plans d'évaluation stratégique de quelques ministères et organismes traiteront également de tous ou presque tous les renseignements que doit contenir un rapport d'étape. Le cas échéant, les ministères et organismes pourront accompagner le plan d'une courte lettre ou d'un court document contenant des renseignements supplémentaires.

Évaluation d'un échantillon de rapports d'évaluation

Les ministères et organismes soumettent au CEE des rapports d'évaluation complets. On prévoit prélever un échantillon aléatoire de 30 rapports d'évaluation afin d'obtenir des données de base sur la qualité de la pratique pour l'évaluation après 18 mois, puis effectuer un suivi pour évaluer le progrès lors de l'évaluation après 5 ans. L'évaluation des rapports portera sur le degré de conformité aux normes de pratique, sur la spécificité des recommandations, etc. Pour connaître l'état des recommandations dans les ministères, des entrevues téléphoniques seront menées avec la fonction d'évaluation du ministère, le gestionnaire de programmes et l'agent de portefeuille au SCT. L'analyse traitera également de l'existence de systèmes de surveillance continue du rendement du ministère ou de l'organisme pouvant être intégrés à l'évaluation.

Cet exercice devrait être repris la cinquième année de la mise en oeuvre pour évaluer les améliorations relatives de la qualité de la pratique.

Retraite annuelle et séance de planification stratégique - Chefs de l'Évaluation

Les chefs de l'Évaluation sont parmi les mieux informés sur le progrès et les défis se rapportant à la mise en oeuvre de la Politique. La retraite annuelle de planification stratégique est l'occasion par excellence de vérifier auprès de la collectivité pour connaître l'état des enjeux liées à l'évaluation. La retraite d'automne coïncide à peu près à l'examen après 18 mois. Les progrès de la politique et l'état de l'évaluation seront abordés dans le cadre de séances plénières et de groupes de travail.

Études de cas

Il convient également de demander les impressions de deux autres groupes principaux, à savoir les administrateurs généraux des ministères et les gestionnaires de première ligne des programmes, politiques et initiatives. Il faut aussi évaluer de plus près le progrès de la mise en oeuvre dans les ministères et valider les vastes constatations recueillies à partir des révisions annuelles que les ministères apportent à leurs plans d'évaluation.

Pour répondre à ces deux besoins, une série d'études de cas des ministères et organismes est proposée. L'expérience acquise par certains ministères et organismes sera examinée à deux reprises, la première fois après 18 mois et la seconde, après 5 ans. Les constatations de l'examen après 18 mois serviront essentiellement de repères à partir desquels le progrès sera mesuré après 5 ans. Elles permettront également de faire état du progrès préliminaire réalisé en matière de mise en oeuvre.

 Dans le cadre de ces études de cas, les renseignements seraient principalement recueillis auprès des personnes suivantes :

Les données à recueillir sont présentées au tableau 6 : Questions, indicateurs et sources de données.

Il est proposé de présenter au moins onze études de cas, soit sept de ministères et organismes recevant du financement selon les analyses de rentabilisation et quatre autres. Les sept premiers proviendraient de trois groupes en fonction de la taille du ministère et de la situation et de la force initiales de la fonction d'évaluation, qui ont été déterminées lors de l'attribution des fonds selon les analyses de rentabilisation :

Échantillon choisi parmi les bénéficiaires de financement selon les analyses de rentabilisation

Échantillon choisi parmi les bénéficiaires de financement non fondé sur les analyses de rentabilisation

Les échantillons qui précèdent devraient permettre de connaître l'incidence de la politique sur des ministères de tailles différentes et à des stades différents de développement de leur capacité d'évaluation. Ils contribueront également à évaluer l'incidence du financement selon les analyses de rentabilisation, ce qui constitue une question importante que se posera le Conseil du Trésor lorsqu'il examinera le financement pour les deux dernières années du programme.

Sondage auprès des clients et des intervenants de l'évaluation

Il convient également de demander les impressions de deux autres groupes principaux, à savoir les administrateurs généraux des ministères et les gestionnaires de première ligne des programmes, politiques et initiatives. Il faut aussi évaluer de plus près le progrès de la mise en oeuvre dans les ministères et valider les vastes constatations recueillies à partir des révisions annuelles que les ministères apportent à leurs plans d'évaluation.

Pour répondre à ces deux besoins, il est proposé de mener un sondage. Des sondages distincts seront menés auprès d'un échantillon de chacun de ces groupes :

Un sondage de base sera mené après 18 mois et repris aux fins de l'évaluation après 5 ans. Il aura pour but d'obtenir une évaluation indépendante du degré de réussite de l'évaluation dans l'exécution de ses fonctions conformément à la nouvelle politique. Les gestionnaires participant à l'évaluation seront également sondés pour qu'une comparaison soit possible et pour que puissent être fournis des indicateurs quantitatifs du nombre d'auto évaluations positives en matière de mise en oeuvre de la nouvelle politique.

Le questionnaire prendra la forme d'évaluations à choix multiples du degré de satisfaction ou du rendement perçu de l'évaluation par rapport aux indicateurs précisés dans le CGRR. Cette démarche devrait permettre de quantifier le degré de satisfaction et l'amélioration relative au fil des ans. Elle assurera en outre la collecte rentable de données pour valider l'information recueillie par l'entremise de rapports d'étape qui sont proposés pour les plans d'évaluation des ministères.

Au moins 30 candidats par groupe seront prélevés au hasard, en fonction des évaluations ayant fait l'objet de rapports au cours de l'année antérieure. L'échantillon sera stratifié comme suit :

Le sondage sera mené en personne dans le cas des administrateurs généraux; les chefs de l'Évaluation remettront le questionnaire aux autres, qu'ils retourneront directement au CEE.

Entrevues auprès des principaux répondants

Aux exercices susmentionnés s'ajouteront des entrevues visant à inclure l'ensemble des collectivités de clients et d'intervenants, notamment :

Un nombre limité d'entrevues seront tenues lors de l'évaluation après 18 mois, mais ce nombre augmentera lors de l'évaluation après 5 ans.

Activités de collecte des données après 5 ans

Les activités seront reprises après 5 ans, mais plus d'entrevues seront menées auprès des principaux répondants, et les révisions annuelles que les ministères et organismes apportent à leurs plans d'évaluation feront davantage état du progrès réalisé.

Tableau 4 : Activités de collecte de données,
fréquence et responsabilité

Activité

Fréquence

Responsabilité

Sondage de base sur la capacité d'évaluation

Achevé

SCT

Présentation des analyses de rentabilisation (première série)

Achevé

Ministères et organismes

Collecte de données de base auprès des ministères en vue de la première série de plans d'évaluation révisés

Ponctuelle

CEE

Plans d'évaluation ministériels

Annuelle

Ministères et organismes

Sondage auprès des clients et des intervenants de l'évaluation

18 mois et 5 ans

CEE

Rapport annuel du CEE et récapitulation de l'information sur les écarts dans les plans d'évaluation ministériels

Annuelle

CEE

Rapports sur les analyses de rentabilisation et présentation de ceux ci (deuxième série)

Ponctuelle

Ministères et organismes avec les conseils du CEE

Évaluation de l'échantillon de rapports d'évaluation

18 mois et 5 ans

CEE

Retraite annuelle de planification stratégique

Annuelle, mais volets du CGRR après 18 mois et 5 ans.

CEE

Études de cas

18 mois et 5 ans

CEE

Entrevues auprès des principaux répondants

18 mois et 5 ans

CEE


 

STRATÉGIE D'ÉVALUATION - INDICATEURS DE RENDEMENT

Il faut, pour chaque question d'évaluation énumérée à la section 3, établir des indicateurs de rendement servant de fondement à la réponse. Le tableau 2 contient la liste des indicateurs clés de la surveillance continue du rendement, tandis que le tableau 6 à la fin du document présente une liste élargie des indicateurs pour chaque question d'évaluation et une liste des activités connexes de collecte des données. Conformément aux prévisions d'évaluation préliminaire de toutes les questions après 18 mois, une distinction est établie entre les indicateurs de rendement prévus à 18 mois et ceux prévus lors de l'évaluation intégrale après 5 ans.


STRATÉGIE DE RAPPORT

Le tableau 5 donne la liste des rapports prévus par le CGRR.

Tableau 5 : Rapports prévus

Activité de mesure
du rendement

Produit

Date

Rapport d'étape sur la mise en oeuvre de la nouvelle Politique d'évaluation (par chaque ministère).

Section portant sur les révisions annuelles du plan d'évaluation du ministère ou de l'organisme

Annuellement par les ministères et organismes

Récapitulation des rapports d'étape pour la fonction d'évaluation, plus rapport sur les extrants du CEE, évaluation du rendement.

Rapport annuel du CEE

Annuellement par le CEE

Évaluation intérimaire et rapports à l'appui à partir des données recueillies.

Rapport d'évaluation intérimaire

Deuxième trimestre de 2002 2003

Évaluation complète et rapports à l'appui à partir des données recueillies.

Rapport d'évaluation

2005-2006

Tableau 6 : Questions, indicateurs de rendement et sources de données

QUESTION

INDICATEURS DE RENDEMENT

Source de données

à 18 mois

à 5 ans

QUESTIONS LIÉES AU PROGRÈS ET AU SUCCÈS
A. LES MINISTÈRES ONT ILS MIS EN OEUVRE LA POLITIQUE ET ACCRU LA CAPACITÉ?
1. Les ministères ont ils élargi la portée de l'évaluation au delà des secteurs traditionnels? Recours à une plus grande portée dans les plans d'évaluation.

CGRR et évaluations en cours ou achevés dans de nouveaux secteurs.

Mêmes qu'à 18 mois. Collecte de données de base et plans d'évaluation.

Études de cas et sondage auprès des intervenants.

2. Un comité de l'évaluation efficace ou un autre processus interne contribuant à l'établissement des priorités ministérielles, à la planification et à la prise de décisions existe t il? Fréquence des réunions et pertinence de l'ordre du jour.

Membres du comité en fonction du niveau et de la représentation.

Présidence du comité assurée par un cadre supérieur.

Conformité du rôle et du mandat des comités aux exigences de la Politique d'évaluation.

Approbation du plan d'évaluation par le comité.

Mêmes qu'à 18 mois plus :

Rôle du comité dans l'établissement de l'orientation stratégique de l'évaluation.

Surveillance du suivi des recommandations acceptées.

Rôle du comité pour veiller à l'intégration à la mesure du rendement du ministère ou de l'organisme et lier les résultats de l'évaluation aux choix stratégiques du ministère.

Collecte de données de base et plans d'évaluation.

Études de cas et sondage auprès des intervenants.

Entrevues auprès des répondants clés.

3. Un plan d'évaluation stratégique efficace avec suivi existe t il? La capacité à l'appui de cette planification a t elle été établie? Existence et qualité des plans.

Preuve du processus de suivi.

Existence d'un cadre tenant compte de l'éventuel univers d'évaluation.

Qualité des mécanismes de suivi des progrès par rapport aux buts et intentions du plan antérieur.

Mêmes qu'à 18 mois plus :

Degré de suivi des engagements pris dans les plans et la stratégie.

Uniformité d'une année sur l'autre des plans en matière de rapport sur le progrès et de suivi des changements de la stratégie.

Collecte de données de base et plans d'évaluation.

Études de cas et sondage auprès des intervenants.

Entrevues auprès des répondants clés.

4. Les CGRR et les évaluations couvent ils de manière satisfaisante les programmes, politiques et initiatives? Existence d'une évaluation ministérielle des écarts au chapitre de l'application.

Progrès ainsi que plans et engagements en vue du règlement des écarts au cours de la prochaine année.

Progrès en matière de CGRR pour les subventions et les contributions

Les mêmes, sans qu'il ne soit tenu compte des plans et engagements futurs. Collecte de données de base et plans d'évaluation.

Études de cas et sondage auprès des intervenants.

Entrevues auprès des répondants clés.

QUESTION

INDICATEURS DE RENDEMENT

Source de données

à 18 mois

à 5 ans

B. LES MINISTÈRES ONT ILS RÉALISÉ DES PROGRÈS AU CHAPITRE DE LA MISE EN OEUVRE DE LA MESURE CONTINUE DU RENDEMENT?
1. La capacité ou le cadre existe t il pour évaluer le degré de mise en place de la mesure du rendement? Existence de renseignements suffisants pour que les chefs de l'Évaluation puissent évaluer le progrès. Mêmes qu'à 18 mois. Collecte de données de base et plans d'évaluation.

Études de cas et sondage auprès des intervenants.

Entrevues auprès des répondants clés.

2. Des systèmes de mesure continue du rendement sont ils en place pour les programmes, politiques et initiatives qui sont intégrés aux CGRR? Proportion de programmes ayant instauré un système de surveillance du rendement et produit au moins un rapport.

Liens avec les CGRR, les évaluations.

Mêmes qu'à 18 mois, plus :

Rôle des systèmes de mesure partagés dans la surveillance continue du ministère.

Degré d'intégration des systèmes de mesure du rendement pour l'évaluation du rendement de l'ensemble du ministère ou de l'organisme.

Utilisation des résultats de la mesure du rendement dans les rapports du ministère ou de l'organisme présentés au Parlement.

Impressions des cadres supérieurs.

Collecte de données de base et plans d'évaluation.

Études de cas et sondage auprès des intervenants.

Entrevues auprès des répondants clés.

3. La fonction d'évaluation a t elle contribué à l'élaboration de la surveillance continue du rendement? Activités signalées dans les plans d'évaluation.

Connaissance des rôles par les gestionnaires de programmes.

Rôle et activités récentes de la fonction d'évaluation dans l'établissement du programme et des systèmes de mesure du rendement du ministère. Collecte de données de base et plans d'évaluation.

Études de cas et sondage auprès des intervenants.

Entrevues auprès des répondants clés.

4. Les environnements des ministères et organismes sont ils propices à l'élaboration de systèmes de surveillance continue du rendement? Demande relative aux CGRR et aux autres systèmes de gestion du rendement.

Contenu de la demande - fait-elle état de l'intention de l'utiliser?

Mêmes qu'à 18 mois plus :

Utilisation réelle (voir la question qui suit).

Collecte de données de base et plans d'évaluation.

Études de cas et sondage auprès des intervenants.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

5. Des données sur le rendement sont elles produites et utilisées? Diffusion et utilisation des résultats par les gestionnaires de programmes et les cadres supérieurs Utilisation des résultats de la mesure du rendement dans les rapports du ministère ou de l'organisme présentés au Parlement. Collecte de données de base et plans d'évaluation.

Études de cas et sondage auprès des intervenants.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

QUESTION

INDICATEURS DE RENDEMENT Source de données

à 18 mois

à 5 ans
C. LES MINISTÈRES ONT ILS PU FOURNIR UNE CAPACITÉ SATISFAISANTE D'ÉVALUATION?
1. Les ministères ont ils pu augmenter le nombre d'employés compétents au sein de la fonction d'évaluation ou ailleurs dans l'organisation? Mesures de dotation.

Nombre d'employés recrutés.

Succès à maintenir en poste les employés (par rapport aux données repères sur le roulement).

Proportion des agents d'évaluation qui, selon le ministère, ont besoin de plus de formation ou d'expérience pour acquérir toutes les compétences nécessaires pour s'acquitter des responsabilités de leur niveau, en dehors des exigences normales permanentes en matière de formation d'une culture d'apprentissage.

Mêmes qu'à 18 mois, plus

Formation.

Existence de programmes de formation et conformité des programmes aux normes d'évaluation professionnelle et à la Politique d'évaluation.

Fréquence et qualité de la formation externe.

Inscription des employés à des programmes de formation reconnus et réussite de ces programmes.

Sondage de la capacité d'évaluation; présentation des analyses de rentabilisation; rapports d'étape de l'analyse de rentabilisation.

Collecte de données de base et plans d'évaluation.

Études de cas et sondage auprès des intervenants.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

2. Les écarts déjà identifiés au chapitre des ressources ont ils été comblés? Progrès réalisés pour combler les écarts de dotation décelés et analyse démographique du personnel de l'évaluation avant et après.

Évaluation des écarts dans les plans d'évaluation.

Mêmes qu'à 18 mois. Sondage de la capacité d'évaluation; présentation des analyses de rentabilisation; rapports d'étape de l'analyse de rentabilisation.

Collecte de données de base et plans d'évaluation.

Études de cas et sondage auprès des intervenants.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

3. Le progrès réalisé au chapitre de la capacité est il satisfaisant par rapport aux ressources disponibles? Un écart pertinent à ce chapitre continue t il d'exister? Progrès réalisés pour combler les écarts de couverture par rapport au règlement des écarts en matière de ressources signalés.

Amélioration des titres de compétences des évaluateurs.

Absence de goulots d'étranglement en matière de formation, de maintien en poste, etc.

Présence d'une bonne demande d'extrants de l'évaluation.

Mêmes qu'à 18 mois. Sondage de la capacité d'évaluation; présentation des analyses de rentabilisation; rapports d'étape de l'analyse de rentabilisation.

Collecte de données de base et plans d'évaluation.

Études de cas et sondage auprès des intervenants.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

4. Un changement des niveaux de ressources permettrait il d'optimiser davantage les ressources? Progrès réalisés pour combler les écarts de couverture par rapport au règlement des écarts en matière de ressources signalés.

Amélioration des titres de compétences des évaluateurs.

Absence de goulots d'étranglement en matière de formation, de maintien en poste, etc.

Présence d'une bonne demande d'extrants de l'évaluation.

Mêmes qu'à 18 mois. Sondage de la capacité d'évaluation; présentation des analyses de rentabilisation; rapports d'étape de l'analyse de rentabilisation.

Collecte de données de base et plans d'évaluation.

Études de cas et sondage auprès des intervenants.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

QUESTION

INDICATEURS DE RENDEMENT Source de données

à 18 mois

à 5 ans
D. LE CEE A T IL FOURNI UN ENVIRONNEMENT PROPICE?
1. Le CEE a t il fourni les outils, événements, conseils et autres éléments de soutien d'un environnement propice à l'évaluation? Progrès au chapitre de la fourniture d'éléments d'un environnement fonctionnant bien, ce qui comprend fourniture d'outils, de politiques, d'une structure de formation et de certification et du soutien du réseautage et des communications.

Valeur des extrants pour les ministères et les organismes en vue de l'atteinte de leurs buts en matière d'évaluation.

Valeur de la politique et des conseils spéciaux fournis.

Reconnaissance du Centre par les pairs et les décideurs.

Mêmes qu'à 18 mois plus :

Opinions des administrateurs généraux, chefs de l'Évaluation et praticiens sur les événements, avis et autres composantes d'un milieu propice à l'évaluation, tel que favorisé par le CEE.

Études de cas.

Collecte de données de base et plans d'évaluation. Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

2. Le CEE a t il atteint ses objectifs en matière de stratégie de développement de la collectivité? Nombre de buts atteints et importance de ceux ci. Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation. Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

3. Un cadre satisfaisant de formation et de certification des évaluateurs existe t il? Existence d'une structure.

Disponibilité des cours, etc. au moment opportun et places disponibles.

Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation. Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

4. Le CEE a t il mis en oeuvre un système de surveillance? Capacité de produire à temps un rapport sur l'état de l'évaluation dans la fonction publique.

Capacité du rapport d'identifier à temps les problèmes relatifs aux pratiques du ministères en matière de gestion du rendement, d'évaluation et d'orientation stratégique des programmes, politiques et initiatives.

Mêmes qu'à 18 mois, plus :

Diffusion et utilisation des rapports.

Études de cas.

Collecte de données de base et plans d'évaluation. Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

5. Le CEE a t il présenté aux organismes supérieurs des rapports efficaces sur les résultats et les conclusions des systèmes de surveillance? Rapports produits et conseils fournis.

Qualité des réponses.

Impressions des gestionnaires de l'évaluation.

Impressions des gestionnaires des organismes supérieurs.

Incidence des rapports sur la prise de décisions dans les organismes centraux et les ministères et organismes particuliers. Études de cas.

Collecte de données de base et plans d'évaluation. Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

6. Le CEE a t il bien défendu la collectivité de l'évaluation dans la fonction publique? Qualité et contenu des rapports et des conseils fournis aux organismes supérieurs.

Existence d'événements ou de réunions de consultation et de communication pour évaluer les questions intéressant la collectivité.

Opinions des chefs de l'Évaluation et des gestionnaires du CEE.

Incidence du CEE sur la démarche en matière d'évaluation du SCT et du CEE.

Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation. Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

QUESTION

INDICATEURS DE RENDEMENT Source de données

à 18 mois

à 5 ans
E. LA FONCTION D'ÉVALUATION PRODUIT ELLE DES COMMENTAIRES OPPORTUNS ET EFFICACES INTÉGRÉS À LA PRISE DE DÉCISIONS DES MINISTÈRES?
1. Les systèmes de surveillance du rendement des ministères utilisent ils efficacement les études d'évaluation et les appuient ils? Proportion d'études récentes capables de dépendre en grande partie des systèmes de gestion continue du rendement. Mêmes qu'à 18 mois. Évaluation d'un échantillon de rapports d'évaluation.

Études de cas.

Collecte de données de base et plans d'évaluation.·

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

2. La qualité des rapports est elle acceptable? Des améliorations ont elles été constatées? Dans quelle mesure la fonction d'évaluation a t elle réussi à identifier les éventuelles améliorations des programmes, politiques et initiatives? Proportion de rapports comportant des recommandations claires concernant les mesures à prendre et les délais.

Impressions des cadres supérieurs.

Mêmes qu'à 18 mois. Évaluation d'un échantillon de rapports d'évaluation.

Études de cas.

Collecte de données de base et plans d'évaluation.·

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

3. Les recommandations sont elles produites à temps? Impressions des cadres supérieurs. Mêmes qu'à 18 mois. Évaluation d'un échantillon de rapports d'évaluation.

Études de cas.

Collecte de données de base et plans d'évaluation.·

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

4. Dans quelle mesure la nouvelle Politique d'évaluation a t elle contribué à ce qui précède? Rôle et historique du comité principal d'évaluation (voir ci dessus).

Sensibilisation des cadres supérieurs à la portée plus vaste de la politique.

Impressions des gestionnaires de l'évaluation et des cadres supérieurs.

Mêmes qu'à 18 mois. Évaluation d'un échantillon de rapports d'évaluation.

Études de cas.

Collecte de données de base et plans d'évaluation.·

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

QUESTION

INDICATEURS DE RENDEMENT Source de données

à 18 mois

à 5 ans
F. LA FONCTION D'ÉVALUATION PRODUIT ELLE DES COMMENTAIRES OPPORTUNS ET EFFICACES INTÉGRÉS À LA PRISE DE DÉCISIONS DES MINISTÈRES?
1. La haute direction a t elle confiance en la fonction d'évaluation améliorée? Degré de confiance dans la fonction d'évaluation accordé par les administrateurs généraux et les cadres supérieurs. Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

2. Dans quelle mesure les cadres supérieurs ont ils adhéré à la Politique d'évaluation révisée? Degré d'engagement et de soutien fourni par les administrateurs généraux à l'égard de la fonction d'évaluation.

Preuves d'engagement envers l'évaluation (p. ex., documentées dans des notes internes, des plans d'activités, etc.).

Mécanisme en place pour assurer la diffusion des résultats de la mesure du rendement et les résultats des évaluations aux gestionnaires.

Attitude des cadres et des gestionnaires décideurs favorable à l'intégration des résultats des rapports d'évaluation à la planification et à la prise de décisions.

Mesure dans laquelle les activités d'évaluation sont considérées prioritaires et reçoivent des ressources satisfaisantes.

Mesure dans laquelle les gestionnaires comprennent le rôle et les responsabilités des chefs de l'Évaluation.

Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

3. Dans quelle mesure un environnement ministériel propice a t il été établi aux fins de la gestion axée sur les résultats et de l'évaluation? Reconnaissance positive des gestionnaires qui mettent en oeuvre la surveillance du rendement.

Reconnaissance positive des gestionnaires qui tirent des enseignements des résultats du rendement, qu'il soit bon ou mauvais.

Utilisation des résultats dans les rapports ministériels sur le rendement.

Suffisance des ressources.

Indicateurs des autres sous sections dans cette section.

Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

4. Existe t il un processus décisionnel bien rodé dans les ministères et organismes permettant de donner suite aux recommandations de l'étude d'évaluation? Rôle des priorités ministérielles dans l'établissement du plan d'évaluation et la prise de décisions par le comité d'évaluation.

Mesure dans laquelle les extrants de l'évaluation sont rapprochés collectivement des besoins courants perçus par le ministère ou l'organisme.

Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

5. Un suivi est il exercé sur la mise en oeuvre des recommandations acceptées? La haute direction y participe t elle? Voir la question sur le comité d'évaluation qui précède. Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

6. La fonction d'évaluation est elle bien utilisée? Dans quelle mesure la haute direction du ministère participe t elle à l'établissement des priorités d'évaluation? Existence du système.

Niveaux actuels de coopération à la réception des rapports d'étape provenant des gestionnaires de programmes.

Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

7. Dans quelle mesure les résultats de l'évaluation ont ils été utilisés dans la prise de décisions stratégiques du ministère? Une amélioration a t elle été constatée? Apport des rapports d'évaluation aux principales décisions prises concernant les programmes, politiques et initiatives du ministère.

Mise en oeuvre des résultats.

Résultats de la mise en oeuvre.

Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

QUESTION

INDICATEURS DE RENDEMENT Source de données

à 18 mois

à 5 ans
G. LA POLITIQUE D'ÉVALUATION A T ELLE CONTRIBUÉ À AMÉLIORER LA MISE EN OEUVRE DE LA CONCEPTION ET LA DOTATION EN RESSOURCES DES PROGRAMMES, POLITIQUES ET INITIATIVES DU MINISTÈRE OU DE L'ORGANISME?
1. Dans quelle mesure les gestionnaires de programmes ont ils adhéré à la Politique d'évaluation révisée? Mécanismes en place pour assurer la diffusion des résultats de la mesure du rendement et les résultats de l'évaluation aux gestionnaires.

Attitude des cadres favorable à l'intégration des résultats des rapports d'évaluation à la planification et à la prise de décisions.

Mesure dans laquelle les activités d'évaluation sont considérées prioritaires et reçoivent des ressources satisfaisantes.

Mesure dans laquelle les gestionnaires comprennent le rôle et les responsabilités des chefs de l'Évaluation.

Demande de services d'évaluation par les gestionnaires.

Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

2. Les gestionnaires de programmes se sentent ils en sécurité lorsqu'ils exécutent et mettent en oeuvre la surveillance objective et l'évaluation? Politiques et pratiques pour traiter des résultats sur le rendement et des constatations des évaluations de piètre qualité.

Méthode, si elle existe, pour lier les systèmes de surveillance du rendement à la rémunération des cadres.

Opinions des gestionnaires de programmes, des cadres supérieurs et des chefs de l'Évaluation.

Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

3. Dans quelle mesure les programmes, politiques et initiatives ont ils été améliorés par les constatations et les recommandations des évaluations? Engagement à mettre en oeuvre les résultats des récentes évaluations.

Mise en oeuvre des résultats.

Résultats de la mise en oeuvre.

Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

QUESTION

INDICATEURS DE RENDEMENT

Source de données

à 18 mois

à 5 ans
H. LES ORGANISMES SUPÉRIEURS (SCT, BCP) UTILISENT ILS LES RÉSULTATS DE L'ÉVALUATION ET DE LA SURVEILLANCE DU RENDEMENT POUR PRENDRE DES DÉCISIONS?
1. Les systèmes de rapports parlementaires appuient ils et encouragent ils l'utilisation des CGRR, les mesures du rendement et l'évaluation? Contenu des politiques, pratiques et lignes directrices émises par les organismes supérieurs sur les rapports au Parlement.

Utilisation manifeste dans les rapports des ministères et organismes au Parlement et au CT.

Conformité des rapports des ministères et organismes aux récents engagements importants de surveiller le rendement par l'entremise des CGRR.

Évaluation par les chefs de l'Évaluation, les cadres supérieurs et les gestionnaires d'organismes centraux.

Mesure dans laquelle les résultats de l'évaluation et du rendement atteignent les parlementaires.

Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

2. Des CGRR, des mesures du rendement et des résultats d'évaluation de bonne qualité pouvant être mis en oeuvre sont ils requis ou reconnus à l'appui de présentations aux organismes supérieurs? Mesure dans laquelle les CGRR et les mesures du rendement antérieur sont exigés à titre d'éléments des présentations au CT ou des mémoires au Cabinet.

Évaluation par les chefs de l'Évaluation, les cadres supérieurs et les gestionnaires d'organismes centraux.

Existence de processus et de renvois aux normes de qualité.

Utilisation des processus par les organismes supérieurs.

Évaluation par les chefs de l'Évaluation, les cadres supérieurs et les gestionnaires d'organismes centraux.

Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

3. Les engagements à fournir des CGRR et des mesures du rendement font ils l'objet d'un suivi? Existence de processus utilisés par les organismes supérieurs pour vérifier les engagements antérieurs en matière de mesure du rendement.

Utilisation des processus.

Évaluation par les chefs de l'Évaluation, les cadres supérieurs et les gestionnaires d'organismes centraux.

Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

4. Les résultats du rendement et les constatations des évaluations sont ils utilisés pour prendre des décisions concernant des présentations au CT, des mémoires au Cabinet et d'autres décisions? Impressions des gestionnaires d'organismes supérieurs, des cadres supérieurs des ministères et organismes et des chefs de l'Évaluation.

Exemples de décisions négatives prises en raison d'un manque d'information sur le rendement ou de piètres résultats d'évaluation.

Nombre d'exemples où les résultats des études de rendement ou d'évaluation ont été déterminantes pour la prise de décision.

Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

5. Les organismes supérieurs ont ils fourni un régime de politiques cohérent qui tient compte de l'incidence des autres politiques sur la fonction d'évaluation? Écarts et arriérés dans la couverture par les CGRR et les évaluations.

Preuve attribuant les écarts et les arriérés à l'impact d'autres politiques d'organismes supérieurs sur l'évaluation.

Exemples d'autres politiques établissant des renvois à l'évaluation.

Exemples d'autres politiques n'établissant pas de renvois ou d'occasions ratées de réaliser des gains d'efficience et d'efficacité.

Opinions des chefs de l'Évaluations, des cadres supérieurs des ministères et des gestionnaires d'organismes supérieurs.

Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

QUESTION

INDICATEURS DE RENDEMENT

Source de données

à 18 mois

à 5 ans
RENTABILITÉ
I. LA POLITIQUE D'ÉVALUATION EST ELLE RENTABLE?
1. La fonction d'évaluation pourrait elle être offerte de manière plus rentable? Opinions des administrateurs généraux, des cadres supérieurs, des gestionnaires de programmes, des chefs de l'Évaluation et des parlementaires. Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.·

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

2. Le CEE a t il optimisé les ressources? Opinions des administrateurs généraux, des cadres supérieurs, des gestionnaires de programmes et des chefs de l'Évaluation. Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.·

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

3. Existe t il d'autres méthodes d'organisation de la prestation de la Politique d'évaluation? Opinions des administrateurs généraux, des cadres supérieurs, des gestionnaires de programmes et des chefs de l'Évaluation. Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.·

Entrevues auprès des répondants clés.

Retraite annuelle des chefs de l'Évaluation.

Rapport annuel du CEE sur la surveillance du rendement.

Rapports d'étape des analyses de rentabilisation.

QUESTION

INDICATEURS DE RENDEMENT

Source de données

à 18 mois

à 5 ans
MAINTIEN DE LA PERTINENCE
J. FAUT IL APPORTER D'AUTRES CHANGEMENTS À LA POLITIQUE OU À SA MISE EN OEUVRE?
1. La fonction d'évaluation procure t elle des résultats pour les Canadiens et les Canadiennes? Consensus parmi les cadres supérieurs et les chefs de l'Évaluation sur le bien fondé de la nouvelle Politique d'évaluation et sur sa pertinence pour le programme global du gouvernement. Mêmes qu'à 18 mois, plus :

Succès de la politique et des initiatives connexes à moderniser les pratiques de gestion (p. ex., le document cadre « Des résultats pour les Canadiens et les Canadiennes » intégré au cadre de gestion axé sur les résultats).

Mesure dans laquelle la nouvelle Politique d'évaluation est intégrée à ces réalisations.

Opinions de certains députés.

Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.·

Retraite annuelle des chefs de l'Évaluation.·

Rapport annuel du CEE sur la surveillance du rendement.·

Rapports d'étape des analyses de rentabilisation.

2. Existe t il de meilleurs moyens d'offrir la fonction d'évaluation au gouvernement fédéral? Opinions des administrateurs généraux, des cadres supérieurs, des gestionnaires de programmes et des chefs de l'Évaluation. Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.·

Retraite annuelle des chefs de l'Évaluation.·

Rapport annuel du CEE sur la surveillance du rendement.·

Rapports d'étape des analyses de rentabilisation.

3. Des améliorations peuvent-elles être apportées à la Politique d'évaluation? Opinions des administrateurs généraux, des cadres supérieurs, des gestionnaires de programmes et des chefs de l'Évaluation. Mêmes qu'à 18 mois. Études de cas.

Collecte de données de base et plans d'évaluation.

Entrevues auprès des répondants clés.·

Retraite annuelle des chefs de l'Évaluation.·

Rapport annuel du CEE sur la surveillance du rendement.·

Rapports d'étape des analyses de rentabilisation.

 

 

 

Date de modification :