Guide pour l'examen des rapports d'évaluation
Informations archivées
Les informations archivées sont fournies aux fins de référence, de recherche ou de tenue de documents. Elles ne sont pas assujetties aux normes Web du gouvernement du Canada et n’ont pas été modifiées ou mises à jour depuis leur archivage. Pour obtenir ces informations dans un autre format, veuillez communiquez avec nous.
Centre d'excellence en évaluation
Secrétariat du Conseil du Trésor du Canada
Janvier 2004
1. Introduction
Le présent guide a pour but de fournir aux analystes du Centre d'excellence en évaluation (CEE) des directives générales sur la façon d'aborder le processus d'examen des évaluations et de formuler des commentaires à l'intention des analystes du Secteur des programmes du SCT et des gestionnaires de programmes des ministères.
2. Aperçu du secrétariat du conseil du trésor et de la fonction d'évaluation
Le Secrétariat du Conseil du Trésor (SCT) a pour mandat d'aider l'administration fédérale à gérer prudemment ses ressources humaines, financières, informationnelles et technologiques afin d'appuyer adéquatement les objectifs et les priorités du gouvernement. Le SCT présente des recommandations et des avis au Conseil du Trésor (CT) sur les politiques, les directives, les règlements et les propositions relatives aux dépenses de programmes. La Direction générale de la fonction de contrôleur fait partie intégrante d'un secteur d'activités responsable de la gestion appropriée des ressources gouvernementales. La Direction de la gestion axée sur les résultats (DGR), qui relève de ce secteur d'activités, est chargée d'appuyer l'élaboration des politiques afin d'aider les ministères à produire une information exacte et pertinente dans le but de permettre aux gestionnaires de prendre des décisions judicieuses et efficaces sur leurs politiques, leurs programmes et leurs initiatives.
Le CEE, qui fait partie de la Direction de la gestion axée sur les résultats, donne des directives sur l'application de la Politique d'évaluation du CT dans les ministères fédéraux assujettis à cette politique, ainsi que dans les ministères dont les programmes comportent des exigences en matière d'évaluation aux termes de la Politique sur les paiements de transfert du CT. La Politique d'évaluation favorise la production de renseignements précis, pertinents, objectifs et étayés de preuves afin d'aider les gestionnaires à prendre plus efficacement des décisions éclairées sur leurs politiques, programmes et initiatives, dans le but de produire des résultats pour les Canadiens et les Canadiennes.
La Politique sur les paiements de transfert (PPT) soutient les objectifs de la Politique d'évaluation en assurant une saine gestion des paiements de transferts (paiements de subventions ou de contributions), leur contrôle et leur responsabilisation. En vertu de cette politique, les ministères sont tenus d'évaluer l'efficacité des paiements de transfert et d'en rendre compte par l'entremise d'un programme d'évaluation structuré ou d'un mécanisme d'examen semblable lorsqu'ils demandent le renouvellement des conditions d'un programme, d'une politique ou d'une initiative. Ils sont également tenus d'élaborer un cadre de gestion et de responsabilisation axé sur les résultats (CGRR) pour les présentations au CT qui donnent lieu à des paiements de transfert.
En définitive, ces politiques et ces exigences soutiennent le processus des présentations au Conseil du Trésor. Une présentation au Conseil du Trésor est un document officiel présenté par un ministre au nom de son ministère lors de l'élaboration d'un nouveau programme ou du renouvellement d'un ancien programme. La présentation est utilisée pour demander aux ministres du Conseil du Trésor les approbations ou les autorisations nécessaires lorsque la mise en Guvre d'une proposition nécessite l'approbation du Conseil du Trésor.
Le processus des présentations au CT exige que l'intervention de plusieurs domaines d'expertise du SCT soit coordonnée comme suit :
- Les analystes du Secteur des programmes conseillent les ministères et surveillent leurs activités. Ils sont le point de contact unique des ministères en ce qui concerne les présentations au Conseil du Trésor et les conditions connexes. Ils gèrent le processus, demandent l'aide des experts en politiques du SCT pour la préparation des présentations et font des recommandations aux ministres du CT en tenant compte des résultats de leurs consultations auprès de leurs collègues des autres secteurs de responsabilité du SCT.
- La Division de la politique de gestion financière (DPGF) est chargée de donner des conseils sur les politiques et de les interpréter. De plus, elle examine et approuve les conditions rattachées aux présentations au CT pour les programmes qui comportent des paiements de transfert.
- Le Centre d'excellence en évaluation (CEE) donne des conseils et des directives sur les CGRR et il examine les rapports d'évaluation qui accompagnent les présentations au CT et les conditions connexes. Étant donné que le CGRR est au nombre des conditions à remplir pour le renouvellement d'un programme, l'analyste du CEE approuve le CGRR. De plus, conformément aux exigences liées à la surveillance des politiques, le CEE examine aussi les rapports d'évaluation des programmes ministériels qui accompagnent les présentations au CT et en vérifie la validité afin de soutenir le processus décisionnel.
- Le Centre d'excellence en vérification interne (CEVI) donne des conseils et des directives au sujet des cadres de vérification axés sur le risque (CVR), donne son approbation et examine les plans de vérification interne et les rapports préparés par les ministères. Le CEVI est responsable de la mise en Guvre de la Politique sur la vérification interne.
3. But de l'examen des rapports d'évaluation
Aux termes de la section 7.3.7 de la Politique sur les paiements de transfert du CT sur l'approbation des conditions des programmes, « Les ministères doivent évaluer au moyen d'une évaluation officielle de programme ou d'un examen semblable et rendre compte de l'efficacité des transferts au cours d'une demande de renouvellement des conditions. » L'évaluation ou l'examen doit établir l'efficacité du programme visé en évaluant la pertinence, l'atteinte des objectifs et la rentabilité de ce programme. Les décisions futures en matière d'élaboration et de mise en Guvre des programmes doivent prendre en compte les résultats de l'évaluation.
Le SCT appuie la pratique de l'évaluation en recommandant les meilleures pratiques, en établissant des normes et en créant des outils pour aider les ministères à préparer des évaluations efficaces, en organisant des ateliers et de la formation sur la préparation des CGRR et en surveillant la capacité d'évaluation dans les ministères. Les ministères doivent utiliser ces ressources pour soutenir et orienter leur processus décisionnel. Les résultats de l'évaluation doivent fournir une information crédible permettant de prendre des décisions éclairées sur les présentations au CT. Le CEE contribue à l'atteinte de cet objectif en examinant la validité des conclusions de l'évaluation et veillant à ce qu'elles soient prises en compte dans la présentation au CT.
L'examen des rapports d'évaluation permet aux analystes du Secteur des programmes et du CEE de déterminer la façon dont un programme est administré, si les résultats sont mesurés et les progrès réalisés en vue d'atteindre les objectifs prévus. De plus, la préparation de rapports d'évaluation incite les gestionnaires de programmes à mettre en Guvre des CGRR et à s'inspirer des leçons retenues pour élaborer et restructurer des programmes. Les commentaires formulés dans le cadre de cet examen sont communiqués à l'analyste du Secteur des programmes afin qu'il en tienne compte dans la préparation du précis qui accompagnera la présentation au CT. Cela est particulièrement important lorsque le CEE soulève des questions litigieuses liées à la validité des conclusions d'un rapport d'évaluation à l'intention du Secteur des programmes. Il est donc essentiel que l'analyste du CEE présente une analyse claire et concise du rapport d'évaluation.
4. Processus d'examen de l'évaluation
Cette section présente les diverses étapes du processus d'examen des rapports d'évaluation. Il est important de souligner que les analystes du CEE qui examinent des rapports d'évaluation ne se livrent pas à un exercice courant de contrôle par les pairs. Plutôt que de critiquer la méthodologie utilisée, l'examen doit porter sur les conclusions et les recommandations formulées au moyen de cette méthodologie. Cela dit, les méthodologies utilisées doivent être adaptées aux enjeux de l'évaluation et les données doivent soutenir l'analyse. Voici les principaux éléments qui doivent être abordés dans le cadre de l'examen mené par le CEE.
- L'évaluation porte sur les extrants et les enjeux présentés dans le CGRR (ou dans un autre document de planification, par exemple un CGRR mis à jour, disponible au moment de l'examen) aux plans de la pertinence, de l'avancement/succès et de la rentabilité.
- La méthodologie utilisée est adaptée aux objectifs de l'étude.
- Les constatations et les conclusions s'appuient sur des preuves tirées de l'étude d'évaluation.
- Les recommandations sont élaborées à partir des conclusions et présentent des mesures correctives portant sur les constatations de l'étude.
Première étape : recevoir le rapport d'évaluation
Souvent, l'analyste du Secteur des programmes envoie à l'analyste du CEE une ébauche du rapport d'évaluation afin qu'il l'examine et qu'il fasse des commentaires. Ce rapport peut être rendu disponible avant d'être soumis à l'approbation du Comité de vérification et d'évaluation du ministère, ce qui permet d'ajuster les constatations et les conclusions s'il y a lieu.
Au moment de l'examen, l'analyste du CEE doit avoir accès à des documents d'appui tels que la réponse de la direction, la présentation au CT et le CGRR (ou le cadre d'évaluation précédent) pour obtenir des renseignements sur le programme et pour clarifier tout problème pouvant survenir pendant l'examen.
Deuxième étape : examiner le rapport d'évaluation
Pendant qu'il examine le rapport d'évaluation, l'analyste du CEE doit porter attention aux principaux critères d'examen présentés dans le tableau 1. Soulignons toutefois que l'analyste doit tenir compte des éléments suivants, qui devraient être inclus :
- un résumé donnant un aperçu de la méthodologie, des constatations, des conclusions et des recommandations;
- une brève mise en contexte décrivant les objectifs et le calendrier des travaux évaluation, la politique, l'initiative ou le programme visé par l'évaluation et la place qu'il occupe dans l'ensemble des activités de l'organisation;
- une description de la méthodologie et des sources de données utilisées, ainsi que des limites de l'évaluation au plan de la portée et de la méthodologie;
- une réponse de la direction établissant le plan d'action à partir des recommandations présentées dans le rapport d'évaluation.
TABLEAU 1 : PRINCIPAUX CRITÈRES D'EXAMEN |
|||
Enjeux de l'évaluation |
Constatations |
Conclusions |
Recommandations |
Le rapport énonce les enjeux de l'évaluation conformément aux exigences de la Politique d'évaluation : pertinence, succès ainsi que le rapport entre ces enjeux et le modèle logique du CGRR. | Le rapport présente les constatations qui portent sur les enjeux de l'évaluation. | Le rapport se termine par des conclusions qui portent sur les enjeux de l'évaluation. | Le rapport recommande des mesures correctives qui s'appuient sur des faits et qui sont reliées aux constatations du rapport d'évaluation et aux enjeux de l'évaluation. |
Le rapport énonce les enjeux de l'évaluation qui s'apparentent aux enjeux soulevés dans d'autres documents connexes, p. ex. des CGRR. | Compte tenu des méthodologies utilisées, le rapport présente des constatations logiques, valides et étayées qui ne se contredisent pas entre elles. | Le rapport présente des conclusions valides tirées des constatations de l'évaluation, compte tenu des méthodologies utilisées. | Le rapport souligne les responsabilités liées à la mise en Guvre des recommandations proposées, y compris les délais de réponse de la direction. |
Le rapport aborde d'autres facteurs qui contribuent au succès, à la pertinence et à la rentabilité du programme, comme le financement ou l'établissement de partenariats. | Le rapport décrit des facteurs qui ont eu une incidence sur le succès, la pertinence et la rentabilité du programme. | Une section du rapport est consacrée aux répercussions futures des constatations de l'étude d'évaluation. | Les recommandations du rapport font état des perspectives d'avenir, des points à améliorer et des possibilités de financement ou de ressources. |
Le rapport comprend un plan d'action établi à partir des recommandations. | Le rapport présente des mesures appropriées et réalistes en vue d'améliorer le programme, s'il y a lieu. | Le rapport sera pris en compte dans la restructuration et la mise en Guvre futures du programme. | Le rapport recommande des mesures correctives réalistes et pratiques assorties d'échéanciers. |
Troisième étape : formuler des commentaires
En plus de formuler des commentaires sur les principaux critères d'évaluation présentés dans le tableau 1, l'analyste du CEE devrait, le cas échéant :
- souligner toute répercussion que pourrait avoir la non‑conformité de l'évaluation aux principaux critères d'examen.
- Examiner les enjeux de l'évaluation et déterminer si ces enjeux ont fait l'objet d'un traitement adéquat et si tous les extrants mentionnés dans le CGRR ont été mesurés. Lorsqu'un enjeu de l'évaluation n'a pas fait l'objet d'un traitement adéquat dans l'étude, il est important d'en faire mention dans les commentaires.
- Évaluer la validité des constatations, des conclusions et des recommandations en vérifiant si elles s'appuient sur des renseignements étayés. Si tel n'est pas le cas, l'analyste devrait le mentionner dans ses commentaires et fournir une brève justification à l'appui de ce commentaire.
- Si le rapport d'évaluation a soulevé des problèmes liés à la mesure du rendement et aux stratégies d'évaluation du programme, s'assurer que le CGRR prévoit des améliorations dans ce domaine.
- Vérifier si la réponse de la direction est disponible et si le plan d'action connexe est inclus dans la présentation au CT.
Pour toute demande de renseignement au sujet de ce guide, veuillez communiquer avec :
Le directeur principal,
Centre d'excellence en évaluation
Direction de la gestion axée sur les résultats
Direction générale de la fonction de contrôleur
L'Esplanade Laurier, 9eétage, tour Ouest
300, av. Laurier Ouest
Ottawa (Ontario)
K1A 0R5
Annexe : Principaux éléments d'un rapport d'évaluation et critères d'autoévaluation détaillés
Le tableau ci‑dessous – tiré du document intitulé Evaluation Report Assessment Guide publié par Santé Canada en avril 2003 – présente les éléments qui doivent être inclus dans un rapport d'évaluation ainsi que les critères précis qui doivent être utilisés pour évaluer ces éléments.
1. RÉSUMÉ |
|
Enjeux/exigences |
Critères |
1.1 Résumé |
(Suggestion : le résumé devrait avoir environ 3 pages.) |
2. INTRODUCTION ET CONTEXTE |
|
Enjeux/exigences |
Critères |
2.1 Description |
|
|
|
|
|
2.2 Contexte de l'évaluation |
|
3. MÉTHODOLOGIE / PLAN / DONNÉES |
|
Enjeux/exigences |
Critères |
3.1 Description de la méthodologie/ du plan de l'étude |
|
|
|
|
|
|
|
3.2 Sources de données multiples |
|
3.3 Qualité des données |
|
3.4 Limites |
|
3.5 Exactitude |
|
4. PRINCIPALES CONSTATATIONS |
|
Enjeux/exigences |
Critères |
4.1 Enjeux de l'évaluation |
|
4.2 Objectivité |
|
|
|
|
|
4.3 Clarté et concision |
|
|
|
4.4 Constatations étayées |
|
5. PRINCIPALES CONCLUSIONS |
|
Enjeux/exigences |
Critères |
5.1 Conclusions soutenables |
|
|
6. RECOMMANDATIONS |
|
Enjeux/exigences |
Critères |
6.1 Recommandations étayées |
|
|
|
|
|
|
|
|
7. LONGUEUR DU DOCUMENT |
|
Enjeux/exigences |
Critères |
7.1 Longueur du rapport |
|
8. RÉPONSE DE LA DIRECTION / PLAN D'ACTION |
|
Enjeux/exigences |
Critères |
8.1 Plan d'action |
|
|
- Date de modification :