Nous procédons actuellement au transfert de nos services et de nos renseignements sur le Web vers Canada.ca.

Le site Web du Secrétariat du Conseil du Trésor du Canada restera accessible jusqu’à  ce que le transfert soit terminé.

Guide pour l'examen des rapports d'évaluation

Informations archivées

Les informations archivées sont fournies aux fins de référence, de recherche ou de tenue de documents. Elles ne sont pas assujetties aux normes Web du gouvernement du Canada et n’ont pas été modifiées ou mises à  jour depuis leur archivage. Pour obtenir ces informations dans un autre format, veuillez communiquez avec nous.


 

Centre d'excellence en évaluation
Secrétariat du Conseil du Trésor du Canada

Janvier 2004


 

1. Introduction

Le présent guide a pour but de fournir aux analystes du Centre d'excellence en évaluation (CEE) des directives générales sur la façon d'aborder le processus d'examen des évaluations et de formuler des commentaires à l'intention des analystes du Secteur des programmes du SCT et des gestionnaires de programmes des ministères.



 

2. Aperçu du secrétariat du conseil du trésor et de la fonction d'évaluation

Le Secrétariat du Conseil du Trésor (SCT) a pour mandat d'aider l'administration fédérale à gérer prudemment ses ressources humaines, financières, informationnelles et technologiques afin d'appuyer adéquatement les objectifs et les priorités du gouvernement. Le SCT présente  des recommandations et des avis au Conseil du Trésor (CT) sur les politiques, les directives, les règlements et les propositions relatives aux dépenses de programmes. La Direction générale de la fonction de contrôleur fait partie intégrante d'un secteur d'activités responsable de la gestion appropriée des ressources gouvernementales. La Direction de la gestion axée sur les résultats (DGR), qui relève de ce secteur d'activités, est chargée d'appuyer l'élaboration des politiques afin d'aider les ministères à produire une information exacte et pertinente dans le but de permettre aux gestionnaires de prendre des décisions judicieuses et efficaces sur leurs politiques, leurs programmes et leurs initiatives.

Le CEE, qui fait partie de la Direction de la gestion axée sur les résultats, donne des directives sur l'application de la Politique d'évaluation du CT dans les ministères fédéraux assujettis à cette politique, ainsi que dans les ministères dont les programmes comportent des exigences en matière d'évaluation aux termes de la Politique sur les paiements de transfert du CT. La Politique d'évaluation favorise la production de renseignements précis, pertinents, objectifs et étayés de preuves afin d'aider les gestionnaires à prendre plus efficacement des décisions éclairées sur leurs politiques, programmes et initiatives, dans le but de produire des résultats pour les Canadiens et les Canadiennes.

La Politique sur les paiements de transfert (PPT) soutient les objectifs de la Politique d'évaluation en assurant une saine gestion des paiements de transferts (paiements de subventions ou de contributions), leur contrôle et leur responsabilisation. En vertu de cette politique, les ministères sont tenus d'évaluer l'efficacité des paiements de transfert et d'en rendre compte par l'entremise d'un programme d'évaluation structuré ou d'un mécanisme d'examen semblable lorsqu'ils demandent le renouvellement des conditions d'un programme, d'une politique ou d'une initiative. Ils sont également tenus d'élaborer un cadre de gestion et de responsabilisation axé sur les résultats (CGRR) pour les présentations au CT qui donnent lieu à des paiements de transfert.

En définitive, ces politiques et ces exigences soutiennent le processus des présentations au Conseil du Trésor. Une présentation au Conseil du Trésor est un document officiel présenté par un ministre au nom de son ministère lors de l'élaboration d'un nouveau programme ou du renouvellement d'un ancien programme. La présentation est utilisée pour demander aux ministres du Conseil du Trésor les approbations ou les autorisations nécessaires lorsque la mise en Guvre d'une proposition nécessite l'approbation du Conseil du Trésor.

Le processus des présentations au CT exige que l'intervention de plusieurs domaines d'expertise du SCT soit coordonnée comme suit :

  • Les analystes du Secteur des programmes conseillent les ministères et surveillent leurs activités. Ils sont le point de contact unique des ministères en ce qui concerne les présentations au Conseil du Trésor et les conditions connexes. Ils gèrent le processus, demandent l'aide des experts en politiques du SCT pour la préparation des présentations et font des recommandations aux ministres du CT en tenant compte des résultats de leurs consultations auprès de leurs collègues des autres secteurs de responsabilité du SCT.
  • La Division de la politique de gestion financière (DPGF) est chargée de donner des conseils sur les politiques et de les interpréter. De plus, elle examine et approuve les conditions rattachées aux présentations au CT pour les programmes qui comportent des paiements de transfert. 
  • Le Centre d'excellence en évaluation (CEE) donne des conseils et des directives sur les CGRR et il examine les rapports d'évaluation qui accompagnent les présentations au CT et les conditions connexes. Étant donné que le CGRR est au nombre des conditions à remplir pour le renouvellement d'un programme, l'analyste du CEE approuve le CGRR. De plus, conformément aux exigences liées à la surveillance des politiques, le CEE examine aussi les rapports d'évaluation des programmes ministériels qui accompagnent les présentations au CT et en vérifie la validité afin de soutenir le processus décisionnel.
  • Le Centre d'excellence en vérification interne (CEVI) donne des conseils et des directives au sujet des cadres de vérification axés sur le risque (CVR), donne son approbation et examine les plans de vérification interne et les rapports préparés par les ministères. Le CEVI est responsable de la mise en Guvre de la Politique sur la vérification interne.


 

3. But de l'examen des rapports d'évaluation

Aux termes de la section 7.3.7 de la Politique sur les paiements de transfert du CT sur l'approbation des conditions des programmes, « Les ministères doivent évaluer au moyen d'une évaluation officielle de programme ou d'un examen semblable et rendre compte de l'efficacité des transferts au cours d'une demande de renouvellement des conditions. » L'évaluation ou l'examen doit établir l'efficacité du programme visé en évaluant la pertinence, l'atteinte des objectifs et la rentabilité de ce programme. Les décisions futures en matière d'élaboration et de mise en Guvre des programmes doivent prendre en compte les résultats de l'évaluation.

Le SCT appuie la pratique de l'évaluation en recommandant les meilleures pratiques, en établissant des normes et en créant des outils pour aider les ministères à préparer des évaluations efficaces, en organisant des ateliers et de la formation sur la préparation des CGRR et en surveillant la capacité d'évaluation dans les ministères. Les ministères doivent utiliser ces ressources pour soutenir et orienter leur processus décisionnel. Les résultats de l'évaluation doivent fournir une information crédible permettant de prendre des décisions éclairées sur les présentations au CT. Le CEE contribue à l'atteinte de cet objectif en examinant la validité des conclusions de l'évaluation et veillant à ce qu'elles soient prises en compte dans la présentation au CT.

L'examen des rapports d'évaluation permet aux analystes du Secteur des programmes et du CEE de déterminer la façon dont un programme est administré, si les résultats sont mesurés et les progrès réalisés en vue d'atteindre les objectifs prévus. De plus, la préparation de rapports d'évaluation incite les gestionnaires de programmes à mettre en Guvre des CGRR et à s'inspirer des leçons retenues pour élaborer et restructurer des programmes. Les commentaires formulés dans le cadre de cet examen sont communiqués à l'analyste du Secteur des programmes afin qu'il en tienne compte dans la préparation du précis qui accompagnera la présentation au CT. Cela est particulièrement important lorsque le CEE soulève des questions litigieuses liées à la validité des conclusions d'un rapport d'évaluation à l'intention du Secteur des programmes. Il est donc essentiel que l'analyste du CEE présente une analyse claire et concise du rapport d'évaluation.



 

4. Processus d'examen de l'évaluation

Cette section présente les diverses étapes du processus d'examen des rapports d'évaluation. Il est important de souligner que les analystes du CEE qui examinent des rapports d'évaluation ne se livrent pas à un exercice courant de contrôle par les pairs. Plutôt que de critiquer la méthodologie utilisée, l'examen doit porter sur les conclusions et les recommandations formulées au moyen de cette méthodologie. Cela dit, les méthodologies utilisées doivent être adaptées aux enjeux de l'évaluation et les données doivent soutenir l'analyse. Voici les principaux éléments qui doivent être abordés dans le cadre de l'examen mené par le CEE. 

  • L'évaluation porte sur les extrants et les enjeux présentés dans le CGRR (ou dans un autre document de planification, par exemple un CGRR mis à jour, disponible au moment de l'examen) aux plans de la pertinence, de l'avancement/succès et de la rentabilité. 
  • La méthodologie utilisée est adaptée aux objectifs de l'étude.
  • Les constatations et les conclusions s'appuient sur des preuves tirées de l'étude d'évaluation.
  • Les recommandations sont élaborées à partir des conclusions et présentent des mesures correctives portant sur les constatations de l'étude.

Première étape : recevoir le rapport d'évaluation

Souvent, l'analyste du Secteur des programmes envoie à l'analyste du CEE une ébauche du rapport d'évaluation afin qu'il l'examine et qu'il fasse des commentaires. Ce rapport peut être rendu disponible avant d'être soumis à l'approbation du Comité de vérification et d'évaluation du ministère, ce qui permet d'ajuster les constatations et les conclusions s'il y a lieu.

Au moment de l'examen, l'analyste du CEE doit avoir accès à des documents d'appui tels que la réponse de la direction, la présentation au CT et le CGRR (ou le cadre d'évaluation précédent) pour obtenir des renseignements sur le programme et pour clarifier tout problème pouvant survenir pendant l'examen.

Deuxième étape : examiner le rapport d'évaluation

Pendant qu'il examine le rapport d'évaluation, l'analyste du CEE doit porter attention aux principaux critères d'examen présentés dans le tableau 1. Soulignons toutefois que l'analyste doit tenir compte des éléments suivants, qui devraient être inclus :

  • un résumé donnant un aperçu de la méthodologie, des constatations, des conclusions et des recommandations;
  • une brève mise en contexte décrivant les objectifs et le calendrier des travaux évaluation, la politique, l'initiative ou le programme visé par l'évaluation et la place qu'il occupe dans l'ensemble des activités de l'organisation;
  • une description de la méthodologie et des sources de données utilisées, ainsi que des limites de l'évaluation au plan de la portée et de la méthodologie;
  • une réponse de la direction établissant le plan d'action à partir des recommandations présentées dans le rapport d'évaluation.


 

TABLEAU 1 :  PRINCIPAUX CRITÈRES D'EXAMEN

 

Enjeux de l'évaluation

 

Constatations

 

Conclusions

 

Recommandations

 
Le rapport énonce les enjeux de l'évaluation conformément aux exigences de la Politique d'évaluation : pertinence, succès ainsi que le rapport entre ces enjeux et le modèle logique du CGRR. Le rapport présente les constatations qui portent sur les enjeux de l'évaluation. Le rapport se termine par des conclusions qui portent sur les enjeux de l'évaluation. Le rapport recommande des mesures correctives qui s'appuient sur des faits et qui sont reliées aux constatations du rapport d'évaluation et aux enjeux de l'évaluation. 
Le rapport énonce les enjeux de l'évaluation qui s'apparentent aux enjeux soulevés dans d'autres documents connexes, p. ex. des CGRR. Compte tenu des méthodologies utilisées, le rapport présente des constatations logiques, valides et étayées qui ne se contredisent pas entre elles. Le rapport présente des conclusions valides tirées des constatations de l'évaluation, compte tenu des méthodologies utilisées. Le rapport souligne les responsabilités liées à la mise en Guvre des recommandations proposées, y compris les délais de réponse de la direction.
Le rapport aborde d'autres facteurs qui contribuent au succès, à la pertinence et à la rentabilité du programme, comme le financement ou l'établissement de partenariats.  Le rapport décrit des facteurs qui ont eu une incidence sur le succès, la pertinence et la rentabilité du programme. Une section du rapport est consacrée aux répercussions futures des constatations de l'étude d'évaluation. Les recommandations du rapport font état des perspectives d'avenir, des points à améliorer et des possibilités de financement ou de ressources.
Le rapport comprend un plan d'action établi à partir des recommandations. Le rapport présente des mesures appropriées et réalistes en vue d'améliorer le programme, s'il y a lieu. Le rapport sera pris en compte dans la restructuration et la mise en Guvre futures du programme. Le rapport recommande des mesures correctives réalistes et pratiques assorties d'échéanciers.

Troisième étape : formuler des commentaires

En plus de formuler des commentaires sur les principaux critères d'évaluation présentés dans le tableau 1, l'analyste du CEE devrait, le cas échéant :

  • souligner toute répercussion que pourrait avoir la non‑conformité de l'évaluation aux principaux critères d'examen.
  • Examiner les enjeux de l'évaluation et déterminer si ces enjeux ont fait l'objet d'un traitement adéquat et si tous les extrants mentionnés dans le CGRR ont été mesurés. Lorsqu'un enjeu de l'évaluation n'a pas fait l'objet d'un traitement adéquat dans l'étude, il est important d'en faire mention dans les commentaires.
  • Évaluer la validité des constatations, des conclusions et des recommandations en vérifiant si elles s'appuient sur des renseignements étayés. Si tel n'est pas le cas, l'analyste devrait le mentionner dans ses commentaires et fournir une brève justification à l'appui de ce commentaire.
  • Si le rapport d'évaluation a soulevé des problèmes liés à la mesure du rendement et aux stratégies d'évaluation du programme, s'assurer que le CGRR prévoit des améliorations dans ce domaine.
  • Vérifier si la réponse de la direction est disponible et si le plan d'action connexe est inclus dans la présentation au CT.







 

Pour toute demande de renseignement au sujet de ce guide, veuillez communiquer avec :

Le directeur principal,
Centre d'excellence en évaluation
Direction de la gestion axée sur les résultats
Direction générale de la fonction de contrôleur
L'Esplanade Laurier, 9eétage, tour Ouest
300, av. Laurier Ouest
Ottawa (Ontario)
K1A 0R5



 

Annexe : Principaux éléments d'un rapport d'évaluation et critères d'autoévaluation détaillés

Le tableau ci‑dessous – tiré du document intitulé Evaluation Report Assessment Guide publié par Santé Canada en avril 2003 – présente les éléments qui doivent être inclus dans un rapport d'évaluation ainsi que les critères précis qui doivent être utilisés pour évaluer ces éléments. 


1.  RÉSUMÉ

 

Enjeux/exigences

Critères

1.1 Résumé
  • Présenter brièvement :
    • une description de la politique, de l'initiative ou du programme visé par l'évaluation;
    • la raison pour laquelle l'évaluation a été faite;
    • le client et les personnes auxquelles l'évaluation est destinée;
    • les principales constatations, conclusions et recommandations de l'évaluation.

(Suggestion : le résumé devrait avoir environ 3 pages.)



 

2.  INTRODUCTION ET CONTEXTE

 

Enjeux/exigences

Critères

2.1 Description
  • La politique, l'initiative ou le programme visé par l'évaluation est clairement décrit, y compris la logique des liens de cause à effet entre les intrants, les activités, les extrants, les résultats et les facteurs externes qui ont contribué au succès ou à l'échec, par exemple, la théorie et les hypothèses de la politique ou du programme.
  • La portée du programme (la clientèle visée) est clairement décrite.
  • Les ressources du programme sont clairement décrites afin de permettre au lecteur de comprendre comment les fonds du programme ont été affectés et dépensés.
2.2 Contexte de l'évaluation
  • Le rapport établit adéquatement le contexte de l'évaluation en expliquant ou en décrivant clairement :
    • la raison pour laquelle l'évaluation a été menée et été menée à ce moment-là;
    • l'utilisation qui sera faite des résultats;
    • les objectifs et la portée de l'évaluation;
    • le client, les destinataires et les principaux intervenants;
    • le calendrier des travaux d'évaluation;
    • les enjeux/questions (clairs, utiles et dont la responsabilité est clairement établie) visés par l'évaluation qui relèvent des domaines visés par l'enquête (pertinence, mise en Guvre, efficacité, rentabilité et efficience).
  • Selon la nature, l'objet et l'opportunité d'une étude d'évaluation en particulier, il faudrait envisager l'inclusion des questions suivantes :
    • Le programme répond‑il encore aux besoins de la population?
    • Les ressources du programme sont‑elles utilisées de la façon la plus efficiente et la plus efficace possible afin d'obtenir les résultats appropriés?
    • Ce programme doit‑il nécessairement être administré par le gouvernement du Canada ou pourrait-il être transféré à d'autres ordres de gouvernement, au secteur privé ou au secteur bénévole?
    • Est-il possible d'envisager des structures de programmes et des modes de prestation des services plus efficaces?
    • Les pratiques de gestion ministérielles sont‑elles adéquates et de qualité suffisante?


 

3. MÉTHODOLOGIE / PLAN / DONNÉES

 

Enjeux/exigences

Critères

3.1  Description de la méthodologie/
du plan de l'étude
  • Le plan de l'évaluation est décrit dans la mesure où l'étude peut être reproduite; p. ex. les rapports entre la collecte des données et l'analyse sont décrits clairement.
  • Le plan de l'évaluation est établi en fonction des objectifs de l'étude.
  • La collecte des données est adaptée au plan (la méthodologie, les instruments et l'échantillon sont décrits suffisamment en détail pour permettre une évaluation de la rigueur méthodologique); p. ex. les données sont valides et fiables.
  • Les méthodes sont bien utilisées (p. ex. la taille de l'échantillon est valide).
  • L'analyse est adéquate. Les données soutiennent l'analyse (comme le déterminent, par exemple, les tests d'hypothèses et les taux de réponse).
  • TOUS les intervenants sont inclus et leur contribution est décrite de façon juste et équilibrée.
3.2  Sources de données multiples
  • L'évaluation s'appuie sur plus d'une source de données et utilise une combinaison d'approches quantitatives et qualitatives qui doit comprendre un examen de la documentation.
3.3 Qualité des données
  • Les données utilisées sont exactes et fiables.
3.4 Limites
  • Les limites et les compromis des méthodologies, des sources de données et de l'utilisation des données dans l'évaluation sont décrits clairement. Par exemple :
    • Les distorsions réelles ou éventuelles et la fiabilité des données sont mentionnées et expliquées quant à leur incidence sur les constatations énoncées.
    • Les contraintes de l'évaluation et la perspective dans laquelle l'intervention est évaluée sont claires et le lecteur peut évaluer la validité du jugement des évaluateurs.
3.5 Exactitude
  • L'information contenue dans le rapport est exempte d'erreurs au plan des faits ou de la logique.


 

4. PRINCIPALES CONSTATATIONS

 

Enjeux/exigences

Critères

4.1 Enjeux de l'évaluation
  • Les enjeux/questions de l'évaluation font l'objet d'un traitement adéquat.
4.2 Objectivité
  • Toutes les constatations importantes sont présentées, elles sont vérifiables et elles se limitent à ce qui est étayé par des preuves.
  • Perspective équilibrée – tenant compte de l'éventail et de l'intensité des observations ainsi que des autres commentaires reçus; p. ex. lorsqu'une personne est citée, on doit mentionner dans quelle mesure son opinion est partagée par les autres personnes interrogées.
  • Les résultats sont suffisamment nuancés pour aider les lecteurs à tirer des conclusions éclairées.
4.3  Clarté et concision
  • Le rapport est rédigé en langage simple et on évite, dans la mesure du possible, de recourir à une terminologie spécialisée.
  • Le rapport n'est pas alourdi par un excès de détails. L'information et les analyses détaillées sont présentées dans des annexes techniques.
4.4  Constatations étayées
  • Les constatations s'appuient sur des preuves, telles qu'elles sont décrites dans le rapport d'évaluation.


 

5. PRINCIPALES CONCLUSIONS

 

Enjeux/exigences

Critères

5.1  Conclusions soutenables
  • Les conclusions portent sur les questions de l'évaluation et sont étayées par les constatations.
  • Les conclusions sont conformes à l'ensemble de l'analyse; elles sont valides et tirées des conclusions de l'évaluation, compte tenu des méthodologies utilisées.


 

6. RECOMMANDATIONS

 

Enjeux/exigences

Critères

6.1  Recommandations étayées
  • Les recommandations sont étayées par les constatations et les conclusions, dont elles découlent logiquement.
  • Les recommandations portent sur des questions importantes; elles ne constituent pas une liste de souhaits en vrac.
  • Dans la mesure du possible, une évaluation des incidences potentielles (sur la politique, l'initiative ou le programme évalué) de la mise en Guvre de chaque recommandation est présentée.
  • Les recommandations font état de l'échéancier proposé pour l'intervention de la direction et donnent une indication de la quantité et de la qualité de ces mesures. Il ne suffit pas de dire que « le financement devrait être augmenté » ou que « les consultations devraient être élargies ». Il faut donner des objectifs‑repères permettant de déterminer « dans quelle mesure » et à quoi pourraient correspondre les termes « suffisant » ou « assez bon ».
  • Les recommandations sont pratiques et peuvent être mises en Guvre de façon réaliste.
  • Les recommandations s'adressent à des intervenants en particulier.


 

7. LONGUEUR DU DOCUMENT

 

Enjeux/exigences

Critères

7.1 Longueur du rapport
  • Afin de mettre l'accent sur les éléments qui sont vraiment importants, la partie principale du rapport d'évaluation devrait avoir environ 25 pages au plus. Les autres renseignements peuvent être présentés dans des appendices et des annexes.


 

8. RÉPONSE DE LA DIRECTION / PLAN D'ACTION

 

Enjeux/exigences

Critères

8.1 Plan d'action
  • La réponse de la direction et le plan d'action répondent adéquatement aux constatations et aux recommandations.
  • Le plan d'action décrit les objectifs des mesures qui seront prises et les échéanciers (qui fera quoi et quand).

 
Date de modification :