Orientations générales sur la gouvernance et la gestion des évaluations des initiatives horizontales

Nous avons archivé cette page et ne la mettrons plus à jour.

Vous pouvez l’utiliser à des fins de recherche ou de référence uniquement.

Nous avons archivé cette page et ne la mettrons plus à jour.

Vous pouvez l’utiliser à des fins de recherche ou de référence uniquement.

Avis aux lecteurs

La Politique sur les résultats est entrée en vigueur le 1^er juillet 2016 et elle a remplacé la Politique sur l’évaluation et ses instruments.

Depuis 2016, le Centre d’excellence en évaluation a été remplacé par la Division des résultats.

Pour de plus amples renseignements sur les évaluations et les sujets connexes, veuillez consulter la section Évaluation du site Web du Secrétariat du Conseil du Trésor du Canada.

Centre d’excellence en évaluation
Secteur de la gestion des dépenses
Secrétariat du Conseil du Trésor du Canada

Remerciements

Le document Orientations générales sur la gouvernance et la gestion des évaluations des initiatives horizontales a été mis au point par le Centre d’excellence en évaluation (CEE) et le Groupe de travail sur l’évaluation des initiatives horizontales (GTEIH) avec l’aide des Services conseils du gouvernement.

Le GTEIH, qui se compose de chefs de l’évaluation et d’évaluateurs d’un éventail de ministères (consultez la liste ci-après) et d’une équipe du CEE, a été mis sur pied en 2009 afin d’échanger des idées et d’élaborer des orientations relatives à l’évaluation des initiatives horizontales conformément à la série de politiques sur l’évaluation du Conseil du Trésor. L’expérience et les efforts du GTEIH et de son sous-comité, l’Équipe de travail chargée du chapitre sur la gouvernance, ont eu un rôle de premier plan à jouer dans l’élaboration du présent document d’orientation.

Le CEE tient à remercier les représentants des ministères et des organismes qui ont été interviewés dans le cadre de l’élaboration du présent document d’orientation ainsi que les membres du GTEIH et les personnes qui ont participé activement aux travaux et qui ont fourni des commentaires sur les versions provisoires du document.

Le GTEIH se compose de représentants des ministères et organismes suivants : 

• Agence de promotion économique du Canada atlantique
• Agence de développement économique du Canada pour les régions du Québec
• Environnement Canada
• Pêches et Océans Canada
• Santé Canada
• Ressources humaines et Développement des compétences Canada
• Industrie Canada
• Infrastructure Canada
• Bibliothèque et Archives Canada
• Agence de la santé publique du Canada
• Sécurité publique Canada
• Travaux Publics et Services gouvernementaux Canada
• Gendarmerie royale du Canada
• Diversification de l’économie de l’Ouest Canada
• Secrétariat du Conseil du Trésor du Canada

Table des matières

• 1.0 Introduction.
  • 1.1 L’évaluation au gouvernement du Canada
  • 1.2 L’évaluation des initiatives horizontales
  • 1.3 Objet
  • 1.4 Utilisateurs ciblés
  • 1.5 Organisation
  • 1.6 Suggestions et demandes de renseignements
• 2.0 Gouvernance de l’évaluation des initiatives horizontales : Concepts, principes, lignes directrices et approches
  • 2.1 Concepts
    • 2.1.1 Définition d’« initiative horizontale »
    • 2.1.2 Définition de « gouvernance »
    • 2.1.3 Considérations et exigences stratégiques de l’évaluation des initiatives horizontales
  • 2.2 Lignes directrices et principes de gouvernance de l’évaluation des initiatives horizontales
    • 2.2.1 Principes directeurs généraux
    • 2.2.2 L’étape de préplanification
    • 2.2.3 L’étape de la planification/conception
    • 2.2.4 L’étape d’exécution
    • 2.2.5 L’étape d’approbation
    • 2.2.6 L’étape de post-approbation
  • 2.3 Approches
    • 2.3.1 Exemples généraux à titre illustratif
• 3.0 Conclusion
• Annexe A—Trousse d’outils de la gouvernance
  • I. Diagramme des considérations aux fins de la planification
  • II. Structures possibles de gouvernance du programme comparativement à l’évaluation
  • III. Considérations aux fins de la détermination du niveau de participation des partenaires
  • IV. Matrice des rôles et responsabilités
  • V. Considérations aux fins de la Stratégie de mesure du rendement
• Annexe B—Questions pouvant être incluses dans l’évaluation d’une initiative horizontale
• Annexe C—Ouvrages de référence
• Annexe D—Ministères et organismes interviewés en prévision de l’orientation
• Annexe E—Glossaire
• Annexe F—Liste des acronymes utilisés

1.0  Introduction

1.1 L’évaluation au gouvernement du Canada

La gestion axée sur les résultats est une approche cyclique au regard de la gestion qui tient compte de la stratégie, des personnes, des ressources, des processus et des éléments de preuves en matière de rendement en vue d’améliorer la prise de décisions, la transparence et la responsabilisation envers les investissements effectués par le gouvernement du Canada au nom des Canadiens. Afin d’appuyer l’excellence en gestion, le gouvernement a instauré un Système de gestion des dépenses (SGD) qui assure la discipline financière globale, l’affectation efficace de toutes les ressources publiques aux secteurs les plus pertinents, le rendement et la priorité ainsi que la gestion efficiente et efficace des programmes. L’évaluation joue le rôle clé partout au gouvernement du Canada d’appuyer les initiatives du gouvernement et d’assurer l’optimisation des ressources dans le cadre de ses programmes.

Depuis sa création au début des années 1970 en tant qu’outil officiel de production d’information sur le rendement, et surtout après l’adoption par le gouvernement du Canada de la première Politique sur l’évaluation en 1977, l’évaluation est devenue une source d’éléments probants disponibles pour orienter la gestion des dépenses et la prise de décisions concernant les programmes. Au gouvernement du Canada, l’évaluation se définit comme la collecte et l’analyse systématiques de données probantes sur les résultats des programmes, des politiques ou des initiatives afin d’en évaluer la pertinence et le rendement et de trouver d’autres modes de prestation ou d’autres façons d’obtenir les mêmes résultats. L’évaluation sert à déterminer si un programme a contribué ou non aux résultats observés, et dans quelle mesure. Elle permet aussi d’expliquer en détails les raisons pour lesquelles le programme a atteint, ou n’a pas atteint, les résultats escomptés.

1.2 L’évaluation des initiatives horizontales

L’évaluation des initiatives horizontales est importante en ce sens qu’elle accroît la responsabilisation et la transparence des investissements effectués par l’intermédiaire de nombreuses organisations. Elle fournit une source d’éléments probants pour orienter la gestion des dépenses et les décisions de programme sur des initiatives faisant appel à de nombreuses organisations. Elle aide les administrateurs généraux de ces organisations, en particulier l’administrateur général de l’organisation responsable, à s’acquitter de leurs responsabilités de déclaration des initiatives horizontales dans le rapport sur les plans et les priorités et dans le rapport ministériel sur le rendement.

1.3 Objet

Le document Orientations générales sur la gouvernance et la gestion des évaluations des initiatives horizontales a été élaboré afin d’aider les ministères et les organismes¹ à concevoir, à gérer et à réaliser des évaluations d’initiatives horizontales tout en répondant aux exigences de la Politique sur l’évaluation (2009), de la Directive sur la fonction d’évaluation (2009) et des Normes d’évaluation pour le gouvernement du Canada (2009).

Le présent document d’orientation expose des concepts, des principes et des méthodes de gouvernance concernant toutes les étapes de l’évaluation des initiatives horizontales. Il regroupe les idées et les pratiques actuelles en vue de relever les défis de gouvernance inhérents à l’évaluation d’initiatives horizontales au gouvernement fédéral. Compte tenu de la complexité de l’évaluation des initiatives horizontales, il est important de garder à l’esprit que le présent document d’orientation ne présente pas une approche unique au regard de la gouvernance. Le matériel fourni vise plutôt à aider les fonctionnaires du Ministère à mettre en œuvre, sur le plan de la gouvernance, des approches qui correspondent à la complexité de l’initiative examinée.

1.4 Utilisateurs ciblés

Les principaux publics cibles visés par le présent document sont les chefs de l’évaluation (CE), les gestionnaires de l’évaluation et les évaluateurs.

Le document d’orientation sera aussi utile pour les gestionnaires de programme qui sont responsables de la mesure du rendement et ceux qui participent à l’élaboration des mémoires au Cabinet (MC) et des présentations au Conseil du Trésor. Il les aidera à comprendre le rôle qu’ils ont à jouer pour appuyer la gouvernance et la gestion des évaluations des initiatives horizontales.

En outre, le document sera aussi utile aux cadres supérieurs qui sont membres d’un comité d’évaluation ministériel (CEM) et qui aident leur administrateur général en ce qui a trait au plan d’évaluation ministériel, au ressourcement et aux rapports d’évaluation finale. Il les aidera à comprendre le rôle de la fonction d’évaluation dans la conception, l’élaboration et la gestion des initiatives horizontales.

1.5 Organisation

Le présent document d’orientation expose des concepts liés à l’évaluation des initiatives horizontales. Il contient des recommandations des lignes directrices et des principes de gouvernance pour l’évaluation des initiatives horizontales aux principales étapes du cycle de vie de l’évaluation, et il propose des approches au regard de l’évaluation d’une initiative horizontale. Il met l’accent surtout sur les différentiels de gouvernance dans le cadre de l’évaluation des initiatives horizontales comparativement à l’évaluation des programmes au sein d’un ministère.

Le document s’appuie aussi sur la série de politiques sur l’évaluation de même que sur d’autres documents d’orientation sur l’évaluation au gouvernement fédéral, et il discute de son application à la gouvernance de l’évaluation des initiatives horizontales.

La série des politiques sur l’évaluation inclut les documents suivants :

• Directive sur la fonction d’évaluation
• Politique sur l’évaluation
• Normes d’évaluation pour le gouvernement du Canada

1.6  Suggestions et demandes de renseignements

Le document Orientations générales sur la gouvernance et la gestion des évaluations des initiatives horizontales sera mis à jour périodiquement, selon les besoins. Toutes les suggestions sont les bienvenues.

Les demandes de renseignements concernant le présent document d’orientation doivent être adressées au :

Centre d’excellence en évaluation
Secteur de la gestion des dépenses
Secrétariat du Conseil du Trésor du Canada

Courriel : evaluation@tbs-sct.gc.ca

2.0 Gouvernance de l’évaluation des initiatives horizontales : Concepts, principes, lignes directrices et approches

2.1 Concepts

2.1.1 Définition d’une « initiative horizontale »

Le Secrétariat du Conseil du Trésor du Canada (le Secrétariat) définit une initiative horizontale dans le Lexique de la gestion axée sur les résultats comme une « initiative à laquelle participent des partenaires de deux organismes ou plus qui établissent une entente de financement officielle (p. ex., un mémoire au Cabinet et une présentation au Conseil du Trésor) pour travailler à l’atteinte de résultats communs ». Le présent document d’orientation met l’accent sur les initiatives qui correspondent à cette définition en tenant compte des responsabilités et des obligations redditionnelles souvent associées à ce type d’initiatives.

Il convient toutefois de signaler que d’autres types de mécanismes de collaboration appuient l’exécution de programmes ou d’initiatives par plus d’une organisation². Ces types de mécanismes de collaboration peuvent inclure des partenariats fédéral-provinciaux, des ententes de collaboration plurijuri dictionnels auxquels participent des partenaires ne faisant pas partie du gouvernement fédéral, des ententes informelles auxquelles participent plus qu’une organisation ou des initiatives thématiques pangouvernementales. Ces types de mécanismes peuvent comporter un niveau de complexité exigeant au chapitre de la gouvernance des considérations qui s’ajoutent à celles décrites dans le présent document.

Même si ces autres types de mécanismes ne relèvent pas de la définition actuelle, les suggestions fournies dans le présent document peuvent s’appliquer dans le cadre de leurs évaluations.

2.1.2 Définition de « gouvernance »

La Politique sur la structure de la gestion, des ressources et des résultats définit la gouvernance comme étant les « processus et structures dans le cadre desquels le pouvoir décisionnel est exercé ».

Dans le même ordre d’idées, la définition de gouvernance des organisations qui suit se fonde sur celle qui a été mise au point par l’Organisation de coopération et de développement économiques (OCDE) : « La gouvernance des organisations désigne la façon dont elles sont dirigées et contrôlées. Elle définit la distribution des droits et des responsabilités parmi les intervenants et les participants au sein de l’organisation; elle détermine les règles et les marches à suivre pour prendre des décisions au sujet des affaires institutionnelles, y compris le processus par lequel les objectifs de l’organisation sont fixés, et elle fournit les moyens d’atteindre ces objectifs et de contrôler le rendement. » [trad]³

Même si cette dernière définition vise des organisations, aux fins du présent document d’orientation, la gouvernance peut être définie comme étant la manière par laquelle les représentants de nombreux ministères s’organisent pour mener conjointement l’évaluation d’une initiative horizontale, y compris l’élaboration et la mise en œuvre de processus et de structures de contrôle pour la prise de décisions.

2.1.3 Considérations et exigences stratégiques de l’évaluation des initiatives horizontales 

Il est important de garder à l’esprit que les pratiques et les principes de gouvernance appliqués aux fins de l’évaluation des initiatives horizontales doivent demeurer conformes à l’actuelle série de politiques sur l’évaluation du Conseil du Trésor, qui inclut la Politique sur l’évaluation, la Directive sur la fonction d’évaluation et les Normes d’évaluation pour le gouvernement du Canada.

En vertu de la Politique sur l’évaluation, il incombe aux administrateurs généraux d’assurer la solidité et la neutralité de la fonction d’évaluation dans leur ministère.

Les administrateurs généraux sont tenus d'assurer les fonctions suivantes:

• Nommer un chef de l’évaluation au niveau approprié pour diriger la fonction d’évaluation au ministère
• Approuver les rapports d’évaluation, les plans d’action et les réponses de la direction
• Veiller à ce qu’un comité de hauts fonctionnaires (appelé Comité d’évaluation ministériel [CEM]) ait la responsabilité de conseiller l’administrateur général au sujet de toutes les activités d’évaluation et des activités connexes au ministère
• Veiller à ce que le CEM et le CE aient accès à toute l’information et à tous les documents nécessaires ou demandés pour s’acquitter de leurs responsabilités
• Veiller à ce que des rapports d’évaluation complets et approuvés ainsi que des plans d’action et des réponses de la direction soient mis à la disposition des Canadiens en temps opportun, tout en veillant à ce que l’échange des rapports respecte les dispositions de la Loi sur l’accès à l’information, de la Loi sur la protection des renseignements personnels et de la Politique sur la sécurité du gouvernement.

Le CEM est un comité de cadres supérieurs présidé par l’administrateur général ou par une personne de haut niveau. Il donne à l’administrateur général des conseils relatifs au plan d’évaluation ministériel, au ressourcement et aux rapports d’évaluation finale, et il peut prendre des décisions concernant toutes les autres activités d’évaluation et activités connexes du ministère⁴.

Conformément à la Directive sur la fonction d’évaluation, il incombe aux CE de prendre les mesures suivantes :

• Appuyer un comité principal de hauts fonctionnaires (le CEM) qui a la responsabilité d’orienter et de surveiller la fonction d’évaluation
• Présenter des rapports d’évaluation (et d’autres produits d’évaluation, s’il y a lieu) directement à l’administrateur général et au CEM, et ce, en temps opportun
• Examiner les Stratégies de mesure du rendement pour toutes les dépenses de programme directes nouvelles et en cours et fournir des conseils à ce sujet
• Examiner les dispositions sur la reddition de comptes et le rendement à inclure dans les documents du Cabinet (p. ex., les mémoires au Cabinet et les présentations au Conseil du Trésor) et fournir des conseils connexes
• Examiner le Cadre de mesure du rendement intégré à la Structure de gestion, des ressources et des résultats du ministère et fournir des conseils connexes
• Présenter au CEM un rapport annuel sur l’état de la mesure du rendement des programmes à l’appui de l’évaluation
• Mettre à la disposition du public des rapports d’évaluation approuvés ainsi que les plans d’action et les réponses de la direction
• Conseiller comme il se doit les gestionnaires de programme, les intervenants et les comités d’examen par des pairs ou les comités consultatifs au cours de la conception et de la mise en œuvre des projets d’évaluation

Conformément aux Normes d’évaluation pour le gouvernement du Canada, :

• Les CE sont responsables de diriger les projets d’évaluation et de veiller à ce que les rôles et les responsabilités des membres de l’équipe du projet participant à une évaluation en particulier soient établis par écrit et qu’il en soit convenu au début de l’évaluation.
• Des comités directeurs ou consultatifs ou des comités d’examen par des pairs sont mis sur pied s’il y a lieu afin de contribuer aux processus et à la planification de l’évaluation ainsi qu’à l’examen des produits d’évaluation afin d’améliorer leur qualité. Le CE ou le gestionnaire de l’évaluation est à la tête de ces comités.

Conformément à la Directive sur la fonction d’évaluation, il revient aux gestionnaires de programme d’assumer les fonctions suivantes :

• Élaborer et mettre en œuvre des stratégies continuelles de mesure du rendement de leurs programmes et s’assurer que des données sur le rendement crédibles et fiables sont recueillies afin d’appuyer l’évaluation de façon efficace
• Consulter le chef de l’évaluation au sujet des Stratégies de mesure du rendement pour toutes les dépenses de programmes directes nouvelles et en cours
• Élaborer et mettre en œuvre un plan d’action et une réponse de la direction pour tous les rapports d’évaluation

La distinction susmentionnée entre les rôles et les responsabilités du personnel de l’évaluation en comparaison avec ceux du personnel des programmes est respectée tout au long du présent document.

Le présent document doit être lu de concert avec le document Pour soutenir des évaluations efficaces : Guide d’élaboration de stratégies de mesure du rendement, qui explique le contenu des Stratégies de mesure du rendement, un élément clé du soutien aux évaluations, qui recommande un processus aux fins de l’élaboration de Stratégies de mesure du rendement claires et concises et qui présente des exemples d’outils et un cadre prévu à cette fin. Il établit aussi un survol des rôles que doivent jouer les gestionnaires de programme et les CE dans le cadre de l’élaboration des Stratégies de mesure du rendement.

Les lois et les politiques suivantes ont aussi trait à l’évaluation :

• Loi sur l’accès à l’information
• Cadre de responsabilisation de gestion
• Politique sur la gouvernance en matière de gestion financière
• Politique sur la sécurité du gouvernement
• Politique sur la structure de la gestion, des ressources et des résultats
• Politique sur les paiements de transfert 
• Loi sur la protection des renseignements personnels

2.2 Lignes directrices et principes de gouvernance de l’évaluation des initiatives horizontales

Aux fins de la présente section, le cycle de vie de l’évaluation de l’initiative horizontale est divisé en cinq étapes, tel qu’illustré à la figure 1.

Figure 1 - Version textuelle

Ce diagramme illustre les différentes étapes du cycle de vie de l'évaluation d'une initiative horizontale relativement au cycle de vie d'une initiative horizontale. La partie supérieure de l'illustration établit la division du cycle de vie de l'évaluation en cinq étapes dans l'ordre suivant : Préplanification, Planification/Conception, Exécution, Approbation et Post-approbation. La partie inférieure de l'illustration établit la division du cycle de vie de l'initiative horizontale en trois étapes dans l'ordre suivant : Début/Élaboration du document du Cabinet, Mise en œuvre et gestion et Amélioration et/ou renouvellement.

Cette section présente d’abord les principes généraux de la gouvernance ayant trait à l’évaluation de l’initiative horizontale dans son ensemble, et elle précise les principales tâches liées à la gouvernance et les lignes directrices connexes pour chaque étape du cycle de vie.

Les considérations présentées dans cette section sont appuyées par des exemples à la section 2.3, qui montrent comment les orientations peuvent s’appliquer à chaque étape de l’évaluation d’initiatives horizontales dont la complexité varie. À l’annexe A, une trousse d’outils constituée de graphiques, de mises en correspondance des rôles et des responsabilités et des exemples de modèles à suivre approfondissent ces principes et ces approches. Le contenu de la trousse d’outils est cité tout au long du présent document d’orientation.

2.2.1      Principes directeurs généraux

Les principes généraux qui suivent s’appliquent à la saine gouvernance de toutes les étapes d’évaluation d’une initiative horizontale, et ils se fondent sur des expériences ministérielles antérieures ayant été établies comme d’importants facteurs déterminants de la réussite.

1. Un ministère responsable fournit de l’orientation, et il reçoit la délégation de pouvoirs décisionnels appropriés. Déterminer qui dirigera l’évaluation et ce que suppose ce rôle permet souvent d’aider les ministères participants à mieux comprendre. Dans la plupart des cas, le rôle de responsable est confié dans un mémoire au Cabinet, une présentation au Conseil du Trésor ou une autre directive ou décision de haut niveau. Si aucun responsable n’est désigné dans le mémoire au Cabinet ou dans la présentation au Conseil du Trésor, les ministères partenaires doivent nommer un ministère responsable. La fonction d’évaluation du ministère responsable doit mobiliser la fonction d’évaluation de tous les ministères participants tout au long des étapes de l’évaluation, y compris au moment où sont prises les décisions relatives à la stratégie d’évaluation. La communication entre les évaluateurs dans tous les ministères partenaires est très importante afin d’assurer la sensibilisation des intéressés et la compréhension des différentes cultures organisationnelles, des obligations redditionnelles parmi les fonctions d’évaluation participantes et le bon déroulement de l’évaluation.
2. L’on obtient l’acceptation et l’engagement des participants. Il faut veiller à ce que tous les intéressés connaissent leurs responsabilités au regard de l’évaluation et aient la capacité de s’acquitter de ces responsabilités comme il faut (p. ex., le pouvoir, le temps, les ressources, les connaissances, les soutiens, les connexions, l’expérience et les compétences). Il est important que l’engagement de chaque ministère partenaire soit énoncé par des personnes au bon niveau, de façon à faire en sorte que les priorités conflictuelles ne nuisent pas aux activités d’évaluation. Parmi ces engagements, mentionnons les responsabilités extérieures à la fonction d’évaluation comme la mise en œuvre de la Stratégie de mesure du rendement, la rédaction de la réponse de la direction et l’élaboration de plans d’action. Il est important de veiller à ce que la haute direction soit mobilisée tout au long des étapes de l’évaluation.
3. La stratégie d’évaluation comprend une approche et un objectif convenus qui sont clairement exposés et bien compris. Veiller à ce que le temps et les ressources soient suffisants pour les travaux collectifs nécessaires qui définiront, et plus tard communiqueront, les objectifs, la portée, l’approche et le plan de l’évaluation. La haute direction ainsi que le personnel de l’évaluation et des programmes de chaque ministère participant doivent participer à cette collaboration.
4. Les conditions nécessaires à l’efficacité du processus décisionnel sont en place. Afin de favoriser l’efficacité du processus décisionnel, de veiller à ce que les organisations décisionnelles soient de taille raisonnable, qu’elles appliquent des processus clairs et acceptés et qu’elles reçoivent un soutien efficace et des renseignements en temps opportun. Ces conditions accorderont assez de temps et de ressources pour un processus décisionnel collectif qui renforce et maintient la confiance des participants tout au long de l’évaluation. Encourage tous les membres à participer de façon ouverte, honnête et directe. Cela facilite l’instauration d’une politique de participation et de transparence complètes.
5. Le processus décisionnel est transparent, et il s’accompagne de responsabilités claires qui sont conformes aux principes de gouvernance de l’initiative horizontale et aux principes de gouvernance ministérielle ainsi qu’aux exigences de la série de politiques sur l’évaluation du Conseil du Trésor. Il est important d’établir un processus décisionnel inclusif, efficace et équitable qui respecte les obligations redditionnelles de chaque ministère participant envers leurs fonctions d’évaluation respectives tout en maintenant un objectif collectif et une responsabilité commune pour l’évaluation.
6. Une stratégie de mesure du rendement est en place. La fonction d’évaluation, en collaboration avec les gestionnaires de programme, assure la mise en place d’une stratégie de gestion du rendement de même que la collecte et la présentation des données.
7. Les risques de l’évaluation sont compris et gérés. Cerner les risques pour l’exécution réussie de l’évaluation et mettre au point les stratégies d’atténuation correspondantes. Parmi les exemples de risques possibles à prendre en considération, mentionnons l’élargissement de la portée, l’affectation des ressources et la continuité du personnel de programme et d’évaluation, le risque de retard du projet, le changement organisationnel, le risque politique, l’évolution des priorités stratégiques dans les différents ministères et le niveau d’intérêt public ou d’attention des médias. Chaque risque doit être noté par rapport à sa probabilité et à son impact, et il faut s’attaquer aux risques importants dans le plan de gestion des risques, qui devra être révisé périodiquement tout au long des diverses étapes de l’évaluation.

2.2.2 L’étape de préplanification

L’étape de préplanification commence habituellement par les activités associées à l’élaboration des documents du Cabinet au début de l’initiative horizontale, et elle devrait se poursuivre jusqu’à ce que soit mis en place un fondement solide pour l’évaluation. Compte tenu de la durée de la période requise pour s’entendre entre ministères participants, l’étape préalable à la planification est particulièrement importante dans le cas de l’évaluation d’une initiative horizontale.

Les tâches suivantes et les lignes directrices correspondantes sont recommandées à l’étape de préplanification. Elles visent à établir une approche en matière de gouvernance pour l’évaluation à venir, à élaborer une approche au regard du contrôle et de l’atténuation des risques jusqu’à ce que l’évaluation ait été menée avec succès et à appuyer la mise en œuvre de la Stratégie de mesure du rendement.

Même si un certain nombre de ces tâches soutiennent des activités dirigées par les secteurs de programme des ministères participants, le groupe de l’évaluation de chaque ministère participant doit y contribuer.

Contribuer à la rédaction des documents du Cabinet

Les documents du Cabinet qui précisent le soutien financier et stratégique de l’initiative horizontale doivent renfermer des dispositions visant son évaluation. Dans cette optique, les documents d’orientation à la préparation des mémoires au Cabinet et des présentations au Conseil du Trésor doivent être consultés.

La contribution aux documents du Cabinet aux fins de l’évaluation des initiatives horizontales doit être effectuée d’une façon qui favorise la collaboration et la consultation entre les membres du personnel de programme et d’évaluation des ministères. Il convient de signaler que les CE des ministères participants sont responsables d’examiner les dispositions concernant la reddition de comptes et le rendement qui sont inclues dans les documents du Cabinet (conformément à la section 6.1.4.b de la Directive sur la fonction d’évaluation) et de fournir des conseils en la matière.

Il est recommandé que le mémoire au Cabinet renferme un engagement clair d’évaluation de l’initiative horizontale, qu’il nomme le ministère responsable de l’évaluation et qu’il précise la mesure dans laquelle chaque ministère participera à cette évaluation.

La présentation au Conseil du Trésor devrait fournir de plus amples renseignements au sujet de l’évaluation que le mémoire au Cabinet. La présentation désigne le ministère responsable de l’évaluation, et elle confirme le rôle des ministères participants. La présentation devrait décrire brièvement le mécanisme de gouvernance, y compris l’attribution générale des rôles et des obligations redditionnelles entre les partenaires de l’évaluation, les objectifs et l’approche globale les sources de financement de l’évaluation et une indication que les autres organisations participantes ont pris ou non un engagement à la Stratégie horizontale de mesure du rendement qui prévoit des indicateurs de rendement et des résultats communs. La clarté et la précision à cette étape contribueront à la prévention d’éventuelles mésententes pour ce qui est de l’exécution de l’évaluation.

Les ministères participants doivent déterminer le statut de la Stratégie de mesure du rendement et comment elle soutiendra effectivement l’évaluation de l’initiative horizontale. Idéalement, une Stratégie de mesure du rendement doit avoir été conçue à l’étape de la présentation au Conseil du Trésor. Dans les cas où le temps ne le permet toutefois pas, il doit y avoir un engagement qui inclut la date de mise en œuvre réelle ou prévue afin de fournir un produit livrable clé dans un délai approprié après l’approbation par le Conseil du Trésor (c.-à-d. de trois à six mois). À tout le moins, l’élaboration d’un modèle logique à l’étape de la présentation au Conseil du Trésor peut être très utile pour comprendre les contributions des partenaires à l’initiative horizontale, et elle peut servir de tremplin à l’élaboration d’autres composantes de la Stratégie de mesure du rendement.

Ces tâches ne peuvent être accomplies sans la participation active des unités de l’évaluation des ministères partenaires à l’étape de l’élaboration de la présentation au Conseil du Trésor.

L’élaboration de la présentation au Conseil du Trésor constitue une excellente occasion d’établir le fondement de la future collaboration à l’évaluation en soi. En particulier, la collaboration et l’entente au sujet du modèle logique et des exigences de mesure du rendement peuvent favoriser une culture de collaboration parmi les ministères participants. Pour les initiatives horizontales particulièrement complexes, il est conseillé de mobiliser des organismes centraux comme le Secrétariat ou le Bureau du Conseil privé ( BCP) au début afin de préciser les problèmes liés à l’évaluation et de s’y attaquer.

Confirmer le contexte de l’initiative horizontale et de l’évaluation

La préplanification doit commencer par une compréhension claire de la nature et du contexte de l’initiative horizontale et des répercussions pour l’évaluation. Parmi les questions que doivent se poser les unités d’évaluation au regard de l’évaluation, mentionnons :

• Quelle est la raison d’être du travail axé sur la collaboration dans le cadre d’une initiative horizontale?
• Quel est le cadre stratégique de l’initiative horizontale?
• Quels sont les objectifs de l’initiative horizontale?
• Quelle est la nature et la portée de la collaboration requise pour réaliser les objectifs de l’initiative horizontale?
• Qui sont les principaux intervenants, et quels sont leurs intérêts?
• Quels sont les mécanismes de financement et les exigences redditionnelles connexes?
• Quels sont les risques liés à l’initiative horizontale? (Ils peuvent inclure sa complexité, le nombre de partenaires et leur historique de collaboration, l’importance relative de l’initiative et l’importance de l’initiative pour les mandats des ministères participants.)
• Quel est le bien‑fondé de l’évaluation dans le cadre d’une initiative horizontale?

Établir la portée et les objectifs de l’évaluation de l’initiative horizontale

Les ministères participants doivent s’entendre le plus tôt possible sur les objectifs et la portée de l’évaluation, étant donné que cette entente peut avoir des répercussions sur les besoins en ressources et sur les données à recueillir à l’avance. Les questions entourant la portée de l’évaluation doivent s’attaquer aux principaux enjeux relevés à l’annexe A de la Directive sur la fonction d’évaluation. Il faut envisager, au besoin, des questions additionnelles qui peuvent être propres à la nature horizontale de l’initiative.

Il incomberait normalement au ministère responsable d’élaborer une version initiale des objectifs et de la portée de l’évaluation. Il est essentiel que tous les ministères participants soient consultés à l’étape de l’élaboration de ces composantes, et qu’ils aient la possibilité d’examiner et d’approuver la version définitive du document qui les établit. L’on s’assure ainsi que l’évaluation s’attaque à tous les enjeux ayant une importance clé pour les ministères participants et qu’elle favorise leur participation et leur sentiment d’appartenance au regard de l’évaluation. Il faut prendre soin de ne pas inclure un trop grand nombre de questions, de sujets ou de composants spéciaux car il pourrait en résulter une portée irréaliste et déraisonnable, compte tenu du temps et des ressources disponibles.

S’entendre sur l’approche globale à adopter au regard de l’évaluation

Les ministères participants doivent s’entendre sur la nécessité ou le bien‑fondé de procéder à l’évaluation de façon horizontale, et à savoir si l’évaluation sera menée ou non comme un exercice unifié ou si elle sera fondée sur des études des composantes⁵ qui sont ultérieurement regroupées dans un rapport de survol ou une combinaison des deux. Le choix est important car il détermine la répartition des responsabilités de l’analyse et de la collecte de données. Il sera aussi important de s’entendre à l’avance sur les éléments de données communs afin de faciliter la mise en commun des résultats.

La raison de l’utilisation d’un cadre commun unifié, d’études de composantes ou d’une combinaison des deux pour mener l’évaluation de l’initiative horizontale dépendra de la nature et des caractéristiques de l’initiative en soi. Il convient de signaler que les études des composantes portent souvent sur les caractéristiques particulières de l’exécution des programmes dans chaque ministère. Il faudra déterminer si les résultats de ces études peuvent être incorporés ou non à un survol horizontal de l’initiative, ce qui permettrait d’offrir la perspective stratégique qu’offrirait un exercice unifié. Même si l’approche qui consiste à mener l’évaluation en utilisant des études des composantes peut sembler constituer l’approche de choix, il convient de signaler qu’il faut avoir de très bonnes raisons pour l’adopter. Ce choix ne doit pas obliger le lecteur à consulter à la fois le rapport de survol horizontal et les études de composantes distinctes pour pouvoir comprendre les liens horizontaux et les résultats de l’initiative.

À cette étape, les ministères peuvent examiner comment l’évaluation contribuera à la couverture des exigences d’évaluation aux termes de la Politique sur l’évaluation. Une discussion avec l’analyste du Secrétariat du Conseil du Trésor du Canada pourrait être utile à cet égard.

Définir la structure de gouvernance, les rôles et les responsabilités des participants ainsi que les processus clés

Définir la structure de gouvernance pour évaluer l’initiative horizontale

La gouvernance et la gestion de l’évaluation d’une initiative horizontale dépendent en partie des mécanismes mis en place aux fins de la gouvernance et de la gestion de l’initiative en soi et de la gouvernance de la fonction d’évaluation dans les ministères. Habituellement, les mécanismes de gouvernance de l’initiative dans son ensemble incluent un comité consultatif/directeur, souvent au niveau de sous-ministre adjoint (SMA), un comité de gestion, souvent au niveau du directeur ou du directeur général (DG) du secteur de programme et un certain nombre de groupes de travail interministériels qui s’attaquent à des enjeux particuliers. Une fonction de secrétariat est habituellement fournie par le ministère responsable. Le degré de formalité tend à augmenter avec le nombre de ministères participants et la taille et l’importance globale de l’initiative. Au moment de planifier une évaluation, il est important de déterminer comment la gouvernance de l’évaluation s’intégrera à cette structure globale, sans compromettre l’indépendance de l’évaluation. Le comité consultatif/directeur des SMA peut avoir un rôle consultatif à jouer dans le cadre de l’évaluation, tandis que le comité de gestion de l’initiative horizontale s’attendra d’être tenu au courant, et il pourrait être tenu de contribuer. Au niveau de travail, certaines évaluations incluent un groupe de travail ou un sous‑comité interministériel constitué d’un mélange d’employés de programme et d’évaluation de chaque ministère participant.

La surveillance et la gestion globale de l’évaluation doivent incomber à un comité interministériel de gestion de l’évaluation (CIGE) constitué de chefs de l’évaluation qui peuvent déléguer la gestion de la coordination journalière selon la taille et la complexité de l’initiative horizontale à des groupes de travail interministériels sur l’évaluation (GTIE) composés d’évaluateurs de haut niveau. Une bonne pratique consiste à représenter tous les partenaires de façon égale sur le CIGE, ce qui permet de faire en sorte que les partenaires ayant des rôles moins importants, qui font des contributions matérielles moindres et ont une représentation moins importante au groupe de travail participent tout de même aux décisions finales.

Le CIGE et le GTIE peuvent être soutenus par la fonction de secrétariat de l’initiative horizontale ou ils peuvent avoir besoin de leur propre fonction de secrétariat, encore une fois selon leur taille et leur complexité.

Déterminer le degré de formalité requis

Les ministères consultés dans le cadre de l’élaboration du présent document d’orientation ont signalé que les mécanismes particuliers qui sont requis aux fins de la tenue de l’évaluation d’une initiative horizontale dépendront d’un certain nombre de facteurs. À l’instar des mécanismes mis en place pour l’initiative dans son ensemble, le degré de formalité requis dépendra du nombre de ministères partenaires et de la taille et de l’importance de l’initiative. Plus une initiative est grande et complexe, plus il faut des structures en bonne et due forme afin d’assurer l’efficacité. Cependant, la nécessité de structures de coordination formelles dépendra aussi du fait de savoir si l’évaluation doit être menée de manière centralisée ou décentralisée et de la mesure dans laquelle les diverses composantes (comme les travaux sur le terrain ou les études de cas) devront être menées conjointement ou séparément.

Comité interministériel de gestion de l’évaluation

Un CIGE, vraisemblablement constitué des chefs de l’évaluation (CE) des ministères participants, doit être mis sur pied à l’étape de la préplanification afin de diriger et de superviser toutes les étapes de l’évaluation. Ce comité doit être responsable des principales décisions prises à des étapes prédéterminées du processus d’évaluation comme l’approbation des dispositions portant sur l’évaluation dans les documents du Cabinet, l’approbation du cadre de référence et des plans d’évaluation, l’approbation des principaux produits intermédiaires et le dépôt du rapport d’évaluation final devant être approuvé à un plus haut niveau, selon les exigences. Le CE du ministère responsable doit présider ce comité.

Groupe de travail interministériel sur l’évaluation

La nécessité d’un GTIE constitué de spécialistes de l’évaluation des ministères participants doit être examinée à cette étape aux fins de la gestion et de la coordination journalières de l’évaluation. Les membres doivent être choisis non seulement en fonction de leur connaissance du sujet, mais aussi de leur capacité de travailler en collaboration et de mettre sur pied des réseaux informels avec des collègues des autres ministères participants. Les membres doivent aussi pouvoir lier les objectifs de l’initiative aux priorités de leur propre ministère, et ils doivent avoir un pouvoir délégué suffisant pour prendre eux‑mêmes des décisions de nature courante. Ils peuvent aussi aider le CIGE à s’acquitter de ses responsabilités en tant que comité.

Rôles et responsabilités

Les ministères participants doivent comprendre clairement, et ce, dès le début, la portée de leur participation aux activités d’évaluation et de mesure du rendement ainsi que leurs responsabilités précises. Il pourrait pour cela être nécessaire que les ministères partenaires définissent ces responsabilités plus en détails qu’à l’étape de l’inclusion dans les documents du Cabinet. À cette étape, les ministères participants doivent prendre une décision finale au sujet du rôle qu’ils auront à jouer dans l’évaluation et le niveau de soutien (y compris la contribution financière) qu’ils fourniront à l’évaluation de l’initiative horizontale.

Exigences concernant l’approbation des ministères

Il est fortement recommandé que l’information requise pour orchestrer les approbations du rapport d’évaluation soit recueillie à cette étape car les marches à suivre concernant l’approbation peuvent être fastidieuses si elles ne sont pas orchestrées comme il se doit. Les CE doivent consulter leur CEM respectif et informer le ministère responsable des besoins de leur ministère au sujet du processus d’approbation ministériel. Cette information doit inclure les marches à suivre liées aux approbations des recommandations et du rapport d’évaluation (visant leur propre ministère ou l’initiative dans son ensemble) ainsi que la réponse de la direction ou les plans d’action de la direction, ou les deux. La prestation de cette information au ministère responsable peut aider ce dernier à mettre au point un calendrier proposé au titre de l’orchestration des approbations.

Il convient de signaler que, conformément à la politique, les administrateurs généraux ne peuvent pas déléguer l’approbation des rapports d’évaluation. Il est recommandé que le CIGE examine le rapport d’évaluation avant de demander l’approbation de chaque ministère, et qu’il veille à ce que les administrateurs généraux des ministères participants aient approuvé le rapport d’évaluation avant de le faire approuver par l’administrateur général du ministère responsable.

Collecte, analyse et échange des données

Les ministères participants doivent s’entendre sur l’approche à adopter aux fins de la collecte de données (p. ex., des recherches sur l’opinion publique et des entrevues), surtout en ce qui concerne la collecte de données continues sur la mesure du rendement à l’appui de l’évaluation de l’initiative horizontale.

Afin d’assurer l’adoption d’une approche efficace et coordonnée au regard de la mesure du rendement, il est important d’établir des attentes claires ainsi que les règles du jeu en ce qui a trait aux responsabilités particulières des ministères participants au chapitre de la collecte et de l’analyse des données de façon continue. Dans cette optique, il est recommandé qu’un processus soit établi afin de fournir des données sur le rendement et d’autres données requises pour l’évaluation à des intervalles réguliers et selon une forme convenue. Dans la mesure du possible, ce processus doit respecter les cycles de planification et de production de rapports des ministères participants et s’y intégrer. Dans le cas de l’évaluation commune unifiée de l’initiative horizontale, la pratique consiste normalement à envoyer les données sur le rendement à la fonction de secrétariat de l’initiative horizontale, qui est habituellement fournie par le ministère responsable. Il incombe aussi au ministère responsable d’assurer la coordination globale du processus de mesure du rendement. Dans certains cas toutefois, cette responsabilité peut être assumée par l’un des autres ministères participants. Il est recommandé que les renseignements pertinents sur le rendement qui ne sont assujettis à aucune restriction sur le plan de la protection des renseignements personnels soient partagés entre les ministères participants.

Établir des dispositions au titre du règlement des différends

Compte tenu de la complexité des évaluations horizontales et du risque de mésentente, les ministères participants doivent veiller à ce que des mécanismes soient mis en place pour que les différends soient réglés rapidement. La structure de gouvernance doit prévoir que les problèmes qui ne peuvent être réglés au niveau du travail puissent être soumis à des instances supérieures. Le CIGE, par exemple, constitue une tribune permettant de régler les différends qui lui sont renvoyés par le GTIE. Avant de confier les problèmes à des instances supérieures, il est important de déterminer s’ils sont de nature opérationnelle ou s’ils sont liés à l’évaluation. Les problèmes opérationnels doivent être examinés par l’intermédiaire de la structure de gouvernance de l’initiative horizontale, tandis que les problèmes liés à l’évaluation doivent être soumis au CIGE de manière à préserver le caractère indépendant de l’évaluation. Une pratique courante consiste pour le ministère responsable à veiller à ce que les problèmes soient rapidement soumis au niveau approprié. En bout de ligne, les décisions reviennent aux administrateurs généraux des ministères participants. Les organismes centraux peuvent être consultés au besoin afin d’établir une piste de règlement si une solution ne peut pas être trouvée au niveau ministériel.

Les ministères interviewés dans le cadre de la préparation du présent document ont aussi indiqué que le maintien d’une bonne communication avec les ministères partenaires tout au long des étapes de l’évaluation permettra de réduire les différends résultant de mésententes.

Définir le mandat des groupes de travail et des comités d’évaluation

Une fois qu’il y a eu entente au sujet des éléments de gouvernance et de gestion, le mandat officiel des groupes de travail et des comités d’évaluation doit être mis au point et autorisé au niveau approprié. Ce mandat précise le cadre de référence, la composition, les rôles et responsabilités ainsi que les pouvoirs décisionnels de chaque entité et leurs procédures opérationnelles respectives. Il est important que tous les ministères participants connaissent clairement le type de décisions qui devront être prises par chaque groupe de travail ou comité d’évaluation.

Il est aussi recommandé que les mandats officiels soient mis au point aux fins de l’évaluation. Ceux ci inclueraient un énoncé des objectifs, de la portée et de la méthodologie de l’évaluation ainsi que les règles du jeu de son fonctionnement, les rôles et les responsabilités des ministères participants et leurs contributions prévues.

Déterminer les coûts et la source de financement de l’évaluation

Au cours de la préparation des documents du Cabinet, il faut déterminer les coûts et la source de financement (c.-à-d., à partir des niveaux de référence existants ou de nouveaux besoins en ressources à faire approuver au moyen d’une présentation au Conseil du Trésor). Il est aussi recommandé de prévoir la complexité souvent additionnelle associée à la mise en œuvre de la Stratégie de mesure du rendement et à la tenue de l’évaluation d’une initiative horizontale.

Établir le calendrier général de l’évaluation

Un calendrier de haut niveau pour l’évaluation doit être mis au point et accepté par les ministères participants afin de pouvoir au moins déterminer les dates de début et de fin de l’évaluation de l’initiative horizontale. Les CE de chaque ministère participant doivent examiner le calendrier proposé dans le contexte du plan d’évaluation ministériel (PEM) de leur ministère ainsi qu’à la lumière du niveau prévu des ressources affectées aux évaluations.

Inclure des dispositions relatives à l’évaluation dans le protocole d’entente interministériel visant l’initiative horizontale

Il est pratique courante pour les ministères de participer à des initiatives horizontales pour développer un cadre redditionnel officiel comme une lettre d’entente ou un protocole d’entente. Ces documents établissent que les participants comprennent les objectifs communs de l’initiative, et ils énoncent en détails quelle sera leur contribution à la réalisation de ces objectifs. Dans le cadre de la rédaction de ces documents pour l’ensemble de l’initiative, les ministères participants devraient inclure des renseignements sur leurs contributions à l’évaluation de l’initiative, qu’elles soient des ressources financières, humaines ou d’autres natures, et ils devraient préciser leur contrôle sur ces ressources. Dans les lettres ou les protocoles d’entente, il faut prendre soin de veiller à ce que la responsabilité de l’évaluation demeure celle du CE et des administrateurs généraux. Il convient de signaler que ces ententes sont différentes des cadres de référence, qui seront mis au point pour les comités qui soutiennent l’évaluation.

Déterminer les risques liés à l’évaluation et régler les problèmes d'évaluation avant l’étape de la planification ou de la conception

Les ministères participants doivent essayer de prévoir les risques susceptibles de causer des problèmes avant ou pendant l’évaluation. Il est donc préférable d’envisager une détermination de l’évaluabilité (qui porte sur l’état de préparation à l’évaluation du programme) à l’étape de la planification ou de la conception afin de pouvoir gérer ces risques.

Les discussions qui ont lieu à l’étape de la préplanification au sujet de la portée, des objectifs et de la stratégie d’évaluation peuvent révéler des objectifs conflictuels ou des mésententes entre les ministères participants. Dans un tel cas, il est important que les participants s’attaquent à ces problèmes et qu’ils les règlent dès le départ.

Contribuer à l’élaboration de la Stratégie de mesure du rendement

Même s’il est clair que l’élaboration, la mise en œuvre et la surveillance des stratégies continues de mesure du rendement des programmes et de l’initiative horizontale relèvent des gestionnaires de programme, le CE examine les Stratégies de mesure du rendement, et il fournit des conseils afin de veiller à ce qu’elles appuient de manière efficace les futures évaluations de la pertinence et du rendement du programme. Dans ce contexte, les CE des ministères participants doivent examiner ensemble tous les aspects de la Stratégie de mesure du rendement de l’initiative horizontale et fournir des conseils pour veiller à ce qu’ils soutiennent de maniere efficace les objectifs de l’évaluation.

Il est recommandé que les ministères participants s’entendent au sujet d’une Stratégie globale de mesure du rendement à l’étape de la préplanification, de façon qu’ils puissent commencer à recueillir des données qui serviront dans le cadre de l’évaluation. La Stratégie de mesure du rendement doit inclure un modèle logique ainsi que des indicateurs communs à l’appui de l’évaluation. Normalement, les plans de mesure du rendement peuvent être peaufinés de façon continue aux étapes ultérieures de manière à améliorer continuellement le processus. Même si l’amélioration continue est aussi encouragée pour des initiatives horizontales, il doit être reconnu que cela est plus difficile et fastidieux quand de nombreuses parties sont en cause. Dans le cadre de l’élaboration de Stratégies de mesure du rendement, il faut aussi consulter le document Pour soutenir des évaluations efficaces : Guide d’élaboration de stratégies de mesure du rendement.

Il faut garder à l’esprit que selon la Directive sur la fonction d’évaluation, le CE est responsable de « présenter au comité d’évaluation ministériel un rapport annuel sur l’état de la mesure du rendement des programmes à l’appui de l’évaluation » (section 6.1.4.d). Afin de soutenir l’organe de gestion ou de coordination de l’évaluation de l’initiative horizontale, le CE doit être prêt à émettre des évaluations périodiques de l’état de la Stratégie de mesure du rendement pour l’initiative horizontale qui peut éclairer les rapports annuels ministériels. Comme la Stratégie de mesure du rendement représente une source clé d’éléments probants pour ce rapport annuel, sa mise en œuvre est particulièrement importante.

Suivant la première année de la mise en œuvre de l’initiative horizontale, les gestionnaires de programme doivent envisager un examen de la Stratégie de mesure du rendement pour confirmer que l’information appropriée est recueillie et saisie afin de répondre aux besoins de surveillance et d’évaluation de la gestion du programme.

2.2.3 L’étape de la planification/conception

Habituellement, l’étape de la planification/conception débute un ou deux ans avant le début de l’étape d’exécution. Le calendrier du début de cette étape dépendra du nombre de partenaires participant à l’évaluation, les plus grandes initiatives horizontales (c.-à-d. celles comptant le plus grand nombre de partenaires) exigeant davantage de temps de planification. La portée de l’étape de la planification/conception inclut les tâches suivantes :

Les lignes directrices suivantes liées à ces tâches sont recommandées à l’étape de la planification/conception afin de se préparer à l’étape ultérieure de l’exécution.

Confirmer la portée et les objectifs de l’évaluation

La portée et les objectifs mis au point à l’étape de la préplanification doivent être confirmés et peaufinés, s’il le faut. Pour cela, les ministères participants doivent établir clairement qui sont les publics cibles de l’évaluation et l’utilisation éventuelle de résultats de l’évaluation. À cette étape, les questions générales de la recherche, qui incluent les principaux problèmes d’évaluation présentés à l’annexe A de la Directive sur la fonction d’évaluation, doivent être confirmées.

Peaufiner l’approche d’évaluation

Il est également recommandé à cette étape de confirmer l’approche d’évaluation et, s’il le faut, de la peaufiner. Cela permettra de confirmer si l’évaluation sera menée ou non comme un exercice unique et unifié, une série d’études de composantes menant à un rapport de survol d’évaluation ou une combinaison des deux approches. À cette étape, il est aussi important de déterminer les enjeux stratégiques des ministères participants qui exigeront un examen spécial ou qui devront être inclus dans le rapport d’évaluation final, ou les deux, et de s’entendre à ce sujet.

Peaufiner la structure de gouvernance et établir les principales marches à suivre aux fins de l’évaluation

Les marches à suivre et la structure de gouvernance établies à l’étape de la préplanification, y compris les cadres de référence, doivent être confirmés et peaufinés s’il le faut. Si aucun GTIE n’a été mis sur pied à l’étape de la préplanification, il faut l’envisager pour l’étape de la planification et de l’exécution et mettre au point les cadres de référence qui s’imposent.

Gérer le groupe de travail interministériel sur l’évaluation (GTIE)

Garder le GTIE à une taille facile à gérer

Il faut déployer des efforts pour garder le GTIE à une taille facile à gérer. Idéalement, il ne devrait pas y avoir un noyau de plus de dix membres. Cela peut toutefois ne pas être réaliste dans les cas d’évaluations de grandes initiatives comptant de nombreux intervenants. Dans de tels cas, il peut être utile de s’entendre sur des règles concernant l’identité des participants et le calendrier de leur participation. Il peut être possible de mobiliser les ministères participants seulement si leur contribution est requise ou si des décisions prises peuvent avoir une incidence sur leurs intérêts. Il est toutefois conseillé que les membres du GTIE en entier se réunissent régulièrement dès le début de l’évaluation afin d’établir un niveau de confort et de compréhension suffisant en ce qui a trait à la planification de l’évaluation de l’initiative horizontale. Par la suite, il peut être possible de réduire la fréquence des réunions plénières et de mettre sur pied des sous-groupes de ministères participants afin de mettre l’accent sur des problèmes particuliers qui peuvent ensuite être déclarés au GTIE en entier pour analyse.

Reconnaître l’importance du leadership

Le fonctionnement effectif du GTIE dépend de la collaboration volontaire de ses membres. L’obtention de cette collaboration, l’instauration d’une atmosphère propice à la collaboration et l’établissement d’une compréhension commune de ce qui est requis exige beaucoup de la part du président du groupe de travail. Il est donc important pour le succès de l’évaluation de nommer un président du GTIE (provenant habituellement du ministère responsable) qui a aussi les compétences en leadership requises pour satisfaire à ces exigences.

Tenir des réunions

Dès le départ, il est important que le président du GTIE encourage tous les membres à participer de façon ouverte, honnête et directe. Cela facilite l’instauration d’une politique de pleine participation et évite les éventuelles mésententes. Avant toutes les réunions, le président peut juger utile de déterminer les points litigieux possibles. Une saine pratique consiste à maintenir un inventaire de ces problèmes en indiquant s’ils ont été réglés, s’ils ont été soumis à des instances supérieures ou s’ils demeurent en litige.

S’attaquer à une éventuelle marginalisation

Les évaluations d’initiatives horizontales incluent souvent un mélange de ministères qui varient sensiblement selon la taille et les ressources qu’ils contribuent. Dans de tels cas, il existe un risque que les intérêts des plus grands ministères éclipsent ceux des plus petits ministères qui contribuent moins de ressources. Ce risque peut être atténué par l’incorporation de mécanismes qui permettent aux ministères ayant moins investi dans l’initiative de faire entendre leur voix au sein du CIGE ou du GTIE quand il le faut. Pour ce faire, il faut établir des règles décisionnelles et procédurales, comme à savoir si les décisions requièrent le consensus ou la majorité. Ces règles doivent reconnaître la voix de chaque personne, mais elles incluent des dispositions suffisantes pour s’attaquer aux problèmes en cause tout en tenant compte de l’importance des risques que posent ces problèmes. De manière plus fondamentale, il est important de veiller à ce que les préoccupations d’une éventuelle marginalisation soient déposées très tôt et qu’elles soient discutées de façon franche et ouverte.

Tenir une réunion inaugurale

Le ministère responsable doit organiser une réunion de lancement. Dans la mesure du possible, tous ceux qui ont un rôle important à jouer dans l’évaluation, y compris les membres du GTIE et les autres membres du personnel d’évaluation et de programme, doivent assister à cette réunion. La réunion doit viser à établir une connaissance commune de l’objet de l’évaluation, déterminer comment les résultats communs seront évalués et élaborer les plans de la tenue de  l’évaluation. La réunion doit permettre de se pencher sur tous les aspects de la portée de l’évaluation, préciser les rôles et les responsabilités des membres de l’équipe (et leurs relations avec le groupe de direction) et expliquer comment les membres de l’équipe d’évaluation fonctionneront ensemble.

Déterminer le niveau d’activité des ministères participants

Même si les responsabilités globales entourant l’évaluation doivent avoir été cernées à l’étape de la préplanification, elles devront être approfondies à l’étape de la planification. En général, le niveau d’activité de chaque ministère participant dépend d’un éventail de facteurs, notamment :

• Importance et taille globale de l’initiative horizontale
• Pertinence par rapport au mandat ministériel (la pertinence sera habituellement la plus élevée pour le ministère responsable)
• Proportion du financement global de l’initiative attribuée à chaque ministère
• Importance relative du financement attribué dans le contexte du budget total du ministère
• Mesure dans laquelle le financement soutient des activités que le ministère n’exercerait pas autrement
• Mesure dans laquelle les activités du ministère sont intégrées à celles des autres ministères participants et le niveau auquel cette intégration a lieu (activité, extrant ou résultat)
• Solidité et fréquence de la collaboration entre le ministère et les autres participants par le passé
• Capacité d’évaluation au ministère

Ministère responsable de l’évaluation

Le ministère responsable de l’évaluation doit déjà avoir été mis sur pied à l’étape de la préplanification. Il doit incomber au ministère responsable de diriger l’évaluation, de prendre l’initiative de communiquer avec les autres ministères participants et de fournir des services de secrétariat et d’autres au besoin. Le ministère responsable exerce normalement sa responsabilité par l’intermédiaire d’un secrétariat qui coordonne la contribution de chacun, rédige les ébauches des documents d’évaluation, surveille la progression de l’évaluation et présente un rapport sur les résultats.

Ministères participants

Le rôle joué par les autres ministères participants sera déterminé dans chaque cas par les facteurs énumérés. En général, les ministères participants s’engageront aux activités suivantes :

• Participer à l’orientation générale et à la direction de l’évaluation
• Partager les coûts de l’évaluation (s’il y a lieu)
• Fournir des intrants comme des rapports d’évaluation antérieurs, des dossiers administratifs, des bases de données et des documents d’orientation
• Mener des entrevues ou administrer des questionnaires ou y répondre
• Examiner les principaux documents d’évaluation aux étapes cruciales
• Fournir les approbations nécessaires
• S’attaquer aux recommandations issues de l’évaluation qui sont destinées à leur ministère respectif

Selon l’importance de l’initiative horizontale pour leurs organisations respectives, les ministères devront aussi décider du degré de leur participation, le cas échéant, à la gestion quotidienne de l’évaluation, de leur investissement (et de leur effort) dans les activités d’évaluation et de leur niveau de participation aux activités des groupes de travail qui sont mis sur pied.

Attribuer des représentants de chaque ministère participant

Il est pratique courante pour les ministères participants de charger un agent d’évaluation de représenter le ministère au sein d’un comité consultatif, d’un comité directeur ou d’un groupe de travail de l’évaluation et d’assurer la liaison avec la fonction d’évaluation du ministère responsable. Cette personne veillera aussi à ce que son ministère soit engagé comme il se doit dans l’étape de l’évaluation qui consiste à effectuer de la recherche ainsi que dans les examens des données et des ébauches des rapports d’évaluation. L'agent coordonne aussi le processus d’approbation au sein de son ministère, il coordonne l’élaboration de la réponse de la direction et, le cas échéant, il coordonne la préparation du plan d’action de la direction par le secteur de programme pour ce qui est des recommandations de l’évaluation touchant son ministère.

S’entendre sur la conduite de l’évaluation, y compris les exigences visant les études de composantes

Il est important d’établir les règles du jeu pour l’évaluation, y compris comment elle sera régie et gérée, les exigences auxquelles elle sera assujettie et les attentes des ministères participants. En particulier, les règles du jeu doivent préciser la contribution de chaque ministère participant à l’évaluation pour ce qui est des ressources (p. ex., le financement, l’information et les personnes) et de l’effort ou de la mobilisation (p. ex., la participation à la gouvernance et à la gestion de l’évaluation). Il faut parfois rajuster les rôles et les responsabilités afin de veiller à ce que la responsabilité globale soit perçue comme étant équitablement partagée par les personnes intéressées, tout en reconnaissant que l’importance de l’évaluation varie d’un ministère participant à l’autre. Ces rajustements sont parfois nécessaires étant donné que le contexte de l’évaluation de l’initiative horizontale peut avoir changé depuis son approbation initiale. Certains ministères peuvent donc devoir envisager un rôle différent de celui qu’ils avaient prévu initialement.

Si l’évaluation requiert un certain nombre d’études de composantes, les ministères participants doivent s’entendre à l’avance sur leurs objectifs, leur forme et leurs exigences linguistiques ainsi que sur la façon de s’attaquer aux questions de sécurité et de protection des renseignements personnels. Si des études de composantes sont requises, il est très important que la portée soit bien définie et qu’il y ait un plan de collecte de données de façon que la synthèse de l’information soit facilitée au moment de la préparation du rapport de survol. Cela doit inclure un plan de collecte de données établi autour d’indicateurs et de résultats communs. Il peut aussi être utile de développer la structure ou les grandes lignes du rapport horizontal prévu à cette étape afin de faciliter la compréhension des attentes au regard des renseignements exigés. Cela facilitera la synthèse des études de composantes. Il peut être particulièrement utile de préciser les grandes lignes du rapport final et le niveau de détails à inclure dans les résumés si les études de composantes doivent ensuite être résumées dans un rapport d’évaluation global.

Établir un calendrier viable

Un calendrier d’évaluation qui précise les dates des diverses étapes, qui établit les dates d’exigibilité de l’information et des rapports à soumettre et qui précise qui sera responsable dans chaque cas doit être mis au point. Dans la mesure du possible, le calendrier doit aussi inclure des renseignements ainsi que les dates des réunions d’information prévues, des réunions importantes ou d’autres moyens de communiquer et de diffuser les résultats d’évaluation. Comme nous l’avons signalé plus tôt, la complexité associée à une initiative horizontale peut faire augmenter le niveau total de l’effort et prolonger la période associée à la tenue de l’évaluation. Cela pourrait être le cas si les protocoles et les mandats des organisations participantes varient. En particulier, les évaluations d’initiatives horizontales requièrent souvent des réunions fréquentes, la négociation d’ententes et d’autres formes de communication qui imposent des pressions accrues sur le temps de gestion. Il est aussi important de veiller à ce que les calendriers prévoient assez de temps pour l’examen et l’analyse des rapports provisoires. En outre, si le rapport d’évaluation final se fonde sur des études de composantes, une période additionnelle peut être requise pour assurer un examen et une synthèse fiable par les ministères partenaires. Les ministères participants qui mènent des études de composantes doivent s’engager à observer un calendrier qui respecte les besoins de l’évaluation horizontale. L’expérience a montré que des évaluations conjointes peuvent prendre jusqu’à deux fois plus de temps à mener que les évaluations auxquelles ne participe qu’une seule organisation. Il est donc important d’être réaliste lorsqu’il s’agit d’établir le calendrier et de ne pas sous-estimer le niveau d’effort requis ou ce qui peut être accompli avec les ressources disponibles. Les ministères participants doivent veiller à ce que leurs PEM respectifs tiennent compte de leur participation à l’évaluation d’initiatives horizontales, y compris la détermination du ministère responsable et des autres ministères participants.

Établir un cadre de contrôle

Le ministère responsable doit veiller à ce qu’un cadre de contrôle efficace de surveillance de la tenue de l’évaluation, de préparation des produits livrables et de gestion des risques associés à l’évaluation soit mis en place avant le lancement de l’évaluation. Cela prendrait la forme d’un cadre type de gestion de projet assorti d’étapes précises et de points d’approbation et de contrôle. Les ministères responsables peuvent vouloir faire état de ce cadre de contrôle dans le mandat des groupes de travail et des comités d’évaluation.

Il est important de veiller à ce que, dans la mesure du possible, les risques éventuels soient cernés dès le départ et qu’un plan de gestion de ces risques soit mis en place. Dans le cadre du processus de gestion des risques, il est aussi conseillé d’établir une liste de vérification aux fins d’assurance de la qualité pour toutes les étapes de l’évaluation.

À cette étape, il est aussi conseillé de consulter les unités de l’Accès à l’information et de la protection des renseignements personnels (AIPRP) et des services juridiques du ministère responsable et des ministères partenaires afin de mettre en place un cadre de contrôle qui répond aux demandes de renseignements provenant de l’extérieur. Il faut envisager l’élaboration d’une approche cohérente afin de répondre aux demandes d’accès à l’information susceptibles d’être présentées pendant et après l’évaluation, surtout quand un rapport d’évaluation risque de renfermer des renseignements classifiés ou de nature délicate.

2.2.4 L’étape d’exécution

L’étape d’exécution de l’évaluation de la plupart des initiatives horizontales commencerait normalement un ou deux ans avant l’étape d’approbation. La date du début doit tenir compte du nombre de partenaires participant à l’évaluation et de la prévision ou non des études de composantes. Les plus grandes initiatives horizontales auxquelles participent un plus grand nombre de partenaires et les évaluations fondées sur des études de composantes exigeront probablement plus de temps pour la collecte des données et pour la production de rapports.

Il est recommandé d’observer les lignes directrices suivantes au regard de ces tâches à l’étape d’exécution.

Maintenir la transparence et l’efficacité des communications

Assurer la transparence

Tous les groupes de travail et les comités d’évaluation doivent fournir des comptes rendus de réunion complets et rapides. Ces comptes rendus doivent faire état des principales contributions individuelles et des opinions des membres des ministères et énumérer les décisions qui ont été prises. Ils doivent de préférence être rédigés et diffusés immédiatement après l’activité, et les membres doivent pouvoir fournir des commentaires.

Maintenir l’efficacité des communications

Il est important, aux fins de l’évaluation des initiatives horizontales, de maintenir l’efficacité des communications tout au long du processus, compte tenu du nombre de personnes et de ministères en cause. Les groupes de travail et les comités doivent se réunir à intervalles réguliers au cours de la période d’évaluation. En outre, il faut envisager de confier à un secrétariat la tâche d’établir un site intranet protégé ou un outil semblable afin de partager les documents et les idées et de tenir des réunions virtuelles.

Recueillir et analyser des données

À cette étape, les ministères participants doivent déjà bien comprendre les besoins en matière de données (p. ex., aux fins de la mesure du rendement), y compris le calendrier et le format, et savoir qui est responsable de recueillir, d’assembler et d’analyser les données. Les membres du GTIE et du CIGE de chaque ministère participant doivent assurer la liaison avec le personnel de programme afin de faciliter l’accès à leurs données ministérielles respectives à utiliser dans le cadre de l’évaluation. Il est aussi important de veiller à ce que les personnes responsables de fournir et d’utiliser les données connaissent les exigences à observer au chapitre de la sécurité ou de la protection des renseignements personnels.

Surveiller les progrès et gérer les risques

Les stratégies de gestion des risques élaborées aux premières étapes doivent être examinées périodiquement afin de veiller à ce que les stratégies nécessaires d’atténuation des risques soient en place et que les responsabilités connexes soient clairement comprises. Il incombe normalement au ministère responsable de surveiller les progrès et de veiller à ce que les risques soient gérés. Il est donc important que le ministère responsable soit informé rapidement des risques émergents et des retards possibles. Le ministère responsable doit surveiller de près l’évaluation afin de déceler tôt les problèmes pouvant être importants et d’agir rapidement pour s’y attaquer.

Afin de surveiller les progrès efficacement, il est utile d’établir les principaux points de contrôle dans le calendrier du projet et de mettre en place des mécanismes de partage des progrès. Il peut aussi avoir lieu d’utiliser un outil comme un diagramme de cheminement critique qui permet de cerner les facteurs d’interdépendance dans le calendrier du projet. De cette façon, les incidences des retards peuvent être entièrement comprises, et les modifications qui en résultent pour le calendrier de projet sont réalistes et acceptables pour tous les principaux intervenants.

Rédiger des rapports

Cette étape est probablement l’une des plus cruciales et des plus controversées de l’évaluation. Même si le ministère responsable est responsable au premier chef de rédiger le rapport de survol, il est important d’établir des règles et des marches à suivre afin de décider ce que renfermera le rapport, comme les principales conclusions et recommandations qui sont acceptables pour toutes les personnes concernées. Il est aussi important de consulter les ministères participants à diverses étapes de la préparation de l’ébauche et des rapports finaux afin de composer rapidement avec les mésententes (au moyen des mesures de règlement des différends déjà en place) et de veiller à ce que tous les ministères puissent être satisfaits du produit final. L’une des façons de favoriser l’acceptation consiste à préparer une présentation des résultats préliminaires de façon que tous les partenaires puissent présenter leurs observations et offrir des précisions afin de rectifier les lacunes perçues.

Il incombe au ministère responsable d’assurer la production d’un rapport de survol de la qualité de l’évaluation de l’initiative horizontale. Il faut donc prévoir un examen par les pairs afin de veiller à ce que les résultats soient étayés comme il se doit par les éléments probants et que les recommandations soient logiques et cohérentes sur le plan interne.

Élaborer des plans d’action et des réponses de la direction

Il revient aux gestionnaires de programme d’élaborer la réponse de la direction, de mettre au point et de mettre en œuvre un plan d’action aux fins de l’évaluation. Les réponses de la direction doivent être mises au point en consultation avec la haute direction des ministères participants. Si ces réponses de la direction sont partagées dans de nombreux ministères, chaque administrateur général doit les approuver en bonne et due forme. Les réponses de la direction à des plans d’action et à des recommandations propres à un ministère doivent être élaborées et approuvées par la direction du ministère en question.

Examiner et achever le rapport

Il est important de partager les ébauches avec le public le plus vaste qui soit et d’obtenir les observations de tous ceux qui ont participé activement à l’évaluation. Cette étape est importante afin de confirmer l’exactitude des résultats, de révéler des points de vue et des renseignements additionnels, de développer un sentiment d’appartenance chez les participants et de renforcer, de façon générale, la qualité et la crédibilité du rapport. Il est aussi important de prévoir assez de temps pour l’inclusion d’observations, quoi que si le temps manque, il faut envisager la tenue d’un atelier inclusif dans le cadre duquel les résultats et les conclusions du rapport peuvent être présentés, discutés et commentés par les participants. Cet atelier peut constituer une tribune utile afin de remédier aux mésententes au sujet du contenu du rapport.

Si la communication a été efficace et s’il a été possible d’examiner les résultats préliminaires, le rapport final ne devrait pas renfermer d’éléments de surprise pour les groupes de travail interministériels, pour le comité interministériel de gestion et de consultation et pour les comités ministériels. Le rapport doit d’abord être examiné et accepté par le CIGE avant d’être soumis à l’approbation des hauts fonctionnaires des ministères participants.

Il peut aussi être avantageux, à cette étape, de faire examiner le rapport de façon proactive par les unités des communications et les services juridiques de chaque ministère. Cette mesure, même si elle est adoptée par précaution pour les questions à forte visibilité ou de nature délicate, permet de sensibiliser les intéressés, et elle permet aux bureaux des communications de préparer des documents d’information pour les bureaux ministériels et de veiller à ce que les rapports d’évaluation finaux soient présentés dans le respect des dispositions de la Loi sur l’accès à l’information, de la Loi sur la protection des renseignements personnels et de la Politique sur la sécurité du gouvernement. Cela peut fournir l’assurance qu’aucun document ne sera divulgué de manière inopportune et contraire aux lois et aux politiques du gouvernement du Canada.

2.2.5 L’étape d’approbation

Une fois qu’un rapport d’évaluation est rédigé, il doit passer par le processus d’approbation accepté à l’étape de préplanification. En s’appuyant sur le processus d’approbation, il est utile de s’entendre à savoir quels résultats s’appliquent à quel ministère. L’unité de l’évaluation de chaque ministère partenaire doit gérer le processus d’approbation et la contribution de son ministère tout en respectant le calendrier d’approbation global.

Les ministères ont noté de façon générale que des délais et des efforts additionnels sont requis aux fins de l’approbation de l’évaluation d’une initiative horizontale. Le calendrier dépendra du nombre d’administrateurs généraux à consulter et des exigences du processus d’approbation dans chaque ministère participant. La portée de l’étape d’approbation inclut la tâche suivante :

Les lignes directrices suivantes liées à cette tâche sont recommandées à l’étape de l’approbation.

Obtenir l’approbation des administrateurs généraux

L’approbation par les administrateurs généraux de tous les ministères partenaires peut se faire de manière parallèle ou séquentielle. L’approbation de l’administrateur général du ministère responsable constitue l’étape finale du processus d’approbation.

2.2.6 L’étape de post-approbation

L’étape ultérieure à l’approbation inclut les tâches suivantes :

Il est recommandé d’observer les lignes directrices qui suivent relativement à ces tâches à l’étape ultérieure à l’approbation.

Afficher et diffuser le rapport

Il incombe au ministère responsable de présenter le rapport d’évaluation terminé, y compris la section du plan d’action et de la réponse de la direction (en format électronique) au Secrétariat immédiatement après l’approbation du rapport par les administrateurs généraux.

Il revient aussi au ministère responsable d’afficher le rapport final sur son site Web. Si les ministères participants veulent afficher le rapport sur leur site Web respectif, il est recommandé qu’ils le fassent en affichant un lien vers le site Web du ministère responsable. Dans chaque cas, les unités de l’évaluation des ministères doivent informer leur administrateur général et leur ministre que le rapport sera bientôt affiché. Il est recommandé que le ministère responsable informe aussi les ministères participants de la diffusion prévue du rapport.

Gérer les communications externes

Il est recommandé qu’il incombe au ministère responsable de mettre au point des infocapsules et des questions et réponses au titre des conclusions et des recommandations du rapport en consultation avec les ministères participants, s’il y a lieu.

Répondre aux demandes d’accès à l’information

Il convient également de signaler qu’une fois que le rapport a été affiché, il est possible qu’il donne lieu à des demandes d’accès à l’information, même s’il est accessible au public. Il faut envisager l’élaboration proactive d’une approche cohérente afin de répondre aux demandes de renseignements provenant de l’extérieur.

Chaque ministère est responsable de répondre aux demandes d’accès à l’information qui lui sont adressées au regard de l’évaluation de l’initiative horizontale. Il est recommandé aux ministères de consulter le ministère responsable avant de répondre à ces demandes.

Assurer la surveillance et le suivi des plans d’action et des réponses de la direction

Conformément à la Politique sur l’évaluation, le CEM de chaque ministère participant est responsable d’assurer le suivi des plans d’action approuvés par l’administrateur général du ministère. Afin d’appuyer le CEM des ministères participants, il est recommandé que le CIGE assure le suivi des progrès réalisés relativement aux recommandations et que les membres soient prêts à présenter des rapports périodiques à leur CEM respectif.

2.3 Approches

2.3.1 Exemples généraux à titre illustratif

La section suivante illustre les considérations et les approches éventuelles à adopter au regard de la gouvernance des évaluations d’initiatives horizontales en fournissant des exemples généraux à titre illustratif pour des initiatives horizontales de complexité faible, moyenne et élevée. Chaque exemple illustre les principes et les lignes directrices exposés à la section 2.2 qui s’appliquent aux pratiques de gouvernance de l’évaluation de manière à trouver le « bon format » de gouvernance pour les trois niveaux de complexité des initiatives horizontales. Il convient de signaler qu’en raison de la complexité intrinsèque d’une initiative horizontale, on ne peut pas adopter une approche universelle au titre de l’évaluation d’une initiative horizontale.

En guise d’introduction, le tableau 1 illustre les caractéristiques et les considérations de gouvernance des initiatives horizontales présentées suivant les trois niveaux de complexité. Ce tableau permettra d’établir le degré de complexité de l’initiative horizontale.

Tableau 1. Caractéristiques et considérations de gouvernance d’initiatives horizontales de divers degré de complexité

Considérations générales	Caractéristiques des initiatives horizontales
	Faible complexité	Complexité moyenne	Complexité élevée
Nombre de partenaires dans l’initiative horizontale	Petit nombre de partenaires (2 à 4)	Nombre moyen de partenaires (5 à 7)	Nombre élevé de partenaires (plus de 8)
Importance financière relative de l’initiative horizontale	Faible (moins de 50 millions de dollars)	Moyenne (de 50 à 100 millions de dollars)	Élevée (plus de 100 millions de dollars)
Solidité des relations de travail	Travaillent souvent ensemble	Travaillent parfois ensemble	Travaillent rarement ensemble
Importance stratégique des activités de l’initiative liées aux mandats ministériels	Faible niveau d’importance stratégique des activités liées aux mandats ministériels	Niveau moyen d’importance stratégique des activités liées aux mandats ministériels	Niveau élevé d’importance stratégique des activités liées aux mandats ministériels (ou niveaux variables d’importance stratégique)
Niveau et point d’intégration des activités des partenaires (activité contre le niveau de résultat)	Faible niveau de mobilisation des partenaires aux fins de l’exécution des programmes (des activités distinctes mènent à des résultats commun	Niveau moyen de mobilisation des partenaires (une certaine intégration des activités au niveau des processus mène à des résultats communs)	Niveau élevé de mobilisation des partenaires (composantes multiples et degrés divers d’intégration des activités)

Pratiques de gouvernance pour divers types d’initiatives horizontales

Les tableaux suivants renferment des exemples de la façon dont les principes et les lignes directrices exposés dans les chapitres qui précèdent peuvent se traduire en pratiques de gouvernance à chaque étape de l’évaluation, selon le degré de complexité de l’initiative horizontale.

Tableau 2.1. Étape de préplanification

Tâches	Pratiques de gouvernance adoptées
	Faible complexité	Complexité moyenne	Complexité élevée
Contribuer à la rédaction de documents du Cabinet	Contribution développée en collaboration avec l’unité d’évaluation du ministère responsable qui instaure et facilite la collaboration et les discussions entre les unités d’évaluation. Les membres du personnel d’évaluation travaillent avec les membres du personnel de programme pour contribuer au mémoire au Cabinet et à la présentation au Conseil du Trésor. Les chefs de l’évaluation (CE) examinent les dispositions de reddition de comptes et de rendement à inclure dans les documents, et ils fournissent des conseils en la matière.
Confirmer le contexte de l’évaluation Établir la portée et les objectifs de l’évaluation S’entendre sur l’approche globale de l’évaluation (consultez l’annexe A –Trousse d’outils de la gouvernance I)	Le responsable instaure des discussions formelles ou informelles avec les unités d’évaluation des ministères partenaires afin de préparer la portée et l’approche convenues. Discussions entre les CE au besoin	Le ministère responsable rédige une version initiale de la portée. Les unités d’évaluation des ministères participants sont consultées pour examiner et approuver la version finale. Le ministère responsable facilite les discussions entre les unités d’évaluation de tous les ministères partenaires afin qu’il y ait entente au sujet d’une approche globale.
Définir la structure de gouvernance, les rôles et les responsabilités des participants et les processus clés (consultez l’annexe A – Trousse d’outils de la gouvernance II, III et IV) Élaborer un cadre de référence et des protocoles d’entente interministériels	Définition des rapports entre les unités d’évaluation au moyen d’une entente informelle Mise sur pied de comités de travail informels se réunissant au besoin Cadres de référence requis ou non	Les comités d’évaluation incluent un comité interministériel de gestion de l’évaluation (CIGE) et des groupes de travail interministériels sur l’évaluation (GTIE). Rapports officialisés dans des cadres de référence	Les comités d’évaluation incluent des CIGE et des GTIE, et ils peuvent inclure un secrétariat ou des sous-comités, ou les deux. Rapports officialisés dans des cadres de référence Peut inclure des protocoles d’entente entre le CE du ministère responsable et des ministères participants
Déterminer les coûts et une source de financement Calendrier global	Les CE de chaque ministère examinent le calendrier proposé dans le contexte du plan d’évaluation ministériel (PEM) approuvé. Chaque ministère détermine les coûts et la source de financement de l’évaluation.
Déterminer les risques avant l’étape de la planification Contribuer à l’élaboration de la Stratégie de mesure du rendement (consultez l’annexe A – Trousse d’outils de la gouvernance V)	L’unité d’évaluation du ministère responsable dirige l’élaboration de l’évaluation des risques de concert avec tous les ministères partenaires. Les secteurs de programme du ministère responsable lancent des discussions avec les ministères partenaires afin de préparer la Stratégie de mesure du rendement; les unités d’évaluation peuvent participer.

Tableau 2.2. Étape de planification

Tâches	Pratiques de gouvernance adoptées
	Faible complexité	Complexité moyenne	Complexité élevée
Confirmer la portée et les objectifs de l’évaluation Peaufiner la stratégie d’évaluation	L’unité d’évaluation du ministère responsable lance la discussion avec les unités d’évaluation afin de confirmer la portée, les objectifs et la stratégie de l’évaluation. Peut nécessiter plusieurs réunions informelles	L’unité d’évaluation du ministère responsable lance la discussion avec les unités d’évaluation afin de confirmer la portée, les objectifs et la stratégie de l’évaluation. Le GTIE sert de principal organe de discussion; la portée, les objectifs et la stratégie sont confirmés par le CIGE. Peut prendre la forme de plusieurs séances de travail	L’unité d’évaluation du ministère responsable lance la discussion avec les unités d’évaluation afin de confirmer la portée, les objectifs et la stratégie de l’évaluation. Le GTIE sert de principal groupe de discussion; la portée, les objectifs et la stratégie sont confirmés par le CIGE. Peut prendre la forme de plusieurs séances de travail ou de séances de discussion en petits groupes, ou les deux
Peaufiner la structure de gouvernance et établir les principales marches à suivre pour l’évaluation Gérer le CIGE et le GTIE	Discussions informelles entre les CE plutôt que dans le cadre de réunions formelles du CIGE GTIE informel et de petite taille auquel participent les membres du personnel d’évaluation aux fins de l’évaluation Les membres du groupe se réunissent au besoin, accèdent à l’information et assurent la participation du personnel de programme en cas de besoin.	Un CIGE composé de CE peut être mis sur pied, ou il peut y avoir des discussions informelles entre les CE. Un GTIE composé de membres du personnel d’évaluation du niveau de travail est mis sur pied aux fins de l’évaluation. Un sous-comité formé de membres du personnel d’évaluation et du personnel de programme peut être mis sur pied. Les membres des groupes se réunissent au besoin (p. ex., plus souvent aux étapes de la planification et de la collecte de données).	CIGE composé de CE Un GTIE composé de membres du personnel d’évaluation du niveau de travail est mis sur pied aux fins de l’évaluation. Un sous-comité formé de membres du personnel d’évaluation et du personnel de programme peut être mis sur pied. Les membres des groupes se réunissent de manière plus formelle et périodique (p. ex., plus souvent aux étapes de la planification et de la collecte de données). Un secrétariat peut organiser des réunions, assurer le suivi des points inscrits à l’ordre du jour et rédiger des comptes rendus de décisions.
Déterminer le niveau de participation de chaque ministère (consultez l’annexe A – Trousse d’outils de la gouvernance III)	L’unité d’évaluation du ministère responsable instaure le contact afin d’établir des relations bilatérales informelles entre le ministère responsable et les ministères participants (partenariat). Les partenaires assistent aux réunions au besoin.	L’unité d’évaluation du ministère responsable instaure le contact afin d’établir des relations en bonne et due forme avec tous les partenaires. Le niveau de participation des partenaires dépend de l’importance relative ou de l’importance stratégique, ou des deux. Les principaux partenaires participent activement et pleinement aux travaux du CIGE et du GTIE. Les autres partenaires peuvent assister aux réunions au besoin. Les partenaires moins importants peuvent participer à des sous-comités centrés sur une tâche (p. ex., ils peuvent former un groupe distinct pour recenser et évaluer des processus distincts parmi les partenaires plus petits, qui s’unissent aux fins de l’exécution de résultats communs). La communication est maintenue avec tous les partenaires (p. ex., le procès-verbal des réunions, etc.).
S’entendre sur la conduite de l’évaluation	Les unités d’évaluation lancent des discussions afin de préparer les grandes lignes du rapport final, et elles décident des efforts conjoints comparativement aux efforts individuels. Les CE confirment l’orientation.	Le GTIE discute des efforts conjoints des partenaires comparativement aux efforts individuels des ministères, et il discute de la structure du rapport d’évaluation final intégré. Le GTIE élabore un plan de collecte de données autour d’indicateurs et de résultats communs. Les CE confirment l’orientation  (peut se faire par l’intermédiaire du CIGE).	Le GTIE discute des efforts conjoints des partenaires comparativement aux efforts individuels des ministères, et il discute de la structure du rapport d’évaluation final intégré. Le GTIE élabore un plan de collecte de données autour d’indicateurs et de résultats communs. Le GTIE prévoit comment les travaux des sous-comités (axés sur une seule question) contribueront au rapport final. Le GTIE confirme l’orientation.
Mettre au point un calendrier viable Établir un cadre de contrôle	Les ministères participants s’engagent à observer un calendrier qui respecte les besoins de l’évaluation horizontale. Le ministère responsable établit un cadre de contrôle de gestion du projet assorti de jalons, de points de contrôle et de points d’approbation particuliers. Il faut tenir compte de l’évaluation des risques lorsqu’il s’agit de mettre au point le cadre de contrôle de gestion du projet. Le ministère responsable consulte l’AIPRP et les services juridiques afin d’établir un cadre de contrôle des demandes de renseignements provenant de l’extérieur.

Tableau 2.3. L’étape d’exécution

Tâches	Pratiques de gouvernance adoptées
	Faible complexité	Complexité moyenne	Complexité élevée
Maintenir la transparence et l’efficacité des communications	Les comptes rendus de décisions et les mesures adoptées à la suite de réunions formelles et informelles sont fournis par le ministère responsable aux ministères partenaires au besoin afin de maintenir l’efficacité des communications.	Le président ou le secrétariat du GTIE et du CIGE fournissent des comptes rendus rapides et complets de toutes les réunions et ils assurent le suivi des mesures prises et des décisions.
Recueillir et analyser les données Surveiller les progrès et gérer les risques	Des données sont recueillies conformément à la Stratégie de mesure du rendement et au plan établis aux étapes antérieures : Les secteurs de programme sont responsables de la collecte de renseignements continue sur le rendement. L’unité d’évaluation de chaque ministère partenaire recueille des données selon le plan établi. Le personnel d’évaluation assure la liaison entre le personnel de programme et le personnel de l’évaluation afin de faciliter l’accès à ses données ministérielles. Suivi informel de l’état de la collecte de renseignements sur le rendement afin d’évaluer la disponibilité future des données Le ministère responsable surveille les risques suivant le plan établi aux étapes antérieures. Les ministères partenaires informent le ministère responsable des problèmes émergents le plus tôt possible.	Des données sont recueillies conformément à la Stratégie de mesure du rendement et au plan établis aux étapes antérieures : Les secteurs de programme sont responsables de la collecte de renseignements continue sur le rendement. En outre, le secteur de programme du ministère responsable coordonne la collecte de renseignements continus sur le rendement qui seront utilisés dans le cadre de l’évaluation (p. ex., l’établissement de modèles et la consolidation de l’information). L’unité d’évaluation de chaque ministère partenaire collecte des données suivant le plan établi. Une étude de base visant à évaluer l’état de la collecte de renseignements sur le rendement est menée afin de déterminer l’évaluabilité future. Le personnel d’évaluation assure la liaison entre le personnel de programme et le personnel de l’évaluation afin de faciliter l’accès à ses données ministérielles. Le ministère responsable surveille les risques suivant le plan établi aux étapes antérieures. Les ministères partenaires informent le ministère responsable des problèmes émergents le plus tôt possible.
Rédiger le rapport	Le rapport est rédigé conformément à la structure convenue aux étapes de préplanification et de planification. Il incombe au ministère responsable de préparer un résumé intégré des conclusions et du rapport d’évaluation.
Examiner et achever le rapport Élaborer le plan d’action et la réponse de la direction	Les CE examinent le résumé des conclusions et s’entendent sur ce sujet. Des discussions informelles peuvent avoir lieu. Les secteurs de programmes jusqu’au niveau de directeur général (DG) examinent et acceptent le résumé des conclusions (séparément ou dans le cadre d’une réunion informelle). Les CE examinent et approuvent le rapport provisoire. Les secteurs de programme jusqu’au niveau du DG examinent et acceptent le rapport provisoire. Le SMA des programmes examine et accepte le rapport provisoire. L’AIPRP et les services juridiques du ministère responsable examinent le rapport provisoire pour d’éventuelles exclusions. Les unités d’évaluation demandent la préparation d’un plan d’action et de réponses de la direction, habituellement au niveau du DG qui consultera le SMA des programmes. Le SMA des programmes accepte le rapport ainsi que le plan d’action et les réponses de la direction.	Le CIGE examine le résumé des conclusions et l’accepte. Le CIGE et le GTIE examinent et acceptent le résumé des conclusions. Le CIGE examine et approuve le rapport provisoire. Le CIGE et le GTIE examinent et acceptent le rapport provisoire. Le comité consultatif/directeur interministériel (niveau du SMA des programmes) examine et accepte le rapport provisoire. L’AIPRP et les services juridiques du ministère responsable examinent le rapport provisoire pour d’éventuelles exclusions. Le GTIE demande la préparation d’un plan d’action et de réponses de la direction, habituellement de la part du CIGE (au niveau du DG) qui consultera le SMA des programmes. Le comité consultatif/directeur interministériel accepte le rapport, le plan d’action et les réponses de la direction (au niveau du SMA).

Tableau 2.4. L’étape d’approbation

Tâches	Pratiques de gouvernance adoptées
	Faible complexité	Complexité moyenne	Complexité élevée
Orchestrer les approbations des administrateurs généraux (consultez l’annexe A – Trousse d’outils de la gouvernance II)	Les CE présentent le rapport provisoire à leurs comités d’évaluation ministériels (CEM) respectifs. Chaque sous-ministre donne l’approbation finale du rapport. Le ministère responsable est le dernier à demander l’approbation du CEM et du SM.

Tableau 2.5. L’étape suivant l’approbation

Tâches	Pratiques de gouvernance adoptées
	Faible complexité	Complexité moyenne	Complexité élevée
Afficher et diffuser le rapport Gérer les communications externes Orchestrer les demandes d’AIPRP Assurer le contrôle et le suivi des plans d’action et des réponses de la direction	Le ministère responsable : Soumet le rapport d’évaluation terminé ainsi que le plan d’action et les réponses de la direction au Secrétariat Affiche le rapport final sur son site Web ministériel Gère les communications externes et élabore des infocapsules en consultation avec les ministères partenaires Coordonne les réponses à l’AIPRP; les ministères participants doivent renvoyer les demandes d’AIPRP au ministère responsable L’unité d’évaluation de chaque ministère partenaire assure le suivi des progrès réalisés par rapport aux recommandations concernant son ministère.

3.0 Conclusion

L’évaluation d’une initiative horizontale rehausse le processus et constitue une importante source d’éléments probants pour orienter la gestion des dépenses et les décisions liées au programme. En raison des facteurs de complexité intrinsèques dans ce type d’évaluation, de bons mécanismes de gouvernance et de planification sont nécessaires afin de soutenir l’évaluation de manière efficace. L’information contenue dans le présent document d’orientation aide les fonctionnaires ministériels à concevoir et à mettre en œuvre les mécanismes de gouvernance qui correspondent à la complexité de l’initiative horizontale et qui abordent les principaux problèmes de gouvernance liés à l’évaluation.

Annexe A – Trousse d’outils de la gouvernance

I.  Diagramme des considérations aux fins de la planification

Le diagramme suivant décrit les principales considérations qui permettent de déterminer si l’initiative devrait être évaluée à titre d’initiative horizontale ou non, et il explique en détails les facteurs qui déterminent les types de comités requis aux fins d’une initiative horizontale.

Figure 2 - Version textuelle

La figure est un diagramme d'enchaînement des considérations qui se lit de haut en bas.

Le diagramme décrit les principales considérations qui permettent de déterminer si l'initiative devrait être évaluée à  titre d'initiative horizontale, et il explique en détail les facteurs qu'il faut examiner avant de décider quels types de comités sont requis pour une initiative horizontale.

La première considération est la suivante : « Les partenaires d'au moins deux organisations fédérales ont-ils établi une entente de financement officielle en vue d'atteindre des résultats communs? »

La réponse « Non » mène au connecteur : « Le programme n'est pas une initiative horizontale d'après la définition actuelle du Secrétariat », qui mène au connecteur « Les chefs de l'évaluation (CE) déterminent s'il vaut la peine d'effectuer une évaluation horizontale. »

La réponse « Oui » pour la considération « Les partenaires d'au moins deux organisations fédérales ont-ils établi une entente de financement officielle en vue d'atteindre des résultats communs? » mène à  un connecteur correspondant à  une autre considération : « Le mémoire au Cabinet ou la présentation au Conseil du Trésor exigent-ils l'évaluation de ce programme comme s'il était une initiative horizontale? » La réponse « Oui » conduit à  la prochaine section : « Quelle devrait être la structure du comité? »

La réponse « Non » pour la considération « Le mémoire au Cabinet ou la présentation au Conseil du Trésor exigent-ils l'évaluation de ce programme comme s'il était une initiative horizontale? » mène au connecteur « Les chefs de l'évaluation (CE) déterminent s'il vaut la peine d'effectuer une évaluation horizontale. »

Les chefs de l'évaluation (CE) déterminent s'il vaut la peine d'effectuer une évaluation horizontale. Si la décision est telle qu'il ne vaut pas la peine d'effectuer une évaluation horizontale, le connecteur indique qu'il faut « déterminer l'approche appropriée au regard de l'évaluation ». Si la décision est telle qu'il vaut la peine d'effectuer l'évaluation horizontale, la réponse OUI mène à  la prochaine section « Quelle devrait être la structure de ce comité? »

La section « Quelle devrait être la structure du comité? » comporte cinq considérations qui permettent de déterminer quels comités seront requis pour appuyer l'initiative horizontale. Chaque considération compte trois options de réponse, et le degré de complexité et de participation s'accroît de la première option jusqu'à  la dernière.

Considération 1 : « Il y a combien de partenaires? » Les options sont 2 à 4, 5 à 7 et Plus de 8

Considération 2 : « Quel est le niveau d'importance financière de l'initiative horizontale? » Les options sont Faible Moins de 50 M$, Moyenne De 50 M$ à  100 M$ et Grande Plus de 100 M$

Considération 3 : « La relation de travail entre les partenaires est-elle solide? » Les options sont Travaillent souvent ensemble, Travaillent parfois ensemble et Travaillent rarement ensemble

Considération 4 : « Quel est le niveau d'importance stratégique pour le ministère? » Les options sont Importance faible, Importance moyenne et Importance élevée

Considération 5 : « Quel est le niveau d'intégration pour la prestation? » Les options sont Niveau de participation faible Des activités distinctes entraînent des résultats communs; Niveau de participation modéré Une certaine intégration aux activités entraîne des résultats communs; Niveau de participation élevé Composantes multiples et niveaux divers d'intégration des activités.

Les options résultantes appuyant l'évaluation d'une initiative horizontale selon le niveau de complexité et de participation sont Partenariat informel, Groupe de travail interministériel sur l'évaluation et Comités interministériels sur la gestion de l'évaluation (CE), qui comprend un secrétariat administratif.

II.  Structures possibles de gouvernance du programme comparativement à l’évaluation

Le diagramme suivant illustre une structure type de gouvernance intégrée qui soutient la gouvernance de l’évaluation d’une initiative horizontale de complexité moyenne à élevée, y compris les liens avec les structures de gouvernance du ministère et de l’initiative horizontale.

Figure 3 - Version textuelle

Ce diagramme illustre une structure de gouvernance intégrée typique qui soutient la gouvernance de l'évaluation d'une initiative horizontale de complexité modérée à élevée, et il inclut des liens aux structures de gouvernance du ministère et de l'initiative horizontale.

La structure de gouvernance d'une initiative horizontale typique se compose du Groupe de travail interministériel (employés des programmes et de l'évaluation), qui relève du Comité de gestion interministériel (DG et directeurs des programmes). Ce Comité, de son cà´té, relève du Comité consultatif/directeur interministériel (SMA des programmes) qui en fin de compte, relève d'un comité d'administrateurs généraux.

La structure de gouvernance pour évaluer une initiative horizontale typique se compose du Groupe de travail interministériel sur l'évaluation (évaluateurs), qui soutient un Comité interministériel de gestion de l'évaluation (chefs de l'évaluation) où chaque chef de l'évaluation du ministère ou de l'organisme demande l'approbation du rapport d'évaluation de son comité d'évaluation ministériel. Le Comité d'évaluation ministériel du ministère ou de l'organisme examine le rapport et recommande son approbation à l'administrateur général.

Le Groupe de travail interministériel sur l'évaluation informe le Groupe de travail interministériel sur les progrès, et ce dernier fournit des conseils et du soutien au Groupe de travail interministériel sur l'évaluation.

Le Comité interministériel de gestion de l'évaluation fournit des renseignements et des conseils au Comité de gestion interministériel, et il demande au Comité consultatif/directeur interministériel d'approuver le rapport d'évaluation.

III.  Considérations aux fins de la détermination du niveau de participation des partenaires

Le diagramme suivant illustre les principales considérations dont il faut tenir compte pour déterminer le niveau de participation des partenaires dans divers comités et groupes de travail.

Figure 4 - Version textuelle

Ce diagramme illustre les principales considérations dont il faut tenir compte pour déterminer le niveau de participation des partenaires dans divers comités et groupes de travail.

Chaque considération compte trois options, et le degré de complexité et de participation augmente de la première option à la dernière.

Considération 1 : « Quel pourcentage du budget de l'initiative horizontale appartient au ministère ou à l'organisme? » Les options sont Faible Moins de 10 %, Modéré De 10 % à 30 % et Élevé Plus de 30 %.

Considération 2 : « Quel est le niveau d'importance de l'initiative horizontale dans le budget du ministère ou organisme? » Les options sont Relativement peu importante, Niveau modéré d'importance et Très importante.

Considération 3 : « Quel est le niveau d'importance stratégique pour le ministère ou organisme? » Les options sont Moins importante, Niveau modéré d'importance et Très importante

Selon le niveau de complexité et de participation observé dans les réponses, la participation des partenaires, de bas à élevé, se révèle comme suit : Le partenaire se tient au courant; Le partenaire assiste aux réunions selon le besoin; Le partenaire participe aux grands comités; Le partenaire participe aux sous-comités axés sur des tâches particulières.

IV.  Matrice des rôles et responsabilités

La matrice des responsabilités ci‑après explique les rôles et les responsabilités possibles au titre de la gouvernance de l’évaluation d’une initiative horizontale. Pour une initiative horizontale moins complexe, les structures des comités ne seront pas toutes requises nécessairement.

Tableau 3. Matrice des rôles et responsabilités

Étape	Tâche	Rôles et responsabilités
		Chef de l’évaluation		Personnel d’évaluation		Personnel de programme		Sous-ministre		CEM		Comité consultatif de l’initiative horizontale	CIGE	GTIE
		Ministère responsable	Ministère participant	Ministère responsable	Ministère participant	Ministère responsable	Ministère participant	Ministère responsable	Ministère participant	Ministère responsable	Ministère participant	SMA des programmes	CE	Représentants de l’évaluation
Titre Code Définition Responsable R Responsable de la réalisation de la tâche, p. ex., présider des réunions et lancer ou diriger et coordonner des activités Conseiller CO Contribue à la réalisation de la tâche en fournissant des conseils et des opinions, et il influence le processus décisionnel. Ses conseils peuvent inclure la recommandation de l’approbation. Contributeur C Consulté au cours de la réalisation de la tâche et fournit des observations ou des renseignements. Ses opinions peuvent peser dans la décision finale, mais le contributeur a normalement moins d’influence sur le processus décisionnel.. Décideur D Responsable de l’approbation de la tâche. Rôle minimal ou nul n Rôle minimal ou nul dans la réalisation de cette tâche.
1. Préplanification	Contribuer à la préparation de documents du Cabinet	R (portion évaluation)	CO (portion évaluation)	n	n	R (documents en général)	n	CO(Recommanda-tion [Rec.] au ministre)	CO (Rec. Au ministre)	n	n	CO (documents en général)	CO (portion évaluation)	n
	Confirmer le contexte, la portée, les objectifs et l’approche Définir une structure de gouvernance Élaborer des cadres de référence ou des protocoles d’entente Déterminer les coûts et les sources de financement Établir le calendrier général Déterminer les risques	R	CCO	n	n	C	C	n	n	n	n	n	D	CO
	Contribuer à l’élaboration de la Stratégie de mesure du rendement	R (stratégie d’évaluation)	C	n	n	R (ensemble)	CO	n	n	n	n	D	D	C
2. Planification	Confirmer la portée, les objectifs et la stratégie	R	CO	n	n	n	n	n	n	n	n	n	D	CO
	Peaufiner la structure de gouvernance Gérer le GTIE et le CIGE	R (CIGE)	CO	R (CIGE)	CO	n	n	n	n	n	n	n	D	CO
	Déterminer le niveau de participation de chaque ministère (min.)	D (pour son min.)	D (pour son min.)	CO (pour son min.)	CO (pour son min.)	n	n	n	n	n	n	n	n	n
	S’entendre sur la conduite de l’évaluation Élaborer un calendrier viable Établir un cadre de contrôle	R	CO	n	n	n	n	n	n	n	n	n	D	AV
3. Exécution	Maintenir la transparence et l’efficacité des communications	R (CIGE)	n	R (GTIE)	n	n	n	n	n	n	n	n	CO	CO
	Recueillir et analyser des données Surveiller les progrès et gérer les risques	CO	CO	L	CO (peut aider le ministère responsable à recueillir et analyser)	C (fournir info.)	C (fournir info.))	n	n	n	n	n	CO	CO
	Rédiger le rapport provisoire	CO	CO	R	CO	n	n	n	n	n	n	n	CO	CO
	Examiner et achever le rapport provisoire	R	CO	n	n	n	n	n	n	n		CO(acceptation)	D	CO
	Élaborer les plans d’action et les réponses de la direction (PARD)	n	n	n	n	R	R	D	D	n	n	CO (acceptation))	n	n
4. Approbations	Orchestrer les approbations par l’administrateur général (du rapport d’évaluation et des PARD)	R (pour son min.)	R (pour son min.)	n	n	n	n	D	D	CO (Rec. approbation)	CO (Rec. approbation)	n	n	n
5. Post-approbation	Afficher et diffuser le rapport Gérer les communications externes	R	n	n	n	n	n	n	n	n	n	n	n	n
	Orchestrer les réponses à l’AIPRP	n	n	R	CO	n	n	n	n	n	n	n	n	n
	Assurer la surveillance et le suivi des PARD	n	n	R (pour ses rec.)	R (pour ses rec.)	n	n	n	n	n	n	n	n	n

V.  Considérations aux fins de la Stratégie de mesure du rendement

Les considérations suivantes ont trait particulièrement à l’élaboration d’une Stratégie de mesure du rendement aux fins d’une initiative horizontale. Elles doivent être lues de concert avec le document d’orientation du Secrétariat intitulé Pour soutenir des évaluations efficaces : Guide d’élaboration de stratégies de mesure du rendement.

Comme pour des programmes individuels, les principaux éléments d’une stratégie de mesure du rendement sont un modèle logique, le cadre de la Stratégie de mesure du rendement (pour une mesure continue du rendement) et une stratégie d’évaluation (pour appuyer la tenue d’une évaluation). Ces composantes sont les mêmes pour une initiative horizontale, mais leur contenu peut être plus complexe étant donné qu’elles représentent les exigences d’initiatives auxquelles participent plusieurs ministères.

Lorsqu’il s’agit d’élaborer les composantes d’une Stratégie de mesure du rendement pour une initiative horizontale, il faut inclure les considérations suivantes.

Modèle logique

• Mettre au point le modèle logique tôt, à l’étape de préplanification dans la mesure du possible. Autrement, des programmes complexes comme les initiatives horizontales pourraient souffrir d’une mesure du rendement inadéquate. Il est donc important que le modèle logique soit clairement énoncé et que des indicateurs de rendement correspondants soient examinés de près.
• Faire participer tous les ministères partenaires à l’élaboration du modèle logique. Le modèle logique représente l’expression la plus fondamentale de la justification, des activités et des résultats prévus d’une initiative. À ce titre, il est recommandé que l’élaboration d’un modèle logique mise sur la participation de chaque ministère partenaire et inclut le personnel d’évaluation, le personnel de programme de l’initiative et des experts en la matière.
• Laisser du temps pour la discussion dès le départ entre les principaux partenaires. L’une des façons d’accélérer ce processus consiste à faire travailler en petits groupes des partenaires qui participent à la même composante du modèle logique, qui travaillent en vue de résultats communs ou qui ont des extrants ou des activités semblables. Les résultats de ces séances de travail en groupes peuvent ensuite être compilés et présentés à l’ensemble du groupe aux fins de discussion et d’achèvement.
• Il faut veiller à ce que le modèle logique soit axé sur les résultats. Dans la description du modèle logique, décrivez la théorie du changement qui met l’accent sur les chaînes de résultats et précise pourquoi la séquence des résultats illustrés dans le modèle logique doit se produire. Les initiatives horizontales sont conçues pour tirer profit des efforts collectifs de plusieurs ministères et produire des résultats en synergie. Un modèle logique doit orienter le point de focalisation de chaque ministère sur la réalisation des résultats prévus de l’initiative.
• Le modèle logique doit être exprimé dans la mesure du possible sous l’angle de résultats communs de façon que le lien entre les activités et les résultats communs soit clair. Les résultats communs regroupent les participants, et ils constituent le point central d’un grand nombre d’initiatives horizontales. Les ministères partenaires doivent toutefois aussi comprendre comment leurs contributions sont liées à la logique sous-jacente à l’initiative dans son ensemble. Dans cette optique, la participation de chaque partenaire aux activités et aux résultats doit être clairement étiquetée sur le modèle logique. Par souci de clarté, il faut envisager de créer des modèles logiques distincts pour les secteurs des composantes.
• Les liens à l’architecture d’activités de programme de chaque ministère partenaire doivent être signalés au plus haut niveau afin de montrer comment l’initiative horizontale s’intègre aux objectifs ministériels élargis.
• Il faut envisager l’ajout de la gestion horizontale comme intrant du modèle logique. Même si cela ne touche pas directement la théorie du programme, de nombreuses activités associées à ce rôle doivent être saisies et mesurées.
• Tenir compte des hypothèses et des risques associés aux nombreux liens dans la chaîne logique, et signaler les facteurs externes qui peuvent influer sur l’obtention du résultat prévu. Ainsi, la contribution de chaque partenaire au résultat observé sera plus clairement comprise dans le cadre des futurs travaux de surveillance et d’évaluation.

Cadre de la Stratégie de mesure du rendement

• Pour les nouvelles initiatives horizontales, élaborer le cadre de la Stratégie de mesure du rendement et la stratégie d’évaluation le plus tôt possible, idéalement à l’étape de préplanification, lorsque les principales décisions sont prises. En ce qui concerne les initiatives horizontales permanentes relativement auxquelles il n’existe pas de stratégie de mesure du rendement, il faut en créer une rapidement afin d’assurer la disponibilité de données sur le rendement au titre des activités d’évaluation et de mesure du rendement.
• Afin de maximiser la gestion continue du programme, il est recommandé que les partenaires s’entendent sur les définitions génériques des concepts ainsi que sur les indicateurs éventuels. Idéalement, cela devrait mener à une entente au sujet des données qui seront recueillies et de la fréquence de leur collecte.
• Dans la mesure du possible, créer un processus centralisé (p. ex., la base de données et les modèles) afin de compiler des données des partenaires et de demander que quelqu’un du ministère responsable soit désigné pour produire des rapports et des analyses périodiques sur l’initiative globale de façon que tous les partenaires soient mis au courant de la progression de l’initiative. Ces rapports et ces analyses périodiques pourraient permettre d’apporter des rajustements rapides à l’initiative horizontale et à la Stratégie de mesure du rendement, de façon à présenter un portrait plus fidèle de l’initiative à mesure qu’elle arrive à maturité.
• Le calendrier et la fréquence de la collecte de données dans chaque ministère participant doivent s’harmoniser de façon à appuyer l’évaluation de l’initiative horizontale, et ils doivent fournir les renseignements nécessaires à la prise de décisions de gestion.
• Dans la mesure du possible, élaborer des indicateurs communs des résultats communs. Cela permettra de maintenir le nombre d’indicateurs à un niveau raisonnable. Il peut être utile de préparer un résumé d’une page (pouvant être joint en annexe à la Stratégie de mesure du rendement) qui compile les exigences des rapports individuels et qui décrit clairement les attentes en matière de mesure du rendement, y compris le plan intégral de collecte de données et de présentation de rapports qui relève de chaque ministère.

Stratégie d’évaluation

• Faire participer tous les partenaires à l’élaboration des questions d’évaluation. Veiller à ce que les principaux problèmes du Secrétariat soient abordés et envisager l’ajout de questions d’évaluation propres à la détermination de la nature de l’initiative horizontale (consultez les exemples de questions à l’annexe B).
• En autant que possible, consulter les ministères au sujet des outils de collecte de données à utiliser dans le cadre de l’évaluation (p. ex., des guides d’entrevue), de façon que les questions tiennent compte des différentes perspectives ministérielles, ce qui améliorerait la qualité des données recueillies.
• Établir des liens clairs entre la matrice d’évaluation et le cadre de la Stratégie de mesure du rendement de façon que les partenaires comprennent à quoi serviront leurs renseignements sur le rendement.

Envisager d’inclure une approche théorique pour l’évaluation de l’initiative horizontale qui met l’accent sur la théorie globale du programme (c.-à-d., la théorie horizontale), les théories des interventions de programme menées par les ministères partenaires (c.-à-d., les mécanismes) ou idéalement, les deux. Cela permet de mener une analyse de la contribution fondée sur des théories interreliées du changement.

Annexe B – Questions pouvant être inclues dans l’évaluation d’une initiative horizontale

La liste ci-après renferme des questions pouvant être inclues dans l’évaluation d’une initiative horizontale, en plus des cinq points fondamentaux énumérés dans la Directive sur la fonction d’évaluation. Il faut envisager l’inclusion d’une ou de plusieurs de ces questions afin de pouvoir évaluer les avantages possibles de la collaboration horizontale comparativement à l’exécution de programmes individuels par les ministères et pour que l’évaluation puisse produire des leçons à retenir.

Pertinence

• La justification à l’origine de l’exécution de ces programmes en tant qu’initiative horizontale est-elle encore valide et nécessaire?
• L’approche axée sur la collaboration constituait elle la meilleure façon de réaliser les objectifs?

Rendement : Efficacité

• De quelles façons l’approche horizontale a-t-elle causé un éloignement de l’obtention de résultats? De quelles façons a-t-elle appuyé l’obtention de ces résultats?
• L’approche horizontale a-t-elle contribué à l’obtention des résultats prévus (c.-à-d., des extrants et des résultats)?
• Dans quelle mesure l’initiative horizontale a-t-elle accru la capacité qu’ont les ministères d’obtenir des résultats communs?

Rendement : Efficience et économie

• L’approche horizontale a-t-elle contribué à l’efficience et à l’économie de l’initiative?
• Les avantages du partenariat l’emportent-ils sur les coûts?
• Quels avantages différentiels ont été réalisés grâce à la collaboration horizontale? Ces avantages l’ont-ils emporté sur les coûts différentiels?

Conception et exécution

• Décrire la qualité et la nature de la collaboration horizontale. Quels facteurs ont influé sur la collaboration horizontale? En quoi ces facteurs ont-ils bénéficié de l’initiative horizontale?
• L’initiative a-t-elle été conçue comme il se doit, et a-t-elle fonctionné de la manière prévue?
• La gouvernance de l’initiative horizontale fonctionne-t-elle bien (c.-à-d., appuie-t-elle les obligations redditionnelles, le processus décisionnel, le contrôle et la gestion des risques)?
• Quelle incidence les différentes cultures ministérielles ont-elles eu sur la gestion de l’initiative, et comment ces différences ont-elles été gérées?
• La structure de gouvernance a-t-elle été efficace, et a-t-elle fait état du degré de collaboration requis?

Annexe C – Ouvrages de référence

• Guide d’accompagnement : L’élaboration des cadres de gestion et de responsabilisation axés sur les résultats pour les initiatives horizontales, Secrétariat du Conseil du Trésor du Canada, 2002.
• Effective Practices in Conducting a Joint Multi-Donor Evaluation, Organisation de coopération et de développement économiques, 2000.
• Joint Evaluations: Recent Experiences, Lessons Learned and Options for the Future, Organisation de coopération et de développement économiques, 2006.
• La gestion des ententes de collaboration : Guide pour les gestionnaires régionaux, Secrétariat du Conseil du Trésor du Canada, 2003.
• Analyse de la documentation récente sur la gestion horizontale, Citoyenneté et Immigration Canada, 2010.
• Pour soutenir des évaluations efficaces : Guide d’élaboration de stratégies de mesure du rendement, Secrétariat du Conseil du Trésor du Canada, 2010.

Annexe D – Ministères et organismes interviewés en prévision de l’orientation

• Affaires autochtones et Développement du Nord Canada
• Agence de promotion économique du Canada atlantique
• Patrimoine canadien
• Agence canadienne de développement international
• Ministère de la Justice Canada
• Environnement Canada
• Pêches et Océans Canada
• Affaires étrangères et Commerce international Canada
• Santé Canada
• Ressources humaines et Développement des compétences Canada
• Industrie Canada
• Transports Canada

Annexe E – Glossaire

Activité

Opération ou démarche exécutée par un ministère dans le but de produire des extrants en utilisant des intrants, p. ex., la formation, la recherche, la construction, la négociation et l’enquête

Architecture des activités de programmes (AAP)

Répertoire structuré de toutes les activités entreprises par un ministère ou organisme. Elles sont présentées en fonction de leurs liens logiques les uns par rapport aux autres et par rapport aux résultats stratégiques auxquels ils contribuent. L’AAP constitue le document initial aux fins de l’établissement d’une SGRR.

Cadre de mesure du rendement (CMR)

Exigence de la Politique sur la structure de la gestion, des ressources et des résultats (SGRR). Le CMR jette une base objective pour la collecte de données liées aux programmes d’une organisation. Un CMR comprend les résultats stratégiques d’une organisation, les résultats attendus des programmes, les indicateurs de rendement, les cibles connexes, les sources de données, la fréquence de la collecte des données et les données réelles recueillies pour chaque indicateur.

Comité d’évaluation ministériel (CEM)

Comité de cadres supérieurs présidé par l’administrateur général ou une personne de haut niveau désignée par celui-ci. Il donne à l’administrateur général des conseils relatifs au plan d’évaluation ministériel, au ressourcement et aux rapports d’évaluation finaux, et il peut agir comme groupe décisionnel pour d’autres activités d’évaluation du ministère. Pour obtenir une description complète des rôles et responsabilités du Comité d’évaluation ministériel, consultez l’annexe B de la Politique sur l’évaluation.

Coût

Ressource consacrée à l’atteinte d’un objectif

Évaluation

Collecte et analyse systématiques des données probantes sur les résultats des politiques et des programmes permettant de prendre des décisions quant à leur pertinence, à leur rendement et à d’autres modes d’exécution des programmes ou d’autres façons d’obtenir les mêmes résultats

Extrant

Produits ou services directs provenant des activités d’une organisation, d’une politique, d’un programme ou d’une initiative, et habituellement contrôlés par l’organisation elle-même (c.‑à‑d. une brochure, une usine de traitement des eaux usées ou une séance de formation)

Fiabilité

Mesure dans laquelle les résultats obtenus dans le cadre d’une mesure ou d’une procédure peuvent être reproduits

Indicateur

Statistique ou paramètre qui, lorsqu’il est suivi dans le temps, renseigne sur l’évolution d’un phénomène et porte une signification qui dépasse celle qui est associée aux propriétés de la statistique même

Mesure du rendement

Indicateur (quantitatif ou qualitatif) servant à déterminer dans quelle mesure une politique, un programme ou une initiative permettent d’atteindre ses résultats

Modèle logique

Représentation des relations logiques ou des liens de cause à effet entre les intrants, les activités, les extrants et les résultats d’une politique, d’un programme ou d’une initiative donnés

Neutralité

Attribut que doivent posséder la fonction d’évaluation et les évaluateurs, qui se caractérise par des comportements et des processus impartiaux. Dans l’exercice de leurs responsabilités, les évaluateurs ne permettent pas à leurs relations ou intérêts officiels, professionnels, personnels ou financiers d’influer sur ou de limiter la portée de l’évaluation ou des questions d’évaluation ainsi que la rigueur de leur méthodologie. De même, ils ne permettent pas que ces relations ou intérêts limitent la communication ou affaiblissent ou biaisent les conclusions. Ils ne permettent pas non plus aux idées préconçues, aux préjugés et aux partis pris sociaux ou politiques d’influencer leur analyse, l’élaboration des conclusions et recommandations de même que le ton et le contenu du rapport d’évaluation.

Objectif

L’avantage durable et général pour lequel l’effort est déployé

Optimisation des ressources

Mesure dans laquelle un programme est pertinent et performant

Pertinence

Mesure dans laquelle une politique ou un programme répond à un besoin tangible, est approprié dans le contexte du gouvernement fédéral et des besoins des Canadiens

Plan d’évaluation ministériel (PEM)

Cadre clair et concis qui établit les évaluations ministérielles à entreprendre sur une période de cinq ans, conformément à la Politique sur l’évaluation ainsi qu’à la directive et aux normes connexes

Politique

Lois, règlements ou lignes directrices officielles ou principes directeurs qui influencent le comportement afin d’obtenir un résultat énoncé

Programme

Groupe d’activités connexes qui sont conçues et gérées de manière à répondre à un besoin public particulier et qui sont souvent considérées comme une unité budgétaire

Programme de paiements de transfert

Programme ou composante d’un programme soutenu par des paiements de transfert

Rendement

Mesure de l’économie, de l’efficience et de l’efficacité d’un programme ou d’une politique

Résultat

Conséquence externe attribuable en partie aux activités d’une organisation, d’une politique, d’un programme ou d’une initiative. Les résultats ne relèvent pas d’une organisation, d’une politique, d’un programme ou d’une initiative unique, mais ils s’inscrivent dans la sphère d’influence de l’organisation. Ils peuvent être qualifiés d’immédiat, d’intermédiaire ou d’ultime (final), d’attendu, de direct, etc. Trois types de résultats liés au modèle logique sont définis comme suit :

• Résultat immédiat : Résultat directement attribuable aux extrants d’une politique, d’un programme ou d’une initiative. En termes d’échéancier et de niveau, il s’agit d’un résultat à court terme qui se manifeste souvent par une sensibilisation accrue de la population cible.
• Résultat intermédiaire : Résultat auquel on s’attend logiquement une fois que l’on a atteint un ou des résultats immédiats. En termes d’échéancier et de niveau, il s’agit d’un résultat à moyen terme qui se manifeste par un changement de comportement au sein de la population cible.
• Résultat ultime (final) : Résultat se situant au plus haut niveau parmi les résultats pouvant être raisonnablement attribués à une politique, à un programme ou à une initiative selon un lien de causalité, et qui est la conséquence d’un ou de plusieurs résultats intermédiaires déjà atteints. Il s’agit d’un résultat à long terme qui se manifeste par un changement dans la situation d’une population cible. Des résultats ultimes attribués à des politiques, à des initiatives ou à des programmes particuliers contribuent à l’obtention de résultats stratégiques de haut niveau dans les ministères.

Résultat attendu

Résultat pour lequel un programme, une politique ou une initiative est créé.

Résultat stratégique

Avantage durable à long terme pour la population canadienne qui découle du mandat et de la vision et des efforts d’un ministère ou d’un organisme. Il s’agit d’un résultat qu’un ministère ou un organisme entend obtenir au profit de la population canadienne, qui devrait être mesurable et s’inscrire dans la sphère d’influence du ministère ou de l’organisme.

Stratégie de mesure du rendement (SMR)

Sélection, élaboration et utilisation continue des mesures du rendement pour orienter un programme ou le processus décisionnel du ministère. Dans le présent Guide, les composantes qu’il convient d’inclure dans la stratégie de mesure du rendement sont le profil de programme, le modèle logique, le cadre de la stratégie de mesure du rendement et la stratégie d’évaluation.

Structure de la gestion, des ressources et des résultats (SGRR)

Cadre exhaustif qui constitue l’inventaire des renseignements d’un ministère sur les activités, les ressources, les résultats, la mesure du rendement et la gouvernance. Les activités et les résultats sont décrits sous l’angle de leur relation logique les uns par rapport aux autres et par rapport aux résultats stratégiques auxquels ils contribuent. La SGRR est mise au point à partir d’une architecture d’activités de programmes (AAP).

Annexe F – Liste des acronymes utilisés

• BCP - Bureau du Conseil privé
• CE - Chef de l’évaluation
• CEE - Centre d’excellence en évaluation
• CEM - Comité d’évaluation ministériel
• CIGE - Comité interministériel de gestion de l’évaluation
• DG - Directeur général
• GTEIH - Groupe de travail sur l’évaluation des initiatives horizontales
• GTIE - Groupe de travail interministériel sur l’évaluation
• LE - Lettre d’entente
• MC - Mémoire au Cabinet
• PE - Protocole d’entente
• PEM - Plan d’évaluation ministériel
• SCT - Secrétariat du Conseil du Trésor du Canada
• SGD - Système de gestion des dépenses
• SMA - Sous ministre adjoint
• SMR - Stratégie de mesure du rendement