ARCHIVÉ - Évaluation du processus des présentations au Conseil du Trésor

Cette page a été archivée.

5. Enjeux de l'évaluation et méthodologie

Le tableau 2 présente les enjeux de l'évaluation et les questions découlant du modèle logique élaboré par l'équipe chargée de l'évaluation. La matrice d'évaluation détaillée qui précise les indicateurs et les sources de données utilisées pour répondre aux questions d'évaluation se trouvent à l'annexe B.

Tableau 2 : Sommaire des enjeux et des questions de l'évaluation

Enjeu de l'évaluation	Questions de l'évaluation
Pertinence	Quel besoin le processus des présentations au Conseil du Trésor comble-t-il?
Efficacité	À court terme Les employés des organisations fédérales et du Secrétariat ont-ils une meilleure compréhension des éléments des présentations au Conseil du Trésor, des politiques et du processus connexes? Le Secrétariat offre-t-il des services qui permettent aux organisations fédérales de faire en sorte que les ébauches des présentations soient conformes aux autorisations, aux politiques et aux orientations du Conseil du Trésor? Le processus d'examen des présentations au Conseil du Trésor mis de l'avant par le Secrétariat permet-il de s'assurer que les présentations au Conseil du Trésor sont conformes aux autorisations et aux politiques du gouvernement? Les décisions du Conseil du Trésor sont-elles éclairées et conformes aux conseils, aux directives et aux recommandations fournis par les analystes du Secrétariat? Des mécanismes sont-ils en place pour veiller à ce que les décisions du Conseil du Trésor soient exécutées? À moyen terme et à long terme Quel est le niveau de qualité des présentations au Conseil du Trésor? Le processus des présentations au Conseil du Trésor contribue-t-il à faire en sorte que les programmes, les dépenses et les mécanismes de gestion du ministère ou du gouvernement soient harmonisés avec les priorités du gouvernement du Canada16? Existe-t-il des facteurs qui font obstacle à l'obtention de résultats? Y a-t-il eu des résultats inattendus17?
Économie	Quelles ressources sont attribuées au processus des présentations? Le processus est-il efficace? Que peut-on faire pour rendre le processus plus efficace? Le processus des présentations au Conseil du Trésor est-il fondé sur les risques? Les contribuables canadiens en ont-ils pour leur argent?

(a) Sources de données et méthodes

Le cadre d'évaluation utilise une multitude de sources de données probantes et de méthodes de recherche complémentaires afin d'assurer la fiabilité et la validité des données. Les méthodes de recherche suivantes ont été utilisées :

• un examen de documents;
• des entrevues avec des intervenants et des experts;
• une séance de travail avec les secrétaires adjoints du Secrétariat et les SMA de certaines organisations fédérales (séance de travail des SMA);
• un examen des données administratives, financières et statistiques;
• un sondage administré à des analystes du Secrétariat et dans des organisations fédérales.

Chacune de ces méthodes est décrite ci-après de manière plus détaillée.

Examen des documents. Trois principaux types de documents ont été examinés pendant l'évaluation :

• documentation générale sur le contexte (p. ex., documents qui décrivent l'historique, les fondements et le cadre législatif ayant trait au processus des présentations au Conseil du Trésor);
• documents concernant le processus des présentations (p. ex., le Guide et d'autres documents connexes, comme le Guide de survie des analystes, ainsi que l'information au sujet de comités concernés, de directions et d'autres groupes participant au processus);
• études précédentes (p. ex., recherche concernant le processus des présentations au Conseil du Trésor, études internationales).

Pour la liste complète des documents, veuillez consulter l'annexe C. Il est important de noter que l'évaluation n'a pas examiné ni évalué les présentations au Conseil du Trésor et les précis du point de vue de la qualité.

Entrevues. Vingt-six entrevues ont été menées (tableau 3 et annexe D). Les personnes interviewées étaient notamment :

• des analystes de programme et des analystes des CE¹⁸ :
  • les analystes de programme sont les principales personnes-ressources pour une présentation;
  • les analystes des CE représentent des secteurs au sein du Secrétariat (p. ex., Direction du dirigeant principal de l'information, Secteur des services ministériels, SGD, etc.) et donnent des conseils stratégiques aux analystes de programme;
• des représentants de 12 organisations fédérales qui ont soumis une présentation au Conseil du Trésor au cours des cinq dernières années; quatre entrevues ont été menées avec des représentants d'organisations fédérales qui se trouvent dans chacune des catégories suivantes :
  • fréquence occasionnelle de présentations (moins d'une présentation par mois);
  • fréquence modérée de présentations (une ou deux présentations par mois);
  • fréquence élevée de présentations (trois présentations ou plus par mois).
• des intervenants externes, à savoir des personnes qui sont liées au processus des présentations au Conseil du Trésor, mais qui n'y participent pas directement (p. ex., des employés du BCP et du ministère des Finances Canada).

Tableau 3 : Liste des groupes pour les entrevues

Groupe pour les entrevues	Nombre d'entrevues
Total	26
Analystes de programme et analystes des CE	11
Représentants des organisations fédérales	12
Intervenants externes	3

Toutes les entrevues ont été menées par téléphone. Les personnes interviewées ont reçu un guide d'entrevue (voir l'annexe E) avant la tenue des entrevues.

Sondage. Un sondage sur Internet a été fait auprès des analystes de programme et des analystes des CE et auprès de représentants d'organisations fédérales qui avaient soumis une présentation au Conseil du Trésor au cours des cinq dernières années. En tout, 547 personnes ont été invitées à remplir le questionnaire; nous avons reçu 220 questionnaires utilisables, soit un taux global de réponse de 40 % (voir le Tableau 4). ¹⁹

Tableau 4 : Taux de réponse au sondage

Groupe participant au sondage	Nombre total de questionnaires transmis	Questionnaires reçus	Questionnaires éliminés	Nombre total de questionnaires conservés	Taux de réponse	Intervalle de confiance
Total	547	225	5	220	40,2%
Analystes de programme	135	60	0	60	44,4%	95% ± 9,5%
Analystes de CE	181	66	0	66	36,5%	95% ± 9,6%
Organisations fédérales	231	99	5 20	94	40,7%	95% ± 7,8%

Tous les analystes de programme du Secrétariat ont été invités à participer au sondage. On leur a également demandé de fournir les coordonnées des personnes-ressources pour tous les analystes des CE qu'ils avaient consultés afin d'obtenir des conseils au sujet des présentations au Conseil du Trésor au cours des cinq dernières années. En outre, on a demandé aux analystes de programme de fournir les coordonnées des personnes-ressources dans les organisations fédérales (y compris le Secrétariat) qui ont soumis une présentation au cours de la dernière année. Les organisations fédérales ont été invitées à transmettre le sondage aux autres employés au sein de leur organisation qui avaient participé au processus d'examen des présentations au Conseil du Trésor.

Les résultats du sondage sont présentés à l'annexe G.

Séance de travail avec les SMA. Une séance d'information de deux heures a été menée afin de recueillir des données qualitatives sur la pertinence, l'efficacité et l'économie du processus des présentations au Conseil du Trésor. Les secrétaires adjoints du Secrétariat et certains SMA responsables de la planification ministérielle et/ou stratégique de même que des dirigeants principaux des finances (DPF) des organisations fédérales ont été invités à prendre part. Les sujets devant être discutés pendant la séance (voir l'annexe F) ont été transmis à l'avance aux participants.

Données administratives, financières et statistiques. Des données administratives, financières et statistiques ont été recueillies afin d'évaluer l'efficacité et l'efficience du processus des présentations. L'équipe chargée de l'évaluation a travaillé en collaboration avec le Centre des présentations au Conseil du Trésor en vue d'examiner les données concernant les présentations au Conseil du Trésor et de mieux comprendre le système de suivi des présentations (SSP). L'équipe a également examiné les données provenant de la base de données du Cadre de responsabilisation en gestion (CRG).

Établissement des coûts. L'évaluation du volet économie nécessite une analyse des coûts engagés au cours du processus des présentations. L'établissement des coûts a été entrepris; toutefois, étant donné que les coûts directs liés aux présentations au Conseil du Trésor ne font pas l'objet d'un suivi distinct, seule une approximation des efforts déployés par certains participants au processus des présentations était disponible. Par conséquent, l'alinéa 6(c)(i), dans la rubrique Ressources affectées au processus des présentations, n'établit pas le coût estimatif du processus.

Pratique connexe à l'échelle internationale : L'équipe chargée de l'évaluation a mené un examen limité des modèles de processus des présentations utilisés dans d'autres administrations internationales²¹ . Compte tenu de la nature superficielle de cet examen, l'équipe chargée de l'évaluation ne pouvait pas tirer de conclusions sur le caractère approprié des autres modèles en comparaison avec le contexte canadien. Les conclusions qui reposent sur cet examen ne sont donc pas présentées dans le présent rapport. Cet examen a néanmoins permis de faire ressortir des renseignements intéressants. Par exemple, l'examen a révélé que le rôle joué par les secrétaires adjoints du Secrétariat, à savoir soumettre une présentation d'une organisation fédérale au Conseil du Trésor, peut être unique à l'échelle internationale. Comme c'est le cas dans le modèle fédéral canadien, les équivalents du Secrétariat dans d'autres administrations sont responsables des fonctions logistiques et techniques pour les sessions du Cabinet, de la planification stratégique et de la planification du travail, de la prestation de conseils stratégiques, des fonctions juridiques, de certaines fonctions de surveillance et de leurs propres fonctions de gestion interne²² . Ils examinent soigneusement les documents présentés au Cabinet et s'assurent que les considérations juridiques et stratégiques ont été prises en compte dans les présentations structurées. Dans six des dix pays de l'Organisation de coopération et de développement économiques (OCDE)²³ qui ont participé au sondage, l'équivalent du Secrétariat prépare une recommandation sur la façon dont la présentation devrait être étudiée dans une réunion du Cabinet. Dans ces administrations, toutefois, c'est le sous-ministre de l'organisation soumettant la présentation, plutôt que l'équivalent d'un secrétaire adjoint du Secrétariat, qui soumet la présentation lors d'une réunion du Cabinet. Les équivalents des secrétaires adjoints peuvent donc porter leur attention sur les présentations qui sont plus stratégiques ou de nature délicate et pour lesquelles leur recommandation va à l'encontre de celle de l'organisation qui soumet la présentation.

Renseignements supplémentaires. Une fois que les données ont été recueillies et analysées, nous avons relevé des lacunes au niveau de l'information dans quelques domaines clés. Pour combler ces lacunes, les méthodologies suivantes ont été utilisées :

• Examen des données financières, statistiques et en matière de ressources humaines (RH) additionnelles - L'équipe chargée de l'évaluation a examiné les données financières et en matière de RH additionnelles afin de fournir d'autres observations concernant le coût du processus des présentations au Conseil du Trésor. Les documents concernant le camp de formation pour le secteur des programmes ont également été examinés.
• Entrevue avec un conseiller principal du Secrétariat - L'équipe chargée de l'évaluation a rencontré un conseiller principal ayant une vaste connaissance et expérience du processus des présentations ainsi que des outils et de la structure de gestion connexes.
• Séances de travail avec les directeurs de programme - Quatre séances ont eu lieu avec le groupe des directeurs de programme (GDP) du Secrétariat en vue de valider les constatations. De plus, les secrétaires adjoints des secteurs des programmes ont examiné l'ébauche finale de ce rapport.
• Entrevue avec des analystes des opérations du Système d'information sur la gestion des dépenses (SIGD) - Les réunions visaient à mieux connaître et comprendre le renouvellement des systèmes du Service du budget (RSSB) du Secrétariat et le travail de gestion du changement qui se produisait pendant la mise en œuvre de son SIGD.

(b) Limitations de l'évaluation

Échéancier. Une élection fédérale a été déclenchée peu après le lancement de l'évaluation. Peu de temps après l'élection, le Parlement a été prorogé. Ces événements ont retardé l'approbation de la tenue d'une recherche sur l'opinion publique pour l'évaluation, limitant ainsi le temps disponible pour effectuer la recherche. Une autre conséquence de l'élection et de la prorogation subséquente a été que l'équipe chargée de l'évaluation n'a pu rencontrer en entrevue les ministres du Conseil du Trésor concernant l'appui qu'ils ont obtenu dans le cadre du processus des présentations au Conseil du Trésor.

Modèle logique. Bien que l'équipe chargée de l'évaluation estime que le résultat final proposé du modèle logique qu'elle a élaboré aux fins de l'évaluation est une description valide de l'objet du processus des présentations au Conseil du Trésor et, par conséquent, un fondement valide pour l'évaluation, il a été impossible de valider le résultat final auprès d'un éventail représentatif d'intervenants.

Examen de données sur la mesure du rendement. Des données sur le rendement n'ont pas été recueillies sur tous les aspects du processus des présentations au Conseil du Trésor. Par exemple, des données ne sont pas recueillies sur la mesure dans laquelle les présentations au Conseil du Trésor soumises officiellement par les organisations fédérales sont effectivement nécessaires, ou sont conformes aux politiques et aux processus, et sur la mesure dans laquelle les décisions reflètent les recommandations contenues dans le précis. En l'absence de ces renseignements, l'équipe chargée de l'évaluation n'a pas été en mesure d'évaluer la qualité des présentations et des précis. L'évaluation reposait donc plus massivement sur les données du sondage et des entrevues pour établir l'efficacité du processus.

Données administratives. Des données administratives restreintes existaient au sujet du processus des présentations et de ses résultats. De plus, tel qu'il est indiqué dans la Vérification des congés et des heures supplémentaires du Secrétariat du Conseil du Trésor du Canada (2008)²⁴ , certaines données sur les heures supplémentaires ne sont pas fiables, ce qui limite la mesure dans laquelle l'équipe chargée de l'évaluation pouvait utiliser ces données pour évaluer le nombre (et les coûts connexes) d'heures supplémentaires indiquées par les analystes de programme relativement aux présentations au Conseil du Trésor. De plus, d'autres données administratives comme le nombre de jours entre la décision du Conseil du Trésor et la transmission de la lettre de décision ont fournis d'autres éléments probants.

Sondages et entrevues. Étant donné la nature très variable des présentations au Conseil du Trésor, il va de soi que l'expérience du processus des présentations différerait considérablement d'une présentation à une autre. Un plus grand nombre d'entrevues auraient fourni de meilleures données sur l'incidence des variations dans la longueur, la portée, la valeur et la complexité d'une présentation. La méthodologie d'évaluation visait à combler cette limitation en invitant les employés de toutes les organisations fédérales à participer à un sondage sur le Web. Les résultats du sondage ont été contre-validés avec les réponses aux entrevues.

Méthode d'établissement des coûts. Les données sur les coûts de soutien à l'établissement complet et exact des coûts de la participation du Secrétariat au processus des présentations au Conseil du Trésor n'étaient pas disponibles.

Approche à guichet unique de la prestation de services. Comme le Secrétariat a recours à une approche à guichet unique dans laquelle les analystes de programme et leurs directeurs ou directeurs exécutifs constituent le point de liaison avec les représentants des organisations fédérales en ce qui concerne les présentations, l'interaction entre les analystes des CE et les représentants des organisations fédérales est extrêmement limitée. Par conséquent, malgré le fait que les analystes des CE apportent une contribution et jouent un rôle clair au cours du processus des présentations aux étapes précédant la présentation et de l'ébauche, les représentants des organisations fédérales ne sont peut-être pas tout à fait conscients de la portée de ce rôle. Cette situation a pu faire en sorte que l'évaluation soit centrée dans une plus grande mesure sur les analystes de programme.

Bien que la méthodologie d'évaluation comporte certaines limitations, de nombreux éléments probants ont été utilisés pour tirer des conclusions au sujet du processus des présentations au Conseil du Trésor, ce qui renforce la fiabilité et la validité des résultats de l'évaluation. Malgré les limitations, la méthodologie satisfait aux exigences de la Politique sur l'évaluation du Conseil du Trésor et des normes connexes.