ARCHIVÉ - Évaluation à mi-parcours de la mise en œuvre de la Directive du Cabinet sur la rationalisation de la réglementation

Cette page a été archivée.

2. Enjeux et méthodologie d'évaluation

Cette évaluation couvre la période qui suit l'entrée en vigueur de la DCRR, en avril 2007, jusqu'à  l'automne de 2009. Elle se veut une évaluation à  mi‑parcours qui, partant, examine les premières étapes de la mise en œuvre et les progrès réalisés en vue d'atteindre les résultats immédiats. L'évaluation porte principalement sur les activités du Secrétariat du Conseil du Trésor du Canada censées permettre de réaliser le résultat immédiat – accroître la capacité des ministères de mener des activités liées à  la DCRR.

2.1 Enjeux et questions d'évaluation

Les questions pour cette évaluation ont été conçues de manière que l'accent soit mis sur les activités associées à  la mise en œuvre de la DCRR financées par les affectations décrites dans la Section 1.2, et qu'il soit possible de déterminer la mesure des progrès réalisés en vue d'obtenir les résultats immédiats. Les questions de recherches pour l'évaluation sont les suivantes^[2] :

Pertinence

P1. La DCRR est-elle toujours nécessaire?

1. Les principes qui sous-tendent la DCRR répondent-ils au besoin déclaré d'améliorer la réglementation?

P2. Les objectifs de la DCRR sont-ils conformes aux priorités du gouvernement fédéral et au résultat stratégique du Secrétariat du Conseil du Trésor du Canada?

Rendement – (efficacité)

R1. Est-ce que la mise en œuvre de la DCRR progresse bien par rapport à  la réalisation de l'ensemble des extrants attendus? (capacité de mettre en œuvre la DCRR)

R2. Dans quelle mesure le SAR du SCT et les ministères et organismes sont-ils satisfaits des extrants produits?

1. Les extrants produits par le SAR du SCT répondent‑ils aux besoins des ministères et des organismes en matière de capacité?

R3. Le SAR du SCT a-t-il dà» faire face à  des obstacles pour produire le niveau voulu d'extrants?

R4. Le SAR du SCT progresse‑t‑il bien par rapport à  l'ensemble des résultats souhaités au cours des deux prochaines années et demie?

1. Dans quelle mesure la capacité des ministères et des organismes de satisfaire aux exigences de la DCRR a-t-elle été rehaussée?

R5. Quels sont les obstacles qui empàªchent de mesurer un changement au niveau des résultats à  moyen terme au cours des deux prochaines années et demie?

R6. La mise en œuvre de la DCRR a-t-elle eu des impacts imprévus?

Rendement (efficience et économie)

R7. La DCRR est-elle appliquée de manière efficiente et économique de façon à  produire les extrants et les résultats souhaités?

R8. Y a-t-il d'autres modes de conception et d'exécution qui devraient àªtre pris en considération aux fins de la mise en œuvre de la DCRR?

1. L'approche centralisée, qui privilégie dans une certaine mesure le partage des frais entre les ministères et les organismes, est‑elle un modèle efficace?

Pour chaque question d'évaluation, l'on a établi au moins un nouvel indicateur, ainsi que les méthodes et les sources d'éléments probants appropriées. Le lien entre les questions d'évaluation, les indicateurs, les méthodes et les sources d'éléments probants est illustré à  l'Annexe A.

2.2 Méthodes de collecte de données

La matrice d'évaluation de la DCRR (Annexe A) intègre l'utilisation de multiples éléments probants et des méthodes de recherches complémentaires, tant quantitatives que qualitatives, pour assurer la fiabilité des informations recueillies. Cinq grands champs d'enquàªte ont été retenus aux fins de cette évaluation : examen des documents et recension de la littérature; entrevues; enquàªte auprès des ministères et des organismes; analyse des données sur le rendement tirées des bases de données existantes; examen des données financières. Chaque source de données est décrite ci‑après par champ d'enquàªte.

2.2.1 Examen des documents et recension de la littérature

Les types suivants de documents de politiques et de planification ainsi que des rapports ont été examinés et analysés afin d'évaluer la pertinence continue :

• Discours du Trà´ne, budgets, politiques et lois
• mandats et documents autorisant les programmes
• présentation au Conseil du Trésor pour la DCRR
• structure de gestion, des ressources et des résultats du Secrétariat du Conseil du Trésor du Canada et son architecture des activités de programme
• rapports/examens :
  • Rapports de rendement ministériels et autres rapports d'étape/sur le rendement;
  • La réglementation intelligente – Une stratégie réglementaire pour le Canada
  • Examens par l'OCDE de la réforme réglementaire — Réforme réglementaire au Canada — La capacité du gouvernement à  produire des réglementations de grande qualité
  • Rapport de la vérificatrice générale de décembre 2000— Chapitre 24 : Annexe A—Politique de réglementation du gouvernement du Canada, novembre 1999
  • Autres documents, notamment des opinions et des impressions de parties réglementées à  l'égard du changement.

Les documents, qu'ils soient sur papier ou en format électronique, ont été passés en revue au moyen d'un modèle adapté en vue d'extraire les renseignements pertinents des documents et de les organiser selon les indicateurs et les questions d'évaluation à  l'Annexe A. La liste complète des documents examinés se trouve à  l'annexe B.

2.2.2 Entrevues

Les entrevues ont constitué une importante source d'information pour l'évaluation et ont permis d'obtenir des données qualitatives et quantitatives sur la pertinence, les résultats et l'efficacité de la mise en œuvre de la DCRR. à‰tant donné que les parties intéressées n'ont pas toutes été interviewées, l'équipe de l'évaluation a sélectionné un échantillon pour veiller à  ce que les intéràªts et les organisations concernés soient représentés. Au total, douze entrevues ont été effectuées dans le cadre de l'évaluation. Au nombre des personnes qui ont fourni des renseignements clés, l'on compte notamment quatre employés du SAR du SCT et huit représentants des ministères et organismes (à  savoir trois représentants des ministères et organismes qui présentent un nombre peu élevé de règlements, trois représentants de ceux qui présentent un nombre moyen de règlements et deux représentants de ceux qui présentent un nombre élevé de règlements).

Toutes les entrevues ont été menées en personne. L'on a communiqué à  l'avance avec les personnes interviewées afin de prévoir le moment qui convenait, en plus de leur faire parvenir un guide de l'entrevue (Annexe C). Les conclusions des entrevues ont été compilées et résumées par question d'évaluation et indicateur.

2.2.3 Enquàªte auprès des ministères et des organismes

L'équipe de l'évaluation a fait parvenir, sur Internet, un sondage aux soixante‑dix personnes‑ressources^[3] dont le nom figure dans la liste de distribution du SAR du SCT et qui prennent part à  la coordination des règlements pour leurs ministères et organismes. Le sondage a été affiché en ligne pendant trois semaines, et des courriels de rappel ont été envoyés à  deux reprises au cours de cette période. Au total, 70 questionnaires ont été envoyés, dont 34 ont été retournés et, sur ce nombre, 30 ont été jugés valides. Le taux de réponse figure au tableau 1.

Tableau 1. Taux de réponse au sondage

Groupe participants au sondage	Nombre total de questionn-aires transmis	Retournés	Retirés	Nombre total de question-naires conservés	Taux de réponse	Intervalle de confiance
Ministères et organismes	70	34	4	30	42,9 %	95 % ± 13 %

Les réponses au sondage ont été inscrites dans les modèles dans le but de permettre l'analyse des données selon les indicateurs de rendement et les questions d'évaluation énoncés dans la matrice d'évaluation. Certaines organisations ayant été surreprésentées parmi les participants au sondage, une correction a été apportée pour ne pas fausser les résultats relatifs à  l'expérience de quelques ministères. Pour le coefficient de pondération attribué, se reporter à  l'Annexe D. Par conséquent, l'analyse a été menée à  terme avec une population pondérée de 19 répondants. En outre, les participants n'ont pas tous répondu à  toutes les questions du sondage. Dans les cas où l'écart est prononcé, le nombre de participants n'ayant pas répondu a été signalé dans le rapport. Les résultats détaillés du sondage sont présentés à  l'Annexe E.

Le SAR du SCT a demandé une seconde analyse dans les cas où les réponses au sondage ont été pondérées pour représenter le volume des activités de réglementation menées par les ministères et les organismes au cours des deux dernières années. Les coefficients de pondération attribués figurent à  l'annexe D. Ce type d'analyse du sondage fait ressortir les conclusions des organisations dont l'activité réglementaire est élevée.

2.2.4 Données sur le rendement

Puisqu'il n'existait aucune méthode de mesure du rendement propre à  la mise en œuvre de la DCRR, un modèle de collecte de données a été mis au point pour assurer la saisie des données sur les extrants; les données administratives existantes et toute donnée sur le rendement (p. ex. sondages sur la satisfaction des clients) ont été examinées également pour mesurer les progrès réalisés en vue de la production d'extrants ainsi que des résultats immédiats. Les résultats des données sur le rendement ont été résumées par question d'évaluation et indicateur.

2.2.5 Données financières

Les données financières ont été analysées pour permettre de dégager la tendance au niveau de l'utilisation des ressources planifiées par rapport aux ressources véritables. Le SAR du SCT a fourni également des estimations sur l'affectation des ressources à  chaque domaine d'activité dans le modèle logique de la DCRR. Les données financières combinées aux conclusions sur les extrants et les résultats ont permis de déterminer la mesure de l'efficience (les extrants par rapport à  l'utilisation des ressources) et de l'économie (les résultats par rapport à  l'utilisation de ressources). Les résultats des données financières ont été résumées par question d'évaluation et indicateur.

2.3 Limites de la méthode d'évaluation

2.3.1 à‰tudes concurrentes

D'autres études ont été effectuées en màªme temps au sein du SAR du SCT, notamment l'étude sur les pratiques exemplaires de la mesure et de l'évaluation du rendement, et l'évaluation, menée par la direction, du Centre de compétences en réglementation (CCR). La mise en œuvre de la DCRR dépend fortement des activités menées par le CCR, de sorte que le SAR du SCT savait qu'il existait un risque de chevauchement et il était déterminé à  coordonner les divers projets. Pour éviter la fatigue des participants au sondage et aux entrevues, l'on a pris soin de désigner différentes personnes (pour les entrevues) et différents candidats (pour le sondage) pour chacune des études. Ces participants représentaient néanmoins la population des ministères et des organismes qui prennent part à  la mise en œuvre de la DCRR.

2.3.2 Renseignements sur la mesure du rendement

Comme très peu de rapports ont été dressés aux premières étapes du projet pilote, les données touchant les questions d'efficience et d'économie, ou d'optimisation (c.‑à ‑d. la contribution de ressources par les ministères et les organismes par rapport aux ressources fournies dans le cadre de la mise en œuvre de la DCRR) ont été assez rares. L'on espérait que le sondage permette d'obtenir une estimation des ressources supplémentaires fournies par les ministères et les organismes pour mettre la DCRR en œuvre. Or, les répondants ont été incapables de se prononcer sur la question. Il a donc été impossible de quantifier le niveau d'optimisation atteint.

2.3.3 Taux de réponse au sondage

Bien que le taux de réponse au sondage (43 %) n'ait pas été aussi élevé qu'on l'avait espéré, les réponses données reprennent celles qui ont été formulées par les personnes interviewées. En outre, les participants au sondage semblent représenter assez fidèlement l'opinion des ministères qui présentent un nombre peu élevé, moyen ou élevé de règlements.

2.3.4 Conclusion

Bien que la méthode d'évaluation comporte certaines limitations, l'évaluation a été conçue de manière à  utiliser de nombreux éléments probants pour tirer des conclusions au sujet de la DCRR, ce qui renforce la fiabilité et la validité des résultats de l'évaluation. Malgré les limitations, la méthode satisfait aux exigences de la politique du Conseil du Trésor sur l'évaluation et des normes connexes.