Guide sur la Fonction de l’évaluation de programme - mai 1981

Guide sur la Fonction de l'évaluation de programme

Division de l'évaluation de programme

Mai 1981

TABLE DES MATIÈRES

Page iv v 1

Avant-propos Remerciement Préface

Chapitre 1 POLITIQUE DU CONSEIL DU TRÉSOR DU CANADA CONCERNANT L'ÉVALUATION DE PROGRAMME

Chapitre 2 APERCU DE L'ÉVALUATION DE PROGRAMME

     DANS LES MINISTÈRES   

Chapitre 3 POLITIQUE MINISTÉRIELLE DE L'ÉVALUATION

DE PROGRAMME ET CONSIDÉRATIONS SUR L'ORGANISATION

i

Chapitre 5 PERSONNEL DE L'ÉVALUATION DE PROGRAMME 

ii

iii

AVANT-PROPOS

La fonction d'évaluation de programme qui est sur le point d'être mise sur pied dans les ministères et organismes fédéraux constitue un élément essentiel de l'initiative du gouvernement en vue d'améliorer les méthodes de gestion et les contrôles. L'évaluation de programme permet la remise en question périodique de la raison d'être de chaque programme du gouvernement. Cela comporte la cueillette systématique d'information vérifiable sur un programme et des preuves évidentes de ses résultats et de son efficacité afin de fournir une information à la fois plus abondante et de meilleure qualité pour la prise de décisions.

L'introduction du nouveau système de gestion des politiques et des dépenses représente un sérieux pas en avant en terme de contrôle accru des dépenses et d'imputabilité au sein du gouvernement tout en permettant d'améliorer la prise de décisions et d'établir les priorités du gouvernement. Le succès de cette initiative repose en grande partie sur la base d'information à partir de laquelle les décisions se prennent. Pour accomplir des progrès réels dans le processus de prise de décisions, les hauts fonctionnaires et les ministres doivent pouvoir disposer d'une information sûre, pertinente et objective. L'évaluation de programme constitue à ce titre une source d'information importante.

Ce Guide, qui a été approuvé récemment par le Conseil du Trésor du Canada, décrit les systèmes et procédures que les ministères et organismes du gouvernement fédéral sont susceptibles d'adopter en vue de mettre sur pied une fonction d'évaluation de programme utile et pertinente, et explique les approches générales et les principes sur lesquels s'appuieront les évaluations de programme. Il est nécessaire que la mise en oeuvre de ces principes directeurs par les ministères et organismes se révèle un succès afin de fournir une meilleure information pour la prise de décisions au sein du gouvernement.

Le Guide est conçu tout spécialement pour les sous-chefs des ministères et des organismes et pour les autres gestionnaires responsables de l'évaluation de programme. J'espère cependant qu'il se révélera utile pour les autres paliers de gouvernement et pour les organisations qui s'intéressent à l'évaluation des programmes gouvernementaux.

Donald J. Johnson

Président du Conseil du Trésor du Canada

iv

REMERCIEMENTS

Ce Guide résulte d'une collaboration étroite avec plusieurs ministères et organismes. Une première ébauche fût révisée par un comité de travail composé de ministères représentatifs. Par la suite, une ébauche ultérieure fût elle-même révisée par la communauté entière d'évaluation de programme au sein du gouvernement fédéral, ainsi que par plusieurs évaluateurs-conseils. Nous avons trouvé ce processus très utile et, j'aimerais exprimer ma gratitude à tous ceux qui ont prêté leur concours à cet exercice.

En dernier lieu, nous avons consulté les sous-chefs responsables d'évaluation de programme dans leurs ministères et organismes. Le Guide fut envoyé pour recueillir les commentaires fort utiles des sous-chefs des 29 ministères les plus importants en vue de préparer la version finale. Il m'a fait plaisir de constater que je pouvais compter sur leur appui en ce qui a trait à la fonction d'évaluation et au Guide. Sans leur collaboration, il nous aurait été impossible d'aller de l'avant et je voudrais donc leur exprimer toute ma gratitude.

H.G. Rogers

Contrôleur du Canada

v

PRÉFACE

Portée du guide

     Le présent guide traite de l'établissement et de l'exploitation constante de la fonction de l'évaluation de programme dans tous les ministères et organismes fédéraux dont les programmes sont assujettis à l'examen du Conseil du Trésor du Canada conformément à la circulaire n^o 1977-47 du Conseil du Trésor du Canada intitulée

Évaluation des programmes effectuée par les ministères et organismes. Les principes qui sous-tendent ce guide pourraient néanmoins servir pour toute autre évaluation de programme, de politique et de projet de même que pour des évaluations non liées aux programmes, qui peuvent ne pas être assujetties à la politique du Conseil du Trésor du Canada (1977-47).

     Ce guide sera mis à jour afin de tenir compte des circonstances changeantes, d'inclure des sujets supplémentaires dont il faut traiter plus en profondeur et d'incorporer l'expérience acquise grâce à la réalisation et à l'utilisation des évaluations de programme dans les ministères et les organismes.

     Un document connexe intitulé « Principes de l'évaluation de programme par les ministères et organismes fédéraux » traite du processus de réalisation d'une évaluation et offre des suggestions précises sur la façon d'effectuer les évaluations.

Objectif du guide

     Le présent guide vise plusieurs objectifs. Premièrement, il fournit des explications et des détails sur la politique contenue dans la circulaire n^o 1977-47 du Conseil du Trésor du Canada. Lorsque la politique a été publiée en 1977, les ministères n'effectuaient que très peu d'évaluations officielles des programmes telles que celles mentionnées dans la politique. Depuis, le Bureau du Contrôleur général (BCG) a été créé dans le but de surveiller le perfectionnement des pratiques et des contrôles de gestion, y compris l'établissement de la fonction de l'évaluation de programme dans les ministères et organismes. L'expérience acquise pendant cette période, ajoutée à l'évolution des fonctions connexes d'examen et de contrôle telles que la vérification interne, a abouti à une interprétation plus précise de la politique. On a tenu compte de tous ces facteurs dans ce guide qui est basé sur l'expérience acquise par les ministères et organismes en valuation de programme.

     Deuxièmement, ce guide a pour but d'aider les ministères et les organismes à établir et à tenir à jour une fonction de l'évaluation de programme. À ce titre, ce guide

1

sert de document de référence général sur la fonction de l'évaluation de programme dans les ministères et organismes.

     Troisièmement, ce guide devrait être considéré comme un énoncé des attentes du BCG dans le domaine de l'évaluation des programmes, attentes qui sont modifiées par les réalités auxquelles doit faire face chaque ministère. Tandis que le BCG tentera de déterminer si les principes fondamentaux précisés ici sont respectés dans les ministères et organismes, la forme précise que prendront les procédures et les processus suivis par chaque ministère et organisme sera forcément influencée par la situation particulière de ce dernier et sa compétence dans le domaine de l'évaluation de programme.

     Finalement, ce guide expose les responsabilités du BCG dans le domaine de l'évaluation des programmes.

Présentation du guide

     Le guide contient un certain nombre de chapitres qui traitent de divers aspects de la fonction de l'évaluation de programme. Chaque chapitre, à l'exception du dernier, débute par un énoncé de lignes directrices précises et présente ensuite une explication et des précisions sur ces lignes directrices et sur les principes qui les sous-tendent. Les lignes directrices résumées au début de chaque chapitre portent le numéro de la section dans laquelle elles sont décrites. Elles sont, en fait, de courts sommaires du texte. Il est toutefois nécessaire de lire le texte pour bien comprendre les lignes directrices.

2

CHAPITRE 1

POLITIQUE DU CONSEIL DU TRÉSOR

     DU CANADA CONCERNANT L'ÉVALUATION DE PROGRAMME

1.0 LIGNES DIRECTRICES

1.1 L'évaluation de programme dans les ministères et organismes fédéraux devrait comprendre la collecte systématique de renseignements vérifiables sur un programme, ainsi que des preuves tangibles de ses résultats et de sa rentabilité. Elle devrait viser à fournir périodiquement des renseignements dignes de foi, pertinents et objectifs, dans des délais raisonnables, afin de faciliter l'affectation des ressources, l'amélioration du programme et l'imputabilité.

1.2 L'évaluation de programme devrait toucher à toutes les questions fondamentales et l'évaluation de programme (tableau 1.1).

1.1 INTRODUCTION

1.1.1 NÉCESSITÉ DE L'ÉVALUATION DE PROGRAMME

     L'examen et l'évaluation des programmes existants a toujours fait partie de la gestion dans l'administration publique. Toutefois, la nature et le contenu des examens et des évaluations ont tout d'abord porté principalement sur les ressources affectées aux programmes (les dollars dépensés et le nombre de personnes employées) pour étudier ensuite la façon dont les ressources sont utilisées, les objectifs des programmes et leurs répercussions et effets sur la société.

     Cette évolution était nécessaire. Au cours des trois dernières décennies, le public a insisté pour obtenir du gouvernement une variété de plus en plus grande de biens et de services. Un grand nombre de programmes gouvernementaux actuels représentent des tentatives nombreuses et raffinées d'améliorer les conditions sociales et économiques dans une société de plus en plus complexe. À mesure que les dépenses gouvernementales ont augmenté, les objectifs et les résultats des programmes ont retenu de plus en plus l'intérêt du public qui s'inquiète des dépenses publiques qui augmentent sans cesse.

     Cette croissance tant du nombre que de la complexité des programmes gouvernementaux a rendu plus nécessaire encore l'obtention de renseignements

3

     pertinents et objectifs sur les résultats des programmes afin d'améliorer les décisions politiques. Cela est particulièrement vrai au cours de la présente période de restrictions. Les décisionnaires exigent de plus en plus de renseignements sur la performance réelle des programmes gouvernementaux plutôt que sur la performance escomptée. Bien qu'elle ne réponde pas à toutes les questions, l'évaluation de programme peut être une importante source de renseignements plus nombreux et plus sûrs sur les résultats obtenus grâce aux dépenses et aux règlements gouvernementaux.

     Les avantages qui découlent de l'évaluation des programmes sont multiples. Sa mise en oeuvre de plus en plus généralisée entraînera une meilleure compréhension de la performance des programmes, augmentant en retour la capacité du gouvernement, soit celle des ministères, des organismes centraux et du Cabinet, d'affecter les ressources de façon à obtenir les meilleurs résultats possibles.

1.1.2 APPROCHE GLOBALE DE L'ÉVALUATION

     On s'occupe activement de l'évaluation de programme depuis 15 à 20 ans, et les premières tentatives dans ce domaine ont été effectuées aux États-Unis. L'expérience acquise là, ailleurs et au Canada, a permis d'élaborer l'approche précisée dans ces lignes directrices¹. Néanmoins, l'approche préconisée dans l'administration fédérale canadienne est unique et diffère considérablement de nombreuses autres tentatives faites dans ce secteur.

     Les tous premiers travaux dans l'évaluation de programme étaient considérés comme connexes à la recherche scientifique et perçus comme une tentative de déterminer et d'évaluer de façon précise les résultats des interventions gouvernementales dans la société². Des structures expérimentales contrôlées ont souvent été établies afin de déterminer scientifiquement si un programme avait une incidence particulière. Ces plans ont servi de modèle à l'évaluation de programme.

     L'évaluation de programme, telle qu'elle est pratiquée dans l'administration fédérale du Canada, répond à une conception tout à fait différente. Elle est perçue comme une aide à la prise de décisions et à la gestion, c'est-à-dire comme une source d'information pour l'affectation des ressources, l'amélioration des programmes et l'imputabilité des gestionnaires. Pour ce faire, cela implique la collecte systématique d'information vérifiable sur un programme et de preuves tangibles de ses résultats et de sa rentabilité. L'évaluation de programme est l'un des moyens de fournir des observations pertinentes et objectives dans des délais raisonnables - renseignements, constatations et conclusions - et des recommandations sur la performance des

4

programmes du gouvernement, améliorant ainsi les données à partir desquelles les décisions sont prises. À cet égard, l'évaluation de programme, en tant que partie de ce processus de prise de décisions et de gestion, ne devrait pas être perçue comme une recherche scientifique visant à fournir des conclusions « scientifiques » définitives au sujet des programmes et de leurs résultats³. Elle devrait plutôt être considérée comme un apport au processus complexe, qui donne lieu à des interactions, que constitue la prise de décisions à l'intérieur de l'administration fédérale, dans le but de produire des constatations fiables, mais pas nécessairement concluantes, sur les programmes et leurs résultats. Bien que l'évaluation de programme nécessite toujours une analyse sérieuse, un strict modèle de recherche pour l'évaluation est souvent inadéquat à cause des délais impartis et de l'impossibilité de tenir compte de façon adéquate des besoins d'information multiples du client et des utilisateurs de l'évaluation.

     En résumé, l'évaluation de programme dans l'administration fédérale reconnaît les nombreux facteurs qui font partie de la gestion gouvernementale et la nécessité d'obtenir divers types de renseignements selon les besoins. Les décisionnaires doivent donc toujours faire preuve de discernement en ce qui a trait à la pertinence et à l'interprétation des constatations découlant de l'évaluation de programme. L'approche globale utilisée est flexible, adaptée aux besoins du sous-chef en tant que client et gestionnaire supérieur responsable de l'ensemble de la gestion et comptable de ses programmes, tout en fournissant des renseignements objectifs, des preuves concrètes et des conclusions dignes de foi sur les programmes et leurs résultats. Ce guide contient des principes, des pratiques et des procédures visant à assurer le succès de la mise en oeuvre de l'évaluation de programme.

1.2

POLITIQUE ET QUESTIONS FONDAMENTALES CONCERNANT L'ÉVALUATION DE PROGRAMME.

1.2.1 POLITIQUE

     Au cours des années 70, des activités diversifiées ayant trait à l'évaluation se sont multipliées à l'échelle de l'administration fédérale. Elles comprenaient, entre autres, des prévisions et des examens des programmes, des vérifications opérationnelles, des évaluations quantitatives officielles approfondies de l'efficacité de certains programmes. Ces dernières ont été effectuées de façon très sélective, en général pour satisfaire à des priorités ou à des questions importantes de planification des politiques plutôt qu'à l'occasion de l'examen régulier des programmes existants effectué par les gestionnaires des ministères. Ainsi, bien que les gestionnaires de l'administration fédérale effectuent

5

des évaluations depuis un certain temps, l'évaluation officielle, systématique et régulière de tous les programmes gouvernementaux remonte à 1977, date de la publication de la circulaire n^o 1977-47 du Conseil du Trésor du Canada Évaluation des programmes effectuée par les ministères et organismes. Cette politique était basée dans une grande mesure sur les meilleures pratiques en vigueur dans un certain nombre de ministères et d'organismes. L'énoncé général de la politique est le suivant :

« Les ministères et organismes du gouvernement fédéral examineront périodiquement leurs programmes afin d'évaluer leur capacité d'atteindre les objectifs et le rendement de leur administration. »

     Plus récemment, l'importance que le gouvernement accorde à l'évaluation de programme a été renforcée par le lien étroit qui s'est formé avec le système de gestion des politiques et des dépenses. Les plans d'évaluation de programme dans les ministères sont perçus comme des éléments des stratégies globales et des plans d'exploitation des ministères et des organismes et devraient refléter aussi bien les priorités établies par les comités chargés des politiques et le Conseil du Trésor du Canada que celles des ministères et des organismes (voir la section 2.1.2).

     L'évaluation de programme de l'administration fédérale, entreprise conformément à la politique du Conseil du Trésor du Canada, permet de s'assurer que les sous-chefs des ministères et organismes obtiennent les renseignements adéquats sur les résultats de leurs programmes afin de pouvoir :

     Bien que l'essence de l'évaluation de programme concerne le sous-chef, considéré comme le client des évaluations, celle-ci permet aux gestionnaires axiaux d'obtenir des renseignements plus complets sur leurs programmes et d'examiner un plus grand nombre de questions fondamentales pertinentes qu'il n'est possible de le faire dans le cadre de la gestion quotidienne.

6

1.2.2 ASPECT FONDAMENTAUX DE L'ÉVALUATION DE PROGRAMME

     La politique concerne principalement l'évaluation de programme et non, par exemple, l'évaluation des systèmes et des procédures, lesquels sont, en général, examinés au moyen d'une vérification interne (voir la section 2.4 qui traite des différences entre l'évaluation de programme et la vérification interne). Tel qu'il est souligné dans la politique, l'évaluation de programme porte sur un certain nombre d'aspects fondamentaux :

     Le tableau 1.1 énumère ces quatre aspects généraux d'une évaluation et contient sept questions fondamentales plus précises qu'on devrait se poser au cours de l'évaluation d'un programme. Ces questions délimitent l'évaluation de programme et peuvent servir de guide pour déterminer les questions à envisager lors de l'évaluation d'un programme.

     Les questions relatives à la raison d'être d'un programme servent principalement à déterminer s'il est encore pertinent, compte tenu des conditions sociales et économiques et de la politique gouvernementale actuelles. Ici, l'existence même du programme doit être remise en question; on doit se demander (a) si le programme est encore nécessaire à l'application de la politique gouvernementale en vigueur, même s'il produit les résultats escomptés; (b) si le programme est toujours axé convenablement sur le problème qu'il vise à solutionner et (c) si le mandat et les objectifs sont énoncés adéquatement. L'accent doit porter sur la raison d'être du programme en ayant soin d'éviter de justifier la politique à partir de laquelle le programme a évolué. L'évaluation de programme doit prendre pour acquis un certain niveau de politique tel que les objectifs à long terme du ministère afin d'avoir une base à partir de laquelle on peut comparer le programme.

7

Tableau 1.1

     ASPECTS FONDAMENTAUX DE L'ÉVALUATION DE PROGRAMME

Aspects de l'évaluation

RAISON D'ÊTRE DU PROGRAMME (Est-ce que le programme répond à un besoin?)

RÉPERCUSSIONS ET EFFETS (Quels résultats le programme a-t-il donnés?)

RÉALISATION DES OBJECTIFS (Est-ce que le programme a donné les résultats escomptés?)

SOLUTIONS DE RECHANGE

(Existe-t-il de meilleures façons d'obtenir les résultats?)

Questions fondamentales

-Dans quelle mesure les objectifs et le mandat sont-ils encore pertinents?

-Les activités et les extrants sont-ils conformes au mandat et se rattachent-ils de façon vraisemblable à la réalisation des objectifs et à l'obtention des répercussions et effets intentionnels

-Quels effets et répercussions intentionnels ou non, l'application du programme a-telle produits?

-De quelle façon et dans quelle mesure le programme complète-t-il, chevauche-t-il ou contrecarre-t-il d'autres programmes ou fait-il double emploi?

-De quelle façon et dans quelle mesure les objectifs du programme ont-ils été réalisés grâce à sa mise en oeuvre?

-Est-ce que d'autres programmes plus rentables pourraient permettre d'atteindre les objectifs et les effets et répercussions intentionnels?

-Existe -t-il d'autres façons plus rentables de mettre en oeuvre le programme actuel?

8

     On devrait arriver à bien comprendre la raison d'être du programme en comparant les activités du programme en cours avec celles précisées dans le mandat et en examinant si des liens existent toujours entre les extrants du programme ainsi que ses objectifs et les effets et répercussions intentionnels. (Ces termes sont précisés à la section 4.2.2 et, en particulier, dans le tableau 4.1, ainsi que dans le Glossaire).

     La considération des effets et répercussions d'un programme suppose une vision large, une tentative de déterminer ce que le programme a donné comme résultat. Elle porte sur tous les résultats attribuables au programme, tant ceux qui sont intentionnels, que ceux qui ne le sont pas et qui sont souvent les plus « intéressants », sans tenir compte des objectifs précisés ou prétendus du programme. Ceci englobe les répercussions et effets du programme sur et par les programmes connexes. Mettre l'accent sur ce volet est tout particulièrement indiqué lorsque les objectifs du programme sont confus et qu'il y a mésentente sur ce que devraient être les objectifs précis.

     Les questions relatives à la réalisation des objectifs visent à déterminer la façon dont les objectifs appropriés sont atteints grâce au programme et la mesure dans laquelle ils le sont. Cet aspect a souvent été considéré comme constituant l'unique essence de l'évaluation de programme. Pour déterminer de quelle façon les objectifs sont réalisés, il faut normalement effectuer des recherches sur un certain nombre d'effets et de répercussions du programme.

     Finalement, la considération de solutions de rechange aide à évaluer la valeur relative du programme. Les objectifs peuvent avoir été atteints sans provoquer de répercussions ou d'effets néfastes, mais il peut exister de meilleures façons d'atteindre les objectifs ou les répercussions et effets intentionnels ou d'obtenir les mêmes résultats à un coût moindre, d'obtenir plus ou de meilleurs résultats pour un coût identique, ou de réaliser proportionnellement plus ou de meilleurs résultats avec des coûts accrus. Le programme serait alors plus efficace et serait mis en oeuvre de façon plus efficiente. De meilleures solutions de rechange pourraient comprendre à la fois de nouvelles façons d'administrer le programme, soit par exemple un règlement ou un programme de dépense fiscale au lieu d'un programme de dépense, et d'autres programmes visant les objectifs et les répercussions et les effets intentionnels. Les solutions de rechange seraient étudiées plus ou moins en profondeur, mais on ne s'attend pas à ce qu'elles soient normalement analysées en détail lors de l'évaluation. En général, l'analyse effectuée fera ressortir des possibilités intéressantes qui pourraient être examinées de plus près par un groupe de planification.

9

1.3

CARACTÉRISTIQUES PRINCIPALES DE LA CIRCULAIRE PORTANT SUR LA POLITIQUE

     La circulaire 1977-47 du Conseil du Trésor du Canada, porte sur un certain nombre de caractéristiques de la fonction de l'évaluation de programme qui doit être mise sur pied dans tous les ministères et organismes. Les principales caractéristiques sont précisées dans le présent guide qui contient aussi des indications supplémentaires sur l'évaluation de programme dans les ministères et organismes.

Responsabilité du sous-chef : Le sous-chef de chaque ministère et organisme est chargé d'établir la fonction de l'évaluation de programme dans son organisation, de veiller à ce que les études d'évaluation appropriées soient effectuées de façon objective et que les résultats en soient communiqués au sous-chef et aux autres gestionnaires intéressés à différents niveaux et de prendre les décisions qu'imposent les constatations. Le sous-chef est le client pour lequel les évaluations sont effectuées.

Champ d'application : Tous les programmes de chaque ministère et organisme doivent être évalués. Dans le cas de certaines fonctions de soutien administratif dans un ministère, la vérification interne peut fournir la plus grande partie ou la totalité des renseignements et des preuves nécessaires pour l'évaluation. Il se peut que le service d'évaluation de programme n'ait pas alors à effectuer d'étude supplémentaire (voir la section 2.4 pour plus de précisions).

Évaluations cycliques : Les programmes doivent être évalués de façon périodique. Bien que la politique suggère un cycle de 3 à 5 ans, il est admis que les cycles peuvent être plus longs dans certains cas. Un cycle adéquat doit être établi dans chaque ministère, selon la nature et la maturité des programmes.

Objectivité : Les études d'évaluation de programme doivent être conçues et réalisées de façon objective. La nécessité d'une évaluation qui soit objective et qui soit perçue comme telle constitue la raison principale pour laquelle l'évaluation de programme ne doit aucunement relever des gestionnaires axiaux. La détermination précise des rapports hiérarchiques ainsi que l'élaboration et l'autorisation des attributions pour chaque évaluation rehausse l'objectivité des évaluations de programme.

Portée : Chaque évaluation doit fournir un examen approfondi du programme et de ses résultats. Toutes les questions fondamentales doivent être étudiées minutieusement. La section 1.2 traite de ces questions.

Plan d'évaluation des ministères : Les ministères et organismes doivent établir un plan pour l'évaluation de leurs programmes. Le chapitre 4 traite de cette question.

10

Convenance : Les processus établis, le personnel utilisé et les évaluations réalisées doivent être adaptés à chaque situation. Les 3, 5 et 6 respectivement traitent des processus, des évaluations et du personnel qui conviennent

Détermination des évaluations nécessaires à l'égard des nouveaux programmes : Les évaluations qu'il faudra effectuer doivent être déterminées pour tous les nouveaux programmes et les programmes existants, le cas échéant, afin que les évaluations ultérieures soient adéquates. Le chapitre 7 traite des structures d'évaluation appropriées.

Notes explicatives pour le chapitre 1

11

CHAPITRE 2

APERÇU DE L'ÉVALUATION DE PROGRAMME

DANS LES MINISTÈRES

2.0 LIGNES DIRECTRICES

2.1 L'évaluation de programme doit faire partie intégrante de l'examen et du contrôle de la gestion dans les ministères et les organismes et fournir des données pour la planification et la budgétisation.

2.1 ÉVALUATION DE PROGRAMME ET PROCESSUS DE GESTION

2.1.1 PROCESSUS DE GESTION DANS LES MINISTÈRES

     La gestion dans les ministères et les organismes comprend les trois activités interdépendantes suivantes :

-la planification et la budgétisation (la prise de décisions); -la mise en oeuvre (la direction); et -l'examen et le contrôle (l'évaluation).

     La planification et la budgétisation demandent l'établissement de buts et d'objectifs, de stratégies générales et de plans d'exploitation élaborés à la lumière des résultats antérieurs et l'engagement des ressources nécessaires à leur réalisation. La mise en oeuvre comporte l'exécution de ces plans et la direction des opérations qui en résultent. L'examen et le contrôle demandent que l'on juge la performance et les résultats obtenus en fonction des espérances, des objectifs et des plans.

     L'examen et le contrôle assurent la rétroaction nécessaire entre les intentions et les résultats réels et lient les résultats à la planification et à la direction donnée. L'examen et le contrôle qu'exerce un sous-chef comportent au moins les trois processus suivants sur lesquels nous reviendrons :

-l'évaluation des programmes;

-la vérification interne; et

-les autres processus d'examen et d'information concernant la gestion (y compris l'établissement des rapports financiers, la mesure de la performance, l'examen de la gestion et l'examen de la qualité des programmes).

13

     L'évaluation fait partie intégrante de l'examen et du contrôle, car elle fournit au sous-chef des renseignements objectifs et indépendants sur les résultats de ses programmes. Elle permet la remontée d'information qui peut servir à améliorer les opérations courantes et à édifier la planification stratégique future. L'évaluation est le dernier aspect des mécanismes d'examen et de contrôle officiels qui sont essentiels à notre époque à la bonne gestion des programmes. Le graphique 2.1 illustre cette rétroaction et la compare à celle produite par les autres aspects de l'examen et du contrôle officiels. (La section 2.4 du présent chapitre présente les similitudes et les différences des divers aspects de l'examen et du contrôle).

     Il est important de noter que les aspects les plus répandus de l'examen et du contrôle, la vérification interne et l'examen de la gestion, insistent particulièrement sur la rétroaction entre les plans d'exploitation, les opérations et les extrants de celles-ci. En revanche, l'évaluation de programme va au-delà de cet aspect et examine systématiquement tant les résultats des programmes dans leur environnement externe que leur raison d'être fondamentale de façon à utiliser cette information pour planification stratégique et pour les autres processus de gestion.

2.1.2 RELATION AVEC LE SYSTÈME DE GESTION DE LA POLITIQUE ET DES

DÉPENSES

     L'évaluation de programme est aussi un élément important des systèmes de gestion de l'administration fédérale qui intéresse les organismes centraux. Le système de gestion des politiques et des dépenses que l'on met actuellement en oeuvre dans l'administration fédérale représente une nette amélioration du contrôle de l'État sur l'affectation des ressources. Grâce à la nouvelle politique des enveloppes, les décisions politiques devraient désormais être prises avec une meilleure connaissance des ressources et du coût d'opportunité pour mettre en oeuvre les initiatives et les décideurs auront une idée plus précise des contraintes qui s'exercent sur les ressources disponibles. Le système de gestion des politiques et des dépenses exige l'évaluation de programme sur laquelle il s'appuie de deux façons : officieusement, en soulignant les objectifs, l'apport des programmes aux objectifs et les résultats des programmes et officiellement, en exigeant que l'on présente au comité des politiques compétent et au Conseil du Trésor du Canada les principales conclusions des évaluations et les plans d'évaluation des programmes des ministères.

14

     Le Guide du système de gestion des politiques et des dépenses¹ insiste sur la nécessité pour les ministères et les organismes d'établir des objectifs, d'indiquer les moyens d'atteindre ces objectifs, de présenter d'autres options possibles, de connaître les résultats des programmes actuels et de s'assurer que les nouveaux programmes puissent être évalués adéquatement. Ce genre d'information est indispensable à la bonne gestion des programmes. L'évaluation de programme peut jouer un rôle important, car elle pourrait fournir cette information. Il est probable que lorsque le système de gestion des politiques et des dépenses sera mieux rodé, la demande pour ce genre d'information augmentera.

     Les évaluations de programme et les plans d'évaluation de programme des ministères devront faire officiellement partie de trois des instruments principaux du nouveau processus : la stratégie globale des ministères, les plans d'exploitation pluriannuels et les plans d'exploitation de l'année budgétaire².

     Présentée au plus tard le 31 mars de chaque année, la stratégie globale doit « résumer les conclusions des évaluations de programme et les changements proposés à la suite de ces conclusions ». Elle doit comprendre les conclusions des études d'évaluation et, le cas échéant, celles des études préparatoires à l'évaluation (voir section 2.2).

     Les plans d'évaluation de programme des ministères doivent être établis par les ministères et les organismes avec le concours des secrétariats des comités des politiques et de Conseil du Trésor du Canada (voir chapitre 4). Le plan d'évaluation des programmes à long terme du ministère doit être déposé au plus tard le 31 mars conjointement avec le plan d'exploitation pluriannuel et le plan annuel d'évaluation de programme (voir section 4.4.2) doit être soumis avec le plan d'exploitation de l'année budgétaire au plus tard le 31 octobre. Les comités des politiques, aidés par le Conseil du Trésor du Canada, examineront ces plans et pourront demander aux ministères et aux organismes d'apporter les changements qu'ils jugent opportuns. L'évaluation de programme fait ainsi partie intégrante de la gestion des dépenses de l'État et peut de ce fait aider à améliorer la gestion dans l'administration fédérale.

2.2 ÉVALUATION DE PROGRAMME : CONCEPTS ET TERMES DE BASE

     La terminologie n'est pas très uniformisée dans le domaine de l'évaluation de programme. Par conséquent, une grande partie de la confusion à ce sujet est due au fait que différentes personnes utilisent les mêmes termes pour désigner des choses différentes ou des termes différents pour désigner les mêmes choses. Même s'il n'existe aucune définition tout à fait « juste », il serait très souhaitable d'uniformiser la terminologie. Les termes définis ci-dessous ont semblé convenir pour discuter des divers concepts et aspects de l'évaluation de programme et ils ont été choisis par le Bureau du Contrôleur

16

général, de concert avec les ministères et les autres organismes centraux, pour la mise en oeuvre de la politique du Conseil du Trésor portant sur l'évaluation de programme. Le terme programme désigne tout groupe de ressources ou d'activités³, ainsi que les extrants qui s'y rattachent directement, établi en vertu d'objectifs ou d'ensembles d'objectifs donnés et appliqués par un ministère ou un organisme fédéral. Les activités s'entendent ici comme tout pouvoir ou fonction connexe, soit par exemple les règlements ou les dispositions de la loi sur l'impôt qui sont des extrants directs. Un programme budgétaire est un programme qui figure dans le Budget des dépenses. Une composante de programme est un groupe d'activités d'un ministère, généralement une partie d'un programme budgétaire, visant un objectif commun (ou un ensemble d'objectifs connexes) qui convient au ministère pour les besoins de l'évaluation (voir section 4.2.2). Bien que les évaluations exigées par la politique du Conseil du Trésor du Canada portent généralement sur des composantes plutôt que sur les programmes plus agrégés du Budget, le terme générique « programme » est utilisé dans le Guide indistinctement à la place du terme « composante de programme ». En outre, le terme « ministère » utilisé seul dans ce document désigne à la fois les ministères et les organismes de l'administration fédérale.

     Le diagramme 2.2 offre une représentation schématique utile qui permet de visualiser la structure d'un programme. Des ressources sont canalisées par les activités entreprises par le personnel du programme et ces activités se traduisent en extrants directs qui à leur tour entraînent des répercussions et effets qui permettent d'atteindre les objectifs. Le terme objectif réfère à un énoncé d'intention qui indique ce qui doit être accompli en terme de répercussions et d'effets et non pas en terme d'extrants ou de procédés de mise en oeuvre. Il serait peut-être plus indiqué de désigner ce dernier type d'énoncé d'intention sous le vocable but. L'évaluation de programme s'intéresse tout particulièrement aux objectifs orientés vers les répercussions et effets. On obtient une description complète d'un programme aux fins d'évaluation en exposant les divers éléments de toute structure de programme, en particulier les activités, les extrants et les répercussions et effets aussi bien que les liens qui les unissent, soit par exemple comment certains extrants particuliers entraînent certaines répercussions et effets, et finalement les objectifs à atteindre.

17

     Le présent guide s'intéresse au domaine général de l'évaluation des programmes fédéraux. Les programmes existants et les programmes prévus peuvent être évalués; le terme « évaluation » qu'utilise ce guide désigne l'évaluation des programmes courants existants⁴. Les termes « estimation » ou « analyse » désignent souvent l'évaluation des programmes futurs.

     L'évaluation de programme, en tant que fonction de la gestion, consiste à évaluer officiellement les programmes et leurs résultats, à identifier et à analyser certains ou tous les aspects de l'évaluation de programme (voir tableau 1.1). L'évaluation de programme, en tant que procédure, est l'évaluation d'un programme particulier et comprend normalement une étude préparatoire à l'évaluation et une étude d'évaluation des programmes. Le processus d'évaluation de programme comporte l'exécution de l'étude préparatoire et de l'étude d'évaluation de même que la prise de décisions fondées sur les conclusions et les recommandations des évaluateurs.

     L'étude préparatoire est la première étape de l'évaluation de programme. Elle demande que l'on analyse le programme et son environnement, que l'on détermine le type de questions à inclure dans l'évaluation, la nature et la portée de ces questions et comment on peut les aborder et comment on les abordera dans une étude particulière d'évaluation. Les besoins des clients, les ressources disponibles et les autres méthodes d'évaluation sont aussi examinés. On étudie parfois aussi la raison d'être des programmes, bien qu'on le fasse très rapidement à ce stade. D'après les conclusions de l'étude préparatoire, on établit le mandat de l'étude ou l'on annule l'évaluation projetée (voir section 6.2).

     L'étude préparatoire d'évaluation est l'analyse de la nature des questions à considérer dans l'évaluation, de la mesure à laquelle on peut ou peut-être doit répondre à ces questions et des méthodes que l'on peut utiliser pour les aborder; elle envisage plusieurs options, c'est-à-dire différents ensembles de questions et différentes méthodes et procédures d'évaluation, pour effectuer l'évaluation qui suivra. Un rapport de l'étude préparatoire d'évaluation présente les conclusions de cette étude.

     Une étude d'évaluation de programme porte sur un programme particulier et examine officiellement des questions qui lui sont propres. Un rapport d'évaluation de programme rend compte de l'étude d'évaluation de programme et présente les observations et les conclusions de l'évaluation de programme.

     Le chapitre 6 traite de la réalisation des évaluations, c'est-à-dire des études préparatoires et des évaluations elles-mêmes.

19

2.3 APERCU DE L'ÉVALUATION DE PROGRAMMES

     Pour l'évaluation de leurs programmes, les ministères et les organismes doivent créer une fonction d'évaluation de programme. Le Bureau du Contrôleur général fournit, s'il le faut, des conseils et de l'aide pour cette tâche (voir chapitre 8). Bien que les divers organismes intéressés puissent procéder de façon différente pour la création de la fonction, les caractéristiques générales de chacune doivent se ressembler et refléter certains principes. Des précisions et des lignes directrices concernant ces caractéristiques sont données dans les chapitres suivants.

     Afin de créer une fonction d'évaluation de programme, les ministères et les organismes doivent établir et publier leur propre politique dans ce domaine en tenant compte de leur situation particulière. Le chapitre 3 examine les caractéristiques importantes de ces politiques.

     La fonction d'évaluation de programme de chaque ministère et organisme s'occupe surtout de trois activités principales : évaluer périodiquement les programmes existants, répondre aux demandes de renseignements du sous-chef ou à celles qui lui sont adressées au sujet des évaluations et élaborer le cadre d'évaluation des nouveaux programmes.

     La principale activité de la fonction d'évaluation de programme est de s'assurer que tous les programmes sont officiellement évalués par le sous-chef au cours d'une période donnée afin que tous les aspects soient attentivement examinés. Dans ce but, les ministères et les organismes doivent établir les politiques relatives à l'évaluation des programmes (chapitre 3), établir et mettre à jour des plans officiels d'évaluation de leurs programmes (chapitre 4), obtenir le personnel compétent (chapitre 5), effectuer les évaluations et prendre les mesures dont les évaluations ont fait ressortir la nécessité (chapitre 6).

     Son deuxième secteur d'activité est de répondre aux demandes de précisions au sujet des évaluations des programmes des ministères et des organismes formulées par le sous-chef ou à celles qui lui sont adressées par le Cabinet ou le Parlement. Dans la mesure du possible, ces travaux d'évaluation devraient figurer dans l'évaluation officielle et périodique des programmes. En outre, le sous-chef peut à l'occasion identifier le besoin d'information additionnelle. Cependant, ces activités ad hoc ne devraient pas entraver indûment l'évaluation normale des programmes.

     Son troisième secteur d'activité est d'élaborer un cadre pertinent d'évaluation de tous les programmes nouveaux ou renouvelés pour que l'on puisse à l'avenir effectuer correctement les évaluations. Le chapitre 7 décrit cette fonction et donne les lignes directrices.

20

2.4

ÉVALUATION DE PROGRAMME, VÉRIFICATION INTERNE ET AUTRES CONTRÔLES DE GESTION

     L'évaluation de programme fournit aux gestionnaires supérieurs des renseignements sur les modifications susceptibles d'améliorer les programmes, de conseiller judicieusement les ministres quant à l'affectation des ressources et aux questions de politique et de justifier les dépenses et deniers publics. L'évaluation de programme comporte l'examen approfondi et minutieux des résultats de chaque programme. D'autres systèmes de gestion et d'autres examens des programmes complètent l'évaluation de programme et, comme l'indique le graphique 2.1, font partie de l'examen général qui comprend les contrôles suivants : vérification interne, mesure de la performance, examens de la gestion, examens de la qualité, etc.

     De tous les contrôles, la vérification interne⁵ est celui qui se rapproche le plus de l'évaluation de programme. Afin que l'on distingue ces deux activités, le Bureau du Contrôleur général a publié, en août 1979, une étude intitulée La vérification interne et l'évaluation de programme au sein du gouvernement du Canada : clarification des rôles, responsabilités et relations. On y trouve les deux paragraphes suivants :

« L'évaluation de programme consiste en un examen et une évaluation périodiques, impartiaux et objectifs d'un programme ayant pour but d'établir, à la lumière des circonstances, dans quelle mesure ses objectifs, sa conception et ses résultats tant prévus qu'imprévus sont satisfaisants. Les évaluations remettent en question l'existence même du programme. On examine la raison d'être du programme, les effets qu'il produit sur le public et sa rentabilité par comparaison avec d'autres moyens d'exécution. »

« La vérification interne est l'examen et l'évaluation systématiques et indépendants de toutes les opérations d'un ministère, y compris les activités administratives, dans le but d'informer la direction relativement à l'efficience, à l'économie et à l'efficacité des pratiques et contrôles internes de gestion. »

     La vérification interne ressemble à l'évaluation de programme en ce qu'elle est sous la responsabilité du sous-chef, et elle doit être et apparaître objective et est faite périodiquement. Elle diffère de l'évaluation de programme quant à son objet : les systèmes des programmes et les contrôles de la gestion par opposition à la structure des programmes, et à leurs résultats. La vérification interne comprend l'évaluation de l'efficacité des structures organisationnelles et de leurs relations entre elles, des procédures et des systèmes d'opérations des exigences en personnel et son utilisation⁶. Si l'on se réfère au diagramme 2.2, la vérification interne se concentre sur le programme en lui-même, en étudiant les ressources, les activités et les extrants et les relations entre ces éléments. L'évaluation de programme, pour sa part, s'attache à la structure du programme comme entité, sur ses répercussions et effets et sur les relations entre les répercussions et effets et les extrants de même qu'avec les ressources utilisées.

21

     Ces deux fonctions peuvent toutefois se chevaucher, particulièrement en ce qui a trait aux questions relatives aux extrants du programme et il n'est pas toujours possible ni souhaitable de les délimiter. C'est généralement le cas de nombreuses fonctions de soutien administratif et de programmes à procédures ou répétitifs qui produisent un bien ou un service bien déterminé. Lorsque le programme a peu d'effet direct sur la société ou que ses opérations sont prescrites par la loi, on peut, par une vérification interne bien conçue, aborder dans certains ministères la plupart des aspects, dont le niveau et la qualité des services rendus, qu'on étudierait normalement pendant l'évaluation de programme. De ce fait, la vérification interne engloberait toutes les questions qui lui sont propres et, dans certains cas, elle engloberait aussi plusieurs des questions que les évaluateurs pourraient se poser au sujet du programme, à l'exclusion de celles concernant l'évaluation des autres mécanismes de mise en oeuvre des programmes et, évidemment, de celles qui portent sur la continuation du programme.

     Par contre, si la vérification interne ne couvre pas suffisamment les questions qui intéressent l'évaluation de programme, la fonction d'évaluation de programme peut effectuer d'autres études. Chaque cas sera traité selon ses propres mérites et en tenant compte de la nature de la vérification interne dans le ministère en question, de la nature même des questions de vérification et d'évaluation qu'il faudrait examiner, du groupement des activités pour les besoins de la vérification plutôt que des objectifs de l'évaluation et de la nature du programme que l'on considère. Il est bien possible que dans chaque ministère et dans chaque organisme la division entre les activités de la vérification interne et celles des services d'évaluation devienne plus évidente avec le temps.

     Comme on l'a mentionné auparavant, la fonction d'évaluation de programme doit s'assurer que l'on examine attentivement tous les aspects pertinents de tous les programmes, même si dans certains cas, comme nous l'avons dit ci-dessus, les conclusions des vérifications internes fournissent suffisamment d'information sur les aspects pertinents de l'évaluation de programme.

     Outre la vérification interne, les trois processus d'examen suivants de gestion et d'information qui ne sont pas les mécanismes courants d'établissement des rapports financiers complètent l'évaluation de programme :

Mesure de la performance. Ce terme décrit l'évaluation courante des opérations des programmes faite par un gestionnaire; elle tient compte du souci d'économie dont on a fait preuve dans l'acquisition des ressources, de l'efficience dans la conduite des activités, de la qualité des produits ou des services et de la mesure dans laquelle on a atteint les objectifs opérationnels visés. La mesure de la performance peut englober les tendances, les normes, les comparaisons d'indicateurs ou d'autres données sur la performance des opérations d'un programme.

22

Examen de la gestion. Ce terme décrit un élément des fonctions d'un gestionnaire pouvant comporter un large éventail de contrôles et de tâches permettant de résoudre des problèmes et conçus de manière à garantir la bonne exécution des fonctions. Dans bon nombre de cas, l'examen de gestion constitue un élément essentiel du processus de contrôle adapté par le gestionnaire et reflétant son style personnel. L'examen de gestion complète tous les autres systèmes officiels de contrôle de gestion.

Examen de la qualité. Ce terme englobe une foule d'activités de surveillance, d'inspection et d'expertise susceptibles d'exister au sein d'une organisation. Ces activités ont pour but premier d'assurer un respect rigoureux d'un ensemble particulier de normes et, en tant que telles, font partie intégrante du système de contrôle de l'organisation. L'examen de la qualité a pour but de repérer en temps opportun les écarts qui pourraient justifier des mesures correctives immédiates ou qui indiquent que des mesures correctives immédiates ou qui indiquent que des mesures de suivi approfondies s'imposent.

     Chacun des mécanismes ci-dessus fournit de précieux renseignements pour l'évaluation d'un programme et, évidemment, pour la vérification interne. Parce qu'elle comporte la collecte permanente des renseignements sur les opérations des programmes, la mesure de la performance peut être particulièrement utile aux évaluateurs des programmes pour l'analyse des processus de mise en oeuvre des programmes. En outre, un système de mesure de la performance bien conçu doit inclure des renseignements sur les effets et répercussions des programmes, s'il est raisonnable de recueillir ces renseignements de façon continuelle.

En résumé, l'évaluation de programme se caractérise par les faits suivants :

-elle se concentre sur les effets et répercussions des programmes et non sur leurs opérations permanentes; et

-elle n'accepte pas chaque programme tel qu'il se présente, mais elle s'interroge sur son existence même et elle considère des solutions de rechange.

     Comme la vérification interne, mais contrairement à d'autres processus d'information et d'examen de la gestion, l'évaluation de programme :

-est effectuée principalement pour le sous-chef et non pour les gestionnaires axiaux; et

-elle a lieu périodiquement et non de façon spéciale, continuelle ou selon les besoins.

23

Notes explicatives pour le chapitre 2

24

CHAPITRE 3

POLITIQUE MINISTÉRIELLE DE L'ÉVALUATION

DE PROGRAMME ET CONSIDÉRATIONS

SUR L'ORGANISATION

3.0 LIGNES DIRECTRICES

3.1 Tous les ministères et organismes devraient avoir une politique d'évaluation de programme compatible avec la circulaire 1977-47 du Conseil du Trésor du Canada déterminant quelle sera l'approche utilisée par le ministère pour l'évaluation de programme, indiquant l'organisation de l'évaluation ainsi que le rôle, les responsabilités, les pouvoirs et l'imputabilité de ceux qui sont concernés. La politique devrait aussi mentionner les procédures à utiliser dans l'exécution des évaluations ainsi que les mesures qu'il faudrait prendre à la suite des résultats et indiquer le niveau général des ressources qui permettront que l'évaluation de programme soit utile pour le sous-chef. Les politiques d'évaluation de programme des organismes et de ministères devraient être soumises à l'examen du BCG.

3.2 Les responsabilités qui incombent au sous-chef (tableau 3.1) et aux gestionnaires de la fonction d'évaluation de programme (tableau 3.2) devraient être clairement définies dans la politique ministérielle de l'évaluation de programme. La façon dont les gestionnaires supérieurs devraient interpréter et donner suite aux constatations et aux recommandations découlant des évaluations de programme devraient également être précisées dans la politique.

3.3 La méthode ainsi que les procédures ayant trait à l'exécution des évaluations de programme devraient être établies et suivies de telle façon que les gestionnaires axiaux et ceux des programmes concernés y participent de façon satisfaisante.

3.4 En organisant l'évaluation de programme, il faudrait établir que la gestion de la fonction d'évaluation de programme incombera à une seule personne, ou à deux au plus. S'il n'y avait qu'une personne, soit le gestionnaire ministériel de l'évaluation de programme, elle relèverait directement du sous-chef; s'il y en avait deux, l'une d'elles agirait comme l'agent principal et relèverait directement du sous-

27

chef. De plus, un service ministériel d'évaluation de programme devrait être établi afin d'aider le gestionnaire ministériel de la fonction d'évaluation de programme et d'exécuter toutes les activités centrales se rapportant à l'évaluation de programme. Si l'évaluation de programme est décentralisée, il faudrait alors établir des services d'évaluation au niveau des directions ou des régions afin d'apporter un soutien supplémentaire à cette fonction et d'exécuter les évaluations de programme qui ne peuvent pas être entreprises par le service d'évaluation centrale du ministère.

Le service ministériel d'évaluation de programme devrait travailler en étroite collaboration avec les services de vérification interne et de planification afin d'assurer une coordination efficace entre ces activités, mais un service distinct d'évaluation de programme devrait être formé.

3.1 POLITIQUE MINISTÉRIELLE D'ÉVALUATION DE PROGRAMME

     Le sous-chef devrait établir officiellement la fonction d'évaluation de programme dans son ministère ou organisme. À cette fin, il faut que soit publiée une politique ministérielle qui adapte la politique du Conseil du Trésor du Canada portant sur l'évaluation à la situation particulière du ministère.

     Même si chaque ministère peut exprimer sa politique de façon particulière, certains principes, exposés ci-dessous, devraient être communs à toutes les politiques. (Les noms des organisations, des comités et des postes utilisés ci-dessous sont génériques. On les trouvera décrits de façon plus détaillée dans d'autres sections du chapitre ainsi que dans le glossaire. Les ministères et les organismes devraient adopter des termes s'appliquant à leur situation.)

Une politique ministérielle appropriée devrait :

1. indiquer que le ministère exécutera régulièrement des évaluations de programme dans le cadre de ses activités courantes de gestion;
2. mentionner les responsabilités du sous-chef en ce qui a trait à la fonction d'évaluation de programme et son rôle de client pour les évaluations de programme;
3. indiquer le rôle et les responsabilités des gestionnaires axiaux dans l'évaluation de programme;
4. décrire le mandat, le rôle et les buts que l'évaluation de programme jouera dans la gestion du ministère et faire la distinction entre l'évaluation de programme et la vérification interne, la planification, la mesure de la performance, l'examen de la gestion et toute autre forme d'examen et de contrôle exercés par le ministère;
   
   

   28

   ---

   
   
5. dépeindre la structure établie ou qui sera établie pour l'exécution des activités requises et révéler l'identité de ceux qui participent au processus d'évaluation des programmes, y compris les gestionnaires axiaux. En plus de nommer un gestionnaire ministériel de l'évaluation de programme, il sera fréquemment souhaitable de constituer un comité de gestion supérieure de l'évaluation de programme et des comités consultatifs de l'évaluation de programme pour des études particulières;
   
6. décrire les rôles, les responsabilités et les pouvoirs de chacun des participants au processus d'évaluation de programme;
7. exposer la marche à suivre pour la mise en oeuvre de l'évaluation de programme dans le ministère. Ces procédures concernent l'élaboration et le maintien des plans d'évaluation, l'exécution des évaluations ainsi que les procédures qui permettront aux gestionnaires supérieurs d'interpréter les constatations et les recommandations découlant des évaluations de programme et d'y donner suite;
8. mentionner l'acheminement et la distribution des documents d'évaluation, comme les mandats, les brouillons, les rapports finaux, les recommandations et les plans de mise en oeuvre qui découlent des évaluations, tant à l'intérieur qu'à l'extérieur du ministère;
9. attribuer les responsabilités et décrire les procédures à suivre afin de s'assurer que tous les nouveaux programmes, ou ceux qui sont renouvelés, comprennent une structure d'évaluation appropriée;
10. prévoir l'attribution des ressources, en argent ou en personnel, au service d'évaluation de programme et mettre sur pied un mécanisme de financement ou de dotation de chaque évaluation; et
11. mentionner tous les autres points importants de l'évaluation de programme dans le ministère.

     Les ministères et les organismes devraient soumettre leur politique d'évaluation à l'examen du Bureau du Contrôleur général. Comme il est mentionné dans le chapitre 8, le BCG apportera ses commentaires sur l'élaboration des politiques d'évaluation et fournira des conseils et de l'aide pour ce travail.

29

3.2

RESPONSABILITÉS DES MINISTÈRES RELATIVEMENT À L'ÉVALUATION DE PROGRAMME

     Lors de la mise sur pied d'un service d'évaluation de programme, on peut distinguer un bon nombre de responsabilités. Les responsabilités du sous-chef, les responsabilités relatives à la gestion de la fonction d'évaluation de programme ainsi que les responsabilités du ministère ou de l'organisme pour les mesures prises à la suite des décisions qui découlent des constatations et des conclusions de l'évaluation des programmes présentent un intérêt particulier.

3.2.1 RESPONSABILITÉS DU SOUS-CHEF

     Le sous-chef constitue la plaque tournante du succès de la fonction d'évaluation de programme. Une description de ses principales responsabilités se trouve au tableau 3.1.

     Au numéro 3 du Tableau 3.1, il est mentionné que le sous-chef peut n'avoir le temps de participer qu'à une seule occasion lors de l'étude préparatoire d'évaluation. Si le sous-chef participe activement à la sélection de l'approche à l'évaluation à faire, l'approbation du mandat par le sous-chef, fondé sur le moyen choisi, ne sera que de pure forme. D'un autre côté, si le sous-chef n'a pas participé activement au processus de sélection, on est en droit de s'attendre à ce qu'il étudie attentivement le mandat et qu'il soit parfaitement conscient du genre d'évaluation qu'on lui demande d'approuver.

3.2.2. RESPONSABILITÉS SE RAPPORTANT À LA GESTION DE LA FONCTION DE

L'ÉVALUATION DE PROGRAMME

     Afin de mettre au point et de garder une fonction d'évaluation de programme qui connaisse du succès dans les ministères et les organismes, les gestionnaires doivent assumer un certain nombre de responsabilités. En plus des fonctions qui leur sont attribuées par le sous-chef, les gestionnaires doivent s'acquitter des fonctions énumérées au tableau 3.2.

30

Tableau 3.1

RESPONSABILITÉS DU SOUS-CHEF RELATIVEMENT À

L'ÉVALUATION DE PROGRAMME

31

Tableau 3.2

RESPONSABILITÉS RELATIVES À LA GESTION

DE LA FONCTION D'ÉVALUATION DE PROGRAMME

32

3.2.3 RESPONSABILITÉS DU SUIVI

     Le suivi est un des aspects principaux du processus d'évaluation et fait suite aux décisions de la gestion supérieure qui se fondent sur l'étude des constatations et des recommandations de l'évaluation. Le suivi sert de lien avec le processus de gestion utilisé et est indispensable si l'on veut que l'évaluation de programme contribue efficacement à la gestion et à la planification des programmes gouvernementaux. Les ministères ou les organismes peuvent utiliser de nombreuses façons de mettre en oeuvre les décisions de la gestion supérieure. Le suivi de décisions fondées entièrement ou en partie sur les constatations de l'évaluation ne diffère pas des mesures prises à la suite d'autres décisions de la gestion supérieure. Quelle que soit la manière dont elle sont exécutées, les responsabilités principales du ministère dans ce domaine restent les mêmes : préparer, au besoin, un plan de mise en oeuvre, vérifier la mise en oeuvre du suivi et faire rapport au sous-chef quand elle est terminée.

     Le gestionnaire ministériel de l'évaluation de programme doit se tenir au courant des progrès réalisés et suivre les résultats du suivi des mesures prises à la lumière des constations et des recommandations de l'évaluation.

3.3 RÔLE DES GESTIONNAIRES AXIAUX DANS L'ÉVALUATION DE PROGRAMME

     La participation des gestionnaires axiaux est indispensable pour qu'il soit tenu compte des détails concrets des opérations des programmes et du milieu dans le processus d'évaluation de programme. Les gestionnaires axiaux peuvent participer à toutes les phases de l'évaluation de programme et ils devraient le faire. Un comité consultatif de l'évaluation des programmes pour des études particulières peut faciliter cette participation (section 3.4.3). Les gestionnaires axiaux doivent accomplir, entre autres, les tâches suivantes :

ii Fournir des membres pour les équipes d'évaluation, lorsque c'est nécessaire;

iii Déterminer, durant l'étude préparatoire à l'évaluation, les questions qui ont de l'importance pour eux;

iv Aider à la collecte des renseignements;

33

vi Commenter les recommandations;

vii Élaborer lorsque c'est nécessaire un plan de mise en oeuvre fondé sur les décisions prises à la suite des études d'évaluation; et

viii Mettre en oeuvre les mesures qui s'imposent à la suite des études d'évaluation.

     La participation des gestionnaires axiaux apportera à l'évaluation une expérience utile des programmes et permettra à ces gestionnaires de bien comprendre la fonction d'évaluation dans leur ministère ou organisme. Ils pourront aussi tirer de l'évaluation de programme des renseignements utiles pour leurs propres programmes.

     L'évaluation de programme devrait être nettement indépendante des fonctions qui incombent aux gestionnaires axiaux. Cette condition est essentielle à l'objectivité de cette fonction. Il est aussi indispensable d'établir les liens avec les processus et les fonctions des gestionnaires axiaux comme la mesure de la performance, la planification, l'examen de la gestion et l'examen de la qualité. En particulier, ces autres fonctions fournissent souvent des renseignements et des données de valeur pour les évaluations de programme et permettent de cerner plus facilement les aspects à examiner, surtout du point de vue du gestionnaire axial, pour l'évaluation de programme.

3.4 ORGANISATION DES MINISTÈRES POUR L'ÉVALUATION DE

PROGRAMME

     Lorsque les ministères choisissent la façon la plus appropriée de mettre sur pied la fonction d'évaluation, ils devraient s'attarder à un certain nombre de facteurs. D'un côté, la structure du ministère jouera un rôle : l'organisation de l'évaluation des programmes doit d'ordinaire correspondre le plus possible aux structures existantes, aux liens hiérarchiques avec le sous-chef ainsi qu'à son style de gestion. D'autre part, la structure de la fonction influencera de manière importante la qualité du processus d'évaluation ainsi que les résultats des évaluations. Ainsi lors du choix entre diverses structures, il ne faudra pas perdre de vue un certain nombre de facteurs. La structure choisie dans un ministère ou dans un organisme devrait :

ii assurer une participation importante du sous-chef au processus d'évaluation;

iii assurer la coordination des activités d'évaluation; et

iv voir à ce que l'évaluation de programme fasse partie intégrante du système de gestion.

34

3.4.1 GÉRER LA FONCTION DE L'ÉVALUATION DE PROGRAMME

     Dans chaque ministère ou organisme, deux personnes au plus devraient assumer les responsabilités décrites à la section 3.2.2 concernant la gestion de la fonction d'évaluation de programme. L'une de ces personnes devrait être le centre de coordination de toutes les activités de l'évaluation de programme dans le ministère ou dans l'organisme; cette personne devrait assumer toutes les responsabilités, ou du moins une bonne partie des responsabilités décrites dans le tableau 3.2 et elle devrait consacrer la majeure partie de son temps à la fonction de l'évaluation de programme. Dans le présent Guide, cette personne est appelée gestionnaire ministériel de l'évaluation de programme (GMEP). Si deux personnes doivent se partager la gestion de l'évaluation, la deuxième personne devrait relever directement du GMEP, ou inversement, et assumer les responsabilités qui ne sont pas prises par le GMEP. Le niveau du GMEP dépend de la structure particulière choisie par le ministère ou par l'organisme. On retrouve trois situations possibles au graphique 3.1 : a) le gestionnaire assume toutes les responsabilités; b) et c) les responsabilités sont partagées. En b), elles sont partagées avec le chef du service d'évaluation de programme; en c) les responsabilités sont partagées avec le sous-ministre adjoint responsable ou bien une personne de niveau équivalent.

Un service ministériel d'évaluation de programme devrait être établi afin d'aider les gestionnaires de la fonction d'évaluation de programme. Ce service est l'entité qui s'acquitte des activités de l'évaluation de programme du ministère ou de l'organisme. Ce service est géré soit par le GMEP - situations a) et b) - ou par une personne qui relève directement du GMEP (situation c).

35

3.4.2 LIENS HIÉRARCHIQUES AVEC LE SOUS-CHEF

     Il faut que le gestionnaire ministériel de l'évaluation de programme (GMEP) puisse communiquer facilement avec le sous-chef et que ce dernier puisse fournir des conseils et une aide personnelle efficace à la fonction d'évaluation de programme. Le graphique 3.1 illustre les liens hiérarchiques pouvant exister avec le sous-chef.

     Il est préférable, comme dans les situations a) et b), que le GMEP relève directement du sous-chef; le gestionnaire est alors l'agent ministériel supérieur de l'évaluation de programme. Dans un ministère important, il se peut que ce ne soit pas possible à cause de la hiérarchie en place et de l'étendue des mesures de contrôle; dans ce cas, le GMEP relève d'un gestionnaire hiérarchique supérieur qui relève à son tour du sous-chef comme c'est le cas dans c). Dans ce cas, le GMEP relève de l'agent ministériel supérieur chargé des évaluations. Si l'on place le GMEP ailleurs dans la hiérarchie de l'organisation, on risque de compromettre son efficacité et de rendre plus difficile l'obtention de conseils et de soutien de la part du sous-chef. On ne pourra pas tirer pleinement partie de l'évaluation de programme à moins qu'il n'existe des relations de travail étroites entre le sous-chef et le GMEP.

3.4.3 COMITÉS DE L'ÉVALUATION DE PROGRAMME

     Dans le but d'aider le sous-chef à assumer ses responsabilités quant à l'évaluation de programme, le ministère ou l'organisme peut décider d'établir un comité supérieur de l'évaluation de programme. Ce comité peut se réunir régulièrement, ou seulement lorsque c'est nécessaire, afin de discuter de questions se rapportant à l'évaluation de programme ou de questions générales. Les fonctions de chaque comité varieront selon le rôle que le sous-chef lui attribue. L'existence d'un tel comité fait ressortir l'importance accordée à l'évaluation de programme dans le ministère. Le GMEP devrait faire partie du comité supérieur de l'évaluation de programme lorsqu'un tel comité est créé dans un ministère. Ce sera un des moyens d'améliorer ses liens hiérarchiques avec le sous-chef.

     En plus de ce comité permanent, les ministères et les organismes peuvent établir pour chacune des évaluations de programme, ou pour la plupart d'entre elles, un comité consultatif qui les aide dans la gestion d'une évaluation particulière et fournit à toutes les personnes intéressées l'occasion de discuter de l'évaluation de programme. Le GMEP doit faire partie de ce comité, probablement en tant que président, ainsi que, en général, le chef de l'équipe chargée d'exécuter l'évaluation et les gestionnaires axiaux dont les programmes pourraient être touchés par l'évaluation. Ce comité constitue pour les gestionnaires axiaux un moyen de faire connaître leurs préoccupations et leurs intérêts et d'en tenir compte officiellement. Dans certaines circonstances ou encore lorsque le programme étudié fait partie d'un accord fédéral-provincial, le comité peut comprendre des membres qui n'appartiennent pas au gouvernement, comme les représentants d'un groupe client ou les représentants des gouvernements provinciaux.

36

3.4.4 STRUCTURES ORGANISATIONNELLES POUR L'ÉVALUATION DE PROGRAMME

     La solution idéale est que les évaluations de programme soient centralisées et que le service ministériel d'évaluation de programme assume la responsabilité de l'évaluation de toutes les composantes de programme du ministère. Les membres de ce service dirigeraient une équipe pour chacune des évaluations. La formation des équipes varierait d'une évaluation à l'autre. On pourrait se servir de personnel détaché du programme évalué, de personnel à contrat ainsi que d'autres membres du personnel et du service ministériel d'évaluation de programme. Il importe évidemment d'assurer l'objectivité de l'équipe (voir la section 5.1.2). Cette structure de l'organisation favorise l'objectivité des évaluations ainsi que leur crédibilité auprès des gestionnaires axiaux.
Certains affirment qu'une approche centralisée n'est pas toujours possible, surtout lorsque les responsabilités dans les ministères ou dans les organismes sont décentralisées et que l'approche doit alors être décentralisée. À cette fin, il faut, en plus du service ministériel d'évaluation de programme, établir, au niveau des directions, des services qui relèvent, du point de vue administratif, du chef de chacune des directions, par exemple du sous-ministre adjoint chargé d'une région ou d'une direction, mais qui relèvent de la direction fonctionnelle du GMEP. Le gestionnaire de la fonction de l'évaluation de programme, assisté peut-être d'une autre personne, continue d'assumer les responsabilités décrites à la section 3.2.2. Une plus grande décentralisation de la fonction de l'évaluation réduirait son influence en tant que fonction de gestion supérieure et soulèverait des doutes quant à son objectivité. Une approche décentralisée signifie que les services des directions, et non le service ministériel, exécutent de nombreuses évaluations.

3.4.5 LIENS HIÉRARCHIQUES AVEC LES AUTRES FONCTIONS DE GESTION DU

MINISTÈRE

     La vérification interne et la planification globale (stratégique ou opérationnelle et la planification de programme) constituent d'autres fonctions de gestion du ministère qui touchent à l'évaluation de programme.

     La vérification interne et l'évaluation de programme sont deux fonctions complémentaires (voir section 2.4) et ceux qui y travaillent devraient donc entretenir des relations de travail étroites. Les plans d'évaluation et de vérification de chaque fonction devraient être élaborés de façon à faciliter la planification générale et la détermination des composantes des programmes dans les domaines de la vérification et de l'évaluation. C'est ainsi que nous pourrons empêcher que des efforts soient déployés inutilement et que nous pourrons réduire les demandes d'information adressées aux gestionnaires axiaux.

     Même si elles doivent travailler en étroite collaboration, la vérification interne et l'évaluation de programme devraient constituer deux services distincts faisant des constatations et remettant des rapports qui leur sont propres. Autrement, il serait possible

38

que le service de vérification interne, qui est mieux établi, accapare des ressources destinées à l'évaluation de programme. En outre, comme il est mentionné au chapitre 5, les aptitudes ainsi que l'expérience requises sont différentes pour ces deux fonctions; si l'on n'établit pas de séparation, les deux fonctions risquent d'en souffrir.

     Le graphique 2.1 nous montre bien que l'évaluation de programme devrait fournir des données pour la planification stratégique. L'évaluation de programme devrait posséder une organisation distincte tout en gardant d'étroites relations de travail avec la planification stratégique. Les évaluations de programme vont sans doute faire concorder les objectifs des programmes avec les objectifs du ministère qui sont fixés par la planification stratégique et permettront de mettre en évidence les difficultés à établir des liens entre les objectifs des programmes et ceux du ministère. Il faut donc que les rapports portant sur l'évaluation des programmes soient disponibles pour les responsables de la planification stratégique afin que les renseignements obtenus pour l'évaluation des programmes et les analyses qui en sont tirées puissent être diffusés dans tout le ministère aux personnes qui en ont besoin. De même, en évaluant les programmes, on doit tenir compte des initiatives mentionnées dans la planification stratégique ainsi que des rapports publiés; il faut aussi être au courant des modifications apportées au processus de planification centrale des programmes du ministère.

39

CHAPITRE 4

PLANS MINISTÉRIELS D'ÉVALUATION

DE PROGRAMME

4.0 LIGNES DIRECTRICES

4.1 Les ministères et les organismes devraient établir des plans officiels portant sur l'évaluation périodique de tous leurs programmes et les remettre à jour régulièrement.

4.2 En vue d'établir des plans ministériels d'évaluation de programme, les activités doivent être groupées en composantes, c'est-à-dire en groupes d'activités appropriés aux fins de l'évaluation. Le sous-chef devrait participer et approuver les résultats. Des profils adéquats de ces composantes devraient être établis.

4.3 L'ordre de priorité des composantes de programme, en fonction de leur importance pour l'évaluation, devrait être établi en tenant compte des inquiétudes et des intérêts d'un ministère, de son ministre et des organismes centraux de même que des possibilités des services d'évaluation du ministère, des ressources nécessaires et des difficultés techniques éventuelles. Le sous-chef doit finalement établir les priorités en ce qui a trait à l'évaluation, tant pour le plan à long terme que pour le plan annuel.

4.4 Le plan ministériel d'évaluation de programme devrait comprendre deux parties : soit le plan d'évaluation de programme à long terme qui contient le profil d'évaluation de programme du ministère, c'est-à-dire les profils des composantes individuelles et une explication de la structure globale des composantes du ministère et la cédule d'évaluation de programme précisant à quel moment du cycle chaque composante doit être évaluée; et le plan annuel d'évaluation de programme qui contient plus de précisions sur les activités particulières prévues pour les 12 à 18 prochains mois. Les raisons pour lesquelles une composante est exclue du plan à long terme devraient être exposées. Les plans ministériels d'évaluation de programme devraient être examinés et approuvés par le sous-chef et devraient refléter les priorités et les inquiétudes du ministère, de son ministre et des organismes centraux. Ils devraient être soumis à l'examen du BCG.

4.5 Les plans ministériels d'évaluation de programme devraient être mis à jour afin de refléter le temps écoulé, les changements dans les priorités du sous-chef en ce qui a trait à l'évaluation les retards ou les devancements enregistrés par rapport à la cédule et le travail accompli.

41

4.1 VUE D'ENSEMBLE ET PRINCIPLES GÉNÉRAUX

     La planification est essentielle au succès de l'établissement et de l'utilisation de la fonction de l'évaluation de programme. La politique du Conseil du Trésor du Canada exige que tous les programmes d'un ministère ou d'un organisme soient évalués périodiquement. Afin de se conformer à cette politique, un ministère doit établir des plans d'évaluation précisant quelles activités doivent être évaluées et à quel moment.

     Ã‰tant donné que, dans un ministère ou un organisme, les nombreuses activités sont souvent hétérogènes et que l'évaluation de ces activités s'étendra sur plusieurs années, l'établissement d'un plan comprend au moins deux tâches principales :

-les programmes du ministère ou de l'organisme devront être répartis en groupes adéquats en vue de l'évaluation, appelés composantes de programme; et

-des priorités devront être établies pour l'évaluation de ces composantes afin de permettre d'élaborer une cédule d'évaluation selon un cycle d'évaluation approprié.

     Le sous-chef devrait participer à ces deux tâches. À titre de client des études d'évaluation, il devrait déterminer quelles activités seront évaluées et à quel moment.

     Le diagramme 4.1 illustre la marche qu'un ministère ou un organisme pourrait suivre pour établir des plans initiaux. Ce n'est qu'une illustration des étapes possibles; il est évident que les ministères et organismes peuvent suivre une séquence différente ou ajouter des étapes. En fait, un ministère ou un organisme peut décider, pour des raisons stratégiques, de procéder à une évaluation ou deux en même temps qu'il établit un plan à long terme compréhensif en vue de démontrer les résultats de l'évaluation de programme. Néanmoins, le ministère ou l'organisme devra tôt ou tard procéder à chacune des étapes principales illustrées afin d'établir un plan ministériel d'évaluation adéquat. Les points marqués d'un losange constituent les points principaux du processus décisionnel pour lesquels le sous-chef doit normalement jouer un rôle-clé, c'est-à-dire approuver la liste des composantes de programme et les plans d'évaluation. Le plan global d'évaluation de programme comporte deux plans distincts : un plan à long terme qui présente à la fois le profil de l'évaluation de programme, soit une explication de la structure des composantes du ministère et une description de chaque composante, et une cédule d'évaluation et un plan annuel d'évaluation. Il sera question de chacun dans les prochaines sections de ce chapitre.

42

     La section 4.5 traite de ce processus de planification constante par lequel le plan à long terme (les profils de composantes et la cédule) et le plan annuel sont mis à jour.

4.2 COMPOSANTES DE PROGRAMME

4.2.1 QU'EST-CE QU'UNE COMPOSANTE DE PROGRAMME?

     En général, une composante de programme est un groupe de ressources et d'activités de même que les extrants qui s'y rattachent approprié aux fins de l'évaluation de programme d'un ministère ou d'un organisme. Il s'agit habituellement d'une subdivision d'un programme prévu au Budget des dépenses. Le groupe d'activités comprises dans une composante de programme :

-vise un même objectif établi par le sous-chef (ou une série d'objectifs connexes);

-est de taille ou d'importance suffisante pour devenir un centre d'intérêt et un appui à la prise de décisions concernant le programme au niveau du sous-chef; et

-constitue une partie logique de la structure des composantes de programme et contribue à atteindre les objectifs à long terme du ministère.

     Dans tout programme important, une hiérarchie complète des objectifs peut être fixée, à partir de l'amélioration du bien-être des Canadiens jusqu'à l'établissement de normes de travail précises. L'objectif d'une composante de programme devrait être un objectif qui concerne directement les sous-chefs, plutôt que les gestionnaires axiaux. À tout objectif, se rattache un groupe de ressources, d'activités et d'extrants qui contribue à la réalisation de l'objectif. Une composante de programme comprend les ressources, les activités et les extrants qui contribuent à la réalisation d'un objectif que vise le sous-chef.

     Il se peut qu'on doive en arriver à un compromis entre mettre l'accent à ce niveau élevé et obtenir un regroupement adéquat pour la prise de décisions courante sur les programmes du ministère. Les sous-chefs s'intéresseront aux objectifs assez globaux, qui touchent à un grand nombre d'activités ministérielles, mais peuvent tout de même prendre des décisions au sujet de groupes d'activités plus restreints qui visent un objectif plus précis. Les composantes de programme devraient se rapporter à ces groupes d'activités relativement plus restreints pour lesquels les gestionnaires prennent normalement des décisions.

     Finalement, l'ensemble des composantes de l'évaluation de programme devrait refléter et préciser les diverses stratégies du ministère visant à réaliser les grands objectifs à long terme du ministère. Les composantes devraient s'intégrer les unes aux autres de façon logique, uniforme et globale. Il faudrait également démontrer comment chaque composante contribue à atteindre les objectifs à long terme du ministère.

     Les composantes de programme sont donc considérées comme axées sur les répercussions et effets, habituellement établies en fonction des effets intentionnels des

44

activités du ministère ou de l'organisme. Il est possible qu'elles ne correspondent pas exactement aux structures organisationnelles existantes ou aux structures des activités de programmes existantes, mais il est préférable de pouvoir concilier l'information relative à la structure des activités des programmes avec celle relative aux composantes de programme. Cela peut amener à changer la structure des activités des programmes pour la rendre compatible avec la structure des composantes de programme du ministère¹. La raison d'être des composantes est de fournir un point de repère pour l'évaluation des résultats des activités par rapport aux objectifs gouvernementaux et au milieu extérieur et non pas d'évaluer, en particulier, les organisations existantes. L'efficacité du programme prime sur l'imputabilité des gestionnaires comme optique. En établissant les composantes de programme, les ministères et organismes devraient déterminer les principaux résultats intentionnels de leurs activités et préciser les activités qui visent directement chaque résultat ou chaque groupe de résultats connexes. Un tel groupe d'activités devrait constituer une composante adéquate pour l'évaluation de programme.

     Il devrait être évident qu'il n'existe pas qu'une seule façon de diviser les programmes d'un ministère ou d'un organisme en composantes. Quelle que soit la division des composantes retenue, on négligera probablement certains aspects qui pourraient être importants pour l'évaluation. Cela démontre que les composantes ne devraient pas être considérées comme rigides. Bien que la structure des composantes constituera la base des études d'évaluation de programme dans les ministères et les organismes, cela n'exclut pas la possibilité d'utiliser à l'occasion d'autres unités d'évaluation pour des études spéciales, c'est-à-dire qu'une étude peut porter sur une partie ou la totalité de plusieurs composantes (voir la section 4.4.1). De plus, on s'attend à ce que, à la longue, la composition des composantes soit modifiée grâce à l'expérience de l'étude des activités du ministère ou de l'organisme et du processus décisionnel et des changements apportés aux politiques et aux objectifs gouvernementaux.

45

4.2.2 PROFIL DE COMPOSANTES DE PROGRAMME

     Après avoir déterminé les composantes de programme adéquates, un ministère ou un organisme devrait indiquer ce que chaque composante est censée faire, la façon dont elle est mise en oeuvre et les ressources qui y sont consacrées. Ce profil peut être plus ou moins détaillé, mais devrait contenir des renseignements utiles pour l'évaluation. Il devrait comprendre, en particulier, une description de la structure des composantes de programme (voir la section 2.2). Le tableau 4.1 présente un modèle d'un tel profil. Les profils de composantes vont permettre aux autres personnes intéressées dans le ministère, dans les organismes centraux et ailleurs de mieux comprendre quels éléments des programmes du ministère vont être évalués.

     Le profil présenté dans ce tableau comprend deux parties. La partie A est la description fondamental de la composante et peut suffire à établir les plans ministériels initiaux, bien qu'une mention initiale des sous-composantes semble nécessaire pour décrire complètement la composante. La partie B fournit une description de la structure des composantes et comprend une analyse plus approfondie de chaque composante à partir de laquelle un graphique de la structure des composantes est établi - un modèle de programme - qui illustre les interdépendances entre les activités, les extrants et les résultats d'une composante. La partie B peut n'être complétée qu'au cours de l'étude préparatoire à l'évaluation, mais certains ministères peuvent préférer la remplir séparément. L'information contenue dans la partie B aidera sûrement à définir les composantes et à leur attribuer un ordre de priorité. À la longue, et à mesure que les pans sont révisés, des profils complets de composantes mis à jour devraient être disponibles pour toutes les composantes et intégrés au plan ministériel d'évaluation de programme à long terme.

     Les ministères peuvent évidemment souhaiter obtenir plus d'information sur chaque composante que ne le suggère le tableau 4.1. Ils peuvent de fait désirer élaborer une partie C. Il serait fort utile de rassembler de l'information, dans la mesure où elle est disponible, sur l'évolution historique de la composante, sur les questions qui présentent vraisemblablement un intérêt du point de vue de l'évaluation, sur les difficultés auxquelles l'évaluation risque de se heurter, sur les relations connues avec d'autres programmes, sur les données qui sont disponibles, etc. Cette information servirait de canevas de travail pour la planification future et l'exécution des évaluations. Des informations utiles rassemblées sur la composante risqueraient autrement d'être perdues, étant donné que le cycle de l'évaluation s'étend sur 3 à 5 ans et qu'il faut s'attendre à des changements normaux au sein du personnel.

     Quelques-uns des éléments et des termes du profil illustré au tableau 4.1 doivent être précisés. La description de la composante donnée ici n'est qu'une brève description nécessitant habituellement plusieurs paragraphes plutôt que plusieurs pages. Il s'agit de décrire en quoi consiste la composante, comment elle fonctionne, quelle clientèle elle dessert et ce qu'elle cherche à accomplir afin de fournir une compréhension fondamentale

46

de ce qui est évalué pour quiconque n'est pas familier avec la composante. Il se peut que les ministères et organismes désirent décrire plus en détail chaque composante, mais un court sommaire est suffisant dans les plans officiels.

     De même, l'énoncé des ressources allouées pour la composante ne doit pas nécessiter une analyse détaillée. Lorsque les composantes et les structures des activités des programmes sont compatibles, cette information devrait être intégrée à la planification stratégique et opérationnelle normale. Par contre, lorsque les éléments ne sont pas compatibles avec la structure des activités des programmes, il peut être difficile d'obtenir une information précise sur les ressources engagées. Dans ce cas, un estimé des ressources allouées pour la composante suffit. On s'attend que, à la longue, la structure des activités des programmes sera rendue compatible avec la structure des composantes des programmes. La partie du profil qui concerne les ressources sert à indiquer l'importance de la composante en termes d'intrants et ne doit pas être considérée comme un état financier.

     Le terme répercussions et effets désigne tout bien ou service pertinent, autre que les extrants directs du programme, ou les changements ayant trait au comportement ou aux institutions attribuables à la composante. Habituellement, il peut être utile de déterminer plusieurs niveaux de répercussions et d'effets entre les extrants et les résultats finaux. En particulier, pour les besoins de l'évaluation, il est utile de faire une distinction entre les répercussions et effets directs - ceux qui suivent immédiatement les extrants - et les autres répercussions et effets. Il est plus facile d'établir un rapport de cause à effet entre les répercussions et les effets directs et la composante qu'entre les autres répercussions et effets et la composante.

47

Tableau 4.1

EXPOSÉ DU PROFIL DES COMPOSANTES DE PROGRAMME

Partie A : Historique

ii Immobilisations - Une identification des installations et de l'équipement autres que les locaux à bureaux affectés à cette composante.

Partie B : Éléments et structure

48

     La structure de la composante est une description et un graphique - un modèle -de cette suite de résultats, c'est-à-dire la façon dont la composante est censée fonctionner : de quelle façon les activités sont censées produire certains extrants, qui entraînent des répercussions et des effets directs, lesquels provoquent habituellement à leur tour d'autres répercussions et effets. Le diagramme 2.2 présente une structure fondamentale de composante.

     Le profil d'une composante de programme est utile de diverses façons : comme explication de ce qu'entraîne chaque composante, spécialement à l'intention d'organisations ou de personnes se trouvant à l'extérieur d'un ministère ou d'un organisme donné; comme mécanisme d'examen de la raison d'être de la composante; comme base pour la planification de l'évaluation; et comme moyen de s'assurer que les composantes pertinentes ont été déterminées.

4.3 ÉTABLIR LES PRIORITÉS DES ÉVALUATIONS DE PROGRAMME

     L'établissement des priorités des évaluations de programme permettra de produire des plans indiquant à quel moment chaque composante sera évaluée. Ces priorités devront être établies tant pour les plans à long terme que pour les plans de l'année en cours. Les principaux facteurs à considérer dans l'établissement des priorités sont les suivants :

-l'importance de l'évaluation de la composante en fonction des priorités du ministère; et

-les préoccupations et les priorités des comités du Cabinet.

49

     Ã‰tant donné que l'examen des plans ministériels d'évaluation de programme fait partie du système de gestion des politiques et des dépenses (voir la section 2.1.2), les comités chargés des politiques et le Conseil du Trésor du Canada disposeront d'une façon officielle de même que de moyens informels qui pourraient être élaborés au niveau des officiels d'exposer leurs priorités et leurs préoccupations aux ministères et aux organismes en ce qui a trait à l'évaluation de programme. Néanmoins, le sous-chef demeure le client de ces études et, à ce titre, détermine les priorités définitives de l'évaluation de programme dans son ministère ou son organisme.

     En outre, un certain nombre de facteurs techniques doivent être considérés dans le traitement des composantes, tels que la dimension de la composante en termes de dépenses ou des répercussions sur la société, le coût prévu de l'évaluation, les difficultés prévues et le délai nécessaire pour effectuer l'évaluation, compte tenu de l'expérience et des capacités du service d'évaluation de programme, le calendrier de la vérification interne de la composante, le temps écoulé depuis la dernière évaluation et la maturité de la composante.

4.4 PLANS D'ÉVALUATION DE PROGRAMME

Un plan ministériel d'évaluation de programme doit contenir deux parties :

     Les plans ministériels d'évaluation doivent être soumis à l'examen du Bureau du Contrôleur général lorsqu'ils sont modifiés ou mis à jour. Le chapitre 8 traite de la façon dont le BDG peut aider les ministères à établir leurs plans. Comme il a été mentionné à la section 2.1.2, les plans d'évaluation de programme à long terme des ministères doivent être soumis chaque année au comité intéressé chargé des politiques et au Conseil du Trésor du Canada avant le 31 mars et les plans annuels d'évaluation de programme avant le 31 octobre.

     Les services ministériels d'évaluation de programme doivent établir les plans ministériels et les coordonner avec les plans ministériels de vérification interne afin que le calendrier et l'étude des secteurs communs conviennent aux évaluateurs des programmes et aux vérificateurs internes (voir les sections 2.4 et 3.4.5).

50

4.4.1 PLAN D'ÉVALUATION DE PROGRAMME À LONG TERME

     Le plan d'évaluation à long terme comprend une description de ce qu'on évaluera et du pourquoi, de même qu'un profil et une cédule de l'évaluation de programme du ministère.

(a) Le profil ministériel d'évaluation de programme

Le profil ministériel d'évaluation de programme doit contenir :

1. un exposé des raisons justifiant l'utilisation d'une certaine structure des composantes pour l'évaluation des programmes; et
2. les profils particuliers des composantes de programme.

     Ã‰tant donné que la structure des composantes d'un ministère ou d'un organisme n'est pas unique (voir la section 4.2.1), la première partie du profil ministériel d'évaluation de programme devrait être un court énoncé des raisons justifiant le choix d'une structure particulière. La section 4.2.2 traitait des profils des composantes de programme. Pour établir un plan ministériel initial, la partie A du profil peut suffire, mais, à la longue, des profils complets devraient être établis.

     La plupart du temps, les plans d'évaluation consisteront en études de composantes de programmes déterminées. Toutefois, il peut survenir des cas où le sous-chef a besoin de l'évaluation de certaines sous-composantes qui ne coïncident avec aucune composante existante dans un ministère. On peut s'attendre qu'au moins deux de ces cas se produisent : les évaluations qui portent sur une partie ou la totalité de plusieurs composantes et les évaluations interministérielles.

     Le cas susmentionné a été signalé à la section 4.2.1. Par exemple, la structure des composantes de programme dans un secteur industriel qui dot être encouragé peut être basée sur le type d'aide accordée pour produire certains effets tels que l'accroissement des exportations et la création d'emplois. Bien que de telles composantes doivent être évaluées, il peut être utile à un moment donné de diviser les mêmes activités par secteur - l'aérospatiale, l'électronique, par exemple - et d'évaluer les répercussions de toute l'aide sur chaque secteur. Aucune indication de la politique du Conseil du Trésor du Canada ni du présent guide n'empêche d'effectuer de telles évaluations portant sur plusieurs composantes ou sous-composantes du plan d'évaluation. En fait, il serait bon de repenser régulièrement à ce qu'il faut évaluer, ce qui pourrait finalement entraîner des changements dans la structure officielle des composantes si de tels changements reflétaient mieux la façon dont les décisions sont prises.

     Il peut aussi arriver que l'évaluation de certaines composantes doive absolument tenir compte de composantes étroitement liées des programmes d'autres ministères. Dans ce cas, l'évaluation peut porter sur deux ou plusieurs composantes et nécessiter une

51

coordination et une collaboration interministérielles. Au cours de l'étude préparatoire à l'évaluation, il est possible de déterminer si de telles études interministérielles sont nécessaires (voir la section 6.2.3). La politique du Conseil du Trésor du Canada favorise une telle collaboration interministérielle.

     Dans les deux cas, de telles évaluations devraient faire partie du plan ministériel d'évaluation puisqu'elles sont inhérentes à la responsabilité qui incombe au sous-chef de faire évaluer ses programmes. En établissant le plan selon la structure des composantes, il est possible de s'assurer que tous les programmes ministériels sont évalués.

(b) Cédule d'évaluation de programme

     La cédule d'évaluation de programme peut être établie au moment où les composantes ont été déterminées et classées par ordre de priorité et lorsqu'il est possible d'avoir une bonne idée des ressources nécessaires ou disponibles pour effectuer l'évaluation. Le niveau global des ressources allouées pour la fonction de l'évaluation de programme dans une situation donnée détermine probablement la longueur du cycle d'évaluation, c'est-à-dire la période au cours de laquelle tous les programmes ministériels seront évalués. La politique propose un cycle de 3 à 5 ans. De plus, il se peut que des prévisions sommaires doivent être faites pour ce qui est des coûts d'évaluation de chaque composante, en dollars et en personnes, afin de déterminer le nombre d'évaluations qui pourront être effectuées au cours de chaque année du cycle. Le calendrier d'évaluation de programme doit satisfaire aux conditions suivantes :

1. déterminer clairement le cycle d'évaluation ministériel prévu;
2. préciser le niveau général et le type de ressources à allouer pour l'évaluation de programme;
3. indiquer les raisons du choix des priorités; et
4. déterminer un ensemble d'évaluations fondé sur la structure des composantes de programmes ministériels qui comprend toutes les activités qui seront effectuées au cours du cycle d'évaluation ainsi que les dates prévues pour le début et la fin des évaluations.

     Le calendrier d'évaluation de programme doit être approuvé par le sous-chef. Cette obligation indique que le sous-chef se tient pour responsable de la fonction d'évaluation et doit s'assurer qu'elle porte sur toutes les activités du ministère ou de l'organisme. Bien que les priorités des ministères nécessiteront toujours que certaines évaluations soient effectuées à une date déterminée, la politique du Conseil du Trésor du Canada concernant l'évaluation stipule que toutes les composantes doivent être évaluées à intervalles raisonnables. La justification des exceptions, c'est-à-dire des composantes non inscrites dans la cédule et qui ne seront donc pas évaluées, doit accompagner la cédule.

52

     On s'attend naturellement à ce que le plan d'évaluation de programme à long terme d'un ministère ou d'un organisme soit modifié à mesure que les priorités changeront et qu'on acquerra de l'expérience. La section 4.5 traite de la mise à jour du plan d'évaluation de programme à long terme. Le plan à long terme représente la stratégie globale du ministère ou de l'organisme pour ce qui est de l'évaluation et, à ce titre, est intégré au plan d'exploitation pluriannuel (voir la section 2.1.2).

4.4.2 PLAN ANNUEL D'ÉVALUATION DE PROGRAMME

     Le plan d'évaluation de programme à long terme est nécessairement sommaire. Afin de préciser davantage les évaluations qui seront effectuées au cours des 12 à 18 prochains mois, un plan de travail annuel doit être établi. Le plan annuel indique en détail les activités prévues et devrait refléter les niveaux de ressources pour l'année en cours en ce qui a trait à l'évaluation ainsi que les possibilités et l'expérience acquise par le ministère dans ce domaine. Il doit aussi englober les intérêts et les préoccupations du ministère et des comités du Cabinet pour l'année en cours. Il devrait comprendre :

i la détermination des composantes à évaluer et la raison de leur choix;

ii le calendrier des évaluations, y compris les dates des étapes importantes, telles que la fin de l'étude préparatoire;

iii la détermination préliminaire des ressources en personnes et en dollars qui seront affectées à l'évaluation;

iv la mention des personnes qui effectueront l'évaluation; et

v un profil révisé pour les composantes contenues dans le plan annuel.

     Le sous-chef doit approuver ces plans annuels. Par cette approbation, il autorise de commencer les travaux des dites évaluations et s'engage à allouer les fonds et les années-personnes nécessaires. Le plan annuel d'évaluation de programme représente le plan d'exploitation à court terme des ministères au chapitre de l'évaluation et, à ce titre, fait partie de leur plan d'exploitation pour l'année budgétaire visée (voir la section 2.1.2).

     Il serait bon de signaler que le plan annuel d'évaluation de programme diffère généralement du plan de travail annuel du service d'évaluation de programme. Ce dernier pourrait comprendre, en plus du travail précisé dans le plan d'évaluation, des activités telles que la préparation des guides d'évaluation de programme ainsi que des plans mêmes, la préparation de réponses aux demandes adressées au sous-chef pour obtenir de l'information relative à l'évaluation qui ne peut être incorporée au plan annuel et l'établissement de structures d'évaluation pour les nouveaux programmes. De tels plans de travail ne sont pas considérés comme partie intégrante du plan annuel ministériel d'évaluation de programme.

53

4.5

MISE À JOUR DES PLANS MINISTÉRIELS D'ÉVALUATION DE PROGRAMME

     Les plans ministériels d'évaluation de programme devront être révisés au besoin, au moins chaque année, afin de tenir compte du temps écoulé et des changements apportés au contenu par suite des circonstances nouvelles. Les plans à long terme mis à jour, sont requis pour le 31 mars et les plans annuels révisés le sont pour le 31 octobre (section 2.1.2).

4.5.1 RÉVISIONS NÉCESSAIRES À CHAQUE NOUVELLE ANNÉE

     Même si aucune circonstance nouvelle n'exige d'apporter des changements au plan ministériel d'évaluation, ce qui est peu probable, il sera nécessaire d'établir de nouveaux plans annuels chaque année et d'ajouter une année au plan à long terme. Cela constitue la mise à jour normale des plans requise, principalement pour l'établissement des plans d'exploitation de l'année budgétaire suivante. Cette partie de la mise à jour des plans ministériels d'évaluation est effectuée sans consultation avec les organismes centraux.

54

4.5.2 RÉVISIONS NÉCESSITÉES PAR DES CHANGEMENTS DE CIRCONSTANCES

     En plus des révisions à apporter aux plans ministériels d'évaluation à cause du temps écoulé, dans la plupart des cas, de tels plans devront être révisés à cause des changements de circonstances. Voici quelques-uns de ces facteurs :

-priorités nouvelles ou modifiées des ministères, -priorités nouvelles ou modifiées du gouvernement, -retards dans l'exécution des études d'évaluation, -expérience acquise en évaluation, et -nouveaux programmes et structures des ministères.

Tous ces facteurs indiquent que les plans d'évaluation existants sont désuets. En fait, l'une des responsabilités principales du directeur de l'évaluation est de demeurer bien au courant de tels changements.

     Il se peut que chaque plan à long terme et chaque plan annuel doivent être révisés et que l'ensemble des composantes et leur ordre de priorité puissent être modifiés. De plus, les ministères ou les comités du Cabinet peuvent désirer que soient réalisées certaines évaluations qui portent sur plusieurs composantes et/ou ministères. Les plans d'évaluation de programme révisés devraient refléter les priorités actuelles en matière d'évaluation de programme dans chaque ministère ou organisme.

Note explicative pour le chapitre 4

55

CHAPITRE 5

PERSONNEL DE L'ÉVALUATION

DE PROGRAMME

5.0 LIGNES DIRECTRICES

5.1 Le personnel chargé d'exécuter les évaluations de programme devrait normalement posséder un éventail de compétences analytiques, méthodologique et techniques ainsi que de l'expérience et des aptitudes pour la gestion de projet. Chaque évaluateur particulier devrait posséder des compétences analytiques de base et une bonne connaissance du domaine concerné, pouvoir juger le programme de façon indépendante, mériter la confiance des gestionnaires supérieurs et axiaux et être accepté par le gestionnaire ministériel de l'évaluation de programme.

5.2 Les ministères peuvent, au besoin, confier des évaluations à des évaluateurs-conseils, mais il leur faut toujours surveiller leurs travaux de très près. Le gestionnaire ministériel de l'évaluation de programme est responsable de l'établissement des mandats des évaluateurs-conseils et des recommandations qui découlent des études.

5.1 COMPÉTENCES PROFESSIONNELLES DES ÉVALUATEURS

Comme l'indique le chapitre 3, les ministères s'organisent différemment pour les évaluations et font appel, selon les besoins,

Dans chaque cas, le personnel chargé des évaluations doit posséder des compétences communes, quels que soient leur optique de l'évaluation et leurs antécédents professionnels. Les personnes prêtées peuvent avoir à suivre un cours d'introduction à l'évaluation de programme et le personnel doit toujours être agréé par le directeur de l'évaluation de programme.

57

     L'évaluation exige que l'on recueille systématiquement des preuves valables de la performance et des résultats d'un programme. Les avis sont partagés quant à la meilleure façon de recueillir les preuves qui amèneront des conclusions objectives et dignes de foi. La démarche exige parfois la connaissance de techniques spéciales mais toujours l'aptitude à comprendre les problèmes techniques qui se posent, à aborder la tâche de façon indépendante, à connaître et à comprendre le domaine à l'étude, à pouvoir travailler en étroite collaboration avec le personnel chargé du programme et à gérer l'étude adéquatement. Les aptitudes dont il sera fait état ci-après présupposent que plusieurs évaluateurs du service d'évaluation ont atteint les échelons supérieurs de la hiérarchie.

5.1.1 NATURE PARTICULIÈRE DE CHAQUE ÉTUDE D'ÉVALUATION

     Les études d'évaluation de programme ne comportent ni tâches répétitives ni procédures minutieusement expliquées, mais seulement des principes généraux qui s'appliquent à chaque évaluation. La nécessité d'effectuer une étude préliminaire et l'importance qu'on y attache sous-entendent que les évaluateurs doivent concevoir méticuleusement chacune de leurs études. Les questions qu'ils examinent et les moyens qu'ils utilisent peuvent différer sensiblement d'une étude à l'autre. De ce fait, les évaluateurs doivent pouvoir se passer de système rigide et de procédures ou de normes bien définies. Il leur faut innover en matière d'évaluation, repérer les principaux points à évaluer et saisir rapidement l'essence même du programme.

Chaque programme représente un moyen d'atteindre les buts recherchés et chaque programme est unique. L'évaluateur doit situer le programme dans son ensemble et élaborer, souvent à partir de données incomplètes ou contradictoires, un ou plusieurs modèles conceptuels du processus qui se trouve à la base du programme.

5.1.2 INDÉPENDANCE

     L'indépendance des évaluateurs est indispensable pour qu'ils produisent des évaluations objectives et dignes de foi, mais elle ne s'obtient pas simplement en isolant les évaluateurs, bien que ce soit généralement une condition prérequise. Elle exige d'eux qu'ils prennent du recul par rapport aux préoccupations courantes et quotidiennes de la mise en oeuvre des programmes et qu'ils regardent avec détachement mais en connaissance de cause ce qui se passe réellement. L'évaluateur doit pouvoir discerner et relier les hypothèses des programmes et poser diverses questions à leur sujet et ce, à différents niveaux. Il ne doit pas se laisser influencer par ses préjugés et doit connaître l'environnement et les contraintes des programmes. Même s'il est convaincu de la validité de certains faits ou de certaines conclusions, il doit se rappeler que son rôle est de recueillir systématiquement, et non de façon sélective, des preuves pour informer les autres et de distinguer entre les faits et leur interprétation. Ses conclusions doivent s'appuyer sur des faits que les gens devront accepter, particulièrement ceux à qui les résultats pourraient déplaire. S'il est toujours conscient de son besoin d'indépendance, l'évaluateur s'expose moins aux critiques tant personnelles que de ses travaux.

58

     Lorsque les équipes d'évaluation comportent des membres prêtés, il ne serait évidemment pas réaliste de s'attendre à ce que chaque membre en particulier de l'équipe soit parfaitement objectif. Dans de telles situations, l'indépendance doit être assurée par un choix judicieux des autres membres de l'équipe.

5.1.3 CONNAISSANCE DU DOMAINE

     Les évaluateurs produiront évidemment de meilleures évaluations s'ils connaissent bien le sujet à l'étude. Des connaissances et une certaine expérience du domaine leur permettront de discerner plus vite les aspects principaux et d'établir les résultats attendus du programme. Tout aussi important est le fait que ces connaissances sont presque toujours une des conditions requises pour mériter la confiance des gestionnaires axiaux. Le niveau de connaissances nécessaires variera selon le domaine, mais on est généralement plus exigeant lorsque le programme est plus technique ou plus spécialisé.

5.1.4 COMPÉTENCES ANALYTIQUES

     La plupart des évaluations comportent des analyses dont les méthodes sont parfois très raffinées. L'expérience et les compétences des évaluateurs étant différentes, elles se complètent ce qui les aide à résoudre ensemble les différentes questions que pose la réalisation des diverses tâches d'une étude donnée. Il faut absolument que les évaluateurs connaissent les applications possibles des diverses méthodes d'analyse, ce que des techniques spéciales peuvent produire, quand les utiliser, où trouver les spécialistes et quelles sont les limites de ces techniques. Il leur faut le sens général de l'analyse plutôt que la connaissance parfaite de telle ou telle technique analytique particulière. On n'exige pas que chaque évaluateur comprenne parfaitement et ait utilisé, par exemple, des structures expérimentales, des méthodes d'échantillonnage et des modèles macro-économiques, bien que le service d'évaluation des programmes devrait posséder ces compétences et cette expérience ou y avoir accès.

     Les évaluateurs devraient savoir quand il faut appliquer les techniques d'analyse ou consulter des spécialistes. Ils ne peuvent ignorer, par exemple, que l'établissement d'un bon questionnaire est une tâche complexe qui nécessite souvent le recours aux spécialistes et que l'échantillonnage des données et des enquêtes est une technique raffinée qui demande la connaissance de la théorie de l'échantillonnage. Ils devraient savoir que l'analyse statistique et l'analyse coûts-avantages, entre autres, s'appuient sur des hypothèses et des conditions qui correspondent rarement à la réalité et que les conclusions qui en découlent perdent de ce fait une partie de leur fiabilité. En résumé, on n'exige pas que les évaluateurs soient tous des spécialistes des diverses techniques d'analyse, mais on leur demande de connaître par expérience ces méthodes d'analyse et de bien comprendre leur utilité et leurs limites.

59

5.1.5 RELATIONS INTERPERSONNELLES

     Les évaluateurs ne travaillent pas en vase clos, mais communiquent fréquemment avec leurs collègues et, en particulier, avec les gestionnaires supérieurs. S'ils font preuve d'entregent, ils peuvent obtenir plus facilement le concours du personnel chargé des programmes qui détient les précieux renseignements dont les évaluateurs ont besoin. Pour certains, ces derniers peuvent représenter une menace; c'est pourquoi ils doivent faire valoir leur rôle, tenir compte du point de vue des personnes chargées des programmes, mériter leur confiance et celle des gestionnaires supérieurs en montrant qu'ils comprennent les programmes et leur environnement et en abordant les programmes du point de vue des gestionnaires. Sans de bonnes relations interpersonnelles, il sera probablement très difficile de réaliser des évaluations valables.

5.1.6 COMPÉTENCES DANS LA GESTION DE PROJETS

     Le rôle de l'évaluateur au sein du service d'évaluation de programme d'un ministère consistera souvent à diriger l'équipe chargée de l'étude, équipe qui regroupe des évaluateurs-conseils, du personnel détaché du programme ou d'ailleurs, des évaluateurs à plein temps du service même d'évaluation ou toute combinaison des trois. Une telle tâche exige de la part de l'évaluateur en cause des compétences en gestion appropriées afin de s'assurer que l'étude paraîtra à temps, ne dépassera pas le budget qui lui aura été alloué et respectera certaines normes de qualité appropriées. L'évaluateur doit donc se révéler familier avec les principes de la gestion de projet et connaître les procédures relatives à l'octroi de contrats s'il y a lieu de faire appel à des évaluateurs-conseils. Il doit être apte à diriger une équipe et à comprendre le processus de prise de décisions dans son ministère afin qu'à chaque étape de l'étude, on puisse compter sur l'information et le soutien nécessaires.

5.2 EMPLOI D'ÉVALUATEURS-CONSEILS

     Les ministères et les organismes peuvent avoir recours à des évaluateurs-conseils pour les raisons suivantes :

-lorsqu'ils ont besoin de certains spécialistes;

-lorsqu'ils ne disposent pas du personnel nécessaire; et

-lorsque l'avis d'une tierce personne est indispensable, par exemple si une évaluation réalisée par le personnel du ministère, toute bonne qu'elle soit, risque de ne pas paraître objective.

     On peut recourir à des évaluateurs-conseils qualifiés pour les besoins de l'étude préparatoire à l'évaluation ou pour l'évaluation elle-même, mais il faut se limiter à des tâches bien définies surveillées de très près. Des rapports d'étape fréquents et une gestion étroite sont indispensables pour repérer à temps les difficultés et s'assurer que les travaux progressent sur la bonne voie et répondent aux intentions du ministère ou de

60

l'organisme. Parce qu'ils ne font pas partie du service d'évaluation et ne sont pas assujettis à la surveillance quotidienne du ministère, les évaluateurs-conseils doivent travailler selon des plans de travail et des mandats bien définis.

     Pour terminer, signalons que les évaluateurs-conseils ne peuvent assumer les responsabilités qui incombent au personnel du ministère (voir chapitre 3). Par exemple, ce dernier doit participer très activement à l'étude préparatoire à l'évaluation, car c'est à ce stade critique que l'on décide ce qui sera évalué précisément et comment on procédera. Les mandats des évaluateurs-conseils constituent un contrat au sens légal et doivent évidemment être établis par le personnel du ministère. On peut très bien demander aux évaluateurs-conseils de présenter des recommandations, mais celles que l'on enverra au sous-chef doivent émaner du service d'évaluation du ministère.

     Si les ministères prennent ces précautions, ils peuvent recourir aux évaluateurs-conseils pour qu'ils les aident à réaliser des évaluations valables et dignes de foi grâce à leur expertise et à leur expérience.

61

CHAPITRE 6

EXÉCUTION DES ÉVALUATIONS

DE PROGRAMME

6.0 LIGNES DIRECTRICES

6.1 L'exécution des évaluations de programme devrait comprendre trois étapes distinctes : l'étude préparatoire à l'évaluation (planification de l'évaluation), l'étude d'évaluation elle-même (collecte et analyse des données et rédaction du rapport) ainsi que la prise de décisions à partir des constatations et des recommandations de l'évaluation.

6.2 Avant toute évaluation, on doit effectuer une étude préparatoire à laquelle le sous-chef participe de façon satisfaisante; à cette étape, on doit étudier sérieusement tous les aspects de base à évaluer afin de déterminer où mettre l'accent et quelle approche choisir. À la suite de cette étape, il devrait y avoir une mise à jour du profil des composantes, un rapport d'étude préparatoire qui fasse connaître le coût des diverses options d'évaluation ainsi que le mandat exact (tableau 6.1) acceptés par le sous-chef, y compris un plan de travail détaillé pour l'étude d'évaluation qui suivra. Lorsqu'il n'y a pas d'étude d'évaluation à la suite d'une étude préparatoire, il faut indiquer le pourquoi dans le rapport de l'étude préparatoire et mettre à jour les plans ministériels d'évaluation.

6.3 Toutes les évaluations réalisées doivent fournir des résultats objectifs et fiables, soit des preuves et des conclusions, sur chacun des aspects mentionnés dans le mandat de l'étude.

6.4 On doit rédiger un rapport final pour chaque étude préparatoire et chaque évaluation. Les rapports doivent être dignes de foi et utiles, et il faut que les données et preuves, les conclusions et les recommandations soient présentées séparément. Toutes les parties concernées doivent étudier les rapports.

6.5 Les ministères et les organismes doivent assurer le suivi une fois que les décisions ont été prises à la suite des résultats et des recommandations des évaluations de programme et ils doivent en rendre compte au sous-chef.

63

6.1 INTRODUCTION ET APERCU

     La planification, l'exécution des évaluations de programme, ainsi que la partie de décisions à la suite des résultats et des recommandations constituent les étapes essentielles des évaluations de programme. Les efforts fournis pour établir les politiques d'évaluation, les structures ainsi que les procédés seront réduits à néant si des évaluations objectives, pertinentes et vraisemblables ne sont pas exécutées à temps et utilisées. Dans ce chapitre, nous vous présentons les lignes directrices générales portant sur le processus d'évaluation des programmes. On trouvera dans le document du BCG intitulé Principes de l'évaluation de programme par les ministères et organismes fédéraux plus de précisions et des suggestions relatives à l'exécution des évaluations.

On considère que le processus d'évaluation comprend trois étapes : -l'étude préparatoire à l'évaluation, soit le stade de la planification; -l'exécution de l'évaluation et le rapport de l'étude; -la prise de décisions à partir des constatations et des recommandations.

L'évaluation de n'importe quel programme comprend une certaine planification du travail, y compris la conception de l'évaluation, l'étude d'évaluation elle-même (collecte et analyse des données, et énoncé des constatations et des recommandations) ainsi que la prise des décisions qui découlent de l'évaluation.

     Le diagramme 6.1 montre un processus d'évaluation très représentatif. Il indique que, dans le domaine de la mise en oeuvre des décisions, la fonction de l'évaluation de programme et la gestion normale des programmes (en pointillé) ne font qu'un. D'autres sources de renseignements viennent influer sur les décisions prises à la suite d'une évaluation. Les points de décision importants au cours du processus et où le sous-chef aura habituellement un rôle important à jouer, sont :

-lorsqu'il faut décider sur quoi portera l'étude d'évaluation grâce au choix d'une option d'évaluation;

-lorsqu'il faut se mettre d'accord sur le mandat relatif à l'étude d'évaluation; et

-lorsqu'il faut décider des mesures qui seront prises à la suite des constatations et des recommandations.

     Au tout début de ce guide, soit à la section 1.1.2, nous avons opposé l'attitude classique, qui considère surtout l'évaluation comme de la recherche scientifique, et celle que prône le gouvernement fédéral et qui voit l'évaluation comme une aide pour la prise de décisions et la gestion dans l'administration publique. L'évaluation ne devrait pas être perçue comme un exercice scientifique destiné à produire des conclusions indiscutables,

64

mais plutôt comme un exercice destiné à fournir des indications valables sans pour autant compter sur des preuves irréfutables. Ce point de vue a une influence importante sur le choix d'une méthode d'évaluation adéquate. Par exemple, cela signifie souvent que les évaluateurs doivent rassembler les déductions tirées de diverses sources, plutôt que de chercher une réponse définitive à une question particulière grâce à une méthode plus rigoureuse. Ce qui veut dire que l'évaluation de programme cherche à déterminer des liens raisonnables entre les activités des programmes et leurs résultats au lieu d'expliquer parfaitement pourquoi le programme a produit certains résultats.

     Nous avons traité à la section 3.2.1 des responsabilités du sous-chef dans ce domaine.

Chaque étape du processus d'évaluation sera étudiée dans ce chapitre.

6.2 ÉTUDE PRÉPARATOIRE À L'ÉVALUATION

     Il est nécessaire de bien planifier les évaluations. Elles peuvent coûter très cher tant en argent qu'en ressources humaines; par ailleurs, l'expérience a démontré que plusieurs études n'ont pas été utiles ou encore qu'on ne les a pas utilisées. Le fait qu'on n'ait pas bien examiné avant le début de l'évaluation ce dont on avait besoin, ce qui pouvait être fait et ce que l'on ferait est en partie responsable de cet état de choses. Ce guide a pour but d'éviter ces pièges en insistant fortement pour qu'une planification appropriée, c'est-à-dire l'étude préparatoire, précède toute évaluation.

     Cette étape préparatoire constitue une partie essentielle du processus d'évaluation de programme. Elle offre au sous-chef, qui est le client de l'étude, un moyen de s'assurer que l'évaluation qui suivra sera bien orientée; c'est aussi un moyen d'indiquer au client et aux autres parties intéressées le genre de renseignements qui seront disponibles. L'étude préparatoire fournit un moyen de contrôle sur l'affectation de ressources aux études d'évaluation qui ne répondent pas aux bonnes questions ou qui ne seront presque pas ou même pas du tout utiles au client une fois terminées.

     Le diagramme 6.1 montre les éléments principaux qui constituent l'étude préparatoire. Les extrants de cette étape sont généralement le mandat relatif à l'étude préparatoire, le rapport de cette étude, un profil des composantes ainsi qu'un mandat mis à jour pour l'étude d'évaluation comme telle.

Le processus d'étude préparatoire à l'évaluation peut être plus ou moins formel; les personnes chargées des programmes devraient y participer, et le processus est généralement itératif, puisque les aspects retenus aux fins de l'évaluation sont choisis parmi un grand nombre, qu'ils demandent plus de réflexion et qu'il faut en établir les coûts. On n'a peut-être pas toujours besoin d'un mandat pour l'étude préparatoire, et le rapport de l'étude peut se limiter à une courte note de service pour les cas qui ne posent

65

     pas de problèmes. On s'attend cependant à ce que toute évaluation importante soit précédée d'une étude préparatoire approfondie et d'un rapport approprié.

6.2.1 ÉTUDE PRÉPARATOIRE À L'ÉVALUATION

     Cette étude préparatoire à l'évaluation comprend la détermination des aspects particuliers à considérer qui seront étudiés lors de l'étude préparatoire et une analyse de la nature et de la portée que l'étude de ces aspects pourrait ou devrait avoir lors des évaluations. L'étude préparatoire examine les options qui s'offrent pour l'évaluation. Il faut absolument que des personnes chargées des programmes participent à ces études afin qu'on comprenne bien le contexte dans lequel le programme fonctionne et que l'on tienne compte de leurs intérêts dans la conception de l'évaluation. Il faut surtout que le sous-chef y joue un rôle important.

     L'étude préparatoire d'évaluation devrait saisir tous les aspects à considérer, de façon pertinente et digne de foi tout en demeurant à l'intérieur de limites de coûts acceptables¹. Cette étude préparatoire devrait :

ii déterminer le but de l'évaluation (amélioration du programme, addition de données pour l'élaboration de la politique sous-jacente au programme, imputabilité, etc);

iii étudier tous les travaux d'évaluation du programme qui ont déjà été accomplis ainsi que toute documentation pertinente;

iv déterminer les aspects particuliers qui pourraient être évalués (on en trouvera une liste au tableau 1.1);

vii recommander une approche appropriée.

66

     Il est possible que le rapport de l'étude préparatoire ne contienne pas un mandat très clair pour l'étude d'évaluation. Si l'on prend pour acquis qu'il y aura une évaluation, cela dépendra de la mesure dans laquelle le client a participé à l'étude préparatoire. Si, durant cette étude, le client a décidé sur quoi portera l'évaluation, le mandat recommandé peut être inclus. D'un autre côté, si le rapport présente les méthodes les plus appropriées pour l'évaluation, le mandat peut être élaboré lors d'une étape ultérieure, soit après que l'on aura choisi une option d'évaluation. Lorsqu'il y a lieu, un résumé des résultats doit être remis en tant que partie de la stratégie globale des ministères et organismes (voir section 2.1.2).

6.2.2 MANDAT RELATIF À L'ÉVALUATION

     Il faut un mandat pour toute évaluation. Il constitue une preuve officielle de l'accord conclu entre le client et les évaluateurs sur ce qui devra être fait. Lorsque le sous-chef accepte le mandat, celui-ci constitue un engagement pris par les gestionnaires supérieurs envers l'évaluation et en autorise l'exécution ainsi que les dépenses de ressources qui seront nécessaires. Le mandat indique également les obligations qui incombent à tous les participants, c'est-à-dire aux gestionnaires axiaux ainsi qu'au personnel chargé des évaluations. Le mandat est surtout important lorsqu'on a recours à des évaluateurs-conseils de l'extérieur.

     Lorsqu'on arrive à la fin de l'étude préparatoire, le mandat fournit des détails précis sur ce qu'on peut attendre de l'évaluation. Un mandat précis aidera à réduire les malentendus qui pourraient se produire durant l'évaluation et se révélera une excellente source de référence pour la rédaction du rapport final. D'un autre côté, le mandat ne devrait pas être suivi aveuglément. Des circonstances qui ont changé, une meilleure connaissance du programme acquise durant l'évaluation peuvent obliger à choisie d'autres méthodes. Le mandat devrait indiquer clairement ce qu'on attend d'une évaluation.

Au tableau 6.1, on trouvera un mandat typique. Dans ce guide, le terme « mandat » s'étend généralement au plan de travail détaillé de l'évaluation (point 2 du tableau 6.1). Dans les autres cas, un plan de travail distinct devrait être préparé avant le début de l'évaluation².

68

6.2.3 AUTRES RÉSULTATS DE L'ÉTUDE PRÉPARATOIRE

     Bien que le résultat normal d'une étude préparatoire soit l'acceptation du mandat par le sous-chef, il peut y en avoir d'autres. On peut décider, par exemple, que le moment n'est pas opportun ou que certains aspects importants seraient mieux évalués dans un autre contexte.

     Il existe de nombreuses raisons pour qu'une évaluation soit jugée inopportune à un moment donné, par exemple :

-le programme peut être si nouveau qu'il ne peut avoir déjà produit de résultats importants;

-une étude effectuée récemment à l'extérieur du ministère a déjà répondu à la majorité des questions;

-on est en train de procéder à un examen important du programme ou bien de le restructurer;

-les priorités en matière d'évaluation ont changé; ou

-les données disponibles peuvent être totalement inappropriées, et il faudrait alors établir un cadre et recueillir les données appropriées avant de procéder à une évaluation adéquate qui réponde aux besoins du client.

     Lorsque la question des données crée un problème sérieux comme il vient tout juste d'être mentionné, il peut être possible d'aller de l'avant tout de même avec l'étude, à condition que l'une des tâches consiste à identifier quelles données devraient être recueillies à l'avenir de façon continue comme élément du système de mesure de la performance du programme (voir la section 2.4). Puisqu'un profil des composantes viendra tout juste d'être terminé ou mis à jour, chaque fois qu'une évaluation sera remise à plus tard, le moment sera peut-être indiqué pour élaborer le cadre de l'évaluation ultérieure.

     Dans d'autres cas, il peut être préférable d'effectuer une évaluation, ou du moins une partie de celle-ci, dans un autre contexte lorsqu'on arrive aux conclusions suivantes :

-certains aspects de l'évaluation qu'on a déterminés recoupent plusieurs composantes de programme ou plusieurs ministères, ce qui nous amène à penser qu'une évaluation intégrée dépassant la composante particulière envisagée serait préférable;

-des aspects importants s'inscrivent mieux dans une structure différente de composantes, ce qui incite à penser qu'il serait peut-être préférable d'utiliser d'autres composantes pour l'évaluation.

69

     Ces possibilités sont des résultats inhabituels de l'étude préparatoire; en général, on arrive au mandat relatif à l'évaluation, suivi de l'étude d'évaluation proprement dite. Mais, puisqu'elles constituent des résultats, il faut les consigner lorsqu'elles se produisent et mettre les plans d'évaluation à jour.

6.3 ÉTUDE D'ÉVALUATION DE PROGRAMME

     L'étude d'évaluation d'un programme utilisera normalement la plus grande proportion des ressources et du temps qu'exige le processus. C'est lors de cette étape que l'on procède à la collecte des données, à l'exécution de l'analyse et à la rédaction des constatations, des conclusions et des recommandations. Si l'étude préparatoire a été bien effectuée, les étapes à suivre lors de l'étude d'évaluation seront assez évidentes.

     Une vaste gamme de méthodes et de techniques permettent d'exécuter une évaluation; parmi elles, on retrouve les structures expérimentales contrôlées, l'analyse des résultats consignés antérieurement, l'échantillonnage aléatoire scientifique et des études de cas particuliers. Il n'y a pas une méthode qui soit la meilleure pour tous les cas, car chacune offre des avantages et des désavantages; leurs résultats sont tous différents. Toutes ces méthodes visent à mesurer non seulement les répercussions et les effets qu'on a pu observer, mais aussi à recueillir des preuves fiables et dignes de foi à l'effet que ces répercussions et effets sont attribuables au programme et non à d'autres facteurs ou ensembles de conditions. Déterminer ce qu'aurait été la situation sans le programme, soit la mesure de l'apport additionnel imputable au programme, présente un véritable défi en raison des difficultés et des problèmes méthodologiques soulevés.

70

Tableau 6.1

CONTENU DU MANDAT RELATIF

À

UNE ÉVALUATION DE PROGRAMME

-quels sont les critères qui permettent de mesurer jusqu'à quel point on a atteint les objectifs du programme ainsi que ses répercussions et effets;

-quels renseignements seront recueillis et comment;

-qui accomplira chacune des fonctions et quelles seront les responsabilités de chacun des participants;

-quand chacune des tâches sera-t-elle terminée, et ce pour toutes les tâches c.-à-d. un calendrier;

-quels rapports seront rédigés et à quelle fréquence;

-à qui seront destinés ces rapports.

*Dans certains cas, le plan de travail peut être un document distinct.

71

     Cette évaluation devrait naturellement entraîner la collecte systématique de renseignements et de données concernant un programme ainsi que les résultats qui en découlent. L'évaluation doit être objective, c'est-à-dire qu'il faut que des personnes qui n'ont pas participé à l'évaluation puissent en vérifier les constatations et les conclusions. Il faut de plus que les preuves contraires aux prévisions ne soient pas supprimées. En d'autres termes, les renseignements ainsi que les données devraient être recueillis, analysés et présentés de manière que d'autres personnes qui exécuteraient l'évaluation en utilisant les mêmes hypothèses de base, arriveraient à des constatations analogues.

     Dans certains cas, la collecte systématique des renseignements ainsi que le besoin d'objectivité peuvent exiger qu'on recoure à la méthode de recherche classique fondée sur le modèle de conception expérimentale. Mais on peut obtenir des données qui soient objectives en utilisant d'autres méthodes³. Obtenir une information objective, digne de foi et disponible au moment opportun pour la prise de décisions et la gestion devrait servir de critère pertinent pour le choix d'une méthode d'évaluation. Ce qui est perdu en rigueur scientifique est regagné dans les domaines de la pertinence, de l'actualité et de l'acceptation des constatations par ceux qui prennent les décisions, sans qu'il y ait perte d'objectivité. Bien que l'objectivité et la fiabilité - les règles qui gouvernent le développement de preuves à l'appui - ne doivent pas être négligées, il y a un dosage souvent très difficile à faire entre l'actualité des données, les ressources disponibles et la pertinence des preuves, d'une part, et d'autre part, la force de persuasion des preuves, c'est-à-dire le degré de certitude des conclusions auxquelles on peut arriver sans avoir à porter de jugements importants. On se retrouve le plus souvent avec des conclusions qui ne sont pas de nature définitive, mais plutôt conditionnelles à certaines hypothèses, points de vue ou conditions. Ceci découle de notre conception de l'évaluation comme une façon de rassembler de l'information pertinente pour la prise de décisions, plutôt que comme une tentative d'en arriver à des conclusions irréfutables qui remplaceraient en quelque sorte la prise de décisions.

     Les évaluations doivent recueillir des renseignements fiables et objectifs sur chacun des aspects mentionnés dans le mandat et doivent produire des preuves et des conclusions sur chacun de ces aspects. Les conclusions de l'étude devraient fournir des réponses aux questions posées dans le mandat. En outre, à la fin d'une étude d'évaluation, les besoins d'information pour les évaluations futures devraient être déterminés.

     Le document complémentaire publié par le BCG et intitulé Principes de l'évaluation de programme par les ministères et organismes fédéraux traite avec plus de précision des caractéristiques d'une bonne étude d'évaluation.

72

6.4 RAPPORTS D'ÉVALUATION

     Un rapport final est indispensable, tant pour l'étude préparatoire que pour l'évaluation du programme. On y consigne ce qui a été fait ainsi que les constatations avec le double souci que le rapport soit utile et digne de foi. Un rapport digne de foi présente de manière équilibrée et complète les données et les résultats, déterminant les hypothèses sous-jacentes à l'étude et soulignant les contraintes auxquelles l'étude a été soumise. Un rapport est utile s'il fournit des données et des constatations qui sont d'actualité, pertinentes et importantes en ce qui concerne les aspects étudiés et s'il est présenté d'une manière claire et compréhensible.

     Dans tous les rapports, il est important de faire la distinction entre les faits, les conclusions et les recommandations ainsi qu'entre les conclusions, les jugements et les opinions. Il est surtout important de se souvenir de ces distinctions, compte tenu de la méthode générale utilisée pour l'évaluation (voir section 6.3). On admet dès le départ que, dans bien des cas, l'évaluation d'un programme ne fournira pas de preuves complètes et irréfutables. L'évaluateur doit donc se montrer prudent quand il fait des constatations qui exigent une certaine dose de jugement professionnel et qui dépendent souvent d'autres considérations ou facteurs. Il doit tirer profit à la fois de son expérience et de celle d'autres personnes pour formuler des recommandations qui se fondent sur ces constatations et que viennent compléter d'autres renseignements sur le programme. Les rapports d'évaluation doivent justifier le choix des données et des preuves et leur relation avec les conclusions du rapport et expliciter leurs hypothèses. Pour toutes ces raisons, il est sage, dans les rapports d'évaluation, de présenter distinctement les données et preuves, les conclusions et les recommandations.

     L'ébauche du rapport et des recommandations devrait normalement être présentée, entre autres, aux gestionnaires ministériels de l'évaluation de programme et aux autres personnes, surtout aux gestionnaires axiaux, qui ont participé à l'évaluation. De cette façon, on peut signaler à ces personnes ce que l'on a constaté. Toutes les parties intéressées devraient être en mesure de commenter l'ébauche du rapport et, lorsqu'ils n'acceptent pas entièrement le rapport final ou les recommandations qu'il renferme, y joindre leurs commentaires. Le sous-chef doit approuver la distribution et la mise en circulation des rapports finals.

73

6.5

PRISE DE DÉCISIONS À PARTIR DES ÉVALUATIONS DE PROGRAMME

     Quand le rapport d'évaluation et les recommandations ont été soumis à l'examen des gestionnaires supérieurs, l'étape finale de l'évaluation commence, à savoir la prise de décisions fondées sur l'évaluation. Comme l'indique le diagramme 6.1, ces décisions comprennent tous les renseignements disponibles sur le programme étudié, en plus des constatations et des recommandations de l'évaluation.

     Toutes les procédures appropriées doivent être en place afin que le suivi de toutes les décisions prises par le sous-chef lors de cette étape soit assuré. Comme il est mentionné à la section 3.2.3, il faut clairement établir, dans la politique ministérielle relative à l'évaluation ou dans un corollaire des décisions prises, à qui incombera la responsabilité d'assurer le suivi. Dans les cas où des changements particuliers doivent être apportés au programme, il faut qu'on élabore un plan afin d'indiquer comment et par qui les changements seront apportés. On devra préparer un rapport de mise en oeuvre qui fera connaître les résultats qui découleront des décisions prises par le sous-chef. Celui-ci devra déléguer clairement à quelqu'un la responsabilité de rédiger ce rapport.

Les gestionnaires de la fonction de l'évaluation de programme devraient se tenir au courant de toutes les mesures qui se fondent entièrement ou principalement sur les évaluations de programme. De plus, des résumés des constatations des évaluations et les modifications proposées devraient constituer une partie de la stratégique globale du ministère (voir la section 2.1.2).

Notes explicatives du chapitre 6

74

CHAPITRE 7

EXIGENCES DE L'ÉVALUATION

DES NOUVEAUX PROGRAMMES

7.0 LIGNES DIRECTRICES

7.1 Les sous-chefs des ministères et des organismes devraient s'assurer, au moyen de leur politique d'évaluation de programme que tous leurs programmes nouveaux ou renouvelés comportent dans leur conception même un profil et un cadre d'évaluation. Un profil préliminaire des composantes devrait être prêt lorsque l'idée d'un programme est soumise à l'approbation; un cadre pertinent et un profil complet devraient être élaborés en même temps que l'on conçoit et met en oeuvre les programmes en question.

7.2 Il faut établir les profils et les cadres en étroite coopération avec les personnes qui s'occupent de la planification, de la conception et de la mise en oeuvre des nouveaux programmes pour qu'ils s'adaptent à tous les indicateurs et à toutes les questions qui risquent de devenir importantes au moment de l'évaluation. Les profils et les cadres devraient être approuvés au cours du processus normal d'approbation de la conception des programmes. Lorsqu'un nouveau programme est approuvé, le ministère concerné met à jour son plan d'évaluation en conséquence.

7.1 EXIGENCES DE L'ÉVALUATION DES NOUVEAUX PROGRAMMES

     La politique du Conseil du Trésor du Canada sur l'évaluation des programmes exige que l'on établisse les exigences des évaluations au moment de la conception et de la mise en oeuvre des nouveaux programmes. Cette responsabilité incombe au sous-chef; les procédures relatives à ces exigences devraient être déterminées dans la politique d'évaluation des programmes ministériels. Le système de gestion des politiques et des dépenses sert également à promouvoir l'établissement des exigences de l'évaluation. Au cours de son examen du plan d'exploitation pluriannuel des ministères, le Conseil du Trésor du Canada examinera la conception des programmes pour s'assurer que leurs moyens de réalisation s'accordent avec les objectifs et qu'ils facilitent l'évaluation.

Pour que l'on puisse évaluer correctement un nouveau programme, il faudrait que

77

les exigences de l'évaluation soient précisées lors de la conception du programme et qu'elles comportent deux parties : un profil de composantes et un cadre d'évaluation qui feront mieux comprendre les buts des programmes et aideront à discerner leurs résultats lorsqu'on fera l'évaluation. Si le profil et le cadre sont bien établis, la tâche des évaluateurs lors de l'étude préparatoire sera simplifiée, car une grande partie de l'analyse aura déjà été faite. En outre, s'ils fournissent aux évaluateurs des renseignements pertinents et fiables, les conclusions des évaluateurs seront plus valables et le coût des études préparatoires et des évaluations sera plus bas.

Bien que l'établissement des exigences de l'évaluation concerne plus particulièrement les nouveaux programmes, dans certains cas, il faut établir celles d'un programme existant, notamment lorsqu'il s'agit d'une évaluation reportée, d'un programme dont le mandat est renouvelé ou d'un programme dont l'orientation a changé. Dans le présent guide, tous ces programmes sont considérés « nouveaux Â» programmes.

7.1.1 COMPOSANTES DES NOUVEAUX PROGRAMMES

     Un nouveau programme amènera la modification de la structure des composantes de programme existantes. Dans le cas le plus simple, le nouveau programme sera un élément nouveau. Dans d'autres cas, le nouveau programme pourra être composé de plusieurs nouvelles composantes ou de parties de plusieurs composantes existantes. Dans tous les cas, la structure des composantes des programmes devrait être réexaminée et modifiée, avant ou pendant l'établissement des exigences de l'évaluation pour s'adapter au nouveau programme.

7.1.2 PROFIL DES COMPOSANTES

     Le profil des composantes dont il est question à la section 4.2.2, donne un aperçu du nouveau programme. Une fois les composantes déterminées, il faudrait établir un profil préliminaire qui inclut des renseignements sur les objectifs fondamentaux et sur la raison d'être du programme. Il est important de décrire l'environnement dans lequel le programme fonctionnera et les raisons pour lesquelles le programme commence à telle date plutôt qu'à telle autre. Cette description aidera à comprendre la raison d'être fondamentale du programme. Les renseignements contenus dans le profil sont indispensables pour comprendre le nouveau programme ou le programme renouvelé et doivent être prêts lorsque l'idée du programme est soumise à l'approbation. Une fois l'idée approuvée, on peut travailler à la fois sur le profil et sur la conception du programme.

78

7.1.3 CADRE D'ÉVALUATION

     Le cadre d'évaluation constitue la base des évaluations futures. Il trace les grandes lignes de ce que sera l'évaluation et, surtout, décrit les données qu'il faut recueillir avant et pendant l'évaluation. Un cadre d'évaluation devrait comprendre :

ii une liste des indicateurs que l'on pourrait utiliser pour évaluer les résultats et la performance du programme;

iii une description des données nécessaires pour analyser les aspects choisis et pour mesurer les indicateurs, y compris l'identification des données qu'il serait utile de recueillir sur une base permanente aux fins de l'évaluation;

iv une description des caractéristiques de toute conception de programme nécessaires pour recueillir les données et l'information requises;

     L'établissement du cadre d'évaluation, la conception et la mise au point du programme doivent avoir lieu en même temps. S'il s'agit d'un programme-pilote visant à évaluer un nouveau programme à une petite échelle, le cadre d'évaluation doit être prêt lorsqu'on demande l'approbation du programme.

7.2 ÉTABLISSEMENT DES EXIGENCES D'UNE ÉVALUATION

     Le diagramme 7.1 illustre de façon schématique l'établissement des exigences d'une évaluation. La plus grande partie de ces travaux est normalement exécutée par le service d'évaluation des programmes du ministère. Le profil et le cadre sont approuvés pendant le processus d'approbation de la conception du programme. Comme pour les évaluations des programmes, il faut tenir compte des préoccupations et des intérêts des comités du Cabinet. Deux aspects de l'établissement du profil et du cadre sont particulièrement importants : la participation des personnes s'occupant de la conception et de la mise en oeuvre du programme et la souplesse de la méthode d'évaluation.

79

     Il faut absolument que les personnes qui établissent le profil et le cadre, normalement le service d'évaluation des programmes du ministère, collaborent étroitement et coopèrent avec le groupe qui conçoit le programme et en planifie la mise en oeuvre. On ne peut pas établir de profil ni de cadre pertinents si l'on ne connaît pas parfaitement le but et la méthode même de mise en oeuvre du programme. Les exigences du cadre d'évaluation peuvent imposer des contraintes supplémentaires aux concepteurs du programme. Pour l'évaluation, par exemple, ils pourraient avoir besoin de certaines données non indispensables à la mise en oeuvre du programme, ce qui aurait des répercussions sur la conception du programme et le ressources qui lui sont affectées. En élaborant ce cadre, il faudrait identifier l'information et les données qu'il serait utile de recueillir de façon continue aux fins de l'évaluation. On s'attendra à ce que les ressources additionnelles utilisées dans la gestion du programme en raison des besoins de l'évaluation soient largement récupérées lorsque s'effectuera l'évaluation et à ce qu'un profil et un cadre adaptés amélioreront la gestion et le contrôle du nouveau programme. Il n'y a aucun doute que la coopération entre les services d'évaluation et de planification est un prérequis à l'établissement d'un profil et d'un cadre pertinents.

     Il faut aussi absolument que le cadre d'évaluation soit souple, car il doit pouvoir s'adapter aux changements qui surviennent inévitablement à mesure que le programme « vieillit » et aux aspects de l'évaluation qui deviennent plus importants. Si le cadre permet d'évaluer efficacement quelques aspects seulement d'un programme, il pourrait s'avérer inutile par suite du changement d'importance des aspects à évaluer. Pour que le cadre soit flexible, il faut généralement prévoir plusieurs indicateurs de la performance par programme.

     Le service d'évaluation de programme a un rôle à jouer dans l'établissement des cadres d'évaluation comme nous l'indique le tableau 3.2. Il serait préférable que l'établissement des cadres se fasse en coopération avec les concepteurs du programme. Lorsqu'il s'avère impossible de procéder ainsi, tout cadre élaboré par d'autres devrait être examiné par le service d'évaluation de programme qui soumettra ses observations au sous-chef.

     Lorsque le ministère ou l'organisme a approuvé la conception d'un programme, il faut mettre à jour le plan d'évaluation ministériel en fonction du nouveau programme et des exigences de l'évaluation. On pourra alors insérer le profil établi pour les besoins de l'évaluation dans le plan d'évaluation et inscrire cette évaluation dans les plans.

81

CHAPITRE 8

RÔLE DU BUREAU DU

CONTRÔLEUR GÉNÉRAL

     Créé par le gouvernement, le Bureau du Contrôleur général du Canada (BCG) détient une autorité générale et assume une responsabilité étendue en matière de pratiques et de contrôles administratifs dans le domaine de la finance, de la gestion des opérations et de l'évaluation des programmes. Le présent chapitre décrit les responsabilités, le rôle et les attentes du BCG en ce qui concerne l'évaluation de programme.

8.1 RESPONSABILITÉS DU BCG DANS L'ÉVALUATION DE

PROGRAMME

     Le Bureau du Contrôleur général a été créé en avril 1978 par la nomination du premier Contrôleur général du Canada et a reçu la sanction royale sous forme d'une modification apportée le 30 juin 1978 au chapitre 33 de la Loi sur l'administration financière. À cette date, le Président du Conseil du Trésor du Canada a transféré au nouveau Bureau plusieurs responsabilités qui incombaient jusqu'alors au Secrétariat du Conseil du Trésor. Parmi ces responsabilités figurait la mise en oeuvre de la politique 1977-47 du Conseil du Trésor du Canada relative à l'évaluation de programme.

     Cette responsabilité a été confiée à la Direction de l'évaluation des programmes du BCG. C'est pourquoi la Direction doit veiller à l'élaboration et à l'évaluation permanente des programmes des ministères et des organismes et fournir aux ministres des renseignements sur les services d'évaluation des programmes et sur la qualité de chaque évaluation. Le Bureau est aussi chargé de coordonner les activités d'évaluation des ministères et des autres organismes centraux.

Pour s'acquitter de ces responsabilités, le BCG doit

-élaborer et publier la politique et les lignes directrices relatives à l'évaluation des programmes;

-établir et entretenir d'étroites relations de travail avec les ministères et les organismes;

-conseiller et aider les ministères et les organismes; et

-faire des observations au sujet de la fonction de l'évaluation de programme et des documents et rapports établis par les ministères et les organismes à la suite des évaluations.

83

8.1.1 RELATIONS ENTRE LE BCG ET LES MINISTÈRES ET LES ORGANISMES

     La Direction de l'évaluation des programmes a été créée pour promouvoir, établir et maintenir de bonnes relations professionnelles avec les ministères et les organismes. En travaillant étroitement avec les services d'évaluation, le BCG pourra se tenir au courant de la situation de la fonction de l'évaluation de programme dans les divers ministères et des décisions et des mesures qui découlent des évaluations. De cette façon, la Direction pourra mieux aider et conseiller les intéressés et il deviendra alors inutile d'effectuer les examens de conformité mentionnés dans la politique 1977-47 du Conseil du Trésor du Canada.

8.1.2 AIDE DU BCG

     Pour faciliter l'évaluation des programmes de l'administration fédérale, le BCG donnera aux ministères et aux organismes de l'aide et des conseils généraux et particuliers. Sur le plan général,

-il rassemblera et publiera des renseignements sur l'évaluation des programmes;

-il organisera des séances de formation à l'intention des évaluateurs de programmes, de concert avec la Commission de la Fonction publique et avec l'accord du Comité supérieur de la formation;

-il facilitera, au besoin, les échanges entre les ministères, entre ceux-ci et les organismes centraux sur des questions reliées à l'évaluation; et

-il assurera la médiation, si d'autres ministères ou organismes centraux demandaient à utiliser en même temps certaines ressources et certains effectifs des ministères destinés aux évaluation.

     Plus précisément, le BCG fournira s'il le faut, des conseils aux ministères et aux organismes pour les aider

-à élaborer les politiques d'évaluation de leurs programmes et à définir les responsabilités dans ce domaine en examinant avec eux les diverses options possibles;

-à organiser leur fonction d'évaluation en les aidant notamment dans la classification et la dotation en personnel, en facilitant les entretiens avec les organismes centraux sur les questions de personnel et d'organisation.

-à établir des plans d'évaluation des programmes ministériels en expliquant les concepts de composantes et de plans d'évaluation de programme aux ministères et aux organismes et en discutant avec eux les structures possibles des composantes;

84

-à planifier et à effectuer les évaluations de programmes particuliers, en donnant des conseils généraux et techniques, en participant aux comités consultatifs et aux comités directeurs et en examinant leurs évaluations; et

-à établir les cadres d'évaluation appropriés pour les nouveaux programmes.

8.1.3 OBSERVATIONS DU BCG

     Pour améliorer encore la qualité de l'évaluation des programmes de l'administration fédérale et pour s'acquitter de ses responsabilités, le BCG fera des observations sur les politiques d'évaluation de programme des ministères et des organismes et sur les plans d'évaluation de programme qui lui seront présentés.

     Il indiquera si les politiques et les plans des ministères et des organismes respectent la politique et les lignes directrices du Conseil du Trésor du Canada, compte tenu des caractéristiques propres à chaque organisme. Les plans d'évaluation de programme seront examinés pour déterminer dans quelle mesure le ministère est susceptible de les réaliser avec les ressources dont il dispose, pour étudier si la structure des composantes de programme est appropriée pour l'évaluation, dans quelle mesure le sous-chef a participé à leur élaboration et si l'on a tenu compte des préoccupations et des intérêts des comités du Cabinet.

     Le Bureau demandera aussi des rapports d'études préparatoires, des rapports d'évaluation et des cadres d'évaluation et il fera des observations à leur sujet, soit à la demande des ministères, soit

• la demande d'autres organismes centraux;
  
• la demande des ministres;
  

-en raison de l'ampleur et de l'importance de l'évaluation; et

-de sa représentativité.

     Les observations porteront sur la conformité des évaluations avec la politique et les lignes directrices du Conseil du Trésor du Canada et, pour les rapports d'évaluation des programmes, avec les principes exposés dans le document du BCG intitulé :

Principes de l'évaluation de programme par les ministères et organismes fédéraux. On insistera davantage sur les mandats des évaluations des programmes et sur les conclusions des études.

85

8.2

ATTENTES DU CONSEIL DU TRÉSOR EN CE QUI CONCERNE L'ÉVALUATION DE PROGRAMME

     La politique du Conseil du Trésor relative à l'évaluation de programme suppose certaines attentes des ministères et des organismes dans le domaine en question. Les présentes lignes directrices et le document du BCG intitulé Principes qui les accompagne reflètent ces attentes.

86

87

GLOSSAIRE DE TERMES

Activités - les principales tâches de même que tout pouvoir et fonction qui caractérisent un programme donné et qui sont assumées par le personnel du programme.

Cadre d'évaluation - une description de la façon de planifier l'évaluation d'un programme.

Cédule d'évaluation de programme - un calendrier à long terme montrant à quel moment du cycle d'évaluation les éléments doivent être évalués.

Comité consultatif de l'évaluation de programme - un comité formé de personnel ministériel dans le but de fournir des conseils sur la réalisation d'une évaluation particulière et sur les recommandations qui en découlent.

Comité supérieur de l'évaluation de programme - un comité présidé par le sous-chef dans le but d'assurer le maintien de la fonction d'évaluation, d'examiner et de prendre des décisions concernant les observations et les recommandations soumises à la suite des études.

Cycle d'évaluation - la période à l'intérieur de laquelle tous les programmes d'un ministère seront évalués.

Extrants - les biens, services, réglementations ou dispositions de la loi de l'impôt fournis ou sous le contrôle direct du personnel responsable du programme et distribués à l'extérieur de l'organisation responsable du programme.

Gestionnaire axial - un gestionnaire directement responsable d'une partie ou de la totalité d'un ou de plusieurs programmes opérationnels.

Gestionnaire de programme - un gestionnaire directement responsable d'un programme particulier.

Gestionnaire ministériel de l'évaluation de programme - le représentant du ministère qui relève du sous-chef ou de l'agent supérieur du ministère pour ce qui est de l'évaluation de programme et qui est le premier responsable de la gestion de la fonction de l'évaluation de programme.

Gestionnaires supérieurs - le sous-chef et les sous-chefs adjoints.

Mandat - un énoncé du fondement juridique d'un programme, c'est-à-dire de ses effets éventuels et escomptés.

89

Objectif - un énoncé normatif des répercussions et effets qu'un programme est conçu pour produire ou auxquels il devrait contribuer.

Plan annuel d'évaluation de programme - plan d'exploitation révélant le plan de travail précis à accomplir - échéancier, ressources, tâches à accomplir, et personnel - au cours des 12 à 18 prochains mois suivant la date de l'établissement du plan.

Plan d'évaluation de programme à long terme - profil et cédule d'évaluation de programme d'un ministère.

Plans ministériels d'évaluation de programme - le plan à long terme et le plan annuel d'évaluation de programme d'un ministère ou d'un organisme.

Processus d'évaluation de programme - les activités, accomplies, les décisions prises et les extrants produits au cours de l'évaluation d'un programme en particulier.

Profil d'un programme ou d'une composante - une description de l'historique du programme (mandat, objectif, utilité du programme, financement et ressources), de même qu'un énoncé des éléments (activités, extrants et répercussions et effets) et une description de la structure du programme (liens entre les éléments).

Profil ministériel d'évaluation de programme - le recueil des profils de composantes de programme d'un ministère de même qu'une description de la structure des composantes de programme d'un ministère.

Répercussions et effets - l'incidence des extrants d'un programme y compris la succession d'événements qui se produisent entre les extrants et les effets définitifs de la composante sur une partie ou la totalité de la société.

Répercussions et effets prévus - répercussions et effets auxquels on s'attend. Résultats - ensemble de répercussions et effets associés à un programme. Sous-chef - le gestionnaire supérieur d'un ministère ou organisme.

Structure des éléments du programme ministériel - une présentation et une description de l'ensemble des composantes qui constituent le programme d'un ministère ou d'un organisme.

90

FRANÇAIS

répercussions et effets attendus

structure de composantes de programme

ANGLAIS

- expected impacts and effects

- departmental program component structure