Améliorer le professionnalisme de l’Évaluation

Rapport final
le 31 mai 2005

Préparé pour le Centre d'excellence en évaluation 
Secrétariat du Conseil du Trésor
par T. K. Gussman Associates Inc.

Annexes du rapport

Aperçu et résumé des constatations

Le présent document porte sur les nouveautés et les tendances relatives à l'évaluation des programmes à la lumière de l'évolution de la gestion dans le secteur public. L'examen des dépenses, les nouveaux cadres de gestion et la plus grande responsabilisation requise du secteur public ont créé des défis pour la Vérification interne et l'évaluation des programmes dans l'administration fédérale. Pour ce qui est de l'évaluation des programmes, le défi consiste à améliorer l'image et la crédibilité de la fonction et, en bout de ligne, à garantir une meilleure utilisation des évaluations par les membres de la haute direction.

Pendant de nombreuses années, les deux fonctions étaient regroupées dans beaucoup d'organismes et, dans bien des cas, le dirigeant de l'organisme possédait de l'expérience en vérification. La plupart des ministères disposent d'un Comité de vérification et d'évaluation conjoint chargé d'examiner et d'approuver les résultats des études de responsabilisation. La solution réside en partie dans la création d'une identité d'évaluation distincte de celle de la Vérification interne.

Premièrement, l'administration des deux fonctions pourrait être scindée. Deuxièmement, l'élaboration et la promotion de normes professionnelles adéquates et de cours de formation pour les évaluateurs garantiraient que leur travail atteindrait le but pour lequel il a été accompli.

Cette évolution organisationnelle serait menée de concert avec l'élaboration d'un système qui ferait en sorte que les personnes exerçant la fonction d'évaluation disposent de suffisamment de compétences et de connaissances pour accomplir ce travail conformément aux normes établies. 

Voici certaines des principales constatations de l'étude :

La conjoncture de la responsabilisation du secteur public a changé et ne cesse d'évoluer. La nature de l'évaluation des programmes évolue également. L'expression « évaluation » est souvent interprétée dans un sens large et doit être renforcée ou clarifiée en ce qui concerne sa mise en application. Selon des études sur la santé de la fonction d'évaluation menées par le CEE, on n'a pas suffisamment porté attention à la rentabilité dans la plupart des études d'évaluation et il faudra s'attarder davantage à l'optimisation des ressources de l'évaluation au cours de la prochaine ère de résultats et de responsabilisation.

On renforce actuellement la fonction de Vérification interne et l'on songe sérieusement à exiger l'accréditation des vérificateurs de programmes posant leur candidature à un poste au sein des ministères fédéraux. Les changements apportés au domaine de la vérification constituent à la fois un avertissement et un incitatif pour la communauté de l'évaluation afin qu'elle trouve des moyens de renforcer les services d'évaluation et de garantir le respect des normes professionnelles. 

Puisque les besoins de gestion deviennent de plus en plus complexes, l'absence d'uniformité et de rigueur méthodologique au sein de la fonction d'évaluation est critiquée. La plupart des critiques proviennent des membres de la communauté de l'évaluation. Parce qu'il n'existe pas de normes, une diversité d'individus possédant de l'expérience en sciences sociales ou en statistiques se chargent de l'« évaluation ». Selon le consensus atteint, des mesures doivent être prises afin que des critères de compétences professionnelles soient établis pour les évaluateurs. 

Une évaluation repose sur une application rigoureuse de méthodes de recherche, de méthodes statistiques, de techniques d'analyse et d'habiletés à écouter. Il est en outre essentiel de faire preuve d'un bon jugement et de posséder une aptitude à communiquer efficacement. Étant donné que l'évaluation n'est pas une profession, les personnes qui travaillent dans ce domaine devraient démontrer certaines compétences et être en mesure de déterminer et d'utiliser les outils pertinents selon la situation.  

Il est presque impossible de réglementer les processus d'embauche dans ce domaine. Parallèlement, il est très important que l'on puisse vérifier si les « évaluateurs » respectent les normes établies. Bien que l'on s'entende en général sur ces normes pour l'évaluation, le débat au sujet de la nécessité de mettre ces normes à exécution ou la façon de s'y prendre dure maintenant depuis près de deux décennies, mais n'a pas abouti à des solutions.

Les processus d'octroi de permis et de certification sont ardus et laissent entrevoir d'éventuelles contestations judiciaires. La délivrance de titres et de certificats est une méthode moins stricte d'accréditation et donne lieu à l'identification des compétences de base. 

L'essor des programmes universitaires offrant un certificat en évaluation semble offrir une solution raisonnable. La voie de la moindre résistance pour trouver une solution consisterait en la ratification d'ententes de partenariat entre le gouvernement fédéral et ces établissements. Des universités dans toutes les régions du pays pourraient obtenir une accréditation afin de former les évaluateurs débutants et de faire passer des examens à leurs étudiants pour vérifier qu'ils possèdent les principales compétences requises d'un évaluateur. Il faudrait d'abord comparer les profils du SCT à ceux recommandés dans la toute dernière littérature didactique sur l'évaluation. Le gouvernement fédéral ne prendrait pas de mesures d'exécution directes, mais le recours à ces programmes pourrait être encouragé par l'entremise des modalités des marchés (au moyen notamment de conditions obligatoires dans une demande de propositions).

L'accréditation des établissements postsecondaires chargés de former des étudiants afin de garantir qu'ils possèdent les compétences de base appuierait l'initiative visant à séparer les services d'évaluation au sein du gouvernement fédéral des services de vérification avec lesquels ils sont actuellement regroupés. Si des normes et critères distincts étaient définis pour les évaluateurs et les vérificateurs, il n'y aurait plus vraiment lieu de maintenir ces dispositions administratives. On peut justifier la gestion distincte des fonctions par la présence de normes professionnelles et des besoins de formation ainsi que par la façon dont ceux-ci se rapportent à la responsabilisation. Cette façon de procéder permettrait de faire valoir l'identité de l'évaluation et de justifier la fonction en tant qu'outil de gestion important et puissant.

Contexte

L'évaluation des programmes de la fonction publique change constamment. La fonction évolue, mais cette évolution se produit à la lumière des études et examens menés récemment selon lesquels le profil de l'évaluation dans le secteur public doit être rehaussé. Les études sur le processus effectuées en 1993 et en 1996 par le Bureau du vérificateur général ont révélé que la qualité des études d'évaluation des ministères fédéraux doit s'améliorer. Cette affirmation a été confirmée dans une étude sur la qualité des évaluations menée en 2004 par le Centre d'excellence en évaluation (CEE) du Conseil du Trésor. De plus, les consultations effectuées par le CEE auprès de nombreux groupes d'évaluation, qui se considèrent comme étant sous-financés et sous-utilisés, ont fait ressortir leurs frustrations.

Deux enjeux sont à l'origine de cette préoccupation : l'avenir de la fonction d'évaluation au sein du gouvernement fédéral et la crédibilité même de la fonction. Il est possible d'établir un lien entre ces deux enjeux et le niveau perçu de « professionnalisme » dans le cadre de l'évaluation des programmes. Cela concerne donc les évaluateurs, les services d'évaluation et les gestionnaires de l'évaluation. 

Des solutions possibles à ces enjeux résident dans les efforts continus déployés pour moderniser la fonction d'évaluation et, simultanément, pour la rendre plus professionnelle. Les membres de la communauté de l'évaluation surveillent de près les changements apportés au sein de la collectivité de la Vérification interne où plus d'attention a été accordée à la Vérification interne en tant qu'outil de responsabilisation de la gestion en raison des demandes de renseignements soumises récemment et de façon constante par le public. En guise de réponse partielle, le Secrétariat du Conseil du Trésor a récemment renouvelé le rôle du Bureau du contrôleur général. L'une de ses principales responsabilités consiste à renforcer la fonction de Vérification interne au sein du gouvernement fédéral. Au nombre des activités examinées pour atteindre ce but, mentionnons la révision des pratiques et de la Politique sur la vérification interne; l'établissement d'une définition plus précise des rôles et responsabilités des membres de la haute direction et des contrôleurs; l'uniformisation des méthodes et des outils de la Vérification interne; la prestation de conseils sur les pratiques exemplaires et la formation; et l'adoption possible de normes d'accréditation obligatoire pour certains vérificateurs ministériels internes. Ces mêmes questions revêtent aussi un intérêt pour la collectivité de l'évaluation. 

Pour donner suite à la série de nouveautés susmentionnées, le Comité consultatif supérieur a établi un sous-comité chargé d'examiner le rôle et la position de l'évaluation au sein du gouvernement fédéral. Le présent rapport sur l'amélioration du professionnalisme de l'évaluation porte sur l'un des trois thèmes élaborés par le Comité consultatif supérieur.

Objectif de cette étude

La présente étude traite des méthodes facultatives pour accroître le professionnalisme de l'évaluation au gouvernement fédéral. On s'attend à ce qu'un professionnalisme accru, peu importe la méthode utilisée pour y parvenir, donne lieu à une plus grande utilisation de l'évaluation par les gestionnaires de programme et les administrateurs généraux. Les domaines examinés comprennent la qualité des évaluations, les leçons apprises pour renforcer les pratiques de la Vérification interne, le recours à des groupes d'évaluation et à de nouvelles approches pour garantir que les évaluateurs professionnels et les membres d'autres groupes possèdent des titres ou niveaux de compétences de base. La recherche ne visait pas à élaborer des normes d'accréditation, des énoncés des valeurs et de l'éthique ou des plans de formation. 

Au fil des travaux, il est ressorti clairement que le but de l'étude devait plutôt porter sur ce qu'un ensemble minimal de normes acceptables pour un « évaluateur » devrait être, sur la meilleure façon de garantir que les évaluateurs respectent ces normes de pratique, sur l'identification des personnes devant fournir cette formation et sur la nature de l'apprentissage continu pour s'assurer que les normes sont respectées dans l'ensemble des services d'évaluation du secteur public et dans la collectivité externe.

Méthode de recherche

Une série de documents, tant didactiques que du secteur public, a été examinée dans le cadre du projet. À l'aide des thèmes énoncés dans la documentation, des discussions ont eu lieu avec des gestionnaires de l'évaluation et d'autres représentants du gouvernement fédéral à Ottawa, avec certains chercheurs du Canada et des États-Unis ainsi qu'avec des spécialistes œuvrant activement au sein de la Société canadienne d'évaluation.

L'objet de ces discussions consistait à examiner ce que les participants considéraient être les « qualités professionnelles » de l'évaluation ainsi que les concepts relatifs à l'accréditation, à la délivrance de titres et de certificats et aux compétences de base afin de déterminer le modèle qui répondrait le mieux aux besoins prévus de la fonction publique canadienne par rapport aux produits et services que la collectivité de l'évaluation est disposée à fournir. 

En résumé, l'information demandée visait à établir un équilibre entre l'offre et la demande du marché pour l'obtention de services d'évaluation professionnels.

Constatations

1. L'état actuel de l'évaluation

Au cours des dernières années, le CEE a effectué de nombreuses études pour évaluer l'état de l'évaluation des programmes dans l'administration fédérale. Ces études portaient principalement sur la qualité des évaluations et la mesure dans laquelle elles avaient été utilisées, sur les ressources humaines et financières touchées ainsi que sur les besoins déclarés ou perçus de la collectivité de l'évaluation  Voir la note en bas de page ¹ . 

Selon le rapport de février 2005 du CEE sur la santé de la fonction d'évaluation au gouvernement du Canada, un total de 54,8 M$ a été affecté à l'évaluation dans le secteur public, ce qui ne correspond en moyenne qu'à 0,16 % des dépenses des ministères. Fait particulièrement inquiétant, seulement 11 petits organismes sur 47 ont alloué des fonds à l'évaluation, et deux d'entre eux ont engagé 60 % des dépenses totales dans ce domaine, qui s'élevaient à 1 M$.

L'étude a révélé que la qualité des évaluations, bien qu'elle s'améliore, n'était toujours pas aussi élevée qu'elle pourrait l'être. La qualité a été mesurée en fonction de plusieurs critères, dont la rigueur méthodologique, le recours à des sommaires de rapports et une attention adéquate portée aux questions de rentabilité. En dépit des améliorations constatées depuis le dernier examen, le CEE a remarqué que près du quart des rapports d'évaluation examinés n'étaient pas adéquats.

L'étude a fait ressortir un enjeu encore plus préoccupant, soit que seulement 80 % des services d'évaluation peuvent répondre aux demandes d'évaluation de leur ministère ou organisme et que seulement 53 % d'entre eux sont en mesure d'établir ou d'aider à la préparation des cadres de gestion et de responsabilisation axés sur les résultats (CGRR). Qui plus est, on a fait état d'insuffisances tant en matière de fonds disponibles pour les besoins de l'évaluation que du personnel requis pour gérer et effectuer les évaluations. 

En réponse à ces préoccupations et pour contribuer aux initiatives de vaste portée sur la fonction de contrôleur et la responsabilisation du gouvernement, le CEE a procédé à une réorganisation et a mis en œuvre plusieurs mesures pour renforcer la fonction et les processus d'évaluation. Outre son soutien à l'échange de pratiques efficaces entre les ministères, le CEE examine maintenant toutes les évaluations remises au Conseil du Trésor à l'appui des demandes de financement et exige que tous les plans d'évaluation soient présentés au Parlement par l'entremise des rapports sur les plans et priorités des ministères et organismes. De plus, les évaluations achevées doivent dorénavant être énoncées dans les rapports ministériels sur le rendement. Ces changements visent à assurer une plus grande transparence des résultats sur l'efficacité des programmes dans la fonction publique fédérale.

2. Le recours aux groupes d'évaluation

Selon une recherche menée récemment, la participation des groupes d'évaluation n'est pas aussi élevée que l'on pourrait s'y attendre pour cette fonction. Par exemple, le CEE a constaté que seulement 28 % des chefs de l'évaluation approuvent les examens pilotés par des programmes, et bon nombre ne tiennent pas compte des protocoles ou des normes d'évaluation officiels. En fait, seulement 25 % des chefs de l'évaluation approuvent les évaluations pilotées par des programmes et seul un petit nombre de services d'évaluation donnent des conseils sur la conception des programmes ou participent à la rédaction des cadres de mesure du rendement des ministères et des programmes  Voir la note en bas de page ² . L'étude du CEE a souligné une chose étonnante, soit que « … seulement 10 % des services d'évaluation participent à la mise en œuvre et à la surveillance des cadres de responsabilisation de gestion (CRG) des ministères ».

Une autre source de préoccupation relevée par la même étude est que les travaux d'évaluation pilotés par des programmes échappent souvent à la compétence des comités d'évaluation ministériels. Les comités d'évaluation des ministères contactés n'examinent que 15 % des rapports d'évaluation produits par des programmes et que 20 % des plans d'action de la direction associés aux évaluations pilotées par des programmes. De plus, seulement 15 % des comités surveillent le suivi donné à ces plans d'action. 

Bien que les résultats susmentionnés soient fondés sur une enquête menée auprès de 40 ministères et grands organismes du gouvernement fédéral, les constatations sont suffisamment révélatrices pour indiquer qu'il faut faire plus pour garantir l'utilisation des évaluations par les membres de la haute direction et dans l'ensemble des secteurs de programme. Le CEE a entrepris plusieurs initiatives pour promouvoir et renforcer les services d'évaluation, y compris la mise à jour récente de sa Stratégie d'apprentissage.

3. Le respect des normes

Dans son rapport de février 2005, la vérificatrice générale souligne l'importance de respecter les normes d'évaluation dans le cadre des activités menées par les fondations du Canada :

Ce sont les fondations qui établissent elles-mêmes le mandat ayant trait aux évaluations exigées en vertu des ententes de financement. À notre avis, l'application uniforme de normes d'évaluation est nécessaire pour déterminer si les fondations ont atteint les principaux objectifs fixés pour elles par le gouvernement. Les ministères suivent les normes énoncées dans la politique du Conseil du Trésor sur l'évaluation. Les fondations pourraient suivre des normes comparables. Il s'agit là d'un nouvel élément du cadre de reddition de comptes que nous recommandons pour les fondations (voir l'annexe C). 

Le rapport de la vérificatrice générale précise que certaines fondations ont demandé aux fonctionnaires des ministères qui les financent de faire des observations sur des documents d'évaluation tels que l'ébauche du mandat ayant trait à l'évaluation et recommande que, dans les nouvelles ententes de financement ou les ententes modificatrices, les ministères parrains veillent à ce que les évaluations commandées par les fondations respectent les normes d'évaluation reconnues. Le gouvernement a convenu que l'utilisation des normes d'évaluation reconnues était très importante, mais a précisé que rien ne donne à penser que ces normes ne sont pas respectées compte tenu que la vérificatrice générale n'a pas examiné les évaluations ou les documents connexes commandés par les fondations. 

Les normes relatives à l'évaluation des politiques au Canada sont bien documentées  Voir la note en bas de page ³ . La première série de normes pour l'évaluation des programmes a été publiée en 1984, suivie par les normes pour l'évaluation du personnel puis de celles pour l'évaluation des étudiants. En 1994, les normes d'évaluation des programmes ont été révisées et font de nouveau l'objet d'un examen actuellement. D'autres sphères de compétence ont utilisé les normes canadiennes. Il est intéressant de noter que l'association africaine d'évaluation a adapté récemment ses normes en suivant le modèle canadien et que des représentants de la Société canadienne d'évaluation ont participé à cette initiative.

Les efforts déployés dernièrement pour renforcer le rôle du CEE dans l'examen des plans et des résultats ainsi que dans la surveillance générale et la prestation de conseils contribueront à faire respecter ces normes et à les mettre en application. Les lacunes se trouvent dans la collectivité de l'évaluation en tant que telle, où il est de plus en plus évident que des mesures s'imposent pour garantir le respect de normes professionnelles minimales par les spécialistes de l'évaluation.

4. Leçons apprises d'autres secteurs

Leçons apprises du renforcement des pratiques de la vérification interne

Parallèlement au CEE, le Secrétariat du Conseil du Trésor a également un Centre d'excellence en vérification interne (CEVI), qui offre tant des produits que des services aux ministères et organismes fédéraux pour soutenir l'activité de Vérification interne. Par l'entremise de son site Web, le Centre fournit des outils et des pratiques exemplaires en vérification interne et en planification axée sur les risques. À bien des égards, les activités et ressources du CEVI sont semblables à celles du CEE. Les missions de vérification interne sont différentes des évaluations des programmes tant sur le plan du but visé que de la méthode utilisée. De façon très générale, les deux fonctions ont trait à la responsabilisation. L'une des différences fondamentales réside en l'absence d'un organisme international ou de normes régissant l'évaluation des programmes. Cependant, la fonction de Vérification interne du gouvernement du Canada s'appuie sur des normes approuvées à l'échelle internationale par l'Institut des vérificateurs internes (IVI), qui est l'autorité professionnelle en matière de vérification interne sur la scène internationale. L'IVI fournit des directives systématiques et méthodiques pour la tenue de missions de vérification qui soutiennent une approche pour évaluer et améliorer l'efficacité des processus de gestion des risques, de contrôle et de gouvernance  Voir la note en bas de page ⁴ . 

Le conseil d'administration de l'IVI a approuvé en juin 1999 une série de normes professionnelles et un code d'éthique. La Politique sur la vérification interne du gouvernement fédéral comporte des renvois à ces documents. Les vérificateurs doivent utiliser les normes de l'IVI lorsqu'ils effectuent des vérifications au sein du gouvernement fédéral dans la mesure où ces normes ne vont pas à l'encontre de la politique fédérale sur la vérification interne ou d'autres politiques ou lignes directrices du SCT. L'absence de normes reconnues et d'un organisme de réglementation à l'échelle internationale pour l'évaluation constitue l'une des différences fondamentales entre les fonctions d'évaluation et de vérification. La crédibilité de la Vérification interne est supérieure parce qu'elle dispose de ces deux points de référence.

Cette crédibilité tient en partie à la communité de l'approche utilisée pour les vérifications et la capacité de cette collectivité de convenir de méthodes normalisées pour les missions de vérification. De bien des façons, l'évaluation se prête moins à la normalisation en raison des nombreuses variantes possibles tant pour le but visé que pour la méthode utilisée. 

Le « Guide de vérification » du Conseil du Trésor présente les divers domaines de pratiques et de politiques où la Vérification interne et l'évaluation ont des points en commun, du moins pour ce qui de la structure de gouvernance. Il faut des comités ministériels pour les deux fonctions bien que bon nombre de ministères aient tendance à confier la surveillance à des comités d'examen conjoints de « vérification et d'évaluation » formés de membres de la haute direction. Dans la plupart des cas, cette façon de procéder a été adoptée pour des raisons de simplicité administrative. A priori, il n'existe pas de facteurs déterminants, autre que la base commune de responsabilisation, pour justifier le regroupement des deux fonctions.

L'un des aspects sur lequel les méthodes divergent et qui pourrait permettre à l'évaluation de tirer profit des leçons apprises de l'expérience de la Vérification interne se rapporte à l'assurance et à l'amélioration continue de la qualité  Voir la note en bas de page ⁵ .

La fonction de vérification du gouvernement fédéral se sert de cinq normes d'assurance de la qualité de l'IVI. La Norme 1300 de l'IVI (Programme d'assurance et d'amélioration de la qualité) précise que le responsable de la vérification interne doit élaborer et tenir à jour un programme d'assurance et d'amélioration de la qualité portant sur tous les aspects de la vérification interne et permettant un contrôle continu de son efficacité. Tous les aspects du programme doivent être conçus pour aider la vérification interne à apporter une valeur ajoutée aux opérations de l'organisation et à les améliorer, et pour garantir qu'il est mené en conformité avec les Normes et le Code d'éthique. Mis à part le recours aux normes internationales, la plupart des aspects de cette méthode sont conformes au mandat actuel du CEE en ce qui concerne l'évaluation des programmes..

Les Normes 1310, 1311 et 1312 de l'IVI se rapportent à un processus permettant de surveiller le programme qualité, y compris les contrôles continus du fonctionnement et l'autoévaluation. La Norme 1311 traite des évaluations internes et la Norme 1312 des évaluations externes.  

La Norme 2340 de l'IVI traite de la supervision de la mission. Elle vise à garantir que les objectifs sont atteints, la qualité assurée et le développement professionnel du personnel effectué.

Le guide précise que le premier et plus important niveau d'assurance de la qualité est la conscience professionnelle dont le vérificateur interne fait preuve et la supervision du travail accompli par le vérificateur interne pendant toutes les phases de la mission qui est effectuée par les membres plus chevronnés du groupe de la Vérification interne. La supervision doit viser les phases de planification, d'exécution et de production de rapports. Le deuxième niveau d'assurance de la qualité réalisé par bon nombre de groupes de vérification est un examen interne indépendant servant à évaluer la qualité et la pertinence du travail accompli conformément aux politiques et normes du SCT, de l'IVI et du ministère ou de l'organisme. Dans le cadre de cet examen, un spécialiste n'ayant pas mené la vérification procédera à une étude approfondie des documents de travail et des rapports de vérification. Le troisième niveau d'assurance de la qualité comprend un examen exhaustif de l'efficacité et de la conformité aux normes pertinentes tous les cinq ans. Habituellement, cet examen est mené de concert avec l'IVI, mais peut aussi être effectué à l'interne s'il est validé par un organisme de l'extérieur.

Une autre nouveauté au sein de la collectivité de la Vérification interne vaut la peine d'être examinée. L'IVI a établi un titre spécialisé pour les vérificateurs de la fonction publique, connu sous le nom de Certified Government Auditing Professional (CGAP). Il s'agit d'un titre spécialisé de l'IVI conçu par les spécialistes de la Vérification interne du secteur public et qui s'adresse à eux. L'examen vérifie les connaissances du candidat concernant les caractéristiques uniques de la vérification interne au sein de la fonction publique, y compris la comptabilité par fonds, les subventions, la surveillance législative et les droits à la confidentialité, et ses connaissances dans d'autres domaines. La vaste portée du programme met en évidence le rôle que joue le vérificateur interne pour renforcer la reddition de comptes au public et pour améliorer les services gouvernementaux  Voir la note en bas de page ⁶ . 

L'IVI offre aussi une attestation de vérificateur interne certifié (VIC). À l'heure actuelle, il s'agit de la seule attestation acceptée à l'échelle mondiale pour les vérificateurs internes et la norme dont se servent toujours les vérificateurs pour démontrer leurs compétences et leur professionnalisme dans le domaine de la Vérification interne.

Les représentants du Bureau du contrôleur général (BCG) prennent actuellement des mesures en vue d'exiger des chefs de la Vérification (et de l'Évaluation) travaillant dans les ministères fédéraux qu'ils obtiennent cette attestation dans les deux années suivant leur nomination.

Les renseignements suivants proviennent de l'aperçu des sujets d'examen du CGAP,
Domaine III РComp̩tences et techniques de v̩rification dans le secteur public (20-25 %)

1. Concepts et techniques de gestion (C)
2. Mesure du rendement (M)
3. Évaluation des programmes (C)
4. Méthodes quantitatives (par exemple les méthodes statistiques et l'examen analytique) (M)
5. Méthodes qualitatives (comme des questionnaires, des entrevues et des organigrammes) (M)
6. Méthodes pour l'identification de manquements à l'intégrité et la tenue d'enquêtes sur ceux-ci (M)
7. Techniques de recherche et de collecte de données (M)
8. Compétences analytiques (M)

(M) Indique que les candidats doivent démontrer leur maîtrise du sujet (compréhension approfondie; capacité de mettre les concepts en application)
(C) Indique que les candidats doivent démontrer leur connaissance du sujet (connaissance de la terminologie et des éléments fondamentaux)

Les éléments B, C, D, E, G et H ont une incidence directe sur l'évaluation des programmes. L'une des options consisterait à encourager les membres de la collectivité de l'évaluation à obtenir cette attestation. Toutefois, l'obligation de posséder de l'expérience en vérification et l'accent mis sur la pratique de la vérification laissent à penser que cette option est très peu viable.  

Il ressort clairement que les membres de la collectivité de l'évaluation doivent prêter attention à de tels changements dans le domaine de la vérification et que le moment est venu de trouver un moyen de garantir que les évaluateurs sont assujettis d'une façon ou d'une autre à des normes professionnelles minimales. Certains observateurs craignent que l'inaction donne lieu éventuellement à l'affectation de vérificateurs certifiés à la supervision des études d'évaluation. L'un des principaux défis dans le domaine de l'évaluation est l'absence de critères reconnus ou d'un organisme de réglementation à l'échelle internationale pour soutenir la mise en application.

L'Évaluation a souvent été considérée comme la « sœur de la vérification », en particulier dans les régions. Il est arrivé bien trop souvent que des évaluateurs soient accueillis dans un bureau régional pour entamer une enquête ainsi : « alors, vous êtes les vérificateurs ». Les changements apportés récemment au sein de la collectivité de la Vérification interne révèlent tant un défi qu'une occasion pour la collectivité de l'évaluation de chercher un moyen efficace et ayant force exécutoire de garantir des normes semblables, des mesures d'assurance de la qualité et des qualifications professionnelles dans les services d'évaluation. Ainsi, il sera possible d'établir une identité pour les évaluateurs de programme du gouvernement fédéral et de soutenir les améliorations à la qualité globale des activités d'évaluation dans l'administration fédérale.

Leçons tirées d'autres sphères de compétence

Les rapports présentés pendant des conférences internationales portant sur l'amélioration de la responsabilisation du secteur public comportent des thèmes qui, dans certains domaines, renforcent les mesures prises au Canada et qui, dans d'autres cas, proposent des options à examiner. En général, le Canada semble disposer d'un système d'évaluation des politiques d'aussi haut de gamme que celui des autres grands pays. En particulier, il existe des similitudes remarquables entre les efforts déployés par l'Australie et le Canada pour améliorer la responsabilisation des programmes de la fonction publique au moyen du renforcement de la fonction d'évaluation.

Le vérificateur général de l'Australie a présenté un rapport sur les progrès réalisés au chapitre de la gestion axée sur les résultats dans ce pays et a fait état de l'accent mis de plus en plus sur l'évaluation pour renforcer la responsabilisation. La méthode australienne se compare aux mesures récentes prises pour renforcer la fonction de l'évaluation au Canada, comme les exigences relatives à la préparation de plans sur trois ans, l'ajout obligatoire de dispositions sur l'évaluation dans les présentations soumises au Cabinet et la publication de la version finale des rapports d'évaluation.

Les initiatives de réforme budgétaire de l'Australie pendant les années 1980 et 1990 ont donné le coup d'envoi à l'évolution d'un cadre intégré de budgets présentés selon la méthode de la comptabilité d'exercice, de comptabilité et de production de rapports chapeauté par un cadre de « résultats et d'extrants ». Ce système est en place depuis le budget de 1999-2000. Des mesures du rendement ont été élaborées pour le cadre de résultats et d'extrants et pour la production de rapports sur quatre domaines de résultats clés remis au Australian National Audit Office. Cette façon de procéder correspond en partie aux changements apportés récemment au système fédéral canadien aux termes duquel le Cadre de responsabilisation de gestion exige des ministères qu'ils mesurent et améliorent leur rendement organisationnel dans dix domaines clés  Voir la note en bas de page ⁷ . De même, l'accent accru sur la gestion budgétaire n'est pas sans rappeler l'établissement du Comité d'examen des dépenses du Canada, créé en 2003 pour surveiller de près toutes les dépenses fédérales en vue de garantir la responsabilisation et de s'assurer que les recettes fiscales sont dépensées dans le but d'atteindre des résultats.

Le gouvernement du Royaume-Uni a adopté des politiques en 1999 et 2000 pour garantir l'élaboration de politiques fondée sur des données probantes. À cette fin, il faut que les meilleures données probantes recueillies dans le cadre d'activités statistiques, de recherche, d'évaluation et de consultations systématiques servent à élaborer les politiques. De concert avec la stratégie du R.-U. sur les dépenses publiques et la fiscalité, cette méthode est déterminante pour la tenue d'évaluations des politiques de qualité supérieure. Le R.-U. a montré la voie en utilisant des approches méthodologiques de pointe pour l'évaluation des politiques. Outre les outils traditionnels utilisés pour mener des évaluations d'incidence portant sur les résultats (désignées au Canada d'« évaluation sommative »), les concepts de recherche comprennent maintenant : les essais contrôlés randomisés; les plans expérimentaux de discontinuité de la régression; les modèles à un seul groupe pour les pré-tests et les post-tests; les séries chronologiques interrompues; et les évaluations d'impact de la réglementation. Parmi ces méthodes, seul le dernier concept a été utilisé couramment dans le contexte canadien. Bien que ces concepts expérimentaux ne soient pas nouveaux, il y aurait peut-être lieu de les examiner aux fins de l'évaluation des politiques gouvernementales au Canada  Voir la note en bas de page ⁸ .

La méthode utilisée par le R.-U. pour mettre en œuvre l'évaluation (désignée jusqu'à tout récemment au Canada d'« évaluation formative ») a reposé sur des méthodes d'évaluation qualitative pour déterminer les moyens les plus efficaces de mettre en œuvre la politique. Ces méthodes prévoient l'utilisation d'entrevues approfondies et d'études de cas – des outils employés couramment dans le contexte canadien. En fait, le bureau du Conseil des ministres du R.-U. a publié un cadre pour l'utilisation de recherches et d'évaluations qualitatives en tant que mesure de l'assurance de la qualité.

L'affectation des ressources au R.-U. est maintenant liée au rendement. On établit des objectifs de rendement pour les « programmes de prestation des services » qui sont évalués régulièrement à l'aide des méthodes susmentionnées. Les programmes qui atteignent ou dépassent leurs objectifs obtiennent en guise de récompense des ressources financières supplémentaires dans les prochains budgets. Les représentants du R.-U. ont souligné qu'il fallait éviter de fixer des objectifs comme une fin en soi. De même, on a précisé que cette méthode ne permet pas de relever les résultats imprévus et peut entraîner un « déplacement » d'objectifs ou de politiques. On considère que l'établissement d'objectifs est utile dans la mesure où l'on tient dûment compte des besoins, des valeurs et des demandes des utilisateurs des services publics. Cela fait écho à certaines des philosophies qui sous-tendent Des résultats pour les Canadiens et les Canadiennes. 

La France a également procédé à une réforme de l'évaluation des politiques gouvernementales. En réponse à des critiques sur le système interministériel d'évaluation (connu pour ses longs délais, le choix arbitraire des sujets et la piètre utilisation des résultats), le Conseil National de l'Évaluation, créé en 1998, s'est vu confier le mandat de collaborer avec le Commissariat Général du Plan à l'évaluation des politiques publiques. Le Conseil propose un plan d'évaluation annuel au premier ministre et prodigue des conseils sur la méthodologie à suivre pour les évaluations menées par les autorités locales ou d'État et leurs institutions publiques. Comme ce fut le cas dans d'autres sphères de compétence, l'évaluation a joué en France un rôle plus important dans les processus de planification budgétaire et stratégique. Selon les propos des représentants français, la capacité d'évaluation est diffusée, ce qui témoigne de l'intérêt accru de bon nombre de secteurs pour cette activité.

IAux États-Unis, l'intérêt croissant pour la mesure du rendement, suscité par l'adoption de la and Results Act de 1983, a donné lieu à l'élaboration de l'outil de cotation des évaluations des programmes (OCEP) (Program Assessment Rating Tool (PART)), qui représente une méthode systématique d'évaluer le rendement dans l'ensemble du gouvernement fédéral américain. Aux termes de la loi de 1983, les organismes fédéraux doivent procéder à une planification stratégique accompagnée d'objectifs et de mesures du rendement. Il est ressorti que cette loi ne pouvait pas à elle seule fournir aux décideurs les instruments dont ils avaient besoin pour établir les priorités en matière de dépenses fédérales ou pour recommander des réformes de gestion et législatives. L'OCEP repose sur diverses sources pour déterminer si les programmes ont atteint les résultats voulus. L'évaluation fait justement partie de ces sources. Les évaluations fondées sur l'OCEP sont menées sous l'œil des représentants de l'Office of Management and Budget (OMB), qui relève du bureau exécutif du Président.

L'OCEP comprend quatre sections principales qui permettent de répondre à 25, jusqu'à 30, questions au sujet du programme visé par l'examen. Ces sections sont les suivantes : (I) but et concepts du programme; (II) planification stratégique; (III) gestion du programme; (IV) résultats et responsabilisation du programme. Sept variantes de cet instrument ont été élaborées pour les secteurs de programme fédéraux suivants : programmes fédéraux directs; subvention concurrentielle; subvention globale calculée d'après une formule; programmes fondés sur la réglementation; immobilisations et acquisition de services; crédit; recherche et développement. 

L'utilisation de cet outil pour évaluer environ 400 programmes, représentant près de 40 % des budgets de 2004 et 2005, a révélé que 40 % des programmes étaient jugés efficaces ou modérément efficaces. De plus, on a déterminé que 40 % des programmes n'avaient pas atteint les résultats attendus. Enfin, 25 % des programmes ont été jugés adéquats ou inefficaces (il convient de noter que ces pourcentages dépassent 100 % parce que les chiffres ont été arrondis). Le concept de « programme » peut représenter le programme complet d'un ministère ou des centaines de postes distincts dans le Budget, et cela change d'un organisme à l'autre.

Bien que l'OMB soit le « signataire final » des examens du rendement, il se fie beaucoup sur les évaluations et les examens effectués par les ministères fédéraux. En fait, pour l'une des questions de l'OCEP, le répondant doit indiquer si des évaluations indépendantes ont été réalisées. Les représentants chargés de l'OCEP ont déclaré que l'élaboration de mesures du rendement accessibles et traitables demeure le principal défi. Il existe des ressemblances entre les fondements philosophiques de l'OCEP et les liens établis par le R.-U. entre le rendement des programmes et les prochains budgets. Compte tenu de l'évolution de chaque système, il semble que le R.-U. ait franchi plus d'étapes alors que les États-Unis continuent de peaufiner leur méthode.

Ces leçons d'autres sphères de compétence montrent que l'évaluation joue toujours un rôle important dans la mesure des résultats et que des évaluations crédibles peuvent être déterminantes à l'appui des décisions budgétaires.

5. Vers une fonction d'évaluation plus professionnelle au Canada

Trois observations peuvent être formulées à la lumière de l'examen de la situation de l'évaluation au Canada et des expériences récentes au sein de la collectivité de la Vérification interne et d'autres pays. Premièrement, même si l'évaluateur dispose de bon nombre d'outils, il doit posséder les connaissances et la formation requises pour être en mesure de déterminer à quel moment les différents outils sont requis et la façon de les mettre en application. Deuxièmement, l'évaluation en tant que telle au Canada a besoin d'une identité distincte pour assurer sa survie. Pour y parvenir, il faudra que des dispositions administratives soient prises au sein des ministères et organismes et pour la « commercialisation » des services d'évaluation auprès des clients des programmes. Troisièmement, notre système doit être doté d'un mécanisme qui garantit que les spécialistes de l'évaluation possèdent les compétences et les connaissances requises pour mener des évaluations crédibles et utiles à l'appui des processus décisionnels et d'affectation budgétaire.

5.1 Améliorer la rigueur de la fonction : le choix des instruments d'évaluation

Les leçons apprises d'autres sphères de compétence laissent prévoir l'utilisation croissante d'instruments plus évolués et complexes sur le plan technique. L'exemple de l'OCEP aux États-Unis illustre la façon dont les résultats des évaluations s'intègrent au continuum de la mesure du rendement. Le R.-U. fait état de la rigueur méthodologique utilisée dans le cadre des évaluations menées. 

Problèmes découlant des outils d'évaluation actuels

Dans l'ensemble, il importe de mettre en œuvre avec plus de rigueur les méthodes d'évaluation connues. Il est généralement admis qu'il existe déjà de nombreux concepts d'évaluation et de méthodes connexes  Voir la note en bas de page ⁹ .

Toutefois, l'ensemble actuel de normes d'évaluation au sein du gouvernement du Canada fait valoir l'uniformisation. Voici les caractéristiques des évaluations en général : 

• La non-utilisation de méthodes quantitatives (se reporter à ERIC)
• Le recours excessif aux entrevues avec les intervenants, l'absence de groupes ou de données de référence (se reporter à l'examen de la qualité)
• N'abordent pas les questions délicates; comptent peu de recommandations sur la gestion des dépenses (se reporter à ERIC, examen de la qualité)
• Les gestionnaires de programme préfèrent les évaluations formatives parce qu'elles mettent l'accent sur les améliorations aux programmes et ne se penchent pas sur les questions de fonds, comme « quelle incidence ce programme a-t-il eu? » Ces évaluations ne permettent pas la tenue d'une discussion fondamentale sur la raison d'être du programme. 
• On confond souvent les évaluations formatives et sommatives. Les évaluations formatives sont remises aux cadres supérieurs et au SCT pour la prise de décisions alors qu'il faudrait plutôt leur soumettre une évaluation sommative. Il faut mieux distinguer ces deux types d'évaluation et préciser à quel moment chacune doit être utilisée. 
• Les évaluations portant sur la mise en œuvre des programmes ont leur place. Elles devraient cependant être utilisées judicieusement étant donné que les évaluations sommatives conviennent davantage. À l'heure actuelle, certains CGRR précisent que le programme fera l'objet d'une évaluation formative et sommative, mais cela entraîne une charge de travail beaucoup trop lourde pour les responsables et les intervenants du programme ainsi que pour les fonctions ministérielles d'évaluation.

L'uniformisation se traduit par des évaluations souvent trop rigoureuses pour répondre à des besoins précis. Cela touche deux aspects. Premièrement, le SCT se sert des mêmes normes et critères pour toutes les évaluations. Par conséquent, les services d'évaluation mènent souvent des examens sans suivre de normes ou de protocoles. Deuxièmement, les services d'évaluation n'arrivent pas à effectuer toutes les évaluations demandées, qui, compte tenu de la rigueur requise, exigent beaucoup de ressources. Il faut élaborer des outils plus ciblés et les normes connexes afin que les gestionnaires de l'évaluation puissent mettre en rapport les outils avec le besoin. L'établissement d'une série de normes permettra en outre d'accroître la qualité des évaluations et de mieux tenir compte des ressources disponibles. Le tableau de la page suivante présente certaines options à envisager.

Les évaluateurs doivent disposer d'une meilleure gamme de concepts et de méthodes d'évaluation :

Il importe de reconnaître en tout temps la différence entre l'évaluation des politiques publiques et celle des applications en éducation et en santé. Certains de ces outils ou concepts expérimentaux ont été utilisés largement dans ces deux derniers domaines, mais comportent plus de restrictions lorsqu'ils sont utilisés pour les politiques publiques. On s'entend généralement pour dire que l'instrument de choix dépendra des objectifs fixés. Dans le contexte fédéral de l'évaluation, à moins que le thème principal soit les S et C, la plupart des évaluations portent sur les pratiques de gestion. Par conséquent, il est plus difficile pour les programmes de réglementation d'identifier des clients donnés et encore plus difficile de déterminer l'incidence. Les options relatives aux concepts expérimentaux sont donc limitées. 

L'une des lacunes relevées dans les études du CEE et confirmées par d'autres spécialistes consultés tout au long de cette recherche était la confiance excessive perçue envers les opinions des répondants. Certains évaluateurs ont eu tendance à fonder leur propre jugement sur les opinions d'un grand groupe de spécialistes interviewés pendant une étude d'évaluation. Les gestionnaires de l'évaluation ont insisté sur l'importance pour les évaluateurs d'interpréter, et de ne pas simplement résumer, l'information et les opinions recueillies au cours d'une étude. Un certain nombre de services d'évaluation du gouvernement fédéral ont emprunté les méthodes de la collectivité de la Vérification interne pour valider les constatations des évaluations.

Par ailleurs, les évaluateurs doivent faire preuve de prudence au moment de choisir des méthodes complexes dans des situations où elles ne conviendraient pas. Dans certaines situations, il sera utile de recourir à des méthodes plus rigoureuses pour mener les évaluations. Toutefois, le défi à relever en concevant une bonne évaluation consiste à sélectionner les méthodes qui produiront les renseignements les plus utiles pour les membres de la direction. De la même façon que la technologie ne peut pas nécessairement à elle seule régler un problème, l'évaluateur professionnel doit aussi comprendre les choix à sa disposition et être en mesure de choisir les méthodes d'enquête qui seront les plus pertinentes pour les données et le contexte du programme ou de l'enjeu évalué.

Options :

1. Présenter une série d'outils d'évaluation
2. Recourir davantage aux méthodes utilisées actuellement
3. Élaborer un programme de formation à un niveau supérieur (niveau de la maîtrise) sur les méthodes d'évaluation
4. Nécessité d'envisager l'élaboration de protocoles pour chaque type de méthode afin de garantir l'examen et l'amélioration des différents enjeux, comme l'impartialité et l'indépendance, l'objectivité et l'assurance de la qualité.

5.2 Améliorer l'identité de l'évaluation

Vers l'établissement d'une identité : Intégrer l'évaluation à la culture organisationnelle

Pour garantir que les membres de la haute direction comprennent l'évaluation et fassent appel à ses services, les évaluateurs et les services d'évaluation ont besoin d'une identité – c'est-à-dire quelque chose qui les distingue des autres domaines d'analyse et qui les rend uniques au sein du tissu organisationnel.

Un facteur d'identification ressort de la réponse à une critique traditionnelle. Divers observateurs ont souligné la confiance excessive qu'accordent les évaluateurs aux constatations des entrevues pour tirer leurs conclusions. Les entrevues représentent une source de données importante qui amène l'évaluateur à se faire une idée. Cependant, il est essentiel de fouiller cette idée afin de découvrir la réalité qui se cache derrière elle. Les recommandations de l'évaluateur, fondées sur une pensée critique, peuvent traiter de la façon de combler l'écart entre l'idée et la réalité. Cette pensée critique constitue un facteur distinctif de la Vérification interne et d'autres formes d'enquête. Il s'agit de l'un des aspects qui rend l'évaluation différente. Dans ce sens, elle devient une composante de l'identité des évaluateurs de programme.

Au cours des dernières années, la responsabilisation du secteur public a surtout porté sur l'atteinte de résultats, en particulier pour les programmes de paiements de transfert. Les responsables des programmes communiquent souvent avec les chefs de l'évaluation lorsqu'ils veulent obtenir de l'information au sujet de l'Architecture d'activités de programme, les « résultats » et les « indicateurs ». En les aidant à comprendre ces concepts, le chef de l'évaluation commence à établir une relation de travail avec eux. L'objectif est d'amener les membres du personnel des programmes à adopter une nouvelle attitude au sujet de la responsabilisation et de la transparence et à comprendre leur vulnérabilité – c'est-à-dire qu'ils doivent être capables de répondre à différents types de questions aux différents niveaux de l'organisation. Il faut leur montrer la façon dont l'évaluation peut les aider à comprendre leurs activités et à s'adapter. 

Il reste toujours à la fonction d'évaluation de prouver sa valeur ajoutée aux membres de la haute direction. On apprécie en général la fonction, mais l'on ne comprend pas nécessairement ce qu'elle peut faire. Bon nombre de ministères continuent de se fier à un plan intégré de vérification et d'évaluation. Si les produits et la valeur ajoutée tant de la vérification que de l'évaluation pouvaient être précisés, les chefs de l'évaluation seront mieux placés pour démontrer la façon dont l'évaluation peut être utilisée. Si nous rendons l'évaluation plus pratique, elle deviendra un outil que les gestionnaires de programme voudront utiliser. Ainsi, il sera plus facile d'intégrer l'évaluation à la mentalité ministérielle.

Les gestionnaires de programme demandent souvent la tenue d'une évaluation pour prouver à leurs supérieurs qu'ils ont bien accompli leur travail. C'est la raison pour laquelle la crédibilité des évaluateurs est si importante. Puisqu'ils rencontrent des gestionnaires qui peuvent se trouver à deux niveaux au-dessus d'eux dans la hiérarchie, ils doivent donc avoir recours à l'ensemble de leurs compétences intellectuelles pendant ces rencontres. En démontrant la qualité du travail réalisé, l'image de l'évaluation est rehaussée. Les évaluateurs doivent être capables de convaincre les représentants de tous les niveaux de l'organisation des liens thématiques qui existent entre les activités d'évaluation et la vue d'ensemble des politiques. Cela fait ressortir l'importance de fournir des occasions de formation et de perfectionnement aux évaluateurs.

Quelle est la valeur ajoutée de l'Évaluation?

Le Secrétariat du Conseil du Trésor (2004) a précisé quatre contributions que peut apporter une fonction d'évaluation forte dans le contexte canadien : 

1. D'importantes pratiques de gestion du gouvernement telles que la gérance, le Cadre de responsabilisation de gestion (CRG) et, plus récemment, l'examen des dépenses permanent ont besoin d'une fonction d'évaluation rigoureuse.
    
2. Les résultats de l'évaluation fournissent une preuve factuelle qui peut aider les comités exécutifs et les organismes centraux à établir les priorités et à réaffecter les ressources. 
    
3. Utilisées de façon stratégique, de bonnes évaluations peuvent offrir l'information et les renseignements détaillés nécessaires pour aider à l'amélioration des pratiques de gestion et à l'atteinte des résultats;
    
4. Il n'existe aucune autre discipline au gouvernement qui fournit, en un seul endroit, une capacité d'analyse et de conseil tant pour ce qui est des résultats que de la responsabilisation  Voir la note en bas de page ¹¹ . 

L'évaluation se distingue de la Vérification interne par l'accent qu'elle met sur la surveillance du rendement réel à l'appui d'évaluations objectives des résultats atteints. La Vérification interne, par contre, soutient la prise des décisions en fournissant une assurance sur la stratégie de gestion des risques et le cadre de contrôle de gestion d'un organisme. Les deux fonctions visent à surveiller et à améliorer la gestion et la prestation des services et occupent une place importante sur le continuum de la responsabilisation.

Si la Vérification interne fournit l'assurance que les contrôles de gestion sont en place, l'évaluation quant à elle peut s'adapter davantage à l'appui des processus budgétaires comme cela fut le cas dernièrement au Royaume-Uni, en Australie et aux États-Unis.

Dans ce contexte, l'évaluation au sein du gouvernement canadien constitue un outil utile dans le processus d'examen des dépenses mis en place en décembre 2003. Le Comité d'examen des dépenses (CED) surveille toutes les dépenses fédérales. Le mandat du CED est de s'assurer que les dépenses du gouvernement sont contrôlées, qu'elles sont effectuées de façon responsable, qu'elles correspondent aux priorités des contribuables et que l'argent de ces derniers est investi judicieusement afin d'obtenir des résultats. Le CED examine les dépenses fédérales s'élevant à environ 150 MM$ selon les sept critères suivants :

• L'intérêt public est-il servi?
• Le gouvernement devrait-il jouer un rôle dans ce secteur de programme?
• Est-ce que le programme devrait demeurer dans la sphère fédérale?
• Les activités pourraient-elles être confiées, en totalité ou en partie, au secteur privé ou au secteur? 
• Sur le plan de l'optimisation des ressources, les Canadiens en ont-ils pour leur argent?
• Est-il possible d'accroître l'efficacité des modes de prestation?
• Ces programmes ou activités sont-ils abordables et quels sont ceux pouvant être supprimés?

Quelle contribution l'évaluation peut-elle apporter à l'examen des dépenses?

L'évaluation de l'optimisation des ressources est la principale méthode d'examen des dépenses, mais elle n'a pas toujours servi à déterminer de façon absolue si le programme garantit ou non l'optimisation des ressources. L'accent a surtout été mis sur la façon dont un programme donné apporte de la valeur par rapport aux autres programmes. Si l'on pouvait attribuer une cote à tous les programmes, il serait possible de les comparer en fonction des sommes d'argent disponibles. Dans le cadre d'un examen des dépenses, l'économie n'est pas le seul facteur examiné et, par conséquent, l'optimisation des ressources ne peut pas constituer le seul critère. L'ensemble des politiques et la politique sociale peuvent dicter que l'argent soit dépensé à une fin précise, même si une évaluation de l'optimisation des ressources s'avérait négative. Sur le plan de l'examen des dépenses, l'optimisation des ressources ne suit pas simplement une méthode comptable.

Dans ce sens, l'évaluation peut être utile. De l'avis des cadres supérieurs, l'examen des dépenses doit permettre de répondre à quatre grandes questions :

1. Comment ces dépenses sont-elles liées aux priorités du gouvernement?
2. Existe-t-il un moyen de réduire les coûts de prestation?
3. Quels sont les frais généraux du programme?
4. Est-ce que des liens horizontaux peuvent être établis?

L'évaluation peut aider à formuler un jugement sur ces quatre questions pour une panoplie de programmes. Cette méthode dépasse largement la portée des plans actuels d'évaluation ministériels, mais couvre un champ d'enquête plus restreint. Si les données probantes laissent entrevoir la nécessité d'une étude approfondie, les représentants du CED approuveraient la tenue d'examens plus exhaustifs. Cependant, dans bien des cas, la brève liste de questions peut suffire à déterminer si le rendement des programmes est bon ou non sans qu'une enquête prolongée soit requise et à prendre des décisions sur le maintien ou la cessation des dépenses dans certains domaines. Cela ne signifie pas que les évaluations d'envergure seront éliminées, mais l'on pourrait plutôt axer les efforts sur un moins grand nombre de programmes lorsque ce niveau de détail est jugé adéquat. 

Dans le monde de l'examen des dépenses, les évaluateurs devraient être des spécialistes des politiques et comprendre le programme étudié. Cela n'est pas vraiment différent des exigences actuelles relatives à l'évaluation des politiques. 

5.3 Options pour améliorer la crédibilité des spécialistes de l'évaluation 

Les évaluateurs travaillant dans la fonction publique détiennent bien souvent un diplôme de maîtrise, mais peu d'entre eux ont suivi une formation officielle sur les méthodes d'évaluation en tant que telles pendant leurs études universitaires. Aux États-Unis, la majorité des cours de formation universitaire conçus pour l'évaluation font partie des domaines de la psychologie industrielle et de l'éducation. Il est probable que la majorité des spécialistes au Canada ont été formés en cours d'emploi, tant au sein du gouvernement que de la collectivité des consultants. Cela peut suffire à garantir que les évaluateurs disposent des compétences requises pour remplir leurs fonctions, mais cela ne permet aucune uniformisation pour évaluer le niveau de leurs capacités. Le plus souvent, les évaluateurs sont identifiés d'après leur expérience.

Le débat sur les normes et compétences essentielles dure depuis des années sans que des solutions aient été trouvées. Il y a environ quatre ans la SCE a demandé la tenue d'une étude pour déterminer les éléments des connaissances de base qu'un évaluateur devrait posséder. Le concept à l'origine de cette demande était que seules les personnes répondant à certaines normes devraient être autorisées à diriger une étude d'évaluation. L'équipe pouvait comprendre d'autres spécialistes ayant différentes compétences en recherche, mais le chef de l'équipe devait être un « spécialiste de l'évaluation ». Ce titre de professionnel garantirait aux clients éventuels que la personne dirigeant l'évaluation respecte certaines normes.

Le Secrétariat du Conseil du Trésor a publié des normes sur la tenue des évaluations au Canada. Ces normes portent sur les domaines suivants : planification et enjeux de l'évaluation; compétence; objectivité et intégrité; consultations et conseils; mesures et analyse; rapports. Des directives détaillées sont fournies pour chaque domaine  Voir la note en bas de page ¹² . De même, l'AEA a révisé et approuvé (en juillet 2004) ses principes directeurs à l'intention des évaluateurs. Sommairement, ces principes traitent de l'enquête systématique; de la compétence; de l'intégrité et de l'honnêteté; du respect des gens; et des responsabilités relatives au bien-être général et du public  Voir la note en bas de page ¹³ . Il ressort de ces séries générales de normes et principes que les évaluateurs doivent posséder certaines compétences techniques, connaître les méthodes de recherche; être de bons écoutants et communicateurs; faire preuve d'honnêteté et d'intégrité envers les autres et le processus d'évaluation et garantir que leur travail tient dûment compte à la fois des besoins des clients et de l'intérêt public.

Cela laisse entendre que l'« évaluation » n'est pas strictement une profession. Pour l'exercer, il faut posséder des compétences professionnelles et faire preuve d'éthique, mais cela ne suffit pas. Les évaluateurs doivent adopter une certaine attitude et être en mesure de recourir aux différentes compétences et techniques qu'ils jugent appropriées à la tâche. Dans le contexte des politiques publiques, l'évaluation va au-delà de la recherche et de l'analyse; elle fait appel à la fois à la recherche, à l'interprétation et à la pensée critique. 

Autres méthodes pour garantir les niveaux de compétence professionnelle

Même si les membres des différentes collectivités au sein du gouvernement, du milieu universitaire et de la consultation s'entendent en général sur les normes visant les évaluateurs et l'évaluation, bien des questions au sujet de la vérification et de la mise en application de ces normes demeurent sans réponse. Les diverses options sont au cœur des débats depuis plus d'une décennie, mais les participants à ce débat ne sont toujours pas arrivés à s'entendre. Les principales options sont l'octroi de licences, l'accréditation, la certification et la délivrance de titres et de certificats.

Accréditation complète et octroi de licences

Ces options sont semblables et revêtent le moins d'intérêt. Elles sont les plus coûteuses tant en raison de l'obligation d'obtenir une licence ou une accréditation que du point de vue de l'établissement et de l'administration du système requis à cette fin. L'octroi de licences exigerait l'adoption de normes nationales reconnues, la tenue de tests normalisés et la mise en place d'un service de délivrance des licences chargé d'évaluer les compétences des évaluateurs, de percevoir des droits et d'octroyer les licences. Compte tenu de la nature diversifiée de l'évaluation et des fonctions des évaluateurs, cette option semble donner lieu à des complexités administratives et nécessiter des négociations permanentes avec les gouvernements provinciaux et les associations professionnelles. Qui plus est, un tel système d'octroi de licences laisse le champ libre aux contestations judiciaires. Il suffirait qu'une seule personne à qui l'on aurait refusé d'octroyer une licence décide de déposer une contestation judiciaire pour que le processus déraille. Puisque le but est de garantir un professionnalisme accru du travail d'évaluation, la mise en œuvre de tels systèmes pourrait selon toute vraisemblance créer des embûches et entraîner des coûts qui l'emporteraient largement sur les avantages attendus.

Points de vue sur la certification

Le gouvernement du Canada a investi des sommes considérables pour la certification des groupes professionnels.

Le tout a débuté en 1998 avec deux collectivités, celles de l'approvisionnement et de la gestion du matériel. L'élément déclencheur dans les deux cas était le manque de confiance. Plus récemment, le Bureau du contrôleur général a entrepris l'élaboration d'un programme de certification pour les vérificateurs internes. Cette fois, la motivation vient davantage d'une volonté d'établir des normes professionnelles minimales.

Le Programme de perfectionnement professionnel et de certification

Le Programme de perfectionnement professionnel et de certification a vu le jour en tant qu'initiative d'envergure de renouvellement des ressources humaines pour soutenir la fonction de contrôleur moderne, la modernisation des ressources humaines et la nouvelle Politique pour l'apprentissage continu dans la fonction publique. Il vise également à faciliter la réalisation du programme de gestion et des engagements du SCT figurant dans Des résultats pour les Canadiens et les Canadiennes : un cadre de gestion pour le gouvernement du Canada et dans le Cadre de responsabilisation de gestion.

Le Programme compte deux composantes : (1) le perfectionnement professionnel et (2) la certification et vise à fournir aux employés de la collectivité des acquisitions, de la gestion du matériel et des biens immobiliers divers outils d'apprentissage devant les aider à acquérir des compétences, des connaissances et une expertise qui leur permettront de répondre à des besoins opérationnels et d'assurer la mise en œuvre de priorités et d'initiatives de gestion gouvernementales complexes et en évolution. Le programme devrait en outre accroître le professionnalisme et la contribution à valeur ajoutée des membres de cette collectivité assurant l'exécution des programmes et la prestation des services destinés aux Canadiens et aux organismes où ils travaillent  Voir la note en bas de page ¹⁴ .

Au moment de concevoir le programme, les responsables savaient parfaitement que si le programme comportait une composante de perfectionnement professionnel, il ne serait pas nécessaire de certifier tous les membres de la collectivité. La population possible s'élève à 6 000, y compris le personnel des biens immobiliers, et peut assumer une vaste gamme de responsabilités et de fonctions dans ce domaine. Les concepteurs se sont penchés sur les éléments communs au sein du processus et ont élaboré un profil de compétences de concert avec la collectivité. Les composantes de cette méthode comprennent l'établissement d'un lien direct entre le profil de compétence et le processus opérationnel afin d'identifier les éléments communs; la création d'un outil en direct pour permettre l'auto-évaluation (afin d'aider les membres du personnel à faire le point sur leur situation et à travailler de concert avec leurs gestionnaires pour élaborer un plan d'apprentissage)  Voir la note en bas de page ¹⁵ .

Après avoir identifié les sujets prioritaires, un programme d'études a été élaboré avec trois nouveaux modules : régime et politique de réglementation (façon dont le gouvernement travaille et les domaines où il doit intervenir); processus opérationnels (qu'est-ce que cela représente de travailler dans ces domaines? – cours de trois jours portant sur chacun de ces domaines); gestion du cycle de vie des biens (comment cela s'intègre-t-il aux processus gouvernementaux – meilleure gestion des risques, planification d'urgence). Le profil de compétences a été transformé en une norme avec l'aide de l'Office des normes générales du Canada, qui devait être publiée au plus tard le 31 mars 2005.

La prochaine étape consiste à élaborer les exigences relatives à un outil de certification et d'évaluation. Ces mesures sont prises avec les représentants du centre de psychologie pour les trois niveaux. Les examens viseront à vérifier les connaissances et un organisme de certification devra être créé et chargé d'examiner les réalisations accomplies, dont l'expérience, de vérifier les références fournies et d'administrer les examens.

On s'attend à ce que le processus de formation pour l'approvisionnement augmente le niveau moyen d'études des intervenants dans ce domaine. Seules les personnes occupant des postes clés devront être certifiées. Un organisme d'examen doit être établi en plus de l'organisme de certification et le SCT a laissé savoir que l'école de la fonction publique est l'option qu'il privilégie. Il faut aussi mettre en place un processus de règlement des différends.

Il reste encore plusieurs questions à régler, comme la désignation du service chargé de tenir la base de données à jour et la durée de validité de la certification. Il faut en outre déterminer qui aurait le pouvoir de révoquer une certification et la façon de traiter les griefs et les contestations judiciaires.

Qu'est-ce que cela sous-entend pour la collectivité de l'évaluation? Le processus dure déjà depuis six ans. Si cette voie est retenue pour l'évaluation, il pourrait être possible de mettre un tel programme en place plus rapidement étant donné que les membres de cette collectivité détiennent des diplômes d'études de niveau supérieur et qu'il y a moins de divergences entre les ensembles de compétences. Parallèlement, les évaluations peuvent en outre varier grandement. La normalisation est beaucoup plus présente dans le domaine de la gestion du cycle de vie des biens.

Le processus de certification des vérificateurs internes devrait être moins complexe. Cette collectivité dispose déjà de normes et d'institutions. L'évaluation, même régie par des normes, est moins bien définie.

Autres approches à la certification

Adhérer à des associations : autoaffectation

Il est possible d'obtenir la désignation de conseiller en gestion agréé (CMC) auprès de l'Association canadienne des conseillers en management (ACCM) sans devoir adhérer à cette association. À l'heure actuelle, le processus de certification de l'ACCM fait l'objet d'un examen. Environ 2 500 personnes (78 % de l'ensemble des membres) utilise cette désignation, qui est reconnue dans plus de 40 pays.

Au Canada, il existe un conseil national de certification ainsi que des instituts provinciaux enregistrés en tant que personnes morales. Les candidats reçoivent leur désignation d'un conseil provincial. Aucune province ne prescrit l'obtention de la désignation pour exercer la profession de conseiller en gestion. Depuis 1998, l'organisme national établit les normes avec l'aide des instituts provinciaux.

La désignation de CMC se divise en trois sections : composantes externes (équivalences en finances, en ressources humaines, en technologie de l'information, en marketing, en planification des opérations et stratégique). La plupart des nouveaux venus dans le programme possèdent une maîtrise en administration des affaires. Ce seul facteur fait en sorte que le concept de CMC correspond plus étroitement à la situation de l'évaluation qu'à celle de l'approvisionnement au gouvernement. La deuxième section (la « composante association ») comprend deux cours qui se terminent par un examen exhaustif (étude de cas approfondie pendant 8 heures). La troisième partie dépend de l'expérience de la personne, mais prévoit au moins trois années de 1 200 heures consacrées chaque année à des activités de conseiller en gestion (y compris à la création d'entreprise).

De plus, le mentorat est exigé. Les candidats doivent être parrainés par au moins de deux personnes qui détiennent la désignation.

Certains membres de l'ACCM déclarent l'« évaluation des programmes » comme un domaine de pratique, mais l'association ne prend aucune mesure pour le réglementer. De plus, la certification des évaluateurs ne l'intéresse pas. Les examens portent sur les compétences générales requises pour exercer la profession de conseiller, mais pas sur les domaines ou les applications. La rétroaction des clients peut servir de mécanisme de contrôle. Il ne serait pas logique qu'une personne se soumette à autant d'exigences pour obtenir sa certification puis tente de vendre des services lorsqu'elle ne possède pas l'expérience requise. Lorsque cela se produit (bien que rarement), les comités de discipline provinciaux se chargent de prendre les mesures qui s'imposent.

L'ACCM a adopté un code de conduite qui figure sur son site Web. Les membres doivent s'engager chaque année à le respecter.

Délivrance de titres et de certificats et compétences normalisées

Un processus de certification peut permettre de vérifier les compétences techniques, mais ne permet pas nécessairement de prouver qu'un candidat possède les compétences intellectuelles requises. Selon les nombreuses critiques formulées au sujet de la certification, il faudrait plutôt mettre l'accent sur une bonne formation. La Série de compétences essentielles de la SCE et les nouveaux programmes du CEE offrent peut-être des solutions à cette fin. Les intervenants s'entendent sur le fait que les évaluateurs de la première génération ne se sont pas tenus au courant de l'évolution de la fonction d'évaluation.

Quoi qu'il en soit, les diverses expériences partagées confirment la conclusion générale tirée de la littérature didactique exhaustive disponible selon laquelle des solutions moins complexes pourraient mieux servir les intérêts de la collectivité de l'évaluation. S'il existe un domaine sur lequel s'entendent les représentants consultés c'est que nous pouvons définir les compétences de base des évaluateurs. La littérature et le débat sur ce domaine portent surtout sur les compétences de base qui devraient sous-tendre les titres de compétences de base qu'un évaluateur devrait détenir pour accomplir son travail.

La question des titres de compétences ou des compétences normalisées est débattue depuis très longtemps. La présente étude a porté sur l'historique du débat et a visé à obtenir l'opinion des principaux promoteurs de solutions de rechange. Suite à une étude de la littérature dans ce domaine, des entrevues ont été menées auprès de chercheurs et de spécialistes tant du Canada que des États-Unis pour leur demander leurs points de vue sur les options. 

Un concept fondamental sous-tend la discussion. Contrairement aux vérificateurs internes, les évaluateurs viennent de différents milieux professionnels qui relèvent en général des sciences sociales et de l'éducation. Ils n'ont pas tous appris les principes de l'évaluation des programmes en tant que tels pendant leurs études et bon nombre d'entre eux ont acquis leurs connaissances de l'évaluation « en cours d'emploi ».

Le General Accounting Office des États-Unis a mis au point un programme exhaustif de formation sur la « délivrance de titres », mais a dû y mettre fin en raison du coût élevé requis pour maintenir le programme  Voir la note en bas de page ¹⁶ . Bon nombre de spécialistes américains sont en faveur de la délivrance de titres pour les évaluateurs du secteur public. Au Canada, nous avons reconnu les principes directeurs et les normes concernant l'évaluation établis par le Conseil du Trésor et la SCE. Les principaux éléments de ceux-ci vont généralement de pair avec ceux publiés aux États-Unis. 

Tel qu'il a été précisé, la question sous-jacente au moment d'établir la portée des titres de compétences consiste principalement à déterminer les caractéristiques d'un « évaluateur ». Ce ne sont pas les cours de méthodologie et d'échantillonnage en tant que tels. L'évaluation exige une vaste gamme de compétences, y compris une compréhension des théories, des modèles, de l'historique, des évaluations des besoins, des analyses de rentabilité, de l'utilisation des plans d'évaluation et bien plus. La plupart des programmes de formation traitent de certaines de ces compétences, mais pas nécessairement de l'ensemble de celles-ci.

Quelles sont les compétences de base d'un évaluateur?

Les fonctionnaires et chercheurs/spécialistes s'entendent en général sur les compétences de base d'un évaluateur. Toutefois, cette « entente » de longue date n'a pas évolué en raison de l'absence d'un mécanisme de mise en application ainsi que, tel qu'il a été précisé, parce qu'il n'existe pas d'organisme de réglementation ou de normes. Au cours des dernières années, des chercheurs américains ont intégré les compétences essentielles pour les évaluateurs en dressant un « tableau de concordance » des compétences essentielles relevées aux États-Unis et au Canada  Voir la note en bas de page ¹⁷ . Stevahn, King et Ghere donnent le motif pour lequel il faut établir les compétences des évaluateurs et élaborent une taxonomie des compétences essentielles. Dans la mesure du possible, les auteurs ont tenté d'établir le lien entre les compétences et les diverses activités qu'accomplissent les évaluateurs pour respecter les normes relatives à de saines évaluations. Dans ce sens, ils ont décrit les compétences en termes comportementaux. Cette nouvelle recherche fait fond sur les travaux réalisés précédemment par ces auteurs en 2001. À l'époque, ils avaient comparé leurs compétences essentielles d'un évaluateur avec les normes et principes acceptés par les principales associations d'évaluateurs en Amérique du Nord et avaient identifié le besoin d'approfondir ces compétences.

Les auteurs conviennent que la taxonomie proposée doit être validée en obtenant l'approbation de la majorité des spécialistes du domaine.

Chacun des six domaines proposés se compose d'une compilation de compétences précises. Ils sont présentés dans un ordre déterminé, soit du plus spécifique au plus général, et chaque domaine s'accompagne d'une liste de compétences précises. Un tableau complet de compétences figure à l'Annexe 2. En résumé, voici les six catégories :

1. Pratique professionnelle – connaître les normes; exercer le métier en respectant le code d'éthique, en menant des évaluations honnêtes et en rédigeant des rapports pertinents; respecter les clients, les répondants et autres intervenants 
    
2. Enqu̻te syst̩matique Рse rapporte davantage aux comp̩tences techniques
    
3. Analyse situationnelle – comprendre le contexte politique, etc.
    
4. Comp̩tences en gestion Рconnątre les rouages de la gestion des projets d'̩valuation
    
5. Réflexion pratique – être en mesure de prendre du recul; comprendre le besoin de s'épanouir; participer à des activités de perfectionnement professionnel
    
6. Compétences interpersonnelles

Le Profil de compétences de la Collectivité des spécialistes de l'évaluation de la fonction publique fédérale du Conseil du Trésor (http://www.tbs-sct.gc.ca/cee/stud_etud/capa-pote05-fra.asp) est tout aussi exhaustif et, d'une certaine façon, tente de décrire davantage les compétences des évaluateurs des niveaux subalterne, intermédiaire et principal.

En général, les intervenants conviennent qu'une mesure permettant de garantir la compétence de base des évaluateurs assurerait un niveau constant de crédibilité des groupes d'évaluation au sein de la fonction publique, en particulier lorsque les groupes de Vérification interne renforcent leur identité et leurs titres de compétences. Parmi la grande majorité des chercheurs (du moins d'après la littérature), l'impression selon laquelle l'octroi de permis ou de certificats « d'évaluateur » pourrait créer autant, voire plus, de problèmes à régler se répand. L'idée d'accréditer des établissements chargés de déterminer les personnes possédant les compétences ou les titres requis semble obtenir davantage l'appui des représentants interrogés.

Programmes universitaires 

Les programmes universitaires peuvent jouer un rôle important afin de garantir que les diplômés en sciences sociales possèdent au minimum les compétences de base déterminées pour un poste d'évaluateur au niveau subalterne au sein de la fonction publique. De même, ces programmes peuvent être offerts à temps partiel aux fonctionnaires ou aux consultants qui veulent garantir que l'ensemble de leurs compétences correspond à la grille établie pour le travail qu'ils doivent accomplir. D'une certaine façon, le milieu universitaire a pris les devants en concevant des programmes de certificat en évaluation. Bien que la collectivité universitaire américaine ait continué de mettre l'accent sur les applications psychopédagogiques, la nature de la formation de base en évaluation est utile dans d'autres milieux de politiques publiques. 

La plupart des universités américaines offrant des diplômes de doctorat et de maîtrise en évaluation établissent des partenariats avec d'autres disciplines (par exemple la psychologie appliquée). Certains de ces établissements offrent en outre une série d'ateliers de perfectionnement professionnel ou des ateliers d'été en évaluation qui aboutissent habituellement à la remise d'un certificat. Un programme à plein temps type vise à former des spécialistes de la recherche appliquée, dont certains deviendront des chercheurs universitaires, des consultants ou des fonctionnaires. Les universités, dont la Claremont Graduate University en Californie, ont formé un grand nombre d'étudiants en évaluation par l'entremise de ces programmes. 

Les programmes de certificat à temps partiel visent à aider les « évaluateurs par accident » qui occupent des postes exigeant des connaissances et des compétences théoriques et pratiques de l'évaluation. Ces personnes, qui n'ont pas d'expérience en évaluation, se retrouvent dans un emploi qui nécessite de posséder des compétences en évaluation. Habituellement, la grande majorité de ces candidats ont obtenu un diplôme d'études aux cycles supérieurs avant de s'inscrire. Certains de ces programmes sont suivis à distance et les étudiants peuvent être invités à participer en personne à des activités estivales. 

Les représentants des universités américaines offrant des programmes de formation en évaluation soutiennent l'idée d'établir un organisme bénévole qui serait chargé d'accréditer les programmes. Les personnes qui terminent avec succès ces programmes seront « férues de titres », mais toutes les activités s'y rapportant seront accomplies volontairement. Cette façon de procéder peut fournir une assurance de la qualité aux clients gouvernementaux sans devoir procéder à un examen gouvernemental. En bout de ligne, le marché éliminera les personnes qui ne répondent pas aux normes.

Les personnes en faveur d'un tel système prévoient deux étapes de développement. Au début, toute personne qui veut être accréditée pour offrir les programmes pourrait soumettre son dossier à l'organisme bénévole d'accréditation. À long terme, le concept d'un conseil national (comme celui des enseignants aux États-Unis) pourrait être mis au point. Cependant, cela pourrait prendre de 15 à 20 ans.

Bien-fondé d'un organisme bénévole d'accréditation

Un certain nombre de programmes de certification à temps partiel ont été mis en place dans le milieu universitaire canadien au cours des dernières années et leur nombre ne cesse d'augmenter.

L'Université d'Ottawa prévoit offrir un programme conjoint de certificat en Éducation et Sciences sociales qui débuterait à l'automne 2005. Le programme d'études à temps partiel d'une durée de deux ans portera sur les méthodes et la pratique ainsi que sur les questions théoriques et d'interprétation; comprendra des stages et des cours facultatifs; et exigera la rédaction d'un document de synthèse de qualité prêt à publier.

D'ici peu, il y aura suffisamment de programmes pour justifier la formation d'un « réseau de certification » au Canada. Les écoles participantes pourraient créer un organisme bénévole de concert avec le gouvernement et la SCE, qui feraient fonction de conseillers. Un accord permettrait de garantir que les candidats sont dûment formés et leurs connaissances mises à l'épreuve dans le cadre des programmes et de s'assurer ainsi que les diplômés satisfont au profil de compétences approuvé par les organismes consultatifs.

Un tel réseau d'établissements universitaires est très prometteur. Les représentants ont pris les devants en concevant et en offrant des cours d'évaluation et le moment est venu d'entamer les discussions pour déléguer la responsabilité de vérifier les compétences à l'échelle universitaire. Il faudra vraisemblablement conclure des accords pour la création d'un comité conjoint CEE-SCE, chargé de jouer un rôle consultatif, qui « approuverait » les tests administrés par les universités afin d'attester que les diplômés possèdent les compétences requises.

Maintien des droits acquis

Bon nombre de problèmes juridiques et administratifs peuvent être retirés du gouvernement si une entente peut être conclue en vue de confier aux établissements universitaires la tâche de vérifier que les individus satisfont à des normes acceptables et qu'ils possèdent les niveaux de compétences précisés pour le poste qu'ils occupent. Parallèlement, la transition à un régime de cette nature créerait un vide étant donné que la majorité des spécialistes actuels n'ont pas suivi une formation officielle. Dans un système à participation volontaire sans organisme de mise en application, il faudrait envisager de faire appel aux personnes œuvrant déjà dans ce domaine. 

Certains spécialistes de l'évaluation en poste actuellement voudront suivre des cours à temps partiel, soit auprès du CEE ou de la SCE ou soit dans le cadre de l'un des nouveaux programmes universitaires. Compte tenu que la participation à un tel système serait vraisemblablement volontaire, il faudrait songer à « maintenir les droits acquis » des évaluateurs actuels qui ont présenté une demande d'obtention de leur titre. Si la SCE décidait d'imposer un frais annuel (de peut-être 200 $ ou 300$) en plus de ses frais d'adhésion habituels, un fonds pourrait être créé pour financer la formation des personnes intéressées à perfectionner leurs compétences en évaluation dans des domaines particuliers. L'avenir d'un système de cette nature dépendra de la force du réseau de formation sous-jacent et de la promotion de l'apprentissage continu.

Il y aura des coûts d'adaptation et des difficultés initiales étant donné que certaines personnes seront jugées comme ayant les compétences requises alors qu'elles ne méritent peut-être pas de détenir cette certification. Un système complet de certification pourrait aussi comprendre des lacunes et entraîner possiblement des erreurs de classification. Toutefois, après une période de transition de huit à dix ans, bon nombre d'évaluateurs auront pris leur retraite. La prochaine génération aura suivi une formation beaucoup plus normalisée et aura tiré profit des nouveaux programmes permettant de former et de vérifier les principales compétences. Le facteur déterminant si l'on adopte cette voie est d'éviter les embûches juridiques et les coûts administratifs associés à un système complet de certification ou d'accréditation. Ces problèmes ne surviendront pas dans un système permettant d'attester les compétences.

Après la période de transition, des conditions plus rigoureuses pourraient être imposées à la prochaine génération. Cependant, il faudra que la participation demeure volontaire. Tel qu'il a été précisé plusieurs fois, le marché constituera le filtre le plus efficace. 

Certains membres de la collectivité de l'évaluation du gouvernement fédéral estiment que la voie des « compétences » est la plus attrayante et que la sélection et la vérification initiales devraient être confiées aux établissements d'enseignement. Cela pourrait stimuler les efforts de recrutement dans la fonction publique. Parallèlement, le fait qu'un candidat possède les compétences de base ne se traduira peut-être pas au départ en rendement professionnel. Pour déterminer le rendement d'un évaluateur subalterne et la façon dont cette personne pense lorsqu'elle doit résoudre un problème, il serait utile de jumeler un évaluateur débutant et un évaluateur chevronné pour soutenir le processus d'apprentissage. Cette méthode est maintenant mise en œuvre à Santé Canada et dans d'autres ministères et procure des avantages bidirectionnels. Les nouveaux diplômés possèdent des compétences quantitatives modernes et insufflent souvent une nouvelle énergie dans le milieu de travail. Les évaluateurs plus expérimentés peuvent ainsi tirer profit de ce nouveau point de vue.

Résumé des options pour améliorer le professionnalisme des évaluateurs

Vers une culture d'apprentissage

Peu importe la solution retenue pour créer des normes régissant la pratique de l'évaluation, la disponibilité et l'assurance d'un apprentissage continu seront déterminantes pour soutenir une réussite permanente. Le SCT a joué un rôle dominant dans la promotion de l'évaluation en tant qu'outil à utiliser. L'accent mis sur la coordination des programmes de formation et la promotion d'une culture d'apprentissage continu peuvent procurer des avantages considérables.

Le Secrétariat du Conseil du Trésor a consigné l'engagement de la fonction publique à favoriser et à appuyer les efforts des employés qui cherchent à améliorer leurs qualifications professionnelles et leurs titres de compétences par un enseignement structuré, en veillant à ce que la mission et les besoins opérationnels de leur organisation soient respectés.

Selon l'engagement 6 figurant dans la politique du Conseil du Trésor pour l'apprentissage continu, « il faut appuyer les efforts des employés pour améliorer leurs qualifications professionnelles ou leurs titres et diplômes. Encourager ainsi les employés à se perfectionner et à améliorer leurs compétences et leurs qualifications professionnelles, ou à obtenir d'autres titres de compétences dans leur domaine, exigera une approche pratique qui pourrait favoriser des partenariats avec des universités ou collèges reconnus dans des domaines d'études spécialisés, ou encore la reconnaissance d'un plus grand nombre de titres de compétences et diplômes comme qualifications professionnelles. Cependant, quelle que soit la démarche adoptée, cet engagement doit appuyer la formation, le perfectionnement et l'apprentissage dans des domaines individuels de spécialisation, tout en tenant compte des obligations de l'organisation à respecter sa mission ».

Le CEE a démontré son engagement envers l'apprentissage continu en évaluation par l'entremise de la Stratégie d'apprentissage et de ses activités de collaboration constantes avec la section de la Capitale nationale de la Société canadienne d'évaluation (SCE-CCN), l'une des 12 sections professionnelles sans but lucratif de la Société canadienne d'évaluation à l'échelle régionale  Voir la note en bas de page ¹⁸ . La Série de compétences essentielles de la SCE est étroitement liée au Programme de perfectionnement des nouveaux évaluateurs du CEE. De plus, le CEE participe activement aux conférences et ateliers de la SCE.

Le CEE n'a pas obtenu l'appui de tous les ministères fédéraux pendant l'élaboration et la mise en œuvre de sa Stratégie d'apprentissage  Voir la note en bas de page ¹⁹ . Cette stratégie, révisée en février 2005, a été élaborée sur plusieurs cycles afin de renforcer la fonction d'évaluation dans l'ensemble du gouvernement du Canada en respectant les principes suivants :

• Mettre l'accent sur les exigences essentielles ou les besoins en capacité de base;
• Respecter la diversité au sein de la collectivité de l'évaluation;
• Faire fonds sur l'expérience acquise et mettre en pratique les leçons apprises;
• Reconnaître les divers besoins d'apprentissage et les préférences de chacun; 
• Mettre en œuvre une méthode durable à long terme.

La Stratégie s'adresse aux spécialistes, aux gestionnaires et aux utilisateurs des évaluations des programmes. Il faudra peut-être mener plus de consultations pour garantir que les chefs de l'Évaluation, qui inscrivent souvent les membres de leur personnel à des programmes officiels de formation, s'engagent à soutenir la formation offerte par le CEE en collaboration avec ses partenaires de la prestation  Voir la note en bas de page ²⁰ . 

Il faudra peut-être consulter davantage les chefs des services d'évaluation afin de les faire participer pleinement à l'élaboration des volets du programme d'études touchant les connaissances de base et les compétences spécialisées. 

Annexe 1

Certaines techniques avancées d'évaluation

Les essais contrôlés randomisés (ou ECR) sont des études qui mesurent l'effet d'une intervention en affectant au hasard, par exemple, des personnes (ou d'autres services, comme des écoles ou des postes de police) à un groupe d'intervention, qui fait l'objet de l'intervention, et à un groupe témoin qui ne reçoit pas l'intervention. À un moment suivant l'intervention, des mesures sont prises pour établir la différence entre les deux groupes. Étant donné que le groupe témoin simule ce qui se serait produit s'il n'y avait pas eu d'intervention, la différence constatée entre les groupes démontre le « résultat » ou l'incidence que l'on pourrait s'attendre de l'intervention de façon plus générale. Les États-Unis ont utilisé la méthode des ECR dans divers domaines, dont l'éducation, la santé, la nutrition et les programmes de lutte contre la pauvreté. La méthode a en outre été utilisée avec des contribuables pour évaluer l'efficacité des diverses stratégies d'observation fiscale. L'un des principaux avantages de cette méthode est la possibilité d'utiliser des données déjà recueillies pour d'autres fins.

Il existe de nombreux programmes pour lesquels il ne serait pas possible de mener un ECR. La mise en œuvre d'un essai repose sur la possibilité de choisir au hasard les membres du groupe d'intervention et ceux du groupe témoin—ceux qui feront l'objet de l'intervention et ceux qui ne la recevront pas (ou qui feront l'objet d'une intervention différente). Pour des raisons pratiques, juridiques et déontologiques, cela n'est pas toujours possible dans un environnement de politiques publiques. Manifestement, lorsque le programme fournit au public des biens comme la sécurité nationale, de l'air pur ou d'autres avantages fondamentaux, on ne peut pas former de groupe témoin.

Les essais contrôlés directs sont des études dans le cadre desquelles divers facteurs pouvant influer les résultats des essais sont directement contrôlables à un point tel que les effets possibles indésirables ou externes sont éliminés en tant qu'incertitudes importantes dans l'issue de l'essai. Ces essais sont souvent menés pour les programmes de technologie ou d'ingénierie. L'OMB cite l'exemple d'une nouvelle arme dotée d'un plan d'essai qui mesure le rendement de l'arme dans un milieu hostile or malsain qui simule une situation au champ de bataille. Le rendement de l'arme sera mesuré et analysé au moyen d'outils statistiques et autres outils analytiques adéquats et les résultats de cette analyse seront comparés aux seuils préexistants, mais exigeants, d'essais en service. En pareil cas, cette évaluation peut fournir la rigueur exacte requise pour évaluer le programme de perfectionnement et pour prendre des décisions en matière d'acquisition.

Les évaluations quasi expérimentales, à l'instar des essais contrôlés randomisés, permettent d'établir les différences entre les résultats découlant d'une activité du gouvernement fédéral et ceux qui se seraient produits sans l'intervention. Par exemple, pour un programme de bien-être, la comparaison peut être établie entre un groupe d'intervention qui obtient les avantages d'un programme et un groupe témoin qui ne les reçoit pas. Toutefois, l'activité de contrôle (groupe témoin) n'est pas choisie au hasard. Le groupe est plutôt formé selon une méthode qui, de l'avis de l'évaluateur, réduira au minimum les différences entre les deux groupes. Il peut aussi s'agir d'un groupe qui existe déjà. L'expression « études à groupe témoin » est souvent utilisée pour désigner les évaluations quasi expérimentales. Dans certaines circonstances, les études à groupes témoins bien agencés peuvent être presque aussi rigoureuses que les essais contrôlés randomisés et leur utilisation devrait être envisagée lorsqu'une affectation au hasard n'est pas possible ou convenable. Toutefois, le recours à des études à groupes témoins augmente le risque d'obtenir des résultats trompeurs en raison de la difficulté à éliminer les préjugés au moment de choisir les membres du groupe de contrôle. Il est essentiel de connaître ce risque lorsque l'on conçoit des évaluations de cette nature.

Une analyse directe non expérimentale comprend des évaluations portant strictement sur le sujet d'intervention (par exemple un groupe)—le sujet (groupe) faisant l'objet de l'intervention (par exemple pour les groupes, l'intervention peut être les avantages) dans le cadre d'un programme; il n'y a pas de sujet (groupe) témoin. L'« étude avant-après », un exemple courant de ce type d'évaluation, examine uniquement le groupe soumis à l'intervention (un groupe témoin distinct n'est pas formé) et les résultats sont comparés avant et après l'obtention des avantages du programme. Les « études longitudinales », qui examinent également les changements au fil des ans et qui établissent un lien entre la condition initiale du groupe d'intervention et ces changements, sont un autre exemple d'analyse directe non expérimentale. Ce groupe d'outils et de méthodes non expérimentaux comprend d'autres méthodes plus traditionnelles, comme les analyses de corrélation, les enquêtes, les questionnaires, les études d'observation participante, les études de mise en œuvre, les examens par les pairs et les études de cas. 

Ces évaluations causent toutefois des problèmes en raison de leur manque de rigueur et des conclusions erronées qui en découlent lorsqu'elles sont utilisées pour mesurer l'efficacité d'un programme. Par conséquent, elles seront peut-être plus efficaces lorsque le but consiste à examiner la façon dont un programme est efficace ou les raisons pour lesquelles il l'est; ou encore à fournir de la rétroaction utile pour la gestion du programme. 

L'analyse indirecte non expérimentale est souvent utile dans les cas où les résultats des recherches sont tellement préliminaires à court terme ou principalement à long terme qu'un examen par un groupe de spécialistes indépendants peut représenter la méthode d'évaluation qui convient le mieux. Le recours à ce type d'analyse de remplacement peut être justifié pour un programme précis par l'absence d'évaluations de rechange viables qui permettraient de tirer des conclusions plus significatives. L'OMB souligne que, dans certaines circonstances, un tel examen peut constituer la meilleure méthode d'évaluation disponible. 

Au nombre des autres techniques avancées, mentionnons les concepts de comparaison compatible et les séries chronologiques interrompues. Ces techniques sont présentées en détail dans le document de P.T. Davies, intitulé « Policy Evaluation in the United Kingdom », 2004.

Annexe 2

Documents de référence

• American Evaluation Association, Guiding Principles for Evaluators, American Journal of Evaluation 26 (1), mars 2005, pp. 5-7.
• Altschuld, J. W., Developing an evaluation program: Challenges in the teaching of Evaluation. Evaluation and Program Planning 18, pp. 259-265, 1995.
• Altschuld, James W., The Case for a Voluntary System for Credentialing Evaluators, American Journal of Evaluation, 20 (3), 1999, pp. 507-517.
• Altschuld, J. W., The certification of evaluators: Highlights from a report submitted to the Board of Directors of the American Evaluation Association. American Journal of Evaluation, 20, 481-493, 1999. 
• Barrett, Pat (vérificateur général de l'Australie). « Results Based Management and Performance Reporting – An Australian Perspective ». Discours prononcé au cours du séminaire de l'ONU sur la gestion axée sur les résultats, Genève, octobre 2004. 
• Société canadienne d'évaluation, Série des compétences essentielles. http://www.evaluationcanada.ca, créée en 1999.
• Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, Achieving Excellence in Evaluation - A LEARNING STRATEGY, document révisé en février 2005, SGDDI no 265116.
• Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, « Recueillir les résultats des évaluations – CIRE (Composante d'information sur les revues d'évaluation ». Octobre 2004.
• Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, « Stratégie de suivi du CEE », 27 octobre 2004.
• Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, « Centre d'excellence en évaluation : de 2003-2004 à 2004-2005 ». Septembre 2004, SGDDI no 247843.
• Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, Stratégie de perfectionnement, 13 mars 2002.
• Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, « La fonction d'évaluation au gouvernement du Canada », ébauche, le 6 juillet 2004. 
• Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, « Évaluation provisoire de la politique d'évaluation du Conseil du Trésor ». Janvier 2003.
• Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, « Élaboration et utilisation des cadres de gestion et de responsabilisation axés sur les résultats ». Janvier 2005.
• Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, « Rapport sur les consultations », par Peter Hadwen Consulting INC. Mars 2004.
• Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, « Rapport sur les pratiques d'évaluation efficaces », 2004.
• Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, « Examen de la qualité des évaluations dans les ministères et les organismes ». Rapport final, octobre 2004
• Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, « Synopsis des profils démographiques des collectivités de la vérification interne et de l'évaluation dans la fonction publique fédérale canadienne ».
• Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, « La santé de la fonction d'évaluation au gouvernement du Canada » (ébauche). Rapport pour l'exercice 2004-2005. Février 2005.
• Davies, Philip Thomas, « Policy Evaluation in the United Kingdom » (service stratégique du premier ministre, bureau du conseil des ministres), 2004.
• Ghere, G., J. A. King, L. Stevahn et J. Minnema, « Linking Effective Professional Development and Program Evaluator Competencies », manuscrit remis pour publication dans le American Journal of Evaluation, novembre 1994.
• Hunt, Terry Dale. « Système d'évaluation des politiques pour le gouvernement du Canada » (Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada), 2004.
• Jones, Steven C. et Blaine R. Worthen, Altschuld, James W., AEA Members' Opinions Concerning Evaluator Certification, American Journal of Evaluation, 20(3), 1999, pp. 495-506.
• King, J. A., Stevahn, L., Ghere, G. et J. Minnema, (2001). Toward a Taxonomy of Essential Evaluator Competencies. American Journal of Evaluation, 22 (2) 2001, pp. 229-247.
• Kingsbury, Nancy et Terry E. Hedrick. Evaluator Training in a Government Setting, in The Preparation of Professional Evaluators: Issues Perspectives and Programs, American Evaluation Association, New Directions for Program Evaluation, numéro 62, été 1994, pp. 61-70.
• Le Bouler, Stephane, « Survey of Evaluation in France » (Commissariat Général du Plan), année?
• Long, Bud et Natalie Kishchuk. Professional Certification – A report to the National Council of the Canadian Evaluation Society on the experience of other organizations, octobre 1997.
• Love, Arnold, « Should Evaluators Be Certified? » dans le document The Preparation of Professional Evaluators: Issues Perspectives and Programs, American Evaluation Association, New Directions for Program Evaluation, numéro 62, été 1994, pp. 29-40.
• Lyon, Randolph Matthew, « The U.S. Program Assessment Rating Tool (PART) », Office of Management and Budget, gouvernement des États-Unis, (année)? 
• Office of Management and Budget, gouvernement des États-Unis, Rating the Performance of Federal Programs, The Budget For Fiscal Year 2004, pp. 47-53.
• Office of Management and Budget, gouvernement des États-Unis, Program Assessment Rating Tool (PART), http://www.whitehouse.gov/omb/part/
• Office of Management and Budget, gouvernement des États-Unis, Examples of Performance Measures, http://www.whitehouse.gov/omb/part/performance_measure_examples.html 
• Office of Management and Budget, gouvernement des États-Unis, "What Constitutes Strong Evidence of a Program's Effectiveness?" http://www.whitehouse.gov/omb/part/2004_program_eval.pdf (version PDF 112 ko) (Anglais seulement)
• Patton, Michael Quinn. « The Evaluator's Responsibility for Utilization », dans le document Evaluation Practice 9 (2), 1988, pp. 5-24.
• Travaux publics et Services gouvernementaux Canada, Examen des achats de l'ensemble du gouvernement, Concepts à discuter, http://www.tpsgc.gc.ca/prtf/text/concept_doc-f.html 
• Smith, M. F., Should AEA Begin a Process for Restricting Membership in the Profession of Evaluation? American Journal of Evaluation 20 (3), pp. 521-531.
• Stevahn, Laurie, Jean A. King, Gail Ghere et Jane Minnema. Establishing Essential Competencies for Program Evaluators. Manuscrit accepté pour publication dans le American Journal of Evaluation, mars 2005.
• Secrétariat du Conseil du Trésor du Canada, Politique d'évaluation, 1er avril 2001.
• Secrétariat du Conseil du Trésor du Canada, Contexte pour comprendre, interpréter et utiliser le profil de compétences de la collectivité de l'évaluation dans la fonction publique fédérale, Contexte pour comprendre, interpréter et utiliser le profil de compétences de la collectivité de l'évaluation dans la fonction publique fédérale: http://www.tbs-sct.gc.ca/cee/stud-etud/context-fra.asp 
• Secrétariat du Conseil du Trésor du Canada, Guide de planification, d'exécution et de production de rapports pour les missions d'assurance de vérification interne au sein du gouvernement du Canada (avril 2004), section 7 « Assurance et amélioration continue de la qualité », pp. 36-38.
• Secrétariat du Conseil du Trésor du Canada, Mise en valeur du potentiel de la collectivité - Profil de compétences de la Collectivité des spécialistes de l'évaluation de la fonction publique fédérale, Mise en valeur du potentiel de la collectivité - Profil de compétences de la Collectivité des spécialistes de l'évaluation de la fonction publique fédérale : http://www.tbs-sct.gc.ca/cee/stud-etud/capa-pote05-fra.asp 
• Secrétariat du Conseil du Trésor du Canada, Diagnostic des capacités de rapport sur les résultats, ARCHIVÉ - Diagnostic des capacités de rapport sur les résultats : http://www.tbs-sct.gc.ca/cee/pubs/rrcc-dcrr-fra.asp 
• Weiss, Carol H. « Evaluation for Decisions: Is Anybody There? Does Anybody Care? » dans Evaluation Practice 9 (1), 1988, pp.5-19.
• Weiss, Carol H. « If Program Decisions Hinged Only on Information: A Response to Patton », dans Evaluation Practice 9 (3), 1988, pp.15-28.
• Worthen, Blaine R., Critical Challenges Confronting Certification of Evaluators, American Journal of Evaluation 20 (3), pp. 533-555.
• Worthen, Blaine R. Is Evaluation a Mature Profession That Warrants the Preparation of Evaluation Professionals? Dans The Preparation of Professional Evaluators: Issues Perspectives and Programs, American Evaluation Association, New Directions for Program Evaluation, numéro 62, été 1994, pp. 3-15.
• Zorzi, Rochelle, Martha McGuire et Burt Perrin. Avantages, extrants et éléments de connaissance en évaluation. Projet de la Société canadienne d'évaluation visant à appuyer la défense des intérêts et le perfectionnement professionnel, octobre 2002.

Retour à la référence de note en bas de page 1 Voici deux des plus récentes études : « Examen de la qualité des évaluations dans les ministères et les organismes », rapport final, octobre 2004 et « La santé de la fonction d'évaluation au gouvernement du Canada » (ébauche). Rapport pour l'exercice 2004-2005, février 2005.

Retour à la référence de note en bas de page 2 CEE, La santé de la fonction d'évaluation… op. cit., p. 7.

Retour à la référence de note en bas de page 3 Se reporter au document « Système d'évaluation des politiques pour le gouvernement du Canada », de T. D. Hunt, Secrétariat du Conseil du Trésor, 2004.

Retour à la référence de note en bas de page 4 Guide de planification, d'exécution et de production de rapports pour les missions d'assurance de vérification interne au sein du gouvernement du Canada – avril 2004, affiché sur le site Web du SCT. 

Retour à la référence de note en bas de page 5 Ibid., pp. 36-38. 

Retour à la référence de note en bas de page 6 Source : site Web de l'IVI, The Institute of Internal Auditors (IIA) : http://www.theiia.org/index.cfm?doc_id=926 (Anglais seulement)

Retour à la référence de note en bas de page 7 Aux termes du CRG, les ministères doivent examiner et améliorer les domaines ci-après et produire des rapports sur ceux-ci : Régie et orientation stratégique; Valeurs de la fonction publique; Politiques et programmes; Personnes; Services axés sur les citoyens; Gestion des risques; Gérance; Responsabilisation; Résultats et rendement; et Apprentissage, innovation et gestion du changement (Hunt, 2004).

Retour à la référence de note en bas de page 8 Ces méthodes sont décrites en détail dans le manuscrit « Policy Evaluation in the United Kingdom » de Philip Thomas Davies, 2004.

Retour à la référence de note en bas de page 9 Pour se tenir au courant des nouveaux (et des anciens) instruments et de la façon dont ils sont utilisés, nous participons à groupe de discussion sur Internet hébergé par l'American Evaluation Association (AEA). Il est possible de se joindre à ce forum, ayant pour titre Eval Talk, par l'entremise du site Web de l'AEA se trouvant à l'adresse suivante : Archives of EVALTALK@LISTSERV.UA.EDU American Evaluation Association Discussion List : http://bama.ua.edu/archives/evaltalk.html [Anglais seulement)

Retour à la référence de note en bas de page 10 Un résumé d'une discussion affichée sur le site web de l'OMB sur certaines des techniques avancées et leurs possibilités d'application figure à l'Annexe 1.

Retour à la référence de note en bas de page 11 Hunt, Terry Dale. « Système d'évaluation des politiques pour le gouvernement du Canada », Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, 2004, p. 7.

Retour à la référence de note en bas de page 12 La fonction d'évaluation au gouvernement du Canada, juillet 2004, annexe 2. ARCHIVÉ - La fonction d'évaluation au gouvernement du Canada : http://www.tbs-sct.gc.ca/cee/pubs/func-fonc-fra.asp  

Retour à la référence de note en bas de page 13 American Journal of Evaluation, vol. 26 no 1, mars 2005, pp. 5-7.

Retour à la référence de note en bas de page 14 Des renseignements complets sur le programme sont fournis à l'adresse suivante : Bureau de la gestion des collectivités des acquisitions, de la gestion du matériel et des biens immobiliers : http://www.tbs-sct.gc.ca/pd-pp/ 

Retour à la référence de note en bas de page 15 Il est possible de suivre des cours en s'inscrivant auprès de TPSGC, l'école de gestion de la fonction publique, l'Institut de gestion du matériel, l'Institut des biens immobiliers et d'autres ministères et organismes qui peuvent offrir certains types de formation. 

Retour à la référence de note en bas de page 16 L'expérience du GAO dans le cadre de la préparation des évaluateurs professionnels est décrite dans l'article de Nancy Kingsbury, « Evaluator Training in a Government Setting », paru dans New Directions for Program Evaluation, no 62, 1994.

Retour à la référence de note en bas de page 17 Stevahn, Laurie, Jean A. King, Gail Ghere et Jane Minnema. « Establishing Essential Competencies for Program Evaluators ». Manuscrit accepté pour publication dans l'American Journal of Evaluation, mars 2005. Cette recherche intègre les principaux éléments des compétences énoncées par la SCE et l'AEA. Leur recherche comporte des renvois à la Politique d'évaluation du SCT.

Retour à la référence de note en bas de page 18 Bulletin de la collectivité du CEE, numéro10 - mars 2005.

Retour à la référence de note en bas de page 19 Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, Achieving Excellence in Evaluation - A LEARNING STRATEGY, document révisé en février 2005, SGDDI no 265116.

Retour à la référence de note en bas de page 20 Dans le cadre d'un protocole d'entente, les organismes suivants participent à la prestation des divers programmes : l'École de la fonction publique du Canada, Statistique Canada et la Société canadienne d'évaluation (ainsi que la section de la région de la capitale nationale).