Rapport sur les pratiques d’évaluation efficaces
Informations archivées
Les informations archivées sont fournies aux fins de référence, de recherche ou de tenue de documents. Elles ne sont pas assujetties aux normes Web du gouvernement du Canada et n’ont pas été modifiées ou mises à jour depuis leur archivage. Pour obtenir ces informations dans un autre format, veuillez communiquez avec nous.
Centre d'excellence en évaluation
Secrétariat du Conseil du Trésor
du Canada
octobre 2004
© Sa Majesté la Reine du chef du Canada,
représentée par le président
du Conseil du Trésor, 2004
No de catalogue
ISBN
On peut se procurer ce document sur médias substituts
et sur le site
Internet du Secrétariat du Conseil du Trésor du Canada, à l'adresse
suivante
www.tbs-sct.gc.ca
Table des matières
Résumé à l'intention de la direction
- Structure organisationnelle
- Dotation en ressources
- Planification
- Capacité d'influer sur le processus décisionnel
- Stratégies ministérielles de mesure du rendement
- Savoir-faire interne
- Contrôle de la qualité
- Transposer les conclusions en mesures concrètes
Insuffisance de la collecte de données
Écarts en matière de capacité et de ressources humaines
Caractère opportun contre qualité
Résumé à l'intention de la direction
Le présent rapport se penche sur les pratiques d'évaluation efficaces observées dans 14 ministères et organismes fédéraux. Il renferme de l'information sur l'éventail des pratiques ou des stratégies qui ont été adoptées par des groupes d'évaluation afin d'assurer la qualité et la production en temps opportun des résultats d'évaluation.
L'étude est fondée sur des entrevues menées auprès de chefs et d'utilisateurs des évaluations dans les ministères et les organismes participants. En tout, 28 intervenants clés ont été consultés.
La discussion est centrée sur cinq aspects :
- la production en temps opportun des résultats d'évaluation de façon à pouvoir les utiliser dans le cadre du processus décisionnel ;
- comment les évaluateurs évaluent rapidement les dossiers urgents et y réagissent ;
- comment les groupes d'évaluation sont structurés et dotés en personnel de manière à produire des évaluations objectives et à comprendre entièrement les besoins en information de la haute direction;
- comment les groupes d'évaluation peuvent soutenir la collecte efficace de données significatives sur le rendement par les gestionnaires de programme et les autres intervenants ministériels;
- les stratégies d'apprentissage et de perfectionnement qui permettent aux évaluateurs de remédier aux écarts de capacité .
Le présent document a pour objet de promouvoir le partage des pratiques efficaces, et de servir de ressource aux chefs de l'évaluation dans tous les ministères et organismes fédéraux.
Introduction
Le Secrétariat du Conseil du Trésor (SCT) a instauré le 1er avril 2001 la politique d'évaluation révisée du Conseil du Trésor, qui doit être appliquée par tous les ministères et organismes fédéraux, dans le cadre de leurs obligations en matière d'imputabilité. La politique vise à faire en sorte que le gouvernement dispose en temps voulu de renseignements stratégiques, objectifs et solides au sujet du rendement de ses politiques, programmes et initiatives, afin de produire de meilleurs résultats pour les Canadiens et les Canadiennes.
Le SCT a diffusé en janvier 2003 un rapport provisoire d'évaluation de la politique. On y indique que les capacités d'évaluation varient d'une organisation à l'autre. En particulier, même si certains des grands et moyens ministères ou organismes ont commencé à mettre en oeuvre la nouvelle politique d'évaluation, un certain nombre de plus petits organismes fédéraux ont peu ou pas de capacité d'évaluation. Parmi les autres enjeux soulevés, mentionnons des problèmes de synchronisation et de focalisation qui empêchent souvent d'utiliser les rapports d'évaluation dans le cadre des processus décisionnels.
En réaction à ces préoccupations, le Centre d'excellence en évaluation du SCT a confié à R.A. Malatest & Associates Ltd. le mandat d'élaborer un Rapport sur les pratiques d'évaluation efficaces afin de partager et de promouvoir les pratiques exemplaires dans les ministères et organismes fédéraux.
La discussion est centrée sur cinq aspects :
- la déclaration en temps opportun des résultats d'évaluation de façon à pouvoir les utiliser dans le cadre du processus décisionnel;
- comment les évaluateurs évaluent rapidement les dossiers urgents et y réagissent ;
- comment les groupes d'évaluation sont structurés et dotés en personnel de manière à produire des évaluations objectives et à comprendre entièrement les besoins en information de la haute direction;
- comment les groupes d'évaluation peuvent soutenir la collecte efficace de données significatives sur le rendement par les gestionnaires de programme et les autres intervenants ministériels;
- les stratégies d'apprentissage et de perfectionnement qui permettent aux évaluateurs de remédier aux écarts de capacité .
Un questionnaire initial a été envoyé aux chefs de l'évaluation par le Centre d'excellence en évaluation. Il a permis d'obtenir leur point de vue au sujet des thèmes de la recherche, et de déterminer quels chefs de l'évaluation voulaient être interviewés. Les conclusions du présent rapport sont fondées sur des entrevues menées auprès de chefs et d'utilisateurs des évaluations dans 14 ministères et organismes fédéraux.
Il ne faut pas considérer le présent rapport comme une évaluation en bonne et due forme de la capacité des organisations dont les représentants ont été interviewés. Les pratiques efficaces proposées ne doivent pas être interprétées comme des points de repère. Les pratiques partagées ici par les ministères et organismes participants ont été perçues comme améliorant la synchronisation et la focalisation de leurs propres évaluations. Elles sont offertes dans le présent rapport aux organisations qui veulent savoir comment les autres groupes d'évaluation composent avec des difficultés semblables aux leurs.
Le présent rapport représente le premier d'une série de travaux que le CEE s'est engagé à mener en matière de pratiques efficaces. Parmi les autres recherches à effectuer, mentionnons l'examen des pratiques entourant l'application des méthodologies d'évaluation.
Caractéristiques des groupes d'évaluation perçues comme améliorant la focalisation des études d'évaluation et facilitant leur production en temps opportun
Une fonction d'évaluation efficace peut résulter de diverses pratiques, et dépend du genre d'organisation et de modèle organisationnel. Vous trouverez ci après un aperçu de certaines des démarches qui sont adoptées par les organisations fédérales visées par la présente étude, et qui sont perçues comme améliorant la focalisation des études d'évaluation et facilitant leur production en temps opportun. Les pratiques efficaces sont groupées en huit catégories, des exemples étant fournis pour chacune d'elles. Les catégories sont les suivantes :
- structure organisationnelle
- dotation en ressources
- planification
- capacité d'influer sur le processus décisionnel
- stratégies ministérielles de mesure du rendement
- savoir faire interne
- contrôle de la qualité
- transposition des conclusions en mesures concrètes
Il convient de signaler qu'un grand nombre de pratiques désignées par les répondants permettent de réaliser de nombreux objectifs en même temps, si bien qu'elles pourraient être classées dans plusieurs catégories. Par exemple, l'utilisation de comités directeurs comptant des représentants de toutes les parties prenantes permet de faire en sorte que les conclusions soient pertinentes pour toutes les parties. Ces comités peuvent être classés sous planification, capacité d'influer sur le processus décisionnel, contrôle de la qualité et transposition des résultats en mesures concrètes. Les comités directeurs n'ont toutefois été mentionnés que sous une catégorie pour ne pas allonger indûment le présent rapport.
1. Structure organisationnelle
Les structures organisationnelles de la plupart des organisations étudiées partagent les caractéristiques suivantes.
Pratique efficace :
Un groupe de l'évaluation indépendant et centralisé
La plupart des ministères ou organismes ont un groupe de l'évaluation centralisé qui est indépendant des programmes et des bureaux régionaux. Sous ce modèle, le groupe de l'évaluation fonctionne sans lien de dépendance par rapport aux sujets qu'il évalue, ce qui accroît son objectivité. Dans certains cas, le secteur de programme à évaluer obtient les services du groupe d'évaluation en sous traitance. Dans ce modèle, le secteur de programme finance l'évaluation.
Certains ministères ou organismes comptent également certains évaluateurs dans leurs bureaux régionaux. C'est le cas à Environnement Canada. Les évaluateurs régionaux servent souvent de facilitateurs dans le cadre de l'évaluation de programmes nationaux. Dans certains cas, il incombe aux évaluateurs régionaux d'évaluer des programmes de portée régionale.
Santé Canada constitue une exception à la règle, les activités d'évaluation y étant décentralisées de façon à être intégrées dans l'ensemble de l'organisation. Le groupe central d'évaluation participe toutefois à chacune des évaluations de manière à assurer l'observation de normes d'évaluation, d'une rigueur et d'une objectivité suffisantes. Certains secteurs de programme et bureaux régionaux ont des ressources consacrées à l'évaluation. Le groupe central consulte l'équipe d'évaluation ou le comité directeur créé pour chacun des projets, examine le plan de travail du projet et les composantes d'évaluation proposées, procède à des examens à mi parcours des principales évaluations désignées par le comité ministériel de vérification et d'évaluation, se penche sur le rapport final de toutes les évaluations, et présente les résultats de ses examens au comité.
Pratique efficace :
Un lien direct entre le groupe de l'évaluation et la haute direction
Bon nombre des groupes d'évaluation ont été conçus de manière à ce qu'une proximité entre les évaluateurs et la haute direction découle de la structure organisationnelle ou des consultations, ou des deux. Les méthodes données utilisées varient dans une certaine mesure selon la taille de l'organisation. Elles incluent, sans s'y restreindre, le fait de demander au chef de l'évaluation de relever directement du sous ministre, de demander au sous ministre de présider le comité de vérification et d'évaluation, et de tenir des consultations auprès de la haute direction dans le cadre de l'élaboration du plan d'évaluation.
| Agriculture et Agro alimentaire Canada a fait la transition d'une structure verticale à un modèle organisationnel plus horizontal ou « habilitant ». L'équipe ministérielle de vérification et d'évaluation est présidée par le sous ministre; elle est constituée des membres du conseil d'administration, du directeur général des Examens et de membres du Conseil de gestion. L'équipe supervise et approuve les rapports et la planification de l'évaluation, et elle surveille les plans d'action en matière de gestion et les activités de suivi. Les équipes horizontales favorisent la mise au point d'indicateurs transversaux de programmes. |
Pratique efficace :
Proximité entre les groupes d'évaluation et les sources de données
Les participants ont souligné l'importance de l'accès à des données fiables. Certains ministères ont créé une structure dans laquelle le groupe de l'évaluation est associé à la division des données et des statistiques.
| Le groupe de la Recherche et des statistiques de Citoyenneté et Immigration Canada est situé au sein de la Direction de la vérification et de l'évaluation. Les deux groupes assistent à des réunions mensuelles de synergie de manière à assurer la collecte des données qui s'imposent au titre de la recherche à la Direction de l'évaluation. |
2. Dotation en ressources
Pratique efficace :
Taille suffisante pour l'organisation
La taille du groupe de l'évaluation (le nombre d'équivalents à temps plein consacrés à l'évaluation) doit refléter la taille de l'organisation de manière à ce qu'il puisse composer avec le niveau et le volume des travaux d'évaluation. Parmi les autres facteurs qui influent sur la taille du groupe de l'évaluation, mentionnons la complexité et le niveau de risque des programmes offerts à un organisme ou à un ministère. Une masse critique d'évaluateurs doit toutefois assumer les responsabilités relatives à la politique d'évaluation dans les plus petites organisations.
Dans certains des ministères et des organismes, le groupe de l'évaluation partage certains de ses employés avec le groupe de la vérification. On estime toutefois en général que le partage des ressources nuit aux activités du groupe de l'évaluation. La plupart des chefs de l'évaluation ont exprimé leur préférence pour des employés qui se consacrent entièrement à des activités d'évaluation.
Pratique efficace :
Des mécanismes financiers qui ne nuisent pas à l'objectivité
Les ressources du groupe de l'évaluation sont fournies sous différents postes budgétaires. Dans de nombreux cas, les finances annuelles sont incluses dans les frais généraux ministériels, tandis que les programmes qui procèdent à des évaluations assument les frais de consultation.
Les groupes de l'évaluation obtiennent habituellement leurs fonds directement des budgets des programmes, une pratique qui pourrait réduire leur objectivité et les empêcher de procéder aux travaux nécessaires. Le groupe pourrait se trouver en bout de ligne à satisfaire aux exigences de gestion des programmes, plutôt qu'aux exigences ministérielles. Une façon de contrer ce problème consiste à inclure l'évaluation dans le processus de planification de l'organisation. Agriculture et Agro alimentaire Canada est allé plus loin. Ce ministère a mis en oeuvre un système d'attribution financière dans le cadre duquel le financement des activités d'évaluation désignées dans une présentation au Conseil du Trésor va directement au budget de l'équipe d'examen.
3. Planification
Pratique efficace :
Incorporer l'évaluation à la planification ministérielle ou à la gestion des risques, ou aux deux
Le fait d'inclure l'évaluation dans la planification organisationnelle favorise l'efficacité des pratiques d'évaluation et du fonctionnement organisationnel. La planification de l'évaluation dans le cadre des activités organisationnelles accroît la qualité et le caractère opportun des évaluations, et il les rend plus accessibles aux décideurs.
Même si l'évaluation n'a pas été incluse dans le plan organisationnel de toutes les organisations, un plan de quatre ou cinq ans est habituellement établi, et il comporte des examens et des mises à jour annuelles.
Développement social Canada a appliqué un processus de
planification axé sur le risque visant à établir son plan de vérification
et d'évaluation. Sept critères de risque sont appliqués afin d'évaluer
les principaux programmes et services :
Le Cadre stratégique pour l'agriculture d'Agriculture et Agro alimentaire Canada prévoit une stratégie de planification axée sur les risques et les résultats. Elle est divisée en quatre étapes étalées sur quatre ans : régie; mesure du rendement; succès; et pertinence/efficacité. Dans le cadre de la planification de l'évaluation, l'ordre de priorité de tous les projets possibles est établi en fonction de sept critères : budget; engagement d'évaluation antérieur; incidence éventuelle sur les résultats stratégiques ou pertinence par rapport à ceux ci; synchronisation; relation avec les enjeux ou les risques ministériels; évaluation la plus récemment terminée; et disponibilité et fiabilité des données. |
La planification de multiples programmes est facilitée quand non seulement les évaluateurs, mais aussi la haute direction et les gestionnaires de divers secteurs de programmes, participent au processus de planification organisationnelle. Les préoccupations communes sont cernées et réglées au niveau ministériel ou organisationnel.
Les évaluateurs d'organisations où les activités d'évaluation ne font pas partie de la planification initiale ont perçu cette exclusion comme un point faible qui réduit l'efficacité des activités organisationnelles et d'évaluation. Le modèle préféré est un contexte organisationnel dans lequel les exigences d'évaluation sont clairement établies et dotées de ressources suffisantes. Certains groupes de l'évaluation ont souligné qu'ils n'avaient établi qu'un « calendrier d'évaluation » pour les programmes et services ministériels.
Pratique efficace :
Incorporer la planification de l'évaluation à la conception des programmes et des politiques
Les chefs de l'évaluation se sont mis d'accord pour dire que, dans la mesure du possible, la planification de l'évaluation doit être incorporée dans la conception des programmes, et selon la politique d'évaluation de 2001, dans celle des politiques et des initiatives. Il pourrait être relativement simple de procéder ainsi pour de nouveaux programmes, politiques ou initiatives, mais ce serait plus difficile pour des programmes bien établis et de longue date. Pour certains ministères, la réponse consiste à inclure les programmes de longue date dans la planification de l'évaluation axée sur le risque (la période écoulée depuis la plus récente évaluation étant un critère de risque) et à préparer des cadres d'évaluation pour eux.
Pratique efficace :
Soutien du groupe de l'évaluation dans l'élaboration de CGRR de programme
Pour un grand nombre de ministères et d'organismes, le groupe ou l'équipe d'évaluation soutient l'élaboration de cadres de gestion et de responsabilisation axés sur les résultats (CGRR) – par exemple, au moyen de séminaires ou de séances de formation et d'examens formels ou informels, au moins aux premières étapes des exigences de CGRR fixées par le SCT. Certains groupes aimeraient participer de plus près à la conception du CGRR, mais ils estiment ne pas avoir les ressources humaines requises.
4. Capacité d'influer sur le processus décisionnel
Selon l'une des principales conclusions de l'étude provisoire de la politique d'évaluation du Conseil du Trésor, les rapports d'évaluation dans un certain nombre de ministères et d'organismes fédéraux prennent trop de temps et souffrent d'une focalisation inadéquates, ce qui réduit leur utilisation dans le cadre du processus décisionnel. Les ministères et les organismes cités dans la présente étude utilisent les techniques suivantes afin de faciliter la production de résultats d'évaluation et leur utilisation dans le cadre du processus décisionnel au niveau de la gestion.
Pratique efficace :
Consultation en bonne et due forme de la haute direction pendant le processus de planification
Des consultations en bonne et due forme dans le cadre du processus de planification permettent aux évaluations d'être bien focalisées et d'être entreprises au moment où la haute direction et les gestionnaires de programmes en ont besoin. Selon les chefs de l'évaluation, le fait de connaître les principales décisions que doit prendre la haute direction dans les mois à venir est un facteur crucial de la conception et de la synchronisation des études d'évaluation et de la présentation des résultats d'évaluation.
Pratique efficace :
Utilisation de comités directeurs
L'utilisation de comités directeurs de l'évaluation qui incluent un éventail d'intervenants des programmes peut permettre de mieux focaliser les évaluations. Ces comités font en sorte que les enjeux de l'évaluation qui sont importants pour toutes les parties prenantes sont couverts par les études d'évaluation.
| RHDCC / DSC utilisent des comités directeurs pour tous leurs projets d'évaluation. Les membres de ces comités proviennent des secteurs de politiques et de programmes pertinents. Ils étudient le mandat, la méthodologie, les résultats et les conclusions du projet, ainsi que la réponse de la gestion. La mise sur pied de ces comités facilite l'inclusion des préoccupations et des points de vue des clients et des partenaires dans le cadre de l'évaluation, à toutes les étapes du processus. Ces comités permettent aussi de communiquer les conclusions en temps plus opportun, si bien qu'il est souvent possible d'adopter des correctifs de gestion avant l'achèvement des évaluations. |
Pratique efficace :
Techniques d'accélération du processus de rédaction de rapports
Presque chacun des ministères et des organismes utilise une combinaison de techniques visant à accélérer le processus de rédaction de rapports.
L'une des options consiste à faire preuve de concision aux fins de la prestation des résultats préliminaires ou finaux. Une autre solution consiste à mener périodiquement des études à petite échelle.
| La Commission canadienne de sûreté nucléaire et le ministère de la Défense nationale utilisent des documents de breffage et des présentations pour fournir les résultats d'évaluation à la haute direction. Ce genre de document permet de présenter les résultats de haut niveau, et de mettre l'accent sur les conclusions et les mesures à adopter. Plutôt que de présenter les résultats sous forme descriptive, les documents d'information sont concis et accrocheurs, un style qui convient mieux aux besoins et à l'emploi du temps des décideurs. |
Certains ministères et organismes utilisent des modèles de rapports ou de grandes lignes des résultats. Une autre technique consiste à assurer un suivi en bonne et due forme du processus d'évaluation; cette solution accroît le caractère opportun des évaluations, tout en permettant d'assurer le suivi de la qualité.
| Les ministères des Ressources humaines et du Développement des compétences / Développement social fournissent au personnel de l'évaluation une « liste de vérification et de contrôle interne des études d'évaluation ». Cette liste précise les exigences et les produits livrables d'un projet d'évaluation. Le ministère exige aussi qu'un exposé détaillé en abrégé soit soumis pour examen avant la présentation d'un rapport final. |
Même si de nombreux ministères et organismes disposent au moins d'un modèle général ou squelette de rapport, les structures plus officielles sont considérées comme étant trop rigides et restrictives.
Pratique efficace :
Études à plus petite échelle pour les dossiers urgents
L'une des façons d'évaluer rapidement les enjeux et de réagir aux dossiers urgents consiste à utiliser des études à plus petite échelle, davantage focalisées. Il est parfois possible de les incorporer à une évaluation à plus grande échelle.
| La Commission canadienne de sûreté nucléaire utilise périodiquement des études à plus petite échelle (c. à d. établies à partir de pratiques d'évaluation moins rigoureuses) afin de régler des problèmes immédiats. Le groupe de l'évaluation ne compte que deux évaluateurs, mais il produit de nombreux rapports à petite échelle utilisés dans le cadre du processus décisionnel au niveau de la gestion. |
Si des renseignements sont nécessaires en cours d'évaluation, une solution consiste à présenter des conclusions préliminaires avant l'achèvement de la recherche.
| La Société canadienne d'hypothèques et de logement reconnaît qu'il est préférable de présenter des résultats, même fragmentaires, que de ne pas en présenter du tout. Elle produit donc des rapports provisoires résumant les résultats préliminaires. L'expérience a révélé que les résultats définitifs sont habituellement à l'image des résultats préliminaires, et que le risque d'erreur à l'étape préliminaire est relativement peu élevé. |
Pratique efficace :
Pratiques contractuelles accélérées pour régler des dossiers urgents
Environ la moitié des ministères et des organismes ayant participé à la présente étude ont indiqué que leur groupe de l'évaluation utilise certains genres de pratiques contractuelles visant à accélérer le processus d'évaluation. Il faut ainsi moins de temps pour embaucher un consultant de l'extérieur.
Bon nombre de groupes de l'évaluation ont recours à des offres permanentes, comme le Chef – Service d'examen du ministère de la Défense nationale, qui compte sur une offre permanente à trois volets : les services d'évaluation, les services de vérification, et les services de consultation. L'établissement d'offres permanentes requiert la tenue d'un concours. Une fois le processus établi, des contrats de recherche peuvent être créés à court préavis. Toutes les offres permanentes comportent leurs propres règles, même si elles prévoient habituellement des plafonds pour chacune des commandes.
L'autorisation des t̢ches est une autre option rapide pour ̩tablir des contrats rapidement (une fois le processus ̩tabli). Ce march̩ ouvert pr̩voit une commande maximale d'au moins 100 000 $ Рsoit un montant plus ̩lev̩ que pour les offres permanentes. Une autorisation des t̢ches peut entrer en vigueur en 48 heures. L'inconv̩nient, c'est que le minist̬re ou l'organisme est responsable de la valeur du march̩; s'il n'y a pas de travaux, il doit payer une p̩nalit̩.
D'autres organisations trouvent qu'il est trop long d'établir une liste d'accords d'offres permanentes; elles préfèrent utiliser le processus d'appel d'offres. Certaines organisations estiment que les offres permanentes et les autorisations de tâches nuisent à la saine compétition.
5. Stratégies ministérielles de mesure du rendement
Bon nombre de ministères et d'organismes ayant participé à la présente étude travaillent à la mise en oeuvre de cadres de gestion et de responsabilisation axés sur les résultats et d'indicateurs de rendement. Un certain nombre de stratégies ont été mises au point afin de recueillir des données de mesure du rendement à utiliser dans le cadre d'évaluations.
Pratique efficace :
Combiner mesure du rendement et fonctions d'évaluation
Le fait de combiner la mesure du rendement et les fonctions d'évaluation accroît la disponibilité de données à des fins d'évaluation. Il facilite donc la collecte de données, la gestion et le contrôle de la qualité continus.
| L'équipe d'évaluation de Développement économique Canada pour les régions du Québec effectue la mesure du rendement et l'évaluation. Les évaluateurs sont responsables de la gestion et de la collecte de données, ainsi que de la vérification des données dans le cadre du contrôle de la qualité. Cette organisation est toutefois beaucoup plus petite que certains des ministères fédéraux inclus dans la présente étude. |
Pratique efficace :
Utilisation d'outils normalisés de collecte de données de manière à recueillir rapidement des données et à y avoir un accès rapide
Comme il arrive souvent que la collecte de données, la mesure du rendement et l'évaluation ne soient pas liées en bonne et due forme, bon nombre de ministères et d'organismes visés par l'étude n'ont pas utilisé de modèle de collecte de données aux fins des évaluations. Un petit nombre ont utilisé l'outil de mesures communes, ou ont créé leurs propres outils de collecte de données (p. ex. instruments de sondage).
| Afin de produire son rapport ministériel sur le rendement annuel, Développement économique Canada pour les régions du Québec a envoyé dans les huit dernières années un modèle normalisé de questions à ses 14 bureaux régionaux. Les questions concernent les projets, les résultats, etc. Les résultats de ce questionnaire sont ensuite présentés à chacun des bureaux. Les données sont également disponibles et utilisées aux fins d'évaluations. |
6. Savoir-faire interne
Pratique efficace :
Profiter des connaissances propres à l'organisation des ressources internes
La plupart des ministères et des organismes ayant participé à la présente étude s'en remettent à des ressources internes chevronnées pour la conception, la mise en oeuvre et la déclaration des résultats. Ils citent les avantages de la connaissance propre à l'organisation et ses exigences (p. ex. libellés normalisés, politique, etc.).
| Environnement Canada utilise surtout des ressources internes aux fins des évaluations. Celles ci sont donc plus pertinentes et plus rapidement achevées, et elles donnent de meilleurs résultats. Les employés acquièrent aussi des connaissances quand l'évaluation demeure interne. Pour ce qui est du savoir faire qui ne se trouve pas sur place, le ministère dispose d'un petit budget de sous traitance. |
Même si tous les groupes de l'évaluation ayant participé à la présente étude ont des évaluateurs expérimentés parmi leurs effectifs, le niveau de savoir faire peut varier à l'intérieur d'un groupe. Le développement et le maintien d'une capacité interne sont prioritaires pour les chefs de l'évaluation.
Pratique efficace :
Assurer la formation du personnel de manière à éviter les écarts au chapitre de la capacité d'évaluation, où à y remédier
Tous les groupes de l'évaluation ayant participé à la présente étude ont des pratiques et des politiques bien établies en matière de formation, et ils incitent les membres du personnel à suivre des cours de formation sous l'une ou l'autre des formes suivantes :
- plans d'apprentissage individuels et autres genres d'outils semblables en matière de ressources humaines;
- évaluation des besoins en formation;
- cours de formation et activités professionnelles;
- travail auprès de consultants pendant les évaluations;
- partage de l'information parmi les membres du personnel;
- séances de suivi.
Certaines organisations ont mis au point des méthodes uniques afin d'assurer la formation et de remédier aux écarts de capacité.
| Les ministères des Ressources humaines et du Développement des compétences / Développement social offrent le programme de perfectionnement pour le groupe ES, qui inclut l'évaluation et la formation des nouveaux employés. Les participants sont réévalués tous les six mois et peuvent être promus, sans concours, à un niveau aussi élevé que ES-5. |
| Santé Canada offre des possibilités de formation aux évaluateurs, conformément aux plans d'apprentissage et de développement des compétences mis au point par les évaluateurs et la direction dans le cadre du processus d'évaluation du rendement. En outre, les besoins en apprentissage et en perfectionnement de chacun des évaluateurs sont évalués périodiquement. Des cours de mesure du rendement offerts à tous les employés sont aussi périodiquement mis à l'horaire, de même que des cours spécialement conçus pour des groupes organisationnels entiers. |
Pratique efficace :
Interaction du personnel avec des entrepreneurs ou des équipes externes d'évaluation
Une autre façon pour les membres du groupe de l'évaluation d'accroître leurs compétences passe par l'interaction avec des évaluateurs externes. Dans plusieurs ministères et organismes qui utilisent surtout des ressources extérieures, les évaluateurs internes fournissent tout au long du processus d'évaluation des conseils et des orientations, et ils gardent le contact avec les entrepreneurs, plutôt que de simplement gérer les contrats. On estime aussi que l'interaction accroît la qualité et le caractère opportun de l'évaluation.
7. Contrôle de la qualité
Dans la plupart des ministères et des organismes ayant participé à la présente étude, le contrôle de la qualité est habituellement effectué de manière interne, et généralement de façon informelle. Par exemple, les opinions professionnelles d'autres membres de l'équipe d'évaluation et de la haute direction sont souvent mises à profit afin de déterminer la qualité. Dans quelques cas, un processus d'examen en bonne et due forme avec des experts de l'extérieur est utilisé afin d'assurer la qualité.
Pratique efficace :
Examen par des pairs
Certains ministères et organismes utilisent les examens par des pairs pour faire en sorte que l'approche qu'ils adoptent en matière d'évaluation ait la rigueur méthodologique nécessaire pour fournir une information objective et fondée sur des faits établis aux fins du processus décisionnel. L'examen par des pairs peut prolonger la période requise pour obtenir des résultats, mais il permet de rappeler aux organismes extérieurs (Conseil du Trésor, ministère des Finances, etc.) que les conclusions et l'approche adoptée en matière d'évaluation sont légitimes.
| Parmi les ministères représentés dans la présente étude, les examens par des pairs les plus intensifs semblent être ceux qui sont menés à Ressources humaines et Développement des compétences Canada et à Développement social Canada. Les ministères utilisent les examens externes par des pairs pour obtenir une rétroaction non seulement à la fin de l'évaluation, mais tout au long du processus d'évaluation, y compris à l'étape d e l'élaboration de la méthodologie. Des experts en la matière et des experts de la méthodologie de l'extérieur fournissent des conseils et des critiques constructives au sujet des principaux aspects de l'évaluation. |
La plupart des ministères utilisent l'examen interne par des pairs à titre de mécanisme de contrôle de la qualité.
Pratique efficace :
Évaluations formatives
Certains ministères ou organismes ayant participé à l'étude utilisent des évaluations formatives (c. à d. provisoires) afin d'assurer la qualité et la fiabilité des données et des méthodes de collecte des données. Les évaluations formatives servent aussi à collecter des données qui appuient les indicateurs de rendement et permettent d'évaluer leur qualité. Ces méthodes sont décrites comme étant très utiles afin de faciliter les futures évaluations de l'incidence des programmes.
Pratique efficace :
Sondages de satisfaction de la clientèle
Certains ministères et organismes procèdent à des sondages post évaluation en bonne et due forme auprès des utilisateurs de l'évaluation (gestionnaires de programme, décideurs de secteurs de programme) afin d'évaluer la qualité des résultats d'évaluation et d'améliorer les services d'évaluation pour l'avenir. Grâce aux sondages, les gestionnaires de programme qui ont participé à une évaluation expriment leur degré de satisfaction à l'égard du projet d'évaluation (p. ex. sur le plan de la qualité ou du caractère opportun).
| Après chacune des évaluations, Ressources naturelles Canada utilise la norme ISO 9000 afin de soumettre des sondages de satisfaction de la clientèle aux gestionnaires de programme. Les sondages permettent de mesurer des aspects comme le caractère opportun de l'évaluation. Les résultats des sondages sont mis en commun une fois l'an et ils sont examinés de manière à évaluer la qualité et à régler les problèmes de rendement. |
|
Le groupe de l'évaluation d'Environnement Canada a mis au point
son propre sondage de satisfaction de la clientèle, que doivent
remplir les gestionnaires de programme une fois terminée chacune des évaluations. Ce sondage a pour objet d'obtenir de la rétroaction au sujet du niveau de satisfaction à l'égard : de la capacité qu'a le groupe de l'évaluation de comprendre les besoins de la direction; de la méthodologie ou de l'approche utilisée; de la communication des résultats en temps opportun; de la pertinence du rapport d'évaluation; etc. |
8. Transposer les conclusions en mesures concrètes
Pratique efficace :
L'utilisation de l'évaluation indique sa qualité ou son utilité
Plusieurs ministères ou organismes fédéraux ayant participé à la présente étude ont souligné que la qualité ou l'utilité d'une évaluation peut être mesurée en déterminant la mesure dans laquelle la direction et les cadres supérieurs utilisent les recommandations et les résultats issus de l'évaluation. Dans certains groupes de l'évaluation, le suivi des recommandations et des mesures à prendre fait partie du processus d'évaluation.
| Le ministère de la Défense nationale assure un suivi en bonne et due forme de la mise en oeuvre des principales recommandations issues des activités d'évaluation au moyen de son système de gestion des recommandations de vérification et d'évaluation. Le système requiert l'établissement d'étapes et la surveillance des progrès réalisés par la direction au titre de la réalisation de ces étapes. Un suivi en bonne et due forme est mené dans les cas où les étapes ne sont pas franchies. |
| Agriculture et Agro alimentaire Canada assure un suivi en bonne et due forme de la mise en oeuvre des recommandations d'évaluation. Le processus de suivi prévoit l'utilisation d'un modèle de suivi qui énumère les diverses recommandations. Le modèle est fourni au gestionnaire de programme, qui répond à chacune des recommandations et indique comment et quand une mesure sera adoptée relativement à chacune d'elles. Le modèle est inclus dans le rapport final remis à la haute direction et à la direction des programmes, qui constituent le conseil d'administration intéressé. Les suivis sont menés par le groupe de l'évaluation, et des comptes rendus sont présentés au sous ministre. |
Les défis
Les principaux défis auxquels sont confrontés les ministères et les organismes participants afin de mener à terme des évaluations de grande qualité en temps opportun sont les suivants.
Insuffisance de la collecte de données
Même si des CGRR et des indicateurs de rendement ont été instaurés, dans de nombreux cas, ils n'ont pas encore été entièrement mis en oeuvre. La collecte des données a toujours accusé un retard sur la plupart des autres activités organisationnelles. Dans les cas où des systèmes formels de gestion et de collecte de données sont en place, les mesures de vérification prédominent souvent.
Solutions proposées :
Assurer la formation des gestionnaires de programme (c. Ã d. pour ce qui est des CGRR et de la mesure du rendement).
Rendre les gestionnaires de programme davantage imputables en incluant la collecte de renseignements sur le rendement dans les accords de responsabilisation.
Écarts en matière de capacité et de ressources humaines
Les pénuries de personnel font qu'il est difficile de maintenir une capacité suffisante dans les groupes de l'évaluation.
Solutions proposées :
Utiliser des consultants pour certaines activités d'évaluation (p. ex. collecte de données, analyse préliminaire).
Accroître le nombre d'équivalents à temps plein dans les groupes de l'évaluation, et permettre au personnel de consacrer davantage de temps à la planification de l'évaluation et aux activités de projet, ou de mener des évaluations de plus haut niveau.
Caractère opportun contre qualité
Presque tous les participants à l'étude ont reconnu la nécessité de concilier le caractère opportun et certains des processus de contrôle de la qualité.
Solution proposée :
Dans la mesure du possible, opter pour la qualité plutôt que pour le caractère opportun, en tenant compte de la nécessité que les évaluations satisfassent aux besoins en information de nombreux publics cibles, p. ex. les parlementaires, les sous ministres et leurs groupes exécutifs, les parties prenantes et les gestionnaires de programme.
- Date de modification :