Diagnostic des capacités de rapport sur les résultats
Informations archivées
Les informations archivées sont fournies aux fins de référence, de recherche ou de tenue de documents. Elles ne sont pas assujetties aux normes Web du gouvernement du Canada et n’ont pas été modifiées ou mises à jour depuis leur archivage. Pour obtenir ces informations dans un autre format, veuillez communiquez avec nous.
Quand les ministères peuvent-ils utiliser le DCRR?
Aperçu de la mise en œuvre du DCRR
Mise en œuvre étape par étape
- Étape 1 : Examen de la documentation
- Étape 2 : Entrevue avec le principal détenteur d'information
- Étape 3 : Consultation des principaux intervenants
- Étape 4 : Analyse des capacités
- Étape 5 : Recommandation, rapport et action
Calendrier et évaluation du volume de travail nécessaire
Utilisation des résultats du DCRR
Annexe A : Modèle de diagnostic des capacités
Objet
Le Centre d'excellence en évaluation a préparé un Diagnostic des capacités de rapport sur les résultats (DCRR) pour aider les ministères et les organismes à évaluer de façon systématique les capacités de certains programmes et de certaines initiatives à gérer, atteindre et montrer les résultats obtenus aux Canadiens et aux Canadiennes.
Les résultats obtenus au moyen du DCRR indiquent aux dirigeants d'un ministère la mesure dans laquelle un programme ou une initiative sera en mesure, comme indiqué par son rendement, de fournir la preuve des résultats obtenus et d'en rendre compte. Des résultats positifs au DCRR confirmeront à la haute direction que l'information sur le rendement est facilement disponible et/ou qu'une évaluation peut être facilement réalisée. Des mauvais résultats au DCRR indiqueront la nécessité de procéder à une évaluation officielle du programme.
Il est important de préciser que la réalisation d'un DCRR n'interdit en rien à la haute direction d'un ministère ou aux ministres du CT de demander la réalisation d'une évaluation si les conditions ou la situation changent (p. ex., changement des priorités d'un ministère ou du gouvernement, évolution du contexte extérieur, etc.). Il ne s'agit que d'un outil pour aider le ministère à évaluer ses capacités de rapport sur les résultats.
Quand les ministères peuvent-ils utiliser le DCRR?
Le DCRR est destiné aux programmes, aux politiques ou aux initiatives qui touchent à la Politique sur les paiements de transfert et qui ont les caractéristiques suivantes :
- ils présentent peu de risques financiers (c.-à -d. dépenses annuelles de deux millions de dollars ou moins)
- ils ont fait la preuve de leurs capacités à fournir les résultats (c.-à -d. responsabilités précises, capacité éprouvée à gérer et à contrôler);
- ils présentent peu de risque de controverse publique ou qui sont relativement discrets; et
- ils ne comptent qu'un petit nombre d'intervenants ou d'intervenants dont les modalités et les objectifs sont bien alignés.
Aperçu de la mise en œuvre du DCRR
Le DCRR est une évaluation rapide de l'état de la capacité d'un programme, d'une politique ou d'une initiative à gérer, atteindre et montrer des résultats. Il s'intéresse essentiellement à trois domaines :
- La capacité stratégique , qui montre que l'exécution du programme, avec ses diverses modalités, et les efforts pour atteindre les résultats s'appuient sur une réflexion stratégique;
- La capacité opérationnelle, qui montre que les systèmes, les pratiques et les processus qui conviennent sont en place pour gérer les résultats; et
- La capacité à atteindre les résultats, qui montre que les résultats sont atteints et que, au besoin, des mesures correctrices sont prises pour rester bien centré sur les résultats.
Le Modèle de diagnostic des capacités (annexe A) facilite la collecte et l'analyse des données et de l'information dans ces trois grands domaines.
C'est l'Unité d'évaluation du ministère ou de l'organisme qui doit procéder au diagnostic des capacités. Le CEE recommande qu'un analyste principal, ayant une solide connaissance de l'application des mesures d'évaluation et de rendement dans l'ensemble du ministère, procède à l'évaluation.
Il est important de signaler que le DCRR fournit un aperçu de la capacité du programme [1]à gérer et obtenir les résultats à un moment précis dans le temps. Les résultats obtenus ne s'appliquent pas aux années ultérieures.
Mise en œuvre étape par étape
Voici les grandes lignes de la réalisation étape par étape d'un DCRR. Il est important de bien connaître le Modèle de diagnostic des capacités (annexe A) avant de commencer.
Étape 1 : Examen de la documentation
Le DCRR débute par un examen des principaux documents : le Cadre de gestion
et de responsabilisation axé sur le résultat (CGRR) et les autres documents
connexes importants en matière de stratégie ou de politique. Cet examen de
la documentation a pour objet de s'assurer que l'analyste comprend bien
l'objectif et le plan initial du programme afin de pouvoir dialoguer
efficacement avec la direction du programme. Il faut accorder une attention
particulière à la compréhension des résultats visés par le programme.
Étape 2 : Entrevue avec le principal détenteur
d'information
L'analyste doit rencontrer le directeur du programme pour remplir le Modèle
de diagnostic des capacités. Il doit noter les réponses de celui-ci. Lors de
l'entrevue, il doit recueillir la documentation étayant les réponses (voir
la colonne 2 indiquant les sources éventuelles de données). Le modèle peut
être communiqué au directeur du programme pour accélérer la collecte des
données.
Étape 3 : Consultation des principaux
intervenants
Une fois l'étape 2 terminée, l'analyste doit consulter les principaux
intervenants pour valider plus en détail l'information fournie. Les
intervenants à consulter sont au moins le ou les analystes du secteur de
programmes du SCT, l'Unité de politique du ministère et le SMA responsable
du programme. Si cela s'avère possible et qu'il en a le temps, l'analyste
aura intérêt à consulter les tierces parties impliquées dans la prestation
du service.
Étape 4 : Analyse des capacités
Une fois l'analyse des données et de l'information recueillies faite,
l'analyste présentera son évaluation des capacités d'ensemble avec ses
recommandations sur les activités d'évaluation à réaliser à l'avenir.
Étant donné la nature et l'objet du DCRR, les recommandations doivent porter uniquement sur la conception ou la mise en œuvre du programme. Le DCRR ne fait que signaler la nécessité de procéder à d'autres évaluations ultérieures et soulever d'éventuelles questions d'évaluation. Les résultats de l'analyse des capacités doivent être communiqués au directeur du programme et être approuvés par le chef de l'évaluation avant d'être présentés à la haute direction du ministère et au SCT.
L'annexe A fournit des conseils sur la façon de déterminer l'ensemble des capacités de rapport du programme. Certains éléments imposent d'obtenir une « bonne » évaluation des capacités alors que d'autres peuvent se contenter d'une évaluation « bonne » ou « satisfaisante ». Pour obtenir une évaluation d'ensemble « bonne », le programme doit obtenir les évaluations obligatoires indiquées et ne faire apparaître aucune limitation de capacité dans les autres domaines évalués.
Étape 5 : Recommandation, rapport et action
Le rapport du DCRR doit comporter un résumé d'une page des résultats, des
conclusions et de la recommandation finale. Le modèle de résultats détaillés
peut y être joint. La recommandation finale sur la nécessité ou non d'une
évaluation du programme relève du chef de l'évaluation et/ou du SCT. Les
résultats du DCRR doivent être présentés au Comité de vérification et
d'évaluation du ministère pour qu'il les étudie et les approuve avant de les
soumettre au SCT.
Calendrier et évaluation du volume de travail nécessaire
En faisant l'hypothèse que les principaux détenteurs d'information sont disponibles, l'ensemble du processus de diagnostic des capacités ne doit pas prendre plus de quatre jours, étalés sur une période de deux semaines.
Utilisation des résultats du DCRR
Comme son utilisation nécessite une dispense d'application de la Politique sur les paiements de transfert, un ministère ne peut utiliser un DCRR sans avoir obtenu au préalable l'approbation du secteur de programme du SCT et du CEE. Si le DCRR révèle que le programme dispose globalement d'une bonne capacité de rapport sur les résultats, il sera alors possible de demander à être dispensé de procéder à une évaluation officielle du programme. Dans le cas contraire, c'est-à -dire en cas de capacité limitée de rapport sur les résultats, le ministère est tenu de réaliser une évaluation officielle du programme pour étayer les modalités de son renouvellement. L'évaluation doit alors respecter les normes d'évaluation définies dans la politique sur l'évaluation de 2001. Il est donc important de réaliser le DCRR en temps voulu pour disposer au besoin de suffisamment de temps pour faire une évaluation si celle-ci est nécessaire.
Annexe A : Modèle de diagnostic des capacités
| Question | Sources éventuelles de données | Évaluation | Évaluation des capacités | |||
| Bonne capacité | Capacité satisfaisante | Capacité limitée ou nulle | ||||
|
S T R A T É G I Q U E S |
Comment les objectifs de votre programme sont-ils liés aux résultats stratégiques du ministère? | - Directeur du programme - AAP - CGRR |
Les objectifs du programme sont bien liés aux objectifs stratégiques du ministère et ce lien est bien compris par la direction du programme. | Référence est faite aux résultats stratégiques, mais le lien n'est pas clair (c.-à -d. difficile à faire). | Pas de lien avec les résultats stratégiques du ministère (c.-à -d. pas évident dans l'AAP). | Bonne évaluation obligatoire |
| Qui sont les principaux intervenants et comment sont-ils impliqués dans le programme? | - Directeur du programme- CGRR | Tous les principaux intervenants sont identifiés et impliqués officiellement dans la prestation et/ou le contrôle du programme. | Les principaux intervenants sont identifiés et sont impliqués de façon ad hoc ou informelle (c.-à -d. pas de stratégie officielle d'implication). | Certains intervenants importants sont identifiés et ne sont pas impliqués dans les activités de prestation ou de contrôle du programme. | Bonne ou satisfaisante | |
| Quels sont les autres organisations impliquées dans ce programme ou des programmes similaires? | - Directeur du programme - Autres intervenants importants - CGRR |
Bonne connaissance d'autres programmes ou initiatives du gouvernement fédéral, d'autres paliers de gouvernement, du secteur privé ou du secteur du bénévolat qui sont impliqués dans des activités similaires. La direction du programme dispose d'une stratégie et a commencé à s'efforcer d'éliminer les chevauchements et les dédoublements. | On constate une certaine connaissance des autres programmes ou initiatives au sein du gouvernement fédéral, des autres paliers de gouvernement, du secteur privé ou du secteur bénévole qui sont impliqués dans des activités comparables. La direction du programme ne s'est pas encore dotée d'une stratégie pour éviter les chevauchements et les dédoublements. | On ne relève aucune connaissance des autres programmes ou initiatives du gouvernement fédéral, des autres paliers de gouvernements, du secteur privé ou du secteur du bénévolat qui sont impliqués dans des activités comparables. | Bonne évaluation obligatoire | |
| En quoi le contexte a-t-il changé depuis la mise en œuvre du programme et comment a-t-il été adapté pour tenir compte de ces changements? | - Directeur du programme - Rapports sur le contexte - Documents de stratégie - Autres intervenants importants |
La direction du programme dispose d'un plan à long terme qui prend ses racines dans une analyse stratégique. | La direction du programme ne dispose pas de plan à long terme mais a une vision à long terme qui prend ses racines dans les analyses stratégiques. | Il n'y a pas de plan à long terme et aucune trace d'analyse stratégique à l'appui de la prise de décisions. | Bonne ou satisfaisante | |
|
O P É R A T I O N N E L L E S |
Dans quelle mesure le programme a-t-il donné les résultats prévus? | - Directeur du programme - CGRR - Plans d'activité |
Tous les aspects du programme ont été appliqués comme prévu au départ. Lorsque des modifications ont été nécessaires, elles ont été justifiées. | La plupart des aspects du programme ont été exécutés comme prévu au départ. | Le programme n'est pas exécuté comme prévu (c.-à -d. comme indiqué dans le CGRR ou dans les conditions du programme. | Bonne évaluation obligatoire. |
| Quelles autres approches sont ou ont été
envisagées pour la prestation des services?
|
- Directeur du programme - CGRR - Plans d'activité - Présentations ou séances d'information |
La direction du programme envisage d'utiliser d'autres modes de prestation de services pour le programme et tient compte du rapport coût-efficacité quand elle évalue les diverses solutions. | La direction du programme envisage d'autres modes de prestation de services du programme. | La direction du programme n'a pas envisagé d'utiliser d'autres modes de prestation de services du programme à un moment quelconque de la planification ou de la prestation des services du programme. | Bonne évaluation obligatoire. | |
| Dans quelle mesure une structure de gouvernance adaptée est-elle en place. | - Directeur du programme - CGRR - Document de gouvernance (mandat, procès-verbaux, plans d'action, etc.). |
Une structure de gouvernance efficace est en place et se réunit régulièrement (c.-à -d. qu'un organisme de prise de décisions est en place avec la représentation qui convient, qu'il se réunit et prend les décisions qui sont enregistrées, communiquées et que des mesures sont prises en temps voulu). | Une structure de gouvernance est en place avec la représentation voulue mais elle ne se réunit pas régulièrement. Les décisions sont prises et les mesures appliquées mais pas toujours contrôlées. | Il n'y a pas de structure officielle de gouvernance. | Bonne évaluation obligatoire | |
| Comment contrôlez-vous votre rendement? | - Directeur du programme - CGRR - Rapports sur le rendement |
Il y a des systèmes, des structures, des politiques et des pratiques de contrôle du rendement claires et bien comprises. Le contrôle du rendement sert à la prise de décisions. Les activités de contrôle ont débouché sur des modifications au programme. | Le contrôle et la mesure du rendement sont faits sur une base ad hoc. Les rapports sur la mesure du rendement servent parfois à la prise de décisions. | Il n'y pas de contrôle du rendement. | Bonne évaluation obligatoire. | |
|
R É S U L T A T S |
Quels résultats visés avez-vous obtenus?
|
- Directeur du programme - Rapports sur le rendement - Rapport annuel - Évaluations |
Il est manifeste que les résultats (niveaux d'extrants et de résultats) sont atteints comme prévu. | Il est manifeste que les résultats sont obtenus. | Il n'est pas évident que les résultats - extrants ou résultats - sont obtenus ou les preuves ne sont qu'anecdotiques. | Évaluation bonne ou satisfaisante |
| ÉVALUATION D'ENSEMBLE | ||||||
[1] Dans le reste de ce document, le terme « programme » désigne à la fois les programmes, les politiques et les initiatives.
- Date de modification :