Papier SCT
Date : 09-30-93  
Sujet : Les liens entre la vérification et l'évaluation dans les ministères fédéraux
Division de la revue gouvernementale
Direction de la politique administrative
Secrétariat du Conseil du Trésor
Par Ian Hurd, B.A. (Carleton), PhD. candidate (Yale)

Table des matières
Table des matières
Introduction
Types de lien
Historique, tendances et théorie
Lien organisationnel
Le « guichet unique »
Lien fonctionnel
Examen: une fonction unique?
Impact du lien
Rapport avec les parties intéressées
Rapport avec l'organisation
Direction des études conjointes et production des rapports
Questions relatives aux ressources humaines
Conclusions
Personnes interrogées pour l'étude
Bibliographie

Introduction
Le présent document traite de la relation entre la vérification et l'évaluation dans les ministères du gouvernement fédéral canadien et tire certaines leçons des expériences récentes vécues par des ministères à l'occasion d'études ayant mis à contribution à la fois la vérification et l'évaluation. Il est fondé sur des entrevues, sur une enquête auprès d'environ dix autres ministères et sur un bref examen de la littérature actuelle. Les entrevues ont été réalisées auprès de quinze personnes faisant partie des services de vérification et d'évaluation des ministères, à partir de vérificateurs et d'agents d'évaluation jusqu'à des sous- ministres adjoints.

La première partie porte sur les aspects théoriques de l'établissement d'un lien entre la vérification et l'évaluation, notamment sur les types de lien qui existent dans certains ministères fédéraux canadiens. Dans la deuxième partie, il est question des effets de ces liens sur les projets, les clients, les examinateurs eux-mêmes et les groupes d'examen en tant qu'organisations. Au départ cependant, il nous faut donner quelques éclaircissements sur la terminologie utilisée en vérification-évaluation.

Les débats dans le domaine de la vérification-évaluation dans le passé se sont heurtés à l'usage incohérent des termes. Il semblerait donc prudent de s'arrêter d'abord sur la terminologie utilisée dans le présent document. Voici la définition de la vérification interne dans le Manuel du Conseil du Trésor intitulé Évaluation et vérification : « ...évaluation... en regard de critères valables [de]... l'ensemble des systèmes et des pratiques étroitement liés qui sont adoptés par la gestion en vue d'atteindre des objectifs établis », de sorte que l'administrateur général et d'autres personnes puissent améliorer la rentabilité et la gestion responsable des opérations. Le même document définit l'évaluation de programme comme suit : « étude empirique du rendement d'un programme » de sorte que l'administrateur général et d'autres personnes puissent remettre en question « l'orientation future du programme et les ressources nécessaires à sa réalisation, ce qui inclut la conception du programme, sa prestation et le niveau de services prévu. »

On entend ici par lien une situation où la vérification et l'évaluation partagent un espace organisationnel ou fonctionnel. Le lien organisationnel correspond à une situation où le groupe de la vérification et celui de l'évaluation sont associés dans l'organigramme du ministère : les deux groupes peuvent relever du même SMA ou être complètement fusionnés en un seul groupe. En revanche, le lien fonctionnel s'entend d'une occasion ou d'un mécanisme où une étude d'examen porte sur des questions à la fois de vérification et d'évaluation ou à laquelle participent à la fois des vérificateurs et des évaluateurs. Chaque fois qu'il y a une relation de travail entre la vérification et l'évaluation, on dit qu'il y a un lien fonctionnel, mais, ce qui est le plus intéressant dans la présente étude, ce sont les cas où les deux fonctions sont en liaison officielle et constante.

Le terme « examen » s'entend ici des fonctions de la vérification et de l'évaluation prises ensemble et il ne s'agit que d'un moyen commode d'épargner aux lecteurs la construction lourde « vérification et évaluation ». Par conséquent, le « groupe d'examen » est le service d'un ministère chargé de la vérification et de l'évaluation. Lorsqu'ils portent la majuscule initiale, les termes « Examen » et « Examinateur » s'entendent de la discipline unique et de son praticien, tels qu'ils existent dans certains ministères en raison de la fusion de la vérification et de l'évaluation.

La présente étude est devenue plus compliquée en raison de la réorganisation du gouvernement en juin 1993, laquelle a entraîné l'abolition de plusieurs ministères contribuant au projet. Dans de nombreux cas, des ministères ayant des relations vérification-évaluation très différentes ont été fusionnés et on ne sait pas encore comment les groupes d'examen pour les nouveaux ministères seront constitués. Il est par conséquent difficile d'indiquer le nombre absolu ou la proportion de ministères ayant retenu une forme ou une autre, ou encore de mentionner les groupes selon leur appellation, mais l'essentiel de leur expérience et de leurs observations reste valable.

Types de lien
Historique, tendances et théorie
La vérification et l'évaluation ont pris forme de façon très distincte, à des moments différents et à partir de disciplines différentes. La vérification est issue de la comptabilité et de la gestion financière et elle a conservé leur indépendance traditionnelle de la gestion de programme. Sa force tient beaucoup à ce qu'elle repose sur un ensemble de normes largement reconnues (IIA et gouvernement fédéral). Elle offre toute une gamme de produits, de la vérification intégrée à la vérification de la conformité, portant sur divers aspects d'une organisation, mais, quelle que soit sa forme, elle prend comme point de départ la gestion et les opérations de l'organisation et elle se déplace vers les activités et les produits de l'organisation.

L'évaluation, dont l'origine remonte seulement aux années 60, est née en réaction à un besoin perçu aux États-Unis de comprendre les effets réels des projets militaires de la « grande société ». Elle s'inspire de méthodes (principalement socio-) scientifiques, présentant des preuves empiriques de l'impact et de l'effet des politiques d'intérêt public devant servir à la prise de décision. L'évaluation s'intéresse d'abord à l'impact et aux résultats de l'organisation et elle approfondit ensuite son approche pour chercher les explications opérationnelles de ces résultats. L'évaluation s'est donnée son propre ensemble de normes (AEA et gouvernement fédéral) pour la mesure du rendement, mais elle reste traditionnellement en liaison avec les gestionnaires et les planificateurs de programmes, préférant l'objectivité à l'indépendance dans la pratique.

En raison de l'origine de chaque fonction, la vérification au gouvernement fédéral a toujours été rattachée au secteur de la gestion financière, tandis que l'évaluation l'a été à celui de l'élaboration des politiques. S'il est généralement acquis que la vérification et l'évaluation font partie d'un continuum de services d'information sur l'organisation qui se chevauchent dans des domaines tels l'efficience des opérations et la rentabilité, on a depuis toujours maintenu une distinction, l'évaluation s'occupant de l'analyse des politiques et des résultats, et la vérification, des contrôles financiers internes et des systèmes de gestion.

Ces traditions ont évolué au cours de la dernière décennie dans de nombreuses administrations, tant dans le secteur privé que dans le secteur public. Il semble y avoir deux raisons à cela dans le secteur public, les deux étant liées aux compressions budgétaires. En premier lieu, les compressions dans les secteurs de la vérification et de l'évaluation font que ces fonctions sont davantage pressées de montrer leur utilité en répondant à la demande de produits de la part de clients. Il leur faut par conséquent faire preuve de souplesse dans l'établissement de la liste des produits qu'ils offrent et se montrer disposées à prendre en charge des tâches qui ne correspondent pas nécessairement au cadre traditionnel de la discipline. Il semble que les clients cherchent maintenant davantage des produits qui les renseignent sur les opérations, de manière à modifier progressivement les programmes pour les exécuter avec plus d'efficacité et d'efficience. C'est ainsi que l'évaluation se rapproche de plus en plus de la vérification.

En deuxième lieu, les compressions dans les ministères et programmes d'exécution contribuent à rendre plus valables les renseignements découlant des examens, s'ils s'appliquent aux cadres hiérarchiques. On demande de plus en plus à la vérification, non seulement de déceler l'existence de problèmes, mais aussi d'examiner l'ampleur des problèmes et les solutions possibles. Par ailleurs, on demande de plus en plus à l'évaluation de commenter l'impact de structures ou de systèmes particuliers sur l'atteinte des objectifs. En raison des problèmes bien précis qu'éprouvent les gestionnaires soumis aux compressions, les groupes de vérification et d'évaluation subissent les nouvelles pressions mentionnées précédemment, ce qui leur donne l'occasion de procéder à des examens pour obtenir de nouveaux clients avec de nouveaux produits (de niveau opérationnel).

Pour ces deux raisons, la vérification a commencé à s'intéresser au rendement et aux programmes, tandis que l'évaluation s'attache de plus en plus aux processus et à l'efficience. C'est ainsi que les aspects opérationnels de l'examen commencent à l'emporter tant sur les aspects stratégiques que redditionnels. Cette évolution ne va pas sans controverse. L'importance que l'évaluation accorde à l'efficience, par exemple, est un point litigieux depuis les premiers jours de la fonction au Canada, des autorités se prononçant aussi bien d'un côté comme de l'autre. Le danger est qu'on en vienne à oublier la contribution que l'évaluation est seule capable d'apporter à la prise de décision stratégique et à la planification. De même, on perdra beaucoup si la fonction de vérification délaisse la reddition des comptes au profit des opérations. On ne croit pas qu'il s'agisse là des conséquences de l'établissement d'un lien entre la vérification et l'évaluation, mais plutôt d'aspects de la cause des rapports plus étroits entre les deux.
Lien organisationnel
Vers la fin des années 80 et au début des années 90, la plupart des ministères ont établi une relation organisationnelle entre leurs groupes de vérification et d'évaluation. Dans la structure la plus courante, les deux groupes relèvent du même directeur général de la vérification et de l'évaluation. Dans d'autres cas, ils relèvent du même directeur ou sous- ministre adjoint, ou encore d'un cadre supérieur qui est aussi chargé de fonctions telles la consultation de gestion, la planification ou les enquêtes spéciales sur les fraudes. Parmi les ministères étudiés qui avaient établi un lien entre leurs fonctions d'examen, il y en avait à peu près un nombre égal à avoir fait relever le nouveau service du secteur des politiques que du secteur de la gestion générale.

Dans la plupart des ministères, c'est pour épargner des ressources administratives, des frais généraux et surtout du personnel cadre qu'on a lié les fonctions dans l'organisation. Règle générale, il y a un directeur général de la vérification et de l'évaluation dont relèvent un directeur de la vérification et un directeur de l'évaluation, mais, de plus en plus dans les plus petites organisations, il n'y a qu'un seul directeur général de qui relèvent tous les agents. Il s'en suit une organisation plus horizontale, moins chère et peut-être plus réceptive et plus efficiente, mais aussi une organisation qui se situe à un niveau plus bas dans la hiérarchie. Cette dernière caractéristique peut avoir une incidence importante sur les opérations de l'organisation d'examen. Un groupe d'examen dont l'importance est moindre dans l'organisation est moins sensibilisé aux enjeux ministériels, trouve plus difficile de se faire entendre à un niveau stratégique et peut être plus proche des gestionnaires de programme. Ces changements ont des répercussions sur la nature, le contexte et l'efficacité des activités d'examen. Par ailleurs, il y a aussi moins de niveaux hiérarchiques entre les fonctions d'examen et l'administrateur général.

Une autre raison d'établir un lien organisationnel s'articule autour de ce qu'on appelle souvent le problème de la « masse critique ». Certains soutiennent que, si des groupes distincts de vérification et d'évaluation n'ont pas une certaine taille, ils ne commanderont pas un respect suffisant dans le ministère, ni ne disposeront des compétences pour offrir des produits utiles, et qu'il est souhaitable d'établir un lien entre les fonctions pour améliorer le profil et la productivité de chacune. Plusieurs chefs de l'examen ont indiqué qu'il s'agit là d'un problème. Ils le considèrent cependant comme un argument de peu de poids, mais valable dans la mesure où l'amalgamation de très petits groupes devrait augmenter la visibilité des deux fonctions dans le ministère. On ne voit pas très bien pourquoi le simple établissement d'un lien organisationnel entre des fonctions modestes devrait accroître leur capacité d'offrir des produits.

Comme elle est généralement entreprise pour des raisons liées aux ressources, l'intégration organisationnelle ne vise pas généralement, dans l'esprit des personnes qui en prennent l'initiative, à produire des effets importants sur le rendement des fonctions de vérification et d'évaluation. L'on s'attend à ce que le travail se poursuive comme avant dans chaque domaine, mais peut-être de façon plus efficiente en raison du caractère plus horizontal de l'organisation. On reconnaît la possibilité d'avantages marginaux, comme partager les renseignements et ne pas demander deux fois les mêmes renseignements au gestionnaire, étant donné que chaque fonction est plus au courant de l'activité de l'autre. Toutefois, il s'agit là d'avantages secondaires par rapport au désir de réduire les frais généraux et ceux du personnel cadre. Les modifications des fonctions découlant de tels changements organisationnels sont en général craints par les intéressés parce qu'ils croient qu'elles affaiblissent la cohésion et les compétences de chaque fonction; le lien organisationnel tend à être perçu comme le début de la fin pour la distinction professionnelle entre les vérificateurs et les évaluateurs. Lorsque la Direction de l'évaluation et de la vérification a été créée dans l'ancien Bureau du contrôleur général, il a fallu faire beaucoup d'efforts pour expliquer aux milieux de la vérification et de l'évaluation que le nouveau lien au centre ne représentait pas un affaiblissement de l'engagement à maintenir des groupes professionnels forts et distincts, mais un effort pour trouver des moyens plus efficaces et plus efficients de réaliser les produits de vérification et d'évaluation.

Il semble maintenant que le lien organisationnel a effectivement eu un certain impact fonctionnel sur la distinction entre la vérification et l'évaluation, mais non pas de la façon qu'on craignait au départ. Ces faits nouveaux seront approfondis ci-après, mais, en résumé, il s'agit du changement de perspective chez le premier responsable (du fait qu'une seule personne dirige les deux fonctions), des effets de la planification conjointe, de la souplesse des ressources (du fait qu'un seul budget s'applique aux deux fonctions) et du perfectionnement des méthodes en raison du rapport avec des agents d'une profession connexe.
Le « guichet unique »
Le guichet unique est une forme particulière de lien organisationnel où les clients qui demandent des services de vérification ou d'évaluation sont encouragés à poser leurs questions sans égard à la distinction entre les aspects qui tiennent à la vérification ou à l'évaluation. Cette façon de procéder a été jugée avantageuse par de nombreux ministères du fait que les clients n'ont pas à connaître les subtilités de la distinction entre la vérification et l'évaluation et qu'ils peuvent exprimer plus spontanément et plus précisément leurs véritables besoins et intérêts. Pour ces raisons, le guichet unique est très apprécié et hautement souhaité par la plupart des ministères.

La moitié des chefs de l'examen avec qui nous avons communiqué ont dit expressément qu'ils cherchent à offrir à leurs clients un service « à guichet unique », « polyvalent » ou « transparent », et un petit nombre seulement tenait beaucoup, pour des raisons de principe, à offrir des guichets distincts pour la vérification et l'évaluation. Ces derniers étaient les mêmes qui tenaient à des fonctions non liées organisationnellement. La possibilité d'appliquer le guichet unique dépend de la haute direction du ministère; certains demandent une vérification ou une évaluation, tandis que d'autres préfèrent présenter à leur groupe d'examen une simple liste de problèmes ou de questions, sans faire de distinction entre la vérification et l'évaluation.

La polyvalence du service ne dépend pas de l'intégration organisationnelle en ce sens que l'un peut aller sans l'autre; en pratique toutefois, le service à guichet unique tend habituellement à être intégré sur le plan organisationnel. Un point de contact unique avec les clients peut être une façade masquant des unités distinctes et bien définies de vérification et d'évaluation, derrière laquelle le problème du client est disséqué selon ses éléments de vérification et d'évaluation dès le début du processus. Par conséquent, le guichet unique n'est que le symbole d'une orientation- clients de la part du groupe d'examen et il peut ne révéler rien d'autre au sujet de l'organisation interne de la vérification et de l'évaluation.

Outre qu'elle sert le but de l'orientation-client, la transparence a un avantage important puisqu'elle établit une distinction bien réelle plutôt qu'artificielle entre la vérification et l'évaluation. Après que le client se soit adressé au groupe de vérification et d'évaluation avec sa liste de problèmes ou de questions à examiner, il appartient aux fonctions d'examen de les attribuer aux agents ayant les compétences nécessaires. Cela vaut également pour les groupes de vérification-évaluation qui sont organisationnellement distincts, liés ou fusionnés, et fonctionnellement liés ou distincts. Pour attribuer les questions en fonction des compétences, il faut chaque fois retracer la démarcation entre la vérification et l'évaluation, compte tenu concrètement des documents à fournir. Par conséquent, consciemment ou non, l'organisation doit se convaincre chaque fois que sa structure interne de vérification et d'évaluation répond aux besoins de ses clients et des études qu'ils demandent. Il s'agit là d'un exercice valable de réévaluation constante de l'organisation.
Lien fonctionnel
Les distinctions dans l'organisation dissimulent dans une grande mesure le fait que la majorité des groupes font essentiellement les mêmes choses. La plupart des chefs de la vérification et de l'évaluation conviennent que les examens se situent sur un continuum allant de la vérification à l'évaluation, et qu'il y a des zones grises entre les deux. C'est donc que tous les ministères, peu importe la structure de leurs fonctions de vérification et d'évaluation, font certaines vérifications traditionnelles, certaines évaluations traditionnelles et certaines études qui se situent entre l'une et l'autre fonction. C'est vrai pour les groupes où la vérification et l'évaluation ne se distinguent pas sur le plan organisationnel, de même que pour ceux où il n'y a pas de liens officiels entre elles. Essentiellement, la plupart conviennent que les vérifications pures et les évaluations pures sont des catégories d'examens et qu'il existe une troisième catégorie englobant les zones grises. Le lien fonctionnel porte sur la gestion de cette zone grise.

Le terme « lien fonctionnel » englobe toute une gamme d'activités qui comportent une relation plus ou moins poussée entre la vérification et l'évaluation, depuis la planification annuelle conjointe jusqu'à des projets occasionnels touchant des questions à la fois de vérification et d'évaluation, et des études d'examen fusionnées du point de vue fonctionnel.

Le lien fonctionnel minimal se reflète dans la coordination des plans annuels. La mesure dans laquelle les plans peuvent être conjoints varie selon les cas. Il peut s'agir tout au plus de deux documents de planification imprimés ensemble sans qu'il y ait eu interaction réelle ou, inversement, il peut y avoir eu une grande collaboration, mais les plans définitifs sont imprimés séparément. Manifestement, c'est l'interaction qui est importante. Un plan annuel conjoint permet la réalisation de certains des avantages cherchés dans le lien fonctionnel. Mentionnons notamment la connaissance des études que l'autre groupe entreprend, la possibilité de se communiquer des renseignements et des recherches, et peut-être un certain contact avec les méthodes de l'autre. La planification conjointe existe plus ou moins ipso facto pour les groupes liés organisationnellement, mais elle doit être recherchée expressément dans les ministères ayant des unités indépendantes de vérification et d'évaluation. Un chef de groupes de vérification et d'évaluation fonctionnellement distincts a fait observer que la participation des cadres supérieurs et des gestionnaires de programme à l'élaboration d'un plan annuel conjoint a contribué à les sensibiliser aux distinctions entre la vérification et l'évaluation, ce qui a justifié la séparation des fonctions dans ce ministère.

Il devient de plus en plus courant pour un ministère d'entreprendre occasionnellement des études conjointes. Environ la moitié des ministères étudiés ont participé à une entreprise conjointe de vérification-évaluation dans le passé récent, et un autre quart se disent favorables à l'idée même s'ils ne l'ont pas encore mise en pratique. Le processus se déroule généralement comme suit. On définit généralement, dans le processus de planification annuelle, un secteur pouvant faire l'objet d'une étude conjointe, après quoi on explore conjointement les questions d'intérêt, on détermine l'ensemble des renseignements nécessaires et on dresse les listes de questions et les plans de travail. Le processus est généralement lancé par des travaux distincts d'enquête et de recherche pouvant donner lieu à des échanges de renseignements, et il s'achève par un rapport conjoint portant sur les constatations de la vérification et de l'évaluation. Ce modèle varie selon l'objet de l'étude, le temps nécessaire pour chacune des enquêtes et les préférences du client et du groupe d'examen. Par exemple, il n'est pas inhabituel que les plans de travail soient élaborés séparément, qu'une partie des études soient réalisées conjointement ou que des rapports distincts soient présentés. Dans certains cas, on peut mettre sur pied un comité directeur composé de représentants de la vérification et de l'évaluation. Il est important de faire observer que, règle générale, dans les études conjointes, les composantes vérification et évaluation sont exécutées de façon plutôt indépendante, à peu près comme s'il s'agissait d'une vérification ou d'une évaluation tout à fait indépendante. On tend à faire ensemble la planification et la présentation des rapports, les contacts étant essentiellement peu importants en cours de route. Par conséquent, la mesure dans laquelle la plupart des études sont conjointes n'est pas très prononcée.

Peu de ministères songent à pousser le lien fonctionnel au niveau suivant, c'est-à-dire au niveau où les vérificateurs et les évaluateurs sont affectés aux mêmes questions ou qu'un vérificateur est mandaté pour examiner ce qui aurait été jugé traditionnellement comme une question d'évaluation, ou l'inverse. L'exception est le groupe d'examen à fonction unique entièrement fusionné, pour lequel cette situation est courante. Il sera question de ce cas particulier ci-après. Les cas où les ministères ayant des fonctions distinctes de vérification et d'évaluation ont eu recours à cette technique sont pleins d'enseignement car ils font ressortir le respect constant des différences fondamentales entre les deux. Les chefs de l'examen ont signalé qu'il y avait eu ce genre de « collaboration étroite » dans les circonstances suivantes : les évaluateurs ont aidé les vérificateurs à mener des enquêtes auprès des clients ou à faire des travaux statistiques; les vérificateurs ont aidé les évaluateurs à faire des calculs de rentabilité; les évaluateurs ont entrepris une vérification majeure parce qu'on estimait que la « macroperspective » de l'évaluation était nécessaire; il s'est produit une crise au niveau de l'affectation du personnel ou avec les entrepreneurs et les gestionnaires avaient beaucoup plus d'estime pour un groupe que pour l'autre. Dans tous les cas sauf les deux derniers, ce furent les points forts particuliers de chaque discipline qui ont rendue intéressante l'affectation à la fois de vérificateurs et d'évaluateurs aux mêmes questions. Dans les deux autres cas, ce sont d'autres facteurs qui ont pris le pas sur les compétences, ce qu'on a considéré comme optimal, mais loin d'être nécessaire. On peut donc conclure que, dans les occasions où les professions travaillent ensemble à la même question, le caractère distinctif de chacune tend à se renforcer plutôt qu'à s'affaiblir. Les professions sont généralement réunies lorsqu'il faut couvrir les questions situées dans la « zone grise » qui relèvent à la fois de la vérification et de l'évaluation, précisément parce que leurs compétences différentes font qu'il vaut la peine de les réunir.

Plusieurs ministères choisissent de se lancer dans de nombreuses études conjointes, mais maintiennent une distinction organisationnelle entre la vérification et l'évaluation. Cette situation semble découler de la conviction que le désir chez les clients et les cadres supérieurs d'établir des liens entre la vérification et l'évaluation est une mode passagère, et que le groupe doit se protéger au cas où le pendule revienne à son point de départ, soit la distinction entre les deux fonctions, en maintenant une structure distincte d'un point de vue organisationnel, mais fusionnée d'un point de vue fonctionnel.
Examen: une fonction unique?
Deux ou trois ministères ont adopté comme principe que toute distinction formelle entre les questions ou les agents de vérification et d'évaluation est contre-productive. Ces milieux se font les défenseurs de l'examen en tant que discipline regroupant tout l'éventail des questions de vérification et d'évaluation. En théorie, on élimine ainsi les obstacles culturels à la collaboration entre la vérification et l'évaluation, on supprime la nécessité pour les clients de l'examen de comprendre les distinctions et on peut obtenir une vue globale des opérations, de la gestion et des résultats d'un programme ou d'une organisation. L'approche découle de la conviction selon laquelle le chevauchement entre la vérification et l'évaluation est beaucoup plus prononcé qu'on ne l'admet généralement, et qu'il est par conséquent possible de former une personne qui peut bien exercer les deux fonctions. Les sceptiques ont soutenu qu'on a ainsi agi pour réformer une fonction problématique en espérant que, si elle est associée à un groupe qui donne un meilleur rendement, les bonnes pratiques se répandront par osmose.

Plusieurs problèmes sont apparus en pratique dans le cadre de ce régime. En premier lieu, on peut encore se demander s'il ne s'agit tout simplement pas des mêmes produits présentés dans un nouvel emballage, puisque même les chefs des groupes d'examen fusionnés reconnaissent que, fondamentalement, leurs études peuvent se répartir entre ce qu'on appellerait traditionnellement des vérifications pures, des évaluations pures et des études de « zone grise ». Certains affirment qu'il existe bel et bien une différence entre une étude d'examen et les produits reconnus de vérification-évaluation, mais aucune démonstration n'en a été faite.

On se demande aussi si les examinateurs possédant la double compétence peuvent aussi bien faire des vérifications pures ou des évaluations pures que les personnes qui sont expressément formées à une discipline ou à l'autre. Les opposants à ce modèle affirment souvent que le chef de l'examen devrait en premier lieu s'occuper des aspects bien définis de vérification et d'évaluation, puis ensuite se pencher sur les zones grises, puisque si on accorde la priorité aux zones grises en les confiant à des examinateurs, il se peut que les études de vérification ou d'évaluation comme telles soient mal faites. Il est difficile de mesurer l'existence d'une telle situation dans la pratique, car ces groupes fusionnés sont relativement nouveaux, mais ceux qui ont décidé d'aller dans cette voie en sont bien conscients et ne semblent pas dissuadés pour autant.

Impact du lien
Avec certaines réserves, à peu près rien n'indique à la suite de la présente étude que les examens conjoints sont bien différents des études de vérification et d'évaluation coordonnées. On reconnaît généralement, parmi les chefs de l'examen représentant toute la gamme des situations de lien et de séparation, que des questions continuent à relever de la vérification, d'autres, de l'évaluation et d'autres encore, de la « zone grise ». Le fait que des vérificateurs et des évaluateurs travaillent ensemble à un sujet n'y change rien, et les questions qu'ils posent et les résultats qu'ils obtiennent semblent être à peu près les mêmes que s'ils fonctionnaient indépendamment. Cette affirmation doit cependant être assortie de réserves pour tenir compte des effets possibles sur les parties intéressées, sur la direction des études et la production des rapports, et sur le perfectionnement professionnel des vérificateurs et des évaluateurs.
Rapport avec les parties intéressées
Les fonctions d'examen s'adressent à trois groupes de parties intéressées correspondant aux trois objectifs d'examen possibles : l'amélioration des programmes et de l'organisation, la gestion stratégique et l'obligation de rendre compte au public. Par conséquent, les parties intéressées sont les gestionnaires de programme, les cadres supérieurs et le Parlement. Certains intérêts de ces groupes sont incompatibles en raison des divers objectifs possibles de la vérification et de l'évaluation.

Les gestionnaires de programme ont généralement été en faveur d'une coordination plus étroite, sinon d'une intégration pure et simple des fonctions de vérification et d'évaluation parce qu'ils s'intéressent aux questions opérationnelles, lesquelles se situent au point de rencontre des deux. Pour ces questions, il peut sembler improductif de maintenir des fonctions distinctes. En outre, les cadres hiérarchiques sont généralement ceux qui portent le poids des perturbations entraînées par les demandes de renseignements des examinateurs. Ainsi, ce sont eux qui ont le plus à gagner d'une meilleure coordination des processus de planification.

L'attitude de la haute direction à l'égard de la fusion des fonctions semble beaucoup dépendre de la personnalité et des antécédents des dirigeants du service. Certains, dit-on, sont psychologiquement déterminés à établir une distinction entre les fonctions de vérification et d'évaluation, partiellement en raison des efforts déployés antérieurement pour vendre l'idée des groupes distincts, tandis que d'autres n'ont jamais été convaincus de l'utilité de la distinction et ils sont donc plus enthousiastes au sujet de la possibilité de nouveautés comme le guichet unique et les études conjointes. On pourrait penser que l'intérêt accru pour l'information sur les opérations et sur la rentabilité, lequel est alimenté par les pressions liées aux compressions et lequel est à son tour à l'origine de la tendance vers de meilleurs liens entre la vérification et l'évaluation, pourrait nuire à la capacité des fonctions d'examen de fournir à la haute direction des renseignements stratégiques pour la prise de décision.

L'intérêt du Parlement dans les fonctions de vérification et d'évaluation réside surtout dans ce qui a trait à l'obligation de rendre compte, à l'obligation de rendre compte de la conformité aux codes, des ressources et des autorisations accordées, de même que des résultats obtenus. Le lien organisationnel ou fonctionnel entre la vérification et l'évaluation ne semble pas préoccuper le Parlement en sa qualité de client, pour autant que les fonctions peuvent s'acquitter de leurs tâches fondamentales relatives à la reddition des comptes. D'autres questions intéressent davantage le Parlement, comme le moyen par lequel les vérifications et les évaluations, peu importe comment elles sont organisées et désignées, sont signalées dans le Budget des dépenses.

Les effets sur les clients sont moins clairs pour ce qui est de l'impact du passage à une discipline unique d'examen intégré. On craint que les vérifications et les évaluations traditionnelles, qui se situent aux extrémités du continuum, soient affaiblies si les examinateurs à double compétence sont moins talentueux pour les réaliser que les vérificateurs et les évaluateurs ne possédant des compétences que dans un seul domaine. En outre, la crédibilité de cette fonction aux yeux des gestionnaires de programme, des cadres supérieurs et du Parlement n'a pas été démontrée, et le respect et l'autorité durement acquis pour les appellations traditionnelles de vérification et d'évaluation auprès de ces clients pourraient être perdus. Cela inquète particulièrement la vérification puisqu'elle est la plus ancienne.
Rapport avec l'organisation
Le lien organisationnel des fonctions a des effets sur les groupes en tant qu'organisations. Par exemple, la mission du nouveau groupe est redéfinie en termes plus larges pour englober les deux. Cette situation pourrait changer l'état d'esprit et la vision de chaque groupe, à mesure que les personnes en viennent à se considérer comme partie de l'entreprise plus large qu'est l'« examen intégré » plutôt que comme partie de la vérification ou de l'évaluation seulement. Une telle évolution pourrait avoir des effets indirects sur les projets et les clients.

Si la direction confie à un seul DG le mandat de diriger les deux divisions de la vérification et de l'évaluation, c'est qu'elle ne voit plus les deux fonctions de la même manière. Elle est portée à les voir comme un seul réservoir de compétences, chaque personne ayant ses points forts devant être assortis à la tâche à accomplir d'une façon optimale, sans contraintes dues à la séparation formelle des groupes. Par conséquent, les études conjointes peuvent devenir plus probables. Autre conséquence, le guichet unique devient plus probable puisque l'accès aux fonctions a été centralisé.

En outre, le lien organisationnel entre la vérification et l'évaluation peut leur permettre de fonctionner à partir du même budget, ce qui facilite la répartition des ressources entre les deux, avantage particulièrement important lorsqu'une crise à mi-exercice amène le ministère à modifier ses priorités d'examen. Toutefois, le Bureau national de vérification de l'Australie (ANAO) a pu constater le contraire, en ce sens que des fonctions modestes et mal financées peuvent, si elles sont associées, aggraver mutuellement leurs problèmes de ressources (ANAO, 1990 : par. 3.3.17).

Ces effets découlant d'un lien organisationnel semblent avoir été des conséquences imprévues, plutôt que la conspiration prévue par les nombreux sceptiques. De toute façon, il est difficile d'affirmer que ces changements d'attitude sont en soi négatifs; ils conviennent bien à une orientation- client, puisqu'ils permettent une réaction plus adaptée aux besoins des clients, tant au départ que pour les produits à offrir, et une utilisation plus souple des compétences dans l'organisation. Les clients et les gestionnaires de la vérification-évaluation semblent heureux de ce résultat. Certains y voient toutefois des retombées dangereuses à long terme, puisqu'il peut en résulter une dépréciation de la distinction professionnelle entre la vérification et l'évaluation et que les clients peuvent être amenés à ne plus tenir compte des différences entre les deux.

Parmi les dangers que présente le lien pour l'organisation, mentionnons la perte possible pour la vérification de son indépendance traditionnelle du fait qu'elle est associée aux aspects de l'élaboration des politiques et de la planification de l'évaluation. Certains ministères ont continué de tirer avantage de la connotation d'autorité du terme « vérification » en l'incluant dans le nouveau titre du groupe : par exemple, la Direction de la vérification et de l'examen. La vérification peut également en arriver à participer davantage à l'évaluation des contrôles avant la mise en _uvre des programmes, ce qui est à la fois un avantage, parce que les compétences du groupe sont mises à profit, et un sujet d'inquiétude, parce que cette situation peut compromettre l'objectivité d'une vérification traditionnelle ex-post. L'un des sujets d'inquiétude pour le ministère tient à ce que, si la vérification et l'évaluation relèvent de la même direction générale, l'une d'entre elles ne suivra plus sa ligne hiérarchique traditionnelle pour présenter ses rapports, ce qui pourrait en réduire l'influence. La seule façon de minimiser ce risque consiste à assurer une bonne communication interne.

L'hypothèse selon laquelle le lien organisationnel est plus probable dans les organisations ayant une proportion plus élevée de marchés de services par rapport aux agents internes, tout en étant plausible, n'est pas étayée par les constatations de la présente étude. D'après la théorie, la gestion des marchés de vérification, par exemple, peut très bien se faire par une organisation d'examen intégré ne possédant pas les compétences nécessaires pour faire elle-même les vérifications. Il ne semble pas y avoir de relation entre la proportion des marchés de services et la fréquence des situations où il existe un lien organisationnel, probablement en raison des nombreux facteurs qui se conjuguent pour donner lieu à un niveau quelconque d'impartition. Il semble toutefois plus facile d'établir un lien entre la vérification et l'évaluation lorsque l'une ou l'autre fonction compte beaucoup sur les marchés de services, probablement parce qu'il y a une résistance culturelle moins forte au changement.
Direction des études conjointes et production des rapports
Deux solutions se présentent pour le problème de la direction des projets conjoints. Plusieurs ministères ont fait l'expérience d'une direction double, soit par un évaluateur et un vérificateur, mais seuls quelques-uns ont maintenu cette pratique en raison des problèmes qu'elle tend à créer relativement à la reddition des comptes et à la démarcation du territoire. Les études qui ont le mieux réussi sont celles qui ont été dirigées par une seule personne, issue généralement du secteur le plus fortement visé par l'étude et aidée d'un conseiller ou d'un « guide » de l'autre fonction.

Le lien fonctionnel soulève la question de savoir s'il est préférable de produire les rapports séparément ou sans distinction. Il n'y a pas de consensus à ce sujet parmi les ministères, mais on résout généralement le problème au cas par cas d'après le calendrier des diverses parties de l'étude et selon les nécessités et les susceptibilités du client. Les chefs de l'examen ont constaté que chaque client a ses préférences à ce sujet, et qu'elles ne sont pas nécessairement liées au contenu véritable du rapport; soit qu'ils attribuent une grande valeur aux étiquettes traditionnelles et exigent par conséquent des rapports distincts, soit qu'ils considèrent cela comme du gaspillage et préfèrent un seul document. Au moins deux ministères ont connu un problème de production de rapports conjoints, soit le cas où une équipe d'évaluation a effectué des travaux de base pour une vérification. Il n'a pas semblé utile de produire un rapport conjoint puisque les constatations de l'évaluation auraient été présentées en annexe à la vérification; il valait mieux produire des rapports distincts pour montrer les contributions égales des deux fonctions. En général, dans le cas où les éléments de l'étude arrivent à terme à peu près en même temps, il semblerait préférable de produire un rapport conjoint de façon à maximiser la possibilité que des conclusions supplémentaires se dégagent en raison de l'intégration des renseignements produits par les deux fonctions.
Questions relatives aux ressources humaines
La plupart des personnes qui dirigent un examen conviennent que les professionnels de la vérification et de l'évaluation peuvent apprendre les uns des autres, qu'ils fassent partie ou non d'organisations liées ou qu'ils participent ou non à des études conjointes. On s'entend pour dire qu'un grand nombre des bonnes pratiques de chaque discipline peuvent renforcer l'autre discipline même si elle est exercée de façon indépendante. Voici les avantages que les chefs de l'examen ont généralement mentionnés et qu'ils considèrent comme les plus valables du contact interdisciplinaire :
•	élargir la perspective de chaque discipline de sorte que l'évaluation examine les obstacles opérationnels et administratifs aux résultats escomptés et que la vérification situe son enquête sur le cadre de gestion dans le contexte de son impact sur l'atteinte des objectifs;
•	modifier la forme des rapports de vérification, pour qu'ils soient plus explicatifs et plus faciles à comprendre, et offrir à la vérification la possibilité de produire plusieurs versions du rapport final, chacune étant conçue pour un auditoire différent;
•	inculquer à la vérification l'esprit de « création de données », l'orientation vers les résultats et l'approche critique de l'évaluation;
•	encourager l'évaluation à porter attention au rendement financier et aux conséquences des programmes, et à devenir ainsi plus utile au processus budgétaire.
Il ne semble pas suffisant de s'attendre que chacun des agents de vérification ou d'évaluation sera capable de maîtriser par lui-même ces compétences interdisciplinaires puisque se tenir au courant des nouveautés dans une discipline est en soi une occupation à plein temps. Il semble donc nécessaire de faire des efforts intentionnels pour créer une situation où un tel échange de pratiques se produira. On peut y parvenir soit en accroissant le niveau du rapport organisationnel ou fonctionnel entre les groupes, soit en procédant à des activités précises de formation. Les personnes qui ont participé à des études conjointes ont mentionné que l'expérience est très satisfaisante sur ce plan et probablement plus efficace que ne le serait une formation extérieure. Toutefois, la valeur de cet apprentissage est contestée par certains chefs de l'examen, qui estiment que l'effort nécessaire pour améliorer marginalement le rendement par cet apprentissage interdisciplinaire aurait plutôt avantage à être consacré à d'autres types de formation dans la spécialisation de la personne.

Les cultures professionnelles distinctes que possèdent les vérificateurs et les évaluateurs sont l'objet de nombreux débats. Il y en a qui croient fermement que l'existence de cultures distinctes est un obstacle sérieux à la maximisation de l'utilité des deux fonctions. Ils sont d'avis que la socialisation et l'esprit de corps encouragent l'étroitesse d'esprit et excluent de l'examen de nombreuses questions importantes qui ne font malencontreusement pas partie du domaine traditionnel d'intérêt, et qu'il n'y aura pas de progrès tant que les deux fonctions ne seront pas intégralement amalgamées dans une fonction d'« examen ». En revanche, il y en a d'autres qui estiment que les cultures distinctes des vérificateurs et des évaluateurs sont importantes parce qu'elles agissent comme facteurs de motivation pour leur personnel et qu'elles contribuent à inculquer et à défendre les normes professionnelles, les règles de déontologie et les méthodologies. La vérification en particulier craint que son indépendance de longue date par rapport aux gestionnaires de programme ne soit compromise en raison de son association avec le groupe de l'évaluation, davantage axé sur les politiques. On dit aussi parfois que les groupes doivent être distincts parce qu'il faut donner aux vérificateurs et aux évaluateurs la possibilité d'avancer dans leur carrière.

L'opinion médiane semble dire qu'il n'est pas nécessaire de contester radicalement les cultures pour obtenir les avantages d'une collaboration et que, dans l'ensemble, la fierté et les normes professionnelles inculquées par les cultures sont bonnes pour le moral et l'efficacité. On a toutefois jugé important d'encourager un rapport sans anicroches entre les cultures lorsqu'on a réuni des groupes de vérification et d'évaluation qui n'avaient auparavant aucun lien entre eux. Les méthodes les plus courantes d'acculturation sont les retraites de groupe et les cours d'introduction à la discipline complémentaire. Comme on peut s'y attendre, on a constaté qu'il est culturellement moins difficile de lier organisationnellement les groupes de vérification et d'évaluation dans les cas où il y avait une proportion élevée de personnes en détachement par rapport aux employés permanents, ou dans les cas où il y a beaucoup plus de marchés de service que de travail interne.

Choisir de mettre sur pied un groupe d'« examen » à fonction unique entraîne des conséquences importantes pour les ressources humaines. Les ministères qui ont choisi cette voie ont eu à investir beaucoup pour acquérir ou créer des « généralistes », des agents dotés des compétences et des attitudes nécessaires pour faire les « examens ». En effet, les cultures distinctes des deux groupes, qui sont jugées contreproductives par les adeptes de l'« examen », ont été jugées suffisamment enracinées pour qu'il soit plus facile d'embaucher des gestionnaires de programme ou des personnes de l'extérieur n'ayant aucune formation en vérification- évaluation et de leur enseigner les compétences nécessaires, plutôt que d'éliminer la socialisation chez les vérificateurs ou les évaluateurs. Ce qui peut donner à entendre que les groupes d'examen à fonction unique auront un rendement inférieur à leurs contreparties non fusionnées, du moins jusqu'à ce que les agents amenés de l'extérieur acquièrent de l'expérience.

Conclusions
Le lien organisationnel semble comporter des avantages probables importants, mais aussi des dangers relativement modestes. Outre les économies de ressources possibles qui ont motivé la haute direction, les avantages qu'ils comportent sont notamment de faciliter la mise en place d'une orientation-clients sous la forme d'un guichet unique et l'occasion, pour chaque partie, d'apprendre des méthodes de l'autre. Le danger tient au fait que les personnes intégrées à chacune de leur profession se sentent menacées par la proximité d'une culture différente et en concluent qu'il s'agit d'une manifestation de l'ignorance de la haute direction au sujet des distinctions entre les fonctions. Cette association négative a été accentuée du fait que le lien organisationnel a souvent été consécutif à des compressions dans les fonctions.

Environ la moitié des ministères visités ont réalisé récemment une étude confiée conjointement à la vérification et à l'évaluation, et un quart des autres songent à la possibilité de le faire sous peu. Dans la plupart de ces cas toutefois, le projet conjoint prend la forme d'une étude de vérification et d'une étude évaluation distinctes mais coordonnées. La répartition traditionnelle des questions entre les fonctions est généralement respectée.

La fusion en un groupe d'examen à fonction unique peut entraîner des conséquences négatives plus graves et est généralement réalisée pour des motifs très différents que les deux formes précédentes de lien. Il est trop tôt pour déterminer si les « examinateurs « généralistes produisent des études dont la qualité est différente de celle des vérificateurs et des évaluateurs, mais les coûts de départ pour la formation et l'acculturation semblent plutôt élevés.

Personnes interrogées pour l'étude
(Poste et ministère au moment de la rencontre)
1.	Jim van Adel, directeur général intérimaire, Vérification interne, Défense nationale.
2.	Robert Bergeron, directeur, Examen et vérification, Pêches et Océans.
3.	Barry Bragg, directeur général intérimaire, Direction générale de la vérification et de l'évaluation, Travaux publics Canada.
4.	Francine Chabot-Plante, directrice générale, Vérification et évaluation, Communications Canada.
5.	Bill Clark, directeur général intérimaire, Direction générale de la vérification ministérielle, Ministère des Affaires indiennes et du Nord canadien.
6.	David Bell, sous-ministre adjoint - Examen, Transports Canada.
7.	Elizabeth Hopkins, directrice, Évaluation, Approvisionnements et Services Canada.
8.	Nicole Mendenhall, directrice générale, Vérification et évaluation, Revenu Canada - Douanes et Accise.
9.	Basil Orsini, directeur, Vérification et évaluation, Revenu Canada - Impôt.
10.	Denise Roberge, directrice, Vérification interne et évaluation de programme, Travail Canada.
11.	Bill Smith, directeur, Planification et évaluation ministérielle, Conseil national de recherches.
12.	Owen Taylor, directeur général, Direction générale de la vérification des opérations, Industrie et Sciences Canada.
13.	Steven Turner, directeur général, Direction générale de l'examen, Approvisionnements et Services Canada.
14.	Al Whitla, directeur, Vérification et évaluation, Affaires étrangères et Commerce international Canada.
15.	Steve Wilson, vérificateur, Services correctionnels Canada.

Bibliographie 
Les articles suivants constituent une bibliographie choisie sur les liens entre la vérification interne et l'évaluation.
1.	Chelimsky, E (1985), "Comparing and Contrasting Auditing and Evaluation: some Notes on their Relationship", Evaluation Review, 9 (4), 483-503.
2.	Comptroller General of the United States (1988), Government Auditing Standards, United States General Accounting Office.
3.	Davis, D. F. (1990), "Do you want a Performance Audit or a Program Evaluation?", Public Administration Review, 50 (1), 35-41.
4.	Hendricks M., Mangano M.F. & Moran W.C. (1990), "Inspector Generals; A New Force in Evaluation", New Directions for Program Evaluation, 48.
5.	Management Advisory Board-Management Improvement Advisory Committee, Australia (1993), Performance Information and the Management Cycle, Publication no 10.
6.	Bureau du contrôleur général (1991), Bulletin d'information, Les gestionnaires axiaux et appréciation de service au public.
7.	Bureau du contrôleur général (1992), Appréciation du rendement: Le guide du gestionnaire sur l'évaluation de programmes et la vérification interne.
8.	Rist, R.C. (1989), "Management Accountability: the Signals Sent by Auditing and Evaluation", Journal of Public Policy, 9 (3), 355-369.
9.	Segsworth R. V. (1990), Canadian Journal of Program Evaluation, 5 (1),41- 56, "Auditing and Evaluation in the Government of Canada: Some Reflections".
10.	Walker W.E. (1988), Evaluation and Program Planning, 8, 271-280, "The conduct of program evaluation reviews in the GAO".
11.	Walker W.E. (1988), Evaluation and Program Planning, 8, 359-366, "The impact of program evaluations on government".