ARCHIVÉ - Les liens entre la verification et l'évaluation dans les ministères fédéraux canadiens (SCT papier) - le 30 septembre

Cette page a été archivée.

Types de lien

Historique, tendances et th�orie

La v�rification et l'�valuation ont pris forme de fa�on tr�s distincte, � des moments diff�rents et � partir de disciplines diff�rentes. La v�rification est issue de la comptabilit� et de la gestion financi�re et elle a conserv� leur ind�pendance traditionnelle de la gestion de programme. Sa force tient beaucoup � ce qu'elle repose sur un ensemble de normes largement reconnues (IIA et gouvernement f�d�ral). Elle offre toute une gamme de produits, de la v�rification int�gr�e � la v�rification de la conformit�, portant sur divers aspects d'une organisation, mais, quelle que soit sa forme, elle prend comme point de d�part la gestion et les op�rations de l'organisation et elle se d�place vers les activit�s et les produits de l'organisation.

L'�valuation, dont l'origine remonte seulement aux ann�es 60, est n�e en r�action � un besoin per�u aux �tats-Unis de comprendre les effets r�els des projets militaires de la � grande soci�t� �. Elle s'inspire de m�thodes (principalement socio-) scientifiques, pr�sentant des preuves empiriques de l'impact et de l'effet des politiques d'int�r�t public devant servir � la prise de d�cision. L'�valuation s'int�resse d'abord � l'impact et aux r�sultats de l'organisation et elle approfondit ensuite son approche pour chercher les explications op�rationnelles de ces r�sultats. L'�valuation s'est donn�e son propre ensemble de normes (AEA et gouvernement f�d�ral) pour la mesure du rendement, mais elle reste traditionnellement en liaison avec les gestionnaires et les planificateurs de programmes, pr�f�rant l'objectivit� � l'ind�pendance dans la pratique.

En raison de l'origine de chaque fonction, la v�rification au gouvernement f�d�ral a toujours �t� rattach�e au secteur de la gestion financi�re, tandis que l'�valuation l'a �t� � celui de l'�laboration des politiques. S'il est g�n�ralement acquis que la v�rification et l'�valuation font partie d'un continuum de services d'information sur l'organisation qui se chevauchent dans des domaines tels l'efficience des op�rations et la rentabilit�, on a depuis toujours maintenu une distinction, l'�valuation s'occupant de l'analyse des politiques et des r�sultats, et la v�rification, des contr�les financiers internes et des syst�mes de gestion.

Ces traditions ont �volu� au cours de la derni�re d�cennie dans de nombreuses administrations, tant dans le secteur priv� que dans le secteur public. Il semble y avoir deux raisons � cela dans le secteur public, les deux �tant li�es aux compressions budg�taires. En premier lieu, les compressions dans les secteurs de la v�rification et de l'�valuation font que ces fonctions sont davantage press�es de montrer leur utilit� en r�pondant � la demande de produits de la part de clients. Il leur faut par cons�quent faire preuve de souplesse dans l'�tablissement de la liste des produits qu'ils offrent et se montrer dispos�es � prendre en charge des t�ches qui ne correspondent pas n�cessairement au cadre traditionnel de la discipline. Il semble que les clients cherchent maintenant davantage des produits qui les renseignent sur les op�rations, de mani�re � modifier progressivement les programmes pour les ex�cuter avec plus d'efficacit� et d'efficience. C'est ainsi que l'�valuation se rapproche de plus en plus de la v�rification.

En deuxi�me lieu, les compressions dans les minist�res et programmes d'ex�cution contribuent � rendre plus valables les renseignements d�coulant des examens, s'ils s'appliquent aux cadres hi�rarchiques. On demande de plus en plus � la v�rification, non seulement de d�celer l'existence de probl�mes, mais aussi d'examiner l'ampleur des probl�mes et les solutions possibles. Par ailleurs, on demande de plus en plus � l'�valuation de commenter l'impact de structures ou de syst�mes particuliers sur l'atteinte des objectifs. En raison des probl�mes bien pr�cis qu'�prouvent les gestionnaires soumis aux compressions, les groupes de v�rification et d'�valuation subissent les nouvelles pressions mentionn�es pr�c�demment, ce qui leur donne l'occasion de proc�der � des examens pour obtenir de nouveaux clients avec de nouveaux produits (de niveau op�rationnel).

Pour ces deux raisons, la v�rification a commenc� � s'int�resser au rendement et aux programmes, tandis que l'�valuation s'attache de plus en plus aux processus et � l'efficience. C'est ainsi que les aspects op�rationnels de l'examen commencent � l'emporter tant sur les aspects strat�giques que redditionnels. Cette �volution ne va pas sans controverse. L'importance que l'�valuation accorde � l'efficience, par exemple, est un point litigieux depuis les premiers jours de la fonction au Canada, des autorit�s se pronon�ant aussi bien d'un c�t� comme de l'autre. Le danger est qu'on en vienne � oublier la contribution que l'�valuation est seule capable d'apporter � la prise de d�cision strat�gique et � la planification. De m�me, on perdra beaucoup si la fonction de v�rification d�laisse la reddition des comptes au profit des op�rations. On ne croit pas qu'il s'agisse l� des cons�quences de l'�tablissement d'un lien entre la v�rification et l'�valuation, mais plut�t d'aspects de la cause des rapports plus �troits entre les deux.

Lien organisationnel

Vers la fin des ann�es 80 et au d�but des ann�es 90, la plupart des minist�res ont �tabli une relation organisationnelle entre leurs groupes de v�rification et d'�valuation. Dans la structure la plus courante, les deux groupes rel�vent du m�me directeur g�n�ral de la v�rification et de l'�valuation. Dans d'autres cas, ils rel�vent du m�me directeur ou sous- ministre adjoint, ou encore d'un cadre sup�rieur qui est aussi charg� de fonctions telles la consultation de gestion, la planification ou les enqu�tes sp�ciales sur les fraudes. Parmi les minist�res �tudi�s qui avaient �tabli un lien entre leurs fonctions d'examen, il y en avait � peu pr�s un nombre �gal � avoir fait relever le nouveau service du secteur des politiques que du secteur de la gestion g�n�rale.

Dans la plupart des minist�res, c'est pour �pargner des ressources administratives, des frais g�n�raux et surtout du personnel cadre qu'on a li� les fonctions dans l'organisation. R�gle g�n�rale, il y a un directeur g�n�ral de la v�rification et de l'�valuation dont rel�vent un directeur de la v�rification et un directeur de l'�valuation, mais, de plus en plus dans les plus petites organisations, il n'y a qu'un seul directeur g�n�ral de qui rel�vent tous les agents. Il s'en suit une organisation plus horizontale, moins ch�re et peut-�tre plus r�ceptive et plus efficiente, mais aussi une organisation qui se situe � un niveau plus bas dans la hi�rarchie. Cette derni�re caract�ristique peut avoir une incidence importante sur les op�rations de l'organisation d'examen. Un groupe d'examen dont l'importance est moindre dans l'organisation est moins sensibilis� aux enjeux minist�riels, trouve plus difficile de se faire entendre � un niveau strat�gique et peut �tre plus proche des gestionnaires de programme. Ces changements ont des r�percussions sur la nature, le contexte et l'efficacit� des activit�s d'examen. Par ailleurs, il y a aussi moins de niveaux hi�rarchiques entre les fonctions d'examen et l'administrateur g�n�ral.

Une autre raison d'�tablir un lien organisationnel s'articule autour de ce qu'on appelle souvent le probl�me de la � masse critique �. Certains soutiennent que, si des groupes distincts de v�rification et d'�valuation n'ont pas une certaine taille, ils ne commanderont pas un respect suffisant dans le minist�re, ni ne disposeront des comp�tences pour offrir des produits utiles, et qu'il est souhaitable d'�tablir un lien entre les fonctions pour am�liorer le profil et la productivit� de chacune. Plusieurs chefs de l'examen ont indiqu� qu'il s'agit l� d'un probl�me. Ils le consid�rent cependant comme un argument de peu de poids, mais valable dans la mesure o� l'amalgamation de tr�s petits groupes devrait augmenter la visibilit� des deux fonctions dans le minist�re. On ne voit pas tr�s bien pourquoi le simple �tablissement d'un lien organisationnel entre des fonctions modestes devrait accro�tre leur capacit� d'offrir des produits.

Comme elle est g�n�ralement entreprise pour des raisons li�es aux ressources, l'int�gration organisationnelle ne vise pas g�n�ralement, dans l'esprit des personnes qui en prennent l'initiative, � produire des effets importants sur le rendement des fonctions de v�rification et d'�valuation. L'on s'attend � ce que le travail se poursuive comme avant dans chaque domaine, mais peut-�tre de fa�on plus efficiente en raison du caract�re plus horizontal de l'organisation. On reconna�t la possibilit� d'avantages marginaux, comme partager les renseignements et ne pas demander deux fois les m�mes renseignements au gestionnaire, �tant donn� que chaque fonction est plus au courant de l'activit� de l'autre. Toutefois, il s'agit l� d'avantages secondaires par rapport au d�sir de r�duire les frais g�n�raux et ceux du personnel cadre. Les modifications des fonctions d�coulant de tels changements organisationnels sont en g�n�ral craints par les int�ress�s parce qu'ils croient qu'elles affaiblissent la coh�sion et les comp�tences de chaque fonction; le lien organisationnel tend � �tre per�u comme le d�but de la fin pour la distinction professionnelle entre les v�rificateurs et les �valuateurs. Lorsque la Direction de l'�valuation et de la v�rification a �t� cr��e dans l'ancien Bureau du contr�leur g�n�ral, il a fallu faire beaucoup d'efforts pour expliquer aux milieux de la v�rification et de l'�valuation que le nouveau lien au centre ne repr�sentait pas un affaiblissement de l'engagement � maintenir des groupes professionnels forts et distincts, mais un effort pour trouver des moyens plus efficaces et plus efficients de r�aliser les produits de v�rification et d'�valuation.

Il semble maintenant que le lien organisationnel a effectivement eu un certain impact fonctionnel sur la distinction entre la v�rification et l'�valuation, mais non pas de la fa�on qu'on craignait au d�part. Ces faits nouveaux seront approfondis ci-apr�s, mais, en r�sum�, il s'agit du changement de perspective chez le premier responsable (du fait qu'une seule personne dirige les deux fonctions), des effets de la planification conjointe, de la souplesse des ressources (du fait qu'un seul budget s'applique aux deux fonctions) et du perfectionnement des m�thodes en raison du rapport avec des agents d'une profession connexe.

Le � guichet unique �

Le guichet unique est une forme particuli�re de lien organisationnel o� les clients qui demandent des services de v�rification ou d'�valuation sont encourag�s � poser leurs questions sans �gard � la distinction entre les aspects qui tiennent � la v�rification ou � l'�valuation. Cette fa�on de proc�der a �t� jug�e avantageuse par de nombreux minist�res du fait que les clients n'ont pas � conna�tre les subtilit�s de la distinction entre la v�rification et l'�valuation et qu'ils peuvent exprimer plus spontan�ment et plus pr�cis�ment leurs v�ritables besoins et int�r�ts. Pour ces raisons, le guichet unique est tr�s appr�ci� et hautement souhait� par la plupart des minist�res.

La moiti� des chefs de l'examen avec qui nous avons communiqu� ont dit express�ment qu'ils cherchent � offrir � leurs clients un service � � guichet unique �, � polyvalent � ou � transparent �, et un petit nombre seulement tenait beaucoup, pour des raisons de principe, � offrir des guichets distincts pour la v�rification et l'�valuation. Ces derniers �taient les m�mes qui tenaient � des fonctions non li�es organisationnellement. La possibilit� d'appliquer le guichet unique d�pend de la haute direction du minist�re; certains demandent une v�rification ou une �valuation, tandis que d'autres pr�f�rent pr�senter � leur groupe d'examen une simple liste de probl�mes ou de questions, sans faire de distinction entre la v�rification et l'�valuation.

La polyvalence du service ne d�pend pas de l'int�gration organisationnelle en ce sens que l'un peut aller sans l'autre; en pratique toutefois, le service � guichet unique tend habituellement � �tre int�gr� sur le plan organisationnel. Un point de contact unique avec les clients peut �tre une fa�ade masquant des unit�s distinctes et bien d�finies de v�rification et d'�valuation, derri�re laquelle le probl�me du client est diss�qu� selon ses �l�ments de v�rification et d'�valuation d�s le d�but du processus. Par cons�quent, le guichet unique n'est que le symbole d'une orientation- clients de la part du groupe d'examen et il peut ne r�v�ler rien d'autre au sujet de l'organisation interne de la v�rification et de l'�valuation.

Outre qu'elle sert le but de l'orientation-client, la transparence a un avantage important puisqu'elle �tablit une distinction bien r�elle plut�t qu'artificielle entre la v�rification et l'�valuation. Apr�s que le client se soit adress� au groupe de v�rification et d'�valuation avec sa liste de probl�mes ou de questions � examiner, il appartient aux fonctions d'examen de les attribuer aux agents ayant les comp�tences n�cessaires. Cela vaut �galement pour les groupes de v�rification-�valuation qui sont organisationnellement distincts, li�s ou fusionn�s, et fonctionnellement li�s ou distincts. Pour attribuer les questions en fonction des comp�tences, il faut chaque fois retracer la d�marcation entre la v�rification et l'�valuation, compte tenu concr�tement des documents � fournir. Par cons�quent, consciemment ou non, l'organisation doit se convaincre chaque fois que sa structure interne de v�rification et d'�valuation r�pond aux besoins de ses clients et des �tudes qu'ils demandent. Il s'agit l� d'un exercice valable de r��valuation constante de l'organisation.

Lien fonctionnel

Les distinctions dans l'organisation dissimulent dans une grande mesure le fait que la majorit� des groupes font essentiellement les m�mes choses. La plupart des chefs de la v�rification et de l'�valuation conviennent que les examens se situent sur un continuum allant de la v�rification � l'�valuation, et qu'il y a des zones grises entre les deux. C'est donc que tous les minist�res, peu importe la structure de leurs fonctions de v�rification et d'�valuation, font certaines v�rifications traditionnelles, certaines �valuations traditionnelles et certaines �tudes qui se situent entre l'une et l'autre fonction. C'est vrai pour les groupes o� la v�rification et l'�valuation ne se distinguent pas sur le plan organisationnel, de m�me que pour ceux o� il n'y a pas de liens officiels entre elles. Essentiellement, la plupart conviennent que les v�rifications pures et les �valuations pures sont des cat�gories d'examens et qu'il existe une troisi�me cat�gorie englobant les zones grises. Le lien fonctionnel porte sur la gestion de cette zone grise.

Le terme � lien fonctionnel � englobe toute une gamme d'activit�s qui comportent une relation plus ou moins pouss�e entre la v�rification et l'�valuation, depuis la planification annuelle conjointe jusqu'� des projets occasionnels touchant des questions � la fois de v�rification et d'�valuation, et des �tudes d'examen fusionn�es du point de vue fonctionnel.

Le lien fonctionnel minimal se refl�te dans la coordination des plans annuels. La mesure dans laquelle les plans peuvent �tre conjoints varie selon les cas. Il peut s'agir tout au plus de deux documents de planification imprim�s ensemble sans qu'il y ait eu interaction r�elle ou, inversement, il peut y avoir eu une grande collaboration, mais les plans d�finitifs sont imprim�s s�par�ment. Manifestement, c'est l'interaction qui est importante. Un plan annuel conjoint permet la r�alisation de certains des avantages cherch�s dans le lien fonctionnel. Mentionnons notamment la connaissance des �tudes que l'autre groupe entreprend, la possibilit� de se communiquer des renseignements et des recherches, et peut-�tre un certain contact avec les m�thodes de l'autre. La planification conjointe existe plus ou moins ipso facto pour les groupes li�s organisationnellement, mais elle doit �tre recherch�e express�ment dans les minist�res ayant des unit�s ind�pendantes de v�rification et d'�valuation. Un chef de groupes de v�rification et d'�valuation fonctionnellement distincts a fait observer que la participation des cadres sup�rieurs et des gestionnaires de programme � l'�laboration d'un plan annuel conjoint a contribu� � les sensibiliser aux distinctions entre la v�rification et l'�valuation, ce qui a justifi� la s�paration des fonctions dans ce minist�re.

Il devient de plus en plus courant pour un minist�re d'entreprendre occasionnellement des �tudes conjointes. Environ la moiti� des minist�res �tudi�s ont particip� � une entreprise conjointe de v�rification-�valuation dans le pass� r�cent, et un autre quart se disent favorables � l'id�e m�me s'ils ne l'ont pas encore mise en pratique. Le processus se d�roule g�n�ralement comme suit. On d�finit g�n�ralement, dans le processus de planification annuelle, un secteur pouvant faire l'objet d'une �tude conjointe, apr�s quoi on explore conjointement les questions d'int�r�t, on d�termine l'ensemble des renseignements n�cessaires et on dresse les listes de questions et les plans de travail. Le processus est g�n�ralement lanc� par des travaux distincts d'enqu�te et de recherche pouvant donner lieu � des �changes de renseignements, et il s'ach�ve par un rapport conjoint portant sur les constatations de la v�rification et de l'�valuation. Ce mod�le varie selon l'objet de l'�tude, le temps n�cessaire pour chacune des enqu�tes et les pr�f�rences du client et du groupe d'examen. Par exemple, il n'est pas inhabituel que les plans de travail soient �labor�s s�par�ment, qu'une partie des �tudes soient r�alis�es conjointement ou que des rapports distincts soient pr�sent�s. Dans certains cas, on peut mettre sur pied un comit� directeur compos� de repr�sentants de la v�rification et de l'�valuation. Il est important de faire observer que, r�gle g�n�rale, dans les �tudes conjointes, les composantes v�rification et �valuation sont ex�cut�es de fa�on plut�t ind�pendante, � peu pr�s comme s'il s'agissait d'une v�rification ou d'une �valuation tout � fait ind�pendante. On tend � faire ensemble la planification et la pr�sentation des rapports, les contacts �tant essentiellement peu importants en cours de route. Par cons�quent, la mesure dans laquelle la plupart des �tudes sont conjointes n'est pas tr�s prononc�e.

Peu de minist�res songent � pousser le lien fonctionnel au niveau suivant, c'est-�-dire au niveau o� les v�rificateurs et les �valuateurs sont affect�s aux m�mes questions ou qu'un v�rificateur est mandat� pour examiner ce qui aurait �t� jug� traditionnellement comme une question d'�valuation, ou l'inverse. L'exception est le groupe d'examen � fonction unique enti�rement fusionn�, pour lequel cette situation est courante. Il sera question de ce cas particulier ci-apr�s. Les cas o� les minist�res ayant des fonctions distinctes de v�rification et d'�valuation ont eu recours � cette technique sont pleins d'enseignement car ils font ressortir le respect constant des diff�rences fondamentales entre les deux. Les chefs de l'examen ont signal� qu'il y avait eu ce genre de � collaboration �troite � dans les circonstances suivantes : les �valuateurs ont aid� les v�rificateurs � mener des enqu�tes aupr�s des clients ou � faire des travaux statistiques; les v�rificateurs ont aid� les �valuateurs � faire des calculs de rentabilit�; les �valuateurs ont entrepris une v�rification majeure parce qu'on estimait que la � macroperspective � de l'�valuation �tait n�cessaire; il s'est produit une crise au niveau de l'affectation du personnel ou avec les entrepreneurs et les gestionnaires avaient beaucoup plus d'estime pour un groupe que pour l'autre. Dans tous les cas sauf les deux derniers, ce furent les points forts particuliers de chaque discipline qui ont rendue int�ressante l'affectation � la fois de v�rificateurs et d'�valuateurs aux m�mes questions. Dans les deux autres cas, ce sont d'autres facteurs qui ont pris le pas sur les comp�tences, ce qu'on a consid�r� comme optimal, mais loin d'�tre n�cessaire. On peut donc conclure que, dans les occasions o� les professions travaillent ensemble � la m�me question, le caract�re distinctif de chacune tend � se renforcer plut�t qu'� s'affaiblir. Les professions sont g�n�ralement r�unies lorsqu'il faut couvrir les questions situ�es dans la � zone grise � qui rel�vent � la fois de la v�rification et de l'�valuation, pr�cis�ment parce que leurs comp�tences diff�rentes font qu'il vaut la peine de les r�unir.

Plusieurs minist�res choisissent de se lancer dans de nombreuses �tudes conjointes, mais maintiennent une distinction organisationnelle entre la v�rification et l'�valuation. Cette situation semble d�couler de la conviction que le d�sir chez les clients et les cadres sup�rieurs d'�tablir des liens entre la v�rification et l'�valuation est une mode passag�re, et que le groupe doit se prot�ger au cas o� le pendule revienne � son point de d�part, soit la distinction entre les deux fonctions, en maintenant une structure distincte d'un point de vue organisationnel, mais fusionn�e d'un point de vue fonctionnel.

Examen: une fonction unique?

Deux ou trois minist�res ont adopt� comme principe que toute distinction formelle entre les questions ou les agents de v�rification et d'�valuation est contre-productive. Ces milieux se font les d�fenseurs de l'examen en tant que discipline regroupant tout l'�ventail des questions de v�rification et d'�valuation. En th�orie, on �limine ainsi les obstacles culturels � la collaboration entre la v�rification et l'�valuation, on supprime la n�cessit� pour les clients de l'examen de comprendre les distinctions et on peut obtenir une vue globale des op�rations, de la gestion et des r�sultats d'un programme ou d'une organisation. L'approche d�coule de la conviction selon laquelle le chevauchement entre la v�rification et l'�valuation est beaucoup plus prononc� qu'on ne l'admet g�n�ralement, et qu'il est par cons�quent possible de former une personne qui peut bien exercer les deux fonctions. Les sceptiques ont soutenu qu'on a ainsi agi pour r�former une fonction probl�matique en esp�rant que, si elle est associ�e � un groupe qui donne un meilleur rendement, les bonnes pratiques se r�pandront par osmose.

Plusieurs probl�mes sont apparus en pratique dans le cadre de ce r�gime. En premier lieu, on peut encore se demander s'il ne s'agit tout simplement pas des m�mes produits pr�sent�s dans un nouvel emballage, puisque m�me les chefs des groupes d'examen fusionn�s reconnaissent que, fondamentalement, leurs �tudes peuvent se r�partir entre ce qu'on appellerait traditionnellement des v�rifications pures, des �valuations pures et des �tudes de � zone grise �. Certains affirment qu'il existe bel et bien une diff�rence entre une �tude d'examen et les produits reconnus de v�rification-�valuation, mais aucune d�monstration n'en a �t� faite.

On se demande aussi si les examinateurs poss�dant la double comp�tence peuvent aussi bien faire des v�rifications pures ou des �valuations pures que les personnes qui sont express�ment form�es � une discipline ou � l'autre. Les opposants � ce mod�le affirment souvent que le chef de l'examen devrait en premier lieu s'occuper des aspects bien d�finis de v�rification et d'�valuation, puis ensuite se pencher sur les zones grises, puisque si on accorde la priorit� aux zones grises en les confiant � des examinateurs, il se peut que les �tudes de v�rification ou d'�valuation comme telles soient mal faites. Il est difficile de mesurer l'existence d'une telle situation dans la pratique, car ces groupes fusionn�s sont relativement nouveaux, mais ceux qui ont d�cid� d'aller dans cette voie en sont bien conscients et ne semblent pas dissuad�s pour autant.