ARCHIVÉ - Les liens entre la verification et l'évaluation dans les ministères fédéraux canadiens (SCT papier) - le 30 septembre

Cette page a été archivée.

Impact du lien

Avec certaines r�serves, � peu pr�s rien n'indique � la suite de la pr�sente �tude que les examens conjoints sont bien diff�rents des �tudes de v�rification et d'�valuation coordonn�es. On reconna�t g�n�ralement, parmi les chefs de l'examen repr�sentant toute la gamme des situations de lien et de s�paration, que des questions continuent � relever de la v�rification, d'autres, de l'�valuation et d'autres encore, de la � zone grise �. Le fait que des v�rificateurs et des �valuateurs travaillent ensemble � un sujet n'y change rien, et les questions qu'ils posent et les r�sultats qu'ils obtiennent semblent �tre � peu pr�s les m�mes que s'ils fonctionnaient ind�pendamment. Cette affirmation doit cependant �tre assortie de r�serves pour tenir compte des effets possibles sur les parties int�ress�es, sur la direction des �tudes et la production des rapports, et sur le perfectionnement professionnel des v�rificateurs et des �valuateurs.

Rapport avec les parties int�ress�es

Les fonctions d'examen s'adressent � trois groupes de parties int�ress�es correspondant aux trois objectifs d'examen possibles : l'am�lioration des programmes et de l'organisation, la gestion strat�gique et l'obligation de rendre compte au public. Par cons�quent, les parties int�ress�es sont les gestionnaires de programme, les cadres sup�rieurs et le Parlement. Certains int�r�ts de ces groupes sont incompatibles en raison des divers objectifs possibles de la v�rification et de l'�valuation.

Les gestionnaires de programme ont g�n�ralement �t� en faveur d'une coordination plus �troite, sinon d'une int�gration pure et simple des fonctions de v�rification et d'�valuation parce qu'ils s'int�ressent aux questions op�rationnelles, lesquelles se situent au point de rencontre des deux. Pour ces questions, il peut sembler improductif de maintenir des fonctions distinctes. En outre, les cadres hi�rarchiques sont g�n�ralement ceux qui portent le poids des perturbations entra�n�es par les demandes de renseignements des examinateurs. Ainsi, ce sont eux qui ont le plus � gagner d'une meilleure coordination des processus de planification.

L'attitude de la haute direction � l'�gard de la fusion des fonctions semble beaucoup d�pendre de la personnalit� et des ant�c�dents des dirigeants du service. Certains, dit-on, sont psychologiquement d�termin�s � �tablir une distinction entre les fonctions de v�rification et d'�valuation, partiellement en raison des efforts d�ploy�s ant�rieurement pour vendre l'id�e des groupes distincts, tandis que d'autres n'ont jamais �t� convaincus de l'utilit� de la distinction et ils sont donc plus enthousiastes au sujet de la possibilit� de nouveaut�s comme le guichet unique et les �tudes conjointes. On pourrait penser que l'int�r�t accru pour l'information sur les op�rations et sur la rentabilit�, lequel est aliment� par les pressions li�es aux compressions et lequel est � son tour � l'origine de la tendance vers de meilleurs liens entre la v�rification et l'�valuation, pourrait nuire � la capacit� des fonctions d'examen de fournir � la haute direction des renseignements strat�giques pour la prise de d�cision.

L'int�r�t du Parlement dans les fonctions de v�rification et d'�valuation r�side surtout dans ce qui a trait � l'obligation de rendre compte, � l'obligation de rendre compte de la conformit� aux codes, des ressources et des autorisations accord�es, de m�me que des r�sultats obtenus. Le lien organisationnel ou fonctionnel entre la v�rification et l'�valuation ne semble pas pr�occuper le Parlement en sa qualit� de client, pour autant que les fonctions peuvent s'acquitter de leurs t�ches fondamentales relatives � la reddition des comptes. D'autres questions int�ressent davantage le Parlement, comme le moyen par lequel les v�rifications et les �valuations, peu importe comment elles sont organis�es et d�sign�es, sont signal�es dans le Budget des d�penses.

Les effets sur les clients sont moins clairs pour ce qui est de l'impact du passage � une discipline unique d'examen int�gr�. On craint que les v�rifications et les �valuations traditionnelles, qui se situent aux extr�mit�s du continuum, soient affaiblies si les examinateurs � double comp�tence sont moins talentueux pour les r�aliser que les v�rificateurs et les �valuateurs ne poss�dant des comp�tences que dans un seul domaine. En outre, la cr�dibilit� de cette fonction aux yeux des gestionnaires de programme, des cadres sup�rieurs et du Parlement n'a pas �t� d�montr�e, et le respect et l'autorit� durement acquis pour les appellations traditionnelles de v�rification et d'�valuation aupr�s de ces clients pourraient �tre perdus. Cela inqu�te particuli�rement la v�rification puisqu'elle est la plus ancienne.

Rapport avec l'organisation

Le lien organisationnel des fonctions a des effets sur les groupes en tant qu'organisations. Par exemple, la mission du nouveau groupe est red�finie en termes plus larges pour englober les deux. Cette situation pourrait changer l'�tat d'esprit et la vision de chaque groupe, � mesure que les personnes en viennent � se consid�rer comme partie de l'entreprise plus large qu'est l'� examen int�gr� � plut�t que comme partie de la v�rification ou de l'�valuation seulement. Une telle �volution pourrait avoir des effets indirects sur les projets et les clients.

Si la direction confie � un seul DG le mandat de diriger les deux divisions de la v�rification et de l'�valuation, c'est qu'elle ne voit plus les deux fonctions de la m�me mani�re. Elle est port�e � les voir comme un seul r�servoir de comp�tences, chaque personne ayant ses points forts devant �tre assortis � la t�che � accomplir d'une fa�on optimale, sans contraintes dues � la s�paration formelle des groupes. Par cons�quent, les �tudes conjointes peuvent devenir plus probables. Autre cons�quence, le guichet unique devient plus probable puisque l'acc�s aux fonctions a �t� centralis�.

En outre, le lien organisationnel entre la v�rification et l'�valuation peut leur permettre de fonctionner � partir du m�me budget, ce qui facilite la r�partition des ressources entre les deux, avantage particuli�rement important lorsqu'une crise � mi-exercice am�ne le minist�re � modifier ses priorit�s d'examen. Toutefois, le Bureau national de v�rification de l'Australie (ANAO) a pu constater le contraire, en ce sens que des fonctions modestes et mal financ�es peuvent, si elles sont associ�es, aggraver mutuellement leurs probl�mes de ressources (ANAO, 1990 : par. 3.3.17).

Ces effets d�coulant d'un lien organisationnel semblent avoir �t� des cons�quences impr�vues, plut�t que la conspiration pr�vue par les nombreux sceptiques. De toute fa�on, il est difficile d'affirmer que ces changements d'attitude sont en soi n�gatifs; ils conviennent bien � une orientation- client, puisqu'ils permettent une r�action plus adapt�e aux besoins des clients, tant au d�part que pour les produits � offrir, et une utilisation plus souple des comp�tences dans l'organisation. Les clients et les gestionnaires de la v�rification-�valuation semblent heureux de ce r�sultat. Certains y voient toutefois des retomb�es dangereuses � long terme, puisqu'il peut en r�sulter une d�pr�ciation de la distinction professionnelle entre la v�rification et l'�valuation et que les clients peuvent �tre amen�s � ne plus tenir compte des diff�rences entre les deux.

Parmi les dangers que pr�sente le lien pour l'organisation, mentionnons la perte possible pour la v�rification de son ind�pendance traditionnelle du fait qu'elle est associ�e aux aspects de l'�laboration des politiques et de la planification de l'�valuation. Certains minist�res ont continu� de tirer avantage de la connotation d'autorit� du terme � v�rification � en l'incluant dans le nouveau titre du groupe : par exemple, la Direction de la v�rification et de l'examen. La v�rification peut �galement en arriver � participer davantage � l'�valuation des contr�les avant la mise en _uvre des programmes, ce qui est � la fois un avantage, parce que les comp�tences du groupe sont mises � profit, et un sujet d'inqui�tude, parce que cette situation peut compromettre l'objectivit� d'une v�rification traditionnelle ex-post. L'un des sujets d'inqui�tude pour le minist�re tient � ce que, si la v�rification et l'�valuation rel�vent de la m�me direction g�n�rale, l'une d'entre elles ne suivra plus sa ligne hi�rarchique traditionnelle pour pr�senter ses rapports, ce qui pourrait en r�duire l'influence. La seule fa�on de minimiser ce risque consiste � assurer une bonne communication interne.

L'hypoth�se selon laquelle le lien organisationnel est plus probable dans les organisations ayant une proportion plus �lev�e de march�s de services par rapport aux agents internes, tout en �tant plausible, n'est pas �tay�e par les constatations de la pr�sente �tude. D'apr�s la th�orie, la gestion des march�s de v�rification, par exemple, peut tr�s bien se faire par une organisation d'examen int�gr� ne poss�dant pas les comp�tences n�cessaires pour faire elle-m�me les v�rifications. Il ne semble pas y avoir de relation entre la proportion des march�s de services et la fr�quence des situations o� il existe un lien organisationnel, probablement en raison des nombreux facteurs qui se conjuguent pour donner lieu � un niveau quelconque d'impartition. Il semble toutefois plus facile d'�tablir un lien entre la v�rification et l'�valuation lorsque l'une ou l'autre fonction compte beaucoup sur les march�s de services, probablement parce qu'il y a une r�sistance culturelle moins forte au changement.

Direction des �tudes conjointes et production des rapports

Deux solutions se pr�sentent pour le probl�me de la direction des projets conjoints. Plusieurs minist�res ont fait l'exp�rience d'une direction double, soit par un �valuateur et un v�rificateur, mais seuls quelques-uns ont maintenu cette pratique en raison des probl�mes qu'elle tend � cr�er relativement � la reddition des comptes et � la d�marcation du territoire. Les �tudes qui ont le mieux r�ussi sont celles qui ont �t� dirig�es par une seule personne, issue g�n�ralement du secteur le plus fortement vis� par l'�tude et aid�e d'un conseiller ou d'un � guide � de l'autre fonction.

Le lien fonctionnel soul�ve la question de savoir s'il est pr�f�rable de produire les rapports s�par�ment ou sans distinction. Il n'y a pas de consensus � ce sujet parmi les minist�res, mais on r�sout g�n�ralement le probl�me au cas par cas d'apr�s le calendrier des diverses parties de l'�tude et selon les n�cessit�s et les susceptibilit�s du client. Les chefs de l'examen ont constat� que chaque client a ses pr�f�rences � ce sujet, et qu'elles ne sont pas n�cessairement li�es au contenu v�ritable du rapport; soit qu'ils attribuent une grande valeur aux �tiquettes traditionnelles et exigent par cons�quent des rapports distincts, soit qu'ils consid�rent cela comme du gaspillage et pr�f�rent un seul document. Au moins deux minist�res ont connu un probl�me de production de rapports conjoints, soit le cas o� une �quipe d'�valuation a effectu� des travaux de base pour une v�rification. Il n'a pas sembl� utile de produire un rapport conjoint puisque les constatations de l'�valuation auraient �t� pr�sent�es en annexe � la v�rification; il valait mieux produire des rapports distincts pour montrer les contributions �gales des deux fonctions. En g�n�ral, dans le cas o� les �l�ments de l'�tude arrivent � terme � peu pr�s en m�me temps, il semblerait pr�f�rable de produire un rapport conjoint de fa�on � maximiser la possibilit� que des conclusions suppl�mentaires se d�gagent en raison de l'int�gration des renseignements produits par les deux fonctions.

Questions relatives aux ressources humaines

La plupart des personnes qui dirigent un examen conviennent que les professionnels de la v�rification et de l'�valuation peuvent apprendre les uns des autres, qu'ils fassent partie ou non d'organisations li�es ou qu'ils participent ou non � des �tudes conjointes. On s'entend pour dire qu'un grand nombre des bonnes pratiques de chaque discipline peuvent renforcer l'autre discipline m�me si elle est exerc�e de fa�on ind�pendante. Voici les avantages que les chefs de l'examen ont g�n�ralement mentionn�s et qu'ils consid�rent comme les plus valables du contact interdisciplinaire :

• �largir la perspective de chaque discipline de sorte que l'�valuation examine les obstacles op�rationnels et administratifs aux r�sultats escompt�s et que la v�rification situe son enqu�te sur le cadre de gestion dans le contexte de son impact sur l'atteinte des objectifs;
• modifier la forme des rapports de v�rification, pour qu'ils soient plus explicatifs et plus faciles � comprendre, et offrir � la v�rification la possibilit� de produire plusieurs versions du rapport final, chacune �tant con�ue pour un auditoire diff�rent;
• inculquer � la v�rification l'esprit de � cr�ation de donn�es �, l'orientation vers les r�sultats et l'approche critique de l'�valuation;
• encourager l'�valuation � porter attention au rendement financier et aux cons�quences des programmes, et � devenir ainsi plus utile au processus budg�taire.

Il ne semble pas suffisant de s'attendre que chacun des agents de v�rification ou d'�valuation sera capable de ma�triser par lui-m�me ces comp�tences interdisciplinaires puisque se tenir au courant des nouveaut�s dans une discipline est en soi une occupation � plein temps. Il semble donc n�cessaire de faire des efforts intentionnels pour cr�er une situation o� un tel �change de pratiques se produira. On peut y parvenir soit en accroissant le niveau du rapport organisationnel ou fonctionnel entre les groupes, soit en proc�dant � des activit�s pr�cises de formation. Les personnes qui ont particip� � des �tudes conjointes ont mentionn� que l'exp�rience est tr�s satisfaisante sur ce plan et probablement plus efficace que ne le serait une formation ext�rieure. Toutefois, la valeur de cet apprentissage est contest�e par certains chefs de l'examen, qui estiment que l'effort n�cessaire pour am�liorer marginalement le rendement par cet apprentissage interdisciplinaire aurait plut�t avantage � �tre consacr� � d'autres types de formation dans la sp�cialisation de la personne.

Les cultures professionnelles distinctes que poss�dent les v�rificateurs et les �valuateurs sont l'objet de nombreux d�bats. Il y en a qui croient fermement que l'existence de cultures distinctes est un obstacle s�rieux � la maximisation de l'utilit� des deux fonctions. Ils sont d'avis que la socialisation et l'esprit de corps encouragent l'�troitesse d'esprit et excluent de l'examen de nombreuses questions importantes qui ne font malencontreusement pas partie du domaine traditionnel d'int�r�t, et qu'il n'y aura pas de progr�s tant que les deux fonctions ne seront pas int�gralement amalgam�es dans une fonction d'� examen �. En revanche, il y en a d'autres qui estiment que les cultures distinctes des v�rificateurs et des �valuateurs sont importantes parce qu'elles agissent comme facteurs de motivation pour leur personnel et qu'elles contribuent � inculquer et � d�fendre les normes professionnelles, les r�gles de d�ontologie et les m�thodologies. La v�rification en particulier craint que son ind�pendance de longue date par rapport aux gestionnaires de programme ne soit compromise en raison de son association avec le groupe de l'�valuation, davantage ax� sur les politiques. On dit aussi parfois que les groupes doivent �tre distincts parce qu'il faut donner aux v�rificateurs et aux �valuateurs la possibilit� d'avancer dans leur carri�re.

L'opinion m�diane semble dire qu'il n'est pas n�cessaire de contester radicalement les cultures pour obtenir les avantages d'une collaboration et que, dans l'ensemble, la fiert� et les normes professionnelles inculqu�es par les cultures sont bonnes pour le moral et l'efficacit�. On a toutefois jug� important d'encourager un rapport sans anicroches entre les cultures lorsqu'on a r�uni des groupes de v�rification et d'�valuation qui n'avaient auparavant aucun lien entre eux. Les m�thodes les plus courantes d'acculturation sont les retraites de groupe et les cours d'introduction � la discipline compl�mentaire. Comme on peut s'y attendre, on a constat� qu'il est culturellement moins difficile de lier organisationnellement les groupes de v�rification et d'�valuation dans les cas o� il y avait une proportion �lev�e de personnes en d�tachement par rapport aux employ�s permanents, ou dans les cas o� il y a beaucoup plus de march�s de service que de travail interne.

Choisir de mettre sur pied un groupe d'� examen � � fonction unique entra�ne des cons�quences importantes pour les ressources humaines. Les minist�res qui ont choisi cette voie ont eu � investir beaucoup pour acqu�rir ou cr�er des � g�n�ralistes �, des agents dot�s des comp�tences et des attitudes n�cessaires pour faire les � examens �. En effet, les cultures distinctes des deux groupes, qui sont jug�es contreproductives par les adeptes de l'� examen �, ont �t� jug�es suffisamment enracin�es pour qu'il soit plus facile d'embaucher des gestionnaires de programme ou des personnes de l'ext�rieur n'ayant aucune formation en v�rification- �valuation et de leur enseigner les comp�tences n�cessaires, plut�t que d'�liminer la socialisation chez les v�rificateurs ou les �valuateurs. Ce qui peut donner � entendre que les groupes d'examen � fonction unique auront un rendement inf�rieur � leurs contreparties non fusionn�es, du moins jusqu'� ce que les agents amen�s de l'ext�rieur acqui�rent de l'exp�rience.