29 janvier 2020

Repérer les fuites du pipeline : conseils pour auditer les résultats et cerner les causes profondes

Introduction

Depuis leur apparition il y a 40 ans, les audits de performance dans le secteur public ont eu tendance à se concentrer sur les systèmes et les pratiques. Malgré une volonté de réaliser davantage d’audits visant à déterminer si les programmes gouvernementaux atteignent les résultats escomptés, ces audits axés sur les résultats restent peu fréquents.

Dans cet article, je présente une approche, fondée sur un modèle simple, qui peut aider les auditeurs du secteur public à planifier et à mener des audits axés sur les résultats ainsi qu’à rendre compte efficacement de leurs constatations. Cette approche peut également aider à cerner les causes profondes.

La promesse des audits axés sur les résultats : la route est encore longue

À l’origine, les audits de performance visaient à examiner l’économie, l’efficience et l’efficacité (avec toutefois quelques restrictions concernant l’efficacité dans le mandat de certaines institutions d’audit). Malheureusement, les premiers audits de performance réalisés dans les années 1980 ressemblaient souvent à un cours de gestion 101 – ils étaient trop axés sur les systèmes et les pratiques, et pas assez sur la question de savoir si les activités auditées produisaient des résultats. En dépit du consensus visant à se concentrer davantage sur les résultats, peu de changements furent constatés dans les années qui suivirent. Les audits continuaient de porter beaucoup plus sur la bonne gestion des activités auditées que sur les résultats qu’elles produisaient.

Le problème initial provenait en grande partie du fait que les informations sur les résultats étaient difficiles à obtenir et à utiliser pour les raisons suivantes :

Les quelques bases de données sur les résultats disponibles étaient rarement utilisées pour la prise de décision en matière de gestion.
Lorsqu’une base de données existait, les auditeurs avaient la lourde tâche d’épurer les données pour disposer d’éléments pouvant être analysés ou utilisés comme base d’échantillonnage. L’audit pouvait aussi exiger de coupler deux ensembles de données qui n’avaient jamais été appariés auparavant; les identificateurs manquants réduisaient alors le nombre d’appariements.
Si un échantillonnage était requis, la nécessité d’avoir un échantillon représentatif de grande taille pour pouvoir faire une extrapolation était décourageante.

Heureusement, la situation s’est améliorée avec la révolution numérique et l’émergence d’outils d’analyse de données et d’applications d’intelligence artificielle extrêmement efficaces.

Mais, même lorsque des données sont disponibles, les audits axés sur les résultats demeurent complexes. Les techniques d’analyse – du type de celles qu’utilisent les évaluateurs de programme et les statisticiens – constituent souvent une nouveauté pour les auditeurs. Récemment, des analyses de régression et d’autres techniques statistiques ont été utilisées dans certains audits de performance, mais les exemples sont encore rares. En outre, même lorsque les auditeurs ont la formation statistique nécessaire, il peut malgré tout s’avérer difficile d’expliquer clairement dans le rapport d’audit, ou au comité des comptes publics, sur quoi les constatations d’audit sont fondées.

À propos de l’auteur

Neil Maxwell

Neil Maxwell a travaillé pendant plus de 30 ans au Bureau du vérificateur général (BVG) du Canada, où il a terminé sa carrière au poste de vérificateur général adjoint, de 2007 à 2015. Lors de ses dernières années au BVG, il a également occupé le poste de responsable des audits de performance et a été nommé commissaire à l’environnement et au développement durable par intérim.

Récemment, en tant que collaborateur de la FCAR, Neil a participé à la conception de plusieurs cours et a dispensé des cours sur l’audit de performance dans de nombreuses juridictions. Il a en outre contribué à plusieurs projets de recherche, dont le document de travail de la FCAR, Approches à l’égard de la sélection et de la planification pluriannuelle des audits, dont il est le chercheur et auteur principal.

Neil est titulaire d’une maîtrise en administration publique et d’un baccalauréat ès arts (avec spécialisation en géographie) de l’Université Queen’s.

Contactez l’auteur :

neilrjmwell@gmail.com

Simplification des audits axés sur les résultats : modéliser l’activité auditée comme un pipeline

Les audits axés sur les résultats s’avèrent complexes dès l’étape de la délimitation de l’étendue. Les auditeurs trouvent souvent compliqué et long d’élaborer le modèle logique ou le modèle de processus requis pour comprendre le lien entre les intrants, les activités, les extrants et les effets d’un programme public donné. À titre d’exemple, la FCAR enseigne quatre techniques de modélisation pour la planification (les modèles logiques, le modèle de gestion « planifier, faire, vérifier, agir », les modèles de processus et les « arbres de problèmes »), ainsi que quatre techniques d’analyse des causes profondes (les cinq pourquoi, les diagrammes en arêtes de poisson, les diagrammes de Pareto et la cartographie des causes). Le modèle qui en résulte n’est souvent pas facile à comprendre et est donc rarement utilisé dans le rapport d’audit. La complexité est telle qu’il s’avère difficile de délimiter correctement l’étendue de l’audit ou de déterminer sur quels éléments la collecte et l’analyse des éléments probants devraient se concentrer.

J’adopte souvent une approche plus simple qui consiste à modéliser le sujet audité comme un « pipeline ». Tout le monde comprend le fonctionnement d’un pipeline. Quelque chose y entre par une extrémité et en ressort par l’autre, sauf s’il y a des fuites. Si l’on applique ce principe à un audit, des ressources entrent par une extrémité, pompées par des activités soumises à des contrôles de gestion le long du pipeline, et des résultats sortent à l’autre extrémité. En théorie, tous les résultats escomptés doivent sortir du pipeline, mais le plus souvent, certains d’entre eux se perdent en cours de route en raison de fuites dues à un défaut de conception ou de mise en œuvre des contrôles de gestion.

Dans un audit récent sur l’approvisionnement en fournitures (qui n’a pas encore été publié), j’ai proposé d’utiliser le modèle du pipeline. Le Parlement fournit un financement à une extrémité, et les utilisateurs reçoivent des fournitures lorsqu’ils en ont besoin à l’autre extrémité. L’audit consistait à repérer les fuites tout au long du pipeline, en commençant par l’entrée (figure 1). Il est apparu qu’une part importante des fonds autorisés par le Parlement n’était pas dépensée en raison de retards d’approbation. Des retards d’approvisionnement réduisant la quantité de fournitures circulant dans le pipeline ont ensuite été constatés. Puis, des pertes de fournitures stockées devenues périmées sont venues alimenter la fuite. L’audit a cherché à quantifier les fuites le long du pipeline et à déterminer les raisons de l’échec des contrôles à chaque étape.

Figure 1 – Identification des fuites du pipeline perturbant les résultats dans un audit sur l’approvisionnement en fournitures

Si l’analogie du pipeline est évidente pour une activité de distribution de fournitures, elle peut également être appliquée à un large éventail d’audits axés sur les résultats, comme détaillé dans le tableau 1.

Tableau 1 – Application de l’analogie du pipeline à différents types d’audits axés sur les résultats

Objet de l’audit	Intrants, extrants et fuites
Projets	Dans un audit de projet, à la sortie du pipeline, il faut que les projets soient menés à bien selon le calendrier et le budget prévus et que les besoins recensés soient satisfaits. Si tel n’est pas le cas (le regretté Michael Ferguson, ancien vérificateur général du Canada, avait coutume de dire qu’il n’existait pas de projet répondant à ces trois critères), il convient de déterminer à quel endroit du pipeline les résultats sont insuffisants et quels contrôles sont déficients. Les causes habituelles sont des évaluations des besoins inadéquates, de mauvaises analyses de rentabilisation, l’incapacité d’identifier les risques et l’attention insuffisante accordée aux tests.
Pensions alimentaires	Dans un audit des pensions alimentaires, à la sortie du pipeline, il faut que tous les demandeurs admissibles reçoivent des paiements exacts et opportuns qui sont conformes aux exigences des ordonnances judiciaires. Si certains paiements ne répondent pas à ces critères, les fuites peuvent être dues à des retards dans la prise de décision, à de mauvaises évaluations de l’admissibilité ou à des calculs erronés.
Services	Dans un audit des services, à la sortie du pipeline, il faut que les services soient fournis en temps opportun et qu’ils respectent les normes de qualité. Si certains ou l’ensemble des clients reçoivent des services insatisfaisants, où se situent les principales fuites? Les fuites peuvent être spécifiques à certaines régions ou à certains groupes de clients (les inégalités entre les sexes sont une cause possible), ou bien provenir de problèmes plus généraux comme des retards, de mauvaises évaluations de l’admissibilité ou des problèmes de livraison.
Économie	Les audits de l’économie se concentrent souvent sur l’approvisionnement ou la rémunération des ressources humaines, au sens où les extrants à la sortie du pipeline doivent répondre aux spécifications requises au moindre coût. Si tel n’est pas le cas, il convient de déterminer à quel endroit du pipeline l’économie n’est pas dûment prise en compte. Les fuites sont habituellement dues à des retards, à des marchés concurrentiels trop étroits ou à une mauvaise définition des ressources nécessaires.
Efficience	Dans un audit de l’efficience, à la sortie du pipeline, il faut que les résultats produits se conforment à des normes prédéterminées ou comparatives qui sont garantes d’efficience. Si tel n’est pas le cas, il convient de déterminer à quel endroit du pipeline se trouvent les fuites en termes d’efficience. À titre d’exemple, la réalisation d’analyses comparatives en interne (comparaison entre les régions) ou à l’externe (comparaison entre des juridictions similaires) peut permettre d’identifier les variations de coûts selon les extrants et de déterminer pourquoi certains endroits sont moins efficients que d’autres. Les principales fuites peuvent être dues à des processus obsolètes, à une formation et des équipements inadéquats ou à un sureffectif.
Efficacité	Dans un audit de l’efficacité, à la sortie du pipeline, il faut que les résultats répondent à l’objectif du programme et que tous les effets escomptés soient obtenus sans grandes conséquences négatives et non souhaitées. Si certains ou la totalité des résultats du programme sont insuffisants, d’où proviennent les problèmes?
Environnement	Les audits environnementaux partagent des caractéristiques avec les autres types ci-dessus, car ils peuvent être relatifs à des projets environnementaux, impliquer un soutien financier ou des services, et les objectifs de l’audit peuvent couvrir l’économie, l’efficience et l’efficacité. Les résultats peuvent se mesurer en termes de respect des engagements internationaux en matière d’environnement ou d’amélioration de la durabilité.

Utiliser le modèle pour l’analyse des causes profondes

Plusieurs des exemples susmentionnés montrent également comment ce modèle du pipeline peut offrir un moyen simple de cerner et de communiquer les causes profondes. Il n’y a rien de surprenant à cela, dans la mesure où les relations de cause à effet fonctionnent par définition dans les deux sens – à titre d’exemple, si une pénurie de pièces entraîne l’indisponibilité d’un équipement, la cause de cette indisponibilité est la pénurie de pièces.

Le modèle du pipeline a aussi été utilisé récemment pour cerner les causes profondes dans un audit des déchets dangereux (à paraître prochainement). Dans cet audit, les intrants partent des politiques nationales, passent par des activités de communication des normes et de formation aux niveaux du pays, des régions et des établissements, puis s’achèvent par la mise en œuvre dans chaque établissement. Si tout fonctionnait correctement, la totalité des déchets seraient traités de sorte à protéger la santé humaine et l’environnement. La description des éléments circulant dans le pipeline et des résultats aide les auditeurs à bien comprendre les processus et les contrôles concernés, ce qui, par ricochet, facilite l’identification des « fuites » et de leurs causes profondes.

Marche à suivre pour appliquer le modèle du pipeline à un audit axé sur les résultats et à l’analyse des causes profondes

Les phases normalisées d’un audit (planification, examen et production du rapport) sont énumérées ci-dessous, et des suggestions sur la mise en œuvre du modèle du pipeline sont formulées en gras.

Acquérez les connaissances nécessaires sur l’activité auditée – cette première étape reste essentielle pour bien planifier l’audit.
Identifiez les aspects les plus importants du sujet, notamment les intrants relatifs à l’activité auditée, les sous-activités et les processus clés, ainsi que les principaux résultats escomptés. Essayez de les représenter par un graphique simple en forme de pipeline.
Évaluez les risques pour identifier les problèmes liés aux résultats dont la probabilité et l’impact inhérents sont les plus importants, en prenant en compte l’économie, l’efficience et l’efficacité.
Rassemblez les données sur les résultats réels. Quelles sont les lacunes apparentes? Réfléchissez aux causes profondes possibles. Sur le graphique en forme de pipeline, indiquez où des fuites sont susceptibles de perturber les résultats et où les contrôles de gestion semblent défaillants. Ceci permet d’ajuster votre évaluation des risques pour tenir compte du risque résiduel (si votre bureau d’audit fonde l’étendue de ses audits sur le risque résiduel, et non sur le risque inhérent).
Déterminez l’étendue de l’audit sur la base de l’évaluation des risques, ainsi que des considérations relatives à l’auditabilité et à la valeur ajoutée. Définissez l’objectif de l’audit et les critères à utiliser.
Identifiez des stratégies de collecte et d’analyse des éléments probants permettant d’obtenir des éléments probants suffisants et appropriés sur les résultats et sur les lacunes en matière de contrôles de gestion qui produisent des résultats insuffisants.
Procédez à l’examen en appliquant la stratégie de collecte et d’analyse des éléments probants afin de rassembler des éléments probants suffisants et appropriés pour évaluer chaque critère de l’audit.
Rédigez le rapport en y intégrant les constatations importantes. Essayez d’utiliser l’analogie du pipeline dans votre récit – quels résultats font défaut, où se trouvaient les fuites et quels contrôles de gestion sont défaillants?

Conclusion

Chaque audit de performance est complexe, en particulier s’il est axé sur les résultats et les causes profondes. Face à la complexité, le mieux pour l’auditeur est d’utiliser des méthodes simples. Je trouve que cette analogie simple du pipeline est un moyen efficace de délimiter l’étendue des audits de performance et de rendre compte des constatations. J’espère que ces conseils vous seront utiles!

AVIS : Les opinions exprimées dans cet article sont celles de l’auteure et ne reflètent pas nécessairement le point de vue de la Fondation.

Consultez les autres Sur le terrain

The Level is:

Bibliothèque d’audit et de surveillance