1 novembre 2019

Comment les modèles de données peuvent apporter une valeur ajoutée aux audits de performance

Introduction Les gouvernements recueillent une masse considérable d’informations et ont un intérêt croissant à utiliser ces données pour prendre de meilleures décisions. Toutefois, plusieurs facteurs sont susceptibles de ralentir leur progression. Ces facteurs incluent le manque de temps, de ressources, d’expertise et d’outils, voire parfois l’absence d’une orientation stratégique, aux fins d’utilisation des données. Les audits portent souvent sur des programmes ou des services gouvernementaux générant des données qui n’ont pas encore été utilisées pour déterminer l’impact ou l’efficacité de ces mêmes programmes et services. Par le passé, cela conduisait habituellement à des constatations d’audit du type « le ministère ne sait pas si son programme est efficace » ou « le ministère n’a pas évalué ses données pour évaluer s’il a atteint ses objectifs ». Selon cette logique, l’audit recommandaient alors au ministère « d’analyser ses données pour déterminer l’efficacité du programme » ou parfois de « recueillir et analyser des données lui permettant d’évaluer les résultats du programme ». Ces dernières années, les auditeurs législatifs ont commencé à s’aventurer au-delà des constatations et recommandations de ce type pour utiliser des outils et des techniques d’analyse de données leur permettant d’analyser eux-mêmes l’efficacité des programmes. Les raisons suivantes expliquent ce changement : Les auditeurs ont accès à des outils et à une expertise auxquels les gouvernements n’ont pas toujours accès. Les auditeurs jettent un nouvel éclairage sur les possibilités d’analyse et de compréhension des activités du gouvernement. Les auditeurs ont accès à des données de différents secteurs du gouvernement qui leur permettent d’effectuer des analyses que les ministères et les organismes publics ne peuvent pas réaliser parce qu’ils travaillent en vase clos. Les gestionnaires de programme peuvent être incités à consacrer leurs ressources à la prestation des services de première ligne, de sorte qu’il leur paraît difficile de justifier une analyse des données tant que son utilité n’est pas prouvée. Rares sont les programmes qui prévoient les modalités de l’analyse des données à une étape suffisamment précoce pour permettre une collecte de données efficace, si bien qu’il faut plus de ressources pour procéder à l’analyse une fois que les programmes ont atteint leur vitesse de croisière. Les auditeurs ont parfois plus de temps et de ressources que les gestionnaires de programme pour surmonter cette contrainte.

À propos de l’auteure Jessica Schafer travaille au Bureau de la vérificatrice générale de la Colombie-Britannique depuis 2009 et elle y est présentement gestionnaire d’audits de performance. Elle a un grand intérêt pour l’analytique des données appliquée à l’audit et a expérimenté avec plusieurs techniques d’analyse dans plusieurs audits ayant précédé celui sur la sécurité routière des véhicules commerciaux. Elle est membre du comité de travail sur l’éducation du CCVL et elle a contribué à plusieurs projets de la FCAR, notamment en tant que mentore pour des boursiers internationaux et comme conseillère pour le document de travail sur l’analyse des causes profondes ainsi que pour le cours sur la collecte et l’analyse des éléments probants. Avant d’être auditrice, elle oeuvrait dans le milieu académique et travaillait sur projets relatifs au développement communautaire, au développement international et aux études africaines, aux universités de Sussex, d’Oxford, de Victoria et d’Ottawa. Contactez l’auteure jschafer@bcauditor.com

Les bureaux d’audit ont réalisé qu’ils peuvent démontrer aux gouvernements la valeur de l’analyse des données en fournissant des exemples concrets de travaux analytiques de bonne qualité. Ceci peut inciter les gouvernements à procéder eux-mêmes à une analyse des données et à utiliser ces informations pour prendre de meilleures décisions stratégiques. Lorsque les conditions sont réunies pour leur permettre de produire des analyses précieuses, les auditeurs peuvent mieux répondre aux besoins de leurs parlementaires.

Cet article présente l’exemple du Bureau de la vérificatrice générale de la Colombie-Britannique, qui a pu réaliser ce type de travail analytique dans le cadre d’un audit sur la sécurité des véhicules utilitaires (en anglais seulement) publié en décembre 2018. L’audit examinait si trois organisations provinciales géraient efficacement leurs programmes respectifs de promotion de l’utilisation sécuritaire des véhicules utilitaires sur les routes de la Colombie-Britannique.

Pourquoi avons-nous décidé d’effectuer cette analyse des données?

Les activités du gouvernement en matière de sécurité des véhicules, incluant les inspections routières et les contrôles routiers, sont souvent considérées de prime abord comme un coût et une entrave à la libre circulation des véhicules. Le fait de pouvoir estimer les avantages sur le plan de la sécurité, dont la réduction du nombre d’accidents et l’impact en termes de coûts, contribue à démontrer la valeur des activités de prévention et permet d’améliorer la qualité des renseignements fournis aux personnes chargées de prendre des décisions sur la base d’une analyse coûts-avantages. Ces renseignements ont également leur importance pour les législateurs. Une présentation donnée par le Bureau du vérificateur général de la Nouvelle-Écosse lors d’un symposium sur l’audit de performance du CCVL a été notre première source d’inspiration. Dans un audit sur la sécurité des camions réalisé en 2009 (en anglais seulement), le Bureau du vérificateur général de la Nouvelle-Écosse a effectué une analyse des données pour évaluer si le gouvernement avait respecté ses normes de service concernant les inspections des véhicules utilitaires. Nous avons demandé à un expert sur le sujet, le professeur Garland Chow, de l’Université de la Colombie-Britannique, de nous prodiguer des conseils sur la réalisation de ce type d’analyse des données.

Quelle approche avons-nous adoptée en matière d’analyse des données?

Voici les étapes que nous avons suivies pour préparer le modèle et les données aux fins d’analyse.

1. Identifier un modèle pouvant permettre d’évaluer l’impact des activités de sécurité des véhicules utilitaires.

Le professeur Chow nous a recommandé le « Roadside Intervention Effectiveness Model » (RIEM), un modèle d’efficacité des interventions routières utilisé aux États-Unis.

2. Confirmer auprès des personnes-ressources du ministère que le modèle pouvait s’appliquer au contexte de la C.-B.

Nous avons validé le modèle auprès du ministère des Transports et de l’Infrastructure. Nous avons échangé des renseignements généraux concernant le modèle avec nos principales personnes-ressources au sein du ministère et nous leur avons montré comment les résultats étaient utilisés aux États-Unis. Comme le RIEM était utilisé dans tous les États américains, et puisque les normes de sécurité des véhicules utilitaires et les principes d’application sont similaires au Canada et aux États-Unis, nous avons jugé raisonnable d’étendre le modèle à la C.-B., moyennant quelques adaptations.

3. Consulter les chercheurs responsables du modèle.

Nous avons soumis notre plan et notre approche à l’avis des chercheurs du département des Transports des États-Unis qui supervisent les travaux relatifs au RIEM.

4. Adapter le modèle au contexte et aux données de la C.-B.

Le ministère nous a fourni des données sur les inspections routières et les contrôles routiers en C.-B. ainsi que sur les infractions identifiées durant ces activités – l’intrant clé du modèle. Le ministère nous a également communiqué le tableau utilisé au Canada pour garantir l’équivalence des infractions commises avec un véhicule automobile d’une juridiction à une autre, que nous avons utilisé pour classer les groupes d’infractions de la C.-B. en fonction des groupes d’infractions du RIEM.

Nous avons déterminé que la plupart des groupes d’infractions étaient définis de la même façon en C.-B. et dans le RIEM. Toutefois, certains groupes d’infractions du RIEM n’étaient pas définis ou utilisés en C.-B., et vice-versa. En outre, la classification de certains groupes d’infractions constatées pendant les inspections routières était plus agrégée en C.-B. que dans le RIEM. Nous avons aussi dû reclasser les infractions classées dans le groupe « divers » en C.-B. avant de pouvoir les utiliser dans le modèle.

Pour minimiser la différence entre les classifications des groupes d’infractions et maximiser la précision des estimations du nombre d’accidents évités, nous avons utilisé un certain nombre de procédures. Celles-ci ont notamment consisté à demander au personnel du ministère de confirmer la correspondance entre les groupes d’infractions de la C.-B. et ceux du RIEM, ainsi qu’à estimer l’impact potentiel des activités de prévention non mesurées en C.-B. et des activités menées en C.-B. mais non reconnues dans le RIEM.

5. Épurer les données et les verser dans le modèle.

L’épuration des données consistait principalement à s’assurer qu’il n’y avait pas de « double comptage » des infractions constatées à la fois durant la procédure d’inspection et à l’occasion d’un contrôle routier donnant lieu à une contravention.

Comment le modèle fonctionne-t-il?

L’utilisation d’un modèle de données nécessite de comprendre clairement tous les intrants requis, de connaître la source des données et de savoir comment les différents intrants sont utilisés pour produire un résultat. Les intrants utilisés par le RIEM pour estimer le nombre d’accidents évités grâce aux inspections routières et aux contrôles routiers sont décrits ci-dessous.

Les véhicules utilitaires font l’objet d’inspections routières réalisées par des inspecteurs de la sécurité des véhicules utilitaires. Chaque inspection respecte le protocole nord-américain et couvre les mêmes éléments. Toute infraction constatée est enregistrée et punie d’une amende ou d’une obligation de corriger la défaillance. Un inspecteur de la sécurité des véhicules utilitaires peut aussi établir une contravention pour toute infraction à la loi sur les véhicules motorisés (Motor Vehicle Act) de la Colombie-Britannique. Ces infractions peuvent recouper celles figurant sur la liste d’inspection ou en être tout à fait distinctes. À titre d’exemple, un véhicule utilitaire peut être arrêté pour excès de vitesse, puis faire l’objet d’une inspection révélant une défaillance du système de freinage, ce qui constitue une infraction au protocole d’inspection.

Chaque inspection routière ou contrôle routier constitue une intervention. Lorsque l’intervention met au jour une infraction, on considère qu’elle a permis de réduire le risque d’accident. Le RIEM exprime cette réduction du risque en termes d’accidents évités grâce à la correction de chaque défaillance observée.

Chaque infraction est classée dans un « groupe d’infractions » incluant des infractions connexes présentant le même risque d’accident. À titre d’exemple, le groupe « conduite non sécuritaire » inclut toutes les infractions relatives à la conduite non sécuritaire, par exemple le défaut de s’immobiliser à un feu rouge, le mauvais changement de voie ou le défaut de céder le passage. Le risque d’accident attribué par le RIEM à chaque groupe d’infractions est estimé en examinant l’incidence des infractions spécifiques constatées pendant les inspections routières faisant suite à un accident comparativement à celles constatées pendant les inspections n’ayant pas de lien avec un accident. Ce risque est multiplié par la durée estimée de l’impact de l’intervention, puis par le taux de correction estimé pour chaque intervention, qui ont également été déterminés sur la base des données provenant des États-Unis. Certaines infractions donnent par exemple lieu à une interdiction de conduire ou de manœuvrer un véhicule pendant une certaine période, qui constitue la durée de l’impact. Enfin, comme les défaillances observées ne sont pas toujours corrigées par les conducteurs à l’issue des interventions, le taux de correction doit être pris en compte.

En faisant la somme, pour tous les groupes d’infractions, des probabilités de risque d’accident après correction pour les interventions effectuées pendant une période donnée, le modèle estime le nombre d’accidents évités grâce aux inspections routières et aux contrôles routiers (figure 1).

Ces données permettent d’estimer les économies découlant des interventions de sécurité, sur la base d’une estimation des coûts sociaux liés aux collisions (fournie par le ministère).

Figure 1 – Formule utilisée par le « Roadside Intervention Effectiveness Model » (RIEM) pour estimer le nombre d’accidents évités grâce aux interventions de sécurité visant les véhicules utilitaires

Quels ont été les résultats de notre analyse des données?

En utilisant le modèle et les données fournis par le ministère des Transports et de l’Infrastructure, nous avons pu estimer le nombre d’accidents évités grâce aux inspections routières et aux contrôles routiers visant les véhicules utilitaires entre 2014 et 2016 (la période pour laquelle des données étaient disponibles). Nous avons également utilisé les données provinciales sur les accidents pour estimer le nombre de blessures et de décès évités, ainsi que le montant des économies réalisées en évitant ces accidents.

Les résultats du modèle montrent que sur les trois années que nous avons analysées, les inspections routières et les contrôles routiers visant les véhicules utilitaires en C.-B. ont permis d’éviter environ 1 100 collisions, ainsi que quatre décès et plus de 260 blessures non mortelles. On estime que les économies ainsi réalisées s’élèvent à 130 millions de dollars en termes de coûts sociaux, incluant les journées de travail perdues et les frais médicaux, et à environ 18 millions de dollars en termes de dépenses d’assurance provinciales.

Le nombre annuel d’accidents évités a diminué entre 2014 et 2016, en raison d’une baisse du nombre d’inspections routières et de contrôles routiers. Cette baisse a été en partie compensée par l’amélioration de la productivité des inspections routières (c’est-à-dire que le nombre d’infractions constatées par inspection a augmenté). Cette productivité accrue est probablement due à la participation croissante à un programme de présélection électronique (« Weigh2GoBC » – en anglais seulement) grâce auquel les inspecteurs peuvent se concentrer sur les véhicules présentant un risque élevé pour effectuer des inspections approfondies.

D’après notre analyse, le ministère pourrait envisager certaines options et initiatives pour maintenir et améliorer l’efficacité des interventions de sécurité malgré le manque de ressources. En utilisant différemment les données du ministère, nous lui avons fourni des informations et une analyse détaillées qui aideront les responsables ministériels à prendre des décisions éclairées pour améliorer la sécurité des véhicules.

Notre analyse a également suscité l’intérêt de l’Assemblée législative; le rapport d’audit a été examiné par le comité des comptes publics en février 2019.

Quelles ont été les difficultés?

Le recours à un modèle de données pour tester l’efficacité des inspections routières et des contrôles routiers s’est avéré être une procédure d’audit précieuse. Certaines difficultés, détaillées ci-dessous, se sont toutefois posées.

Temps

Comme c’est souvent le cas avec les analyses de données, l’épuration des données et l’adaptation du modèle à notre contexte sont les activités qui ont nécessité le plus de temps et d’efforts. Nous avons utilisé les données de trois systèmes de données ministériels, que nous avons regroupées au moyen du logiciel d’audit ACL. Ce processus long et fastidieux a duré environ trois mois. L’adaptation du modèle et la validation des données ont nécessité trois autres mois de travail. De plus, notre équipe d’audit de la technologie de l’information (TI) a examiné les contrôles généraux de la TI des systèmes de données pour évaluer la fiabilité des données. Cet examen a nécessité approximativement 400 heures de travail sur environ quatre mois.

Méthode

En matière d’audit de performance, l’une des difficultés consiste à s’assurer que l’analyse fournit des données qui peuvent être utilisées pour tirer une conclusion en fonction des critères d’audit. Dans notre plan initial, nous n’étions pas sûrs de pouvoir utiliser les données analytiques comme éléments probants. Nous n’avions donc pas établi de critères bien alignés avec le modèle. En conséquence, après confirmation de la validité du modèle, nous avons dû ajuster l’un de nos critères pour mieux l’aligner avec le modèle. L’équipe d’audit a dû s’adresser à nouveau au ministère pour discuter du changement et confirmer que le nouveau critère était approprié.

Validation

Dans le cadre de notre processus d’approbation du rapport, nous avons informé le département des Transports des États-Unis que nous mentionnerions publiquement son modèle dans notre audit. À ce stade avancé du processus, on nous a signalé que le modèle était en cours de mise à jour (en plus de 20 ans d’utilisation, il a fait l’objet de mises à jour régulières). Nous estimions qu’il n’y avait pas de risque que nos résultats ne soient plus valables, étant donné que nous avions validé le modèle en l’adaptant au contexte de la C.-B. Il nous incombait toutefois de signaler que le modèle était en cours de mise à jour car celle-ci était susceptible de modifier les futurs résultats publiés sur la base des mêmes données. Dans la mesure où notre rapport contenait une estimation, nous devions faire part aux lecteurs de cette possibilité. Il n’est pas toujours facile d’être vigilant face à ce type de changements quand on consacre toute son attention aux différentes tâches requises pour valider les données, appliquer le modèle et rendre compte des résultats.

Quel a été l’impact de notre analyse des données?

Dans notre audit, nous recommandions au ministère de recueillir et d’analyser des données lui permettant d’élaborer des cibles appropriées et d’évaluer l’efficacité de ses programmes de sécurité des véhicules utilitaires, ce qu’il a accepté de faire. Dans son plan d’action (en anglais seulement) visant à mettre en œuvre les recommandations de l’audit, le ministère s’est engagé à travailler avec des experts externes sur l’analyse des données, y compris en élaborant des cibles mesurables et une méthode de collecte de données. Le ministère a également demandé à utiliser l’analyse des données de l’audit pour préparer une présentation au Cabinet.

Conclusion

Même si ce type d’analyse des données nécessite énormément de temps et d’efforts, l’investissement en valait clairement la peine compte tenu de la valeur ajoutée apportée aux résultats de l’audit et à l’organisation auditée.

Au-delà du RIEM, d’autres modèles permettent d’analyser les données pour améliorer l’efficacité des activités de sécurité des véhicules utilitaires. Il existe un modèle similaire qui évalue l’impact des interventions de sécurité auprès des transporteurs exploitant des véhicules utilitaires, appelé « Carrier Intervention Effectiveness Model ». Nous n’avons pas effectué d’analyse utilisant ce modèle en raison d’un manque de temps et de ressources, mais aussi parce que nous estimions que l’analyse des données du RIEM nous permettait de démontrer au ministère la valeur de ce type de travail et de lui fournir les informations dont il avait besoin pour entreprendre des travaux analytiques similaires à l’avenir. Nous avons ouvert une voie que le ministère peut désormais emprunter.

Références

1. Hyeonshic Shin, Sanjay Bapna et Ramesh Buddharaju (2014), Maryland Motor Carrier Program Performance Enhancement, rapport de recherche de la State Highway Administration, MD-14-SP708B4D, département des Transports du Maryland, Hanover, Maryland (en anglais seulement).
2. Ministère des Transports et de l’Infrastructure de la Colombie-Britannique (2019), Action Plan and Progress Assessment (APPA) for the Implementation of Audit Recommendations from the OAG, Victoria, Colombie-Britannique (en anglais seulement).
3. Bureau de la vérificatrice générale de la Colombie-Britannique (décembre 2018), An Independent Audit of Commercial Vehicle Safety, Victoria, Colombie-Britannique (en anglais seulement).
4. Bureau du vérificateur général de la Nouvelle-Écosse (avril 2009), rapport complet, chapitre 4, Transportation and Infrastructure Renewal and Service Nova Scotia and Municipal Relations: Truck Safety, Halifax, Nouvelle-Écosse (en anglais seulement).
5. Département des Transports des États-Unis, Federal Motor Carrier Safety Administration (avril 2017), FMCSA Safety Program Effectiveness Measurement: Carrier Intervention Effectiveness Model (CIEM), Version 1.1, Report for Fiscal Year 2013 Interventions, Washington D.C. (en anglais seulement).
6. Département des Transports des États-Unis, Federal Motor Carrier Safety Administration (2017), Safety Measurement System (SMS) Methodology: Behavior Analysis and Safety Improvement Category (BASIC) Prioritization Status, version 3.0.7 (en anglais seulement).
7. Département des Transports des États-Unis, Federal Motor Carrier Safety Administration (février 2016), FMCSA Safety Program Effectiveness Measurement: Roadside Intervention Effectiveness Model, Fiscal Year 2012, Washington D.C. (en anglais seulement).

 

---

AVIS : Les opinions exprimées dans cet article sont celles de l’auteure et ne reflètent pas nécessairement le point de vue de la Fondation.

 

Consultez les autres Sur le terrain

The Level is: