Vérification de la mesure du rendement

Renseignements généraux

La vérification de la mesure du rendement était incluse dans le Plan de vérification axé sur le risque de 2016-2017 à 2018-2019 d'Affaires autochtones et du Nord Canada (AANC), qui a été approuvé par le sous-ministre le 4 mars 2016. Il a été déterminé que la priorité de la vérification était élevée en raison de l'importance de la surveillance et de l'évaluation des résultats des programmes ministériels, ainsi que de l'intérêt important et des préoccupations que suscite ce domaine à l'échelle du gouvernement.

Les lettres de mandat à l'intention des ministres du gouvernement du Canada indiquent que la mesure du rendement est une priorité et stipulent que, désormais, les ministères devront « [produire] régulièrement des rapports sur [leurs] progrès [ministériels] dans la réalisation de nos engagements » et qu'ils devront « [développer] des mesures efficaces qui permettront d'évaluer l'impact des travaux [des] portefeuille[s] [des ministères]^{Note de bas de page 1} ».

Les activités de mesure du rendement correspondent aux activités entreprises à l'appui de la surveillance, de la mesure de l'évaluation et de la production des rapports sur l'efficacité des programmes et services d'AANC. En matière de mesure du rendement, Comme tous les ministères, AANC gère actuellement deux transitions majeures : la mise en œuvre de la Politique sur les résultats du Conseil du Trésor (CT) et la mise en œuvre de la « Deliverology », ou « résultologie » un ensemble de pratiques de gestion axées sur les résultats dont l'emploi a pour but de faciliter le respect de l'engagement du gouvernement du Canada pour ce qui est d'obtenir des résultats concrets dans le cadre des services publics.

Objectif et portée de la vérification

La vérification avait pour objectif d'évaluer l'état de préparation du Ministère et sa capacité à mettre en œuvre les changements requis en vertu de la Politique sur les résultats du Conseil du Trésor en ce qui concerne la mesure du rendement et à relever les facteurs pertinents à examiner en matière de mesure du rendement.

La vérification comprenait des évaluations du caractère adéquat et de l'efficacité du système de mesure du rendement d'AANC, plus particulièrement des secteurs de risque qui ont été relevés lors de la phase de planification. La vérification a porté essentiellement sur les activités entreprises par AANC entre le 31 mars 2015 et le 1er août 2016, toutefois, l'examen a inclus la revue de certains documents produits avant cette période.

La portée de la vérification a inclus seulement l'évaluation de la mesure du rendement des programmes. Elle a exclu les mesures du rendement en matière de la prestation des services internes notamment finance et ressources humaines. Plus précisément, la gestion du rendement des employés, le rendement au regard des délais et des dépenses, ou les autres aspects du rendement qui ne portent pas directement sur l'exécution des programmes ou la prestation des services d'AANC ont été exclus de la portée de la présente vérification.

Énoncé de conformité

La présente vérification respecte les Normes relatives à la vérification interne au sein du gouvernement du Canada, comme en témoignent les résultats du programme d'assurance et d'amélioration de la qualité.

Observations positives

Les membres de l'équipe de vérification ont observé un certain nombre d'éléments positifs dans le système de mesure du rendement d'AANC; ils ont regroupé ces derniers par secteur thématique :

Conclusions

La vérification a permis de constater que le Ministère a mis en œuvre des mesures pertinentes pour soutenir son état de préparation et sa capacité d'apporter les modifications requises en vertu de la nouvelle Politique sur les résultats. Pour soutenir la transition à cette politique, des possibilités pouvant favoriser sa mise en œuvre ont étés cernés. Celles-ci incluent : une orientation stratégique plus claire et mieux communiquée; une gouvernance des données qui concorde avec les exigences de la nouvelle politique; une meilleure compréhension des besoins en matière de données à des fins de planification dans les collectivités autochtones pour qu'elles puissent servir à produire des rapports sur le rendement; et, une utilisation plus constante de l'information sur le rendement à l'échelle du Ministère pour atteindre les objectifs stratégiques.

Facteurs à considérer

L'équipe de vérification a cerné des domaines clés où des améliorations doivent être apportées afin de soutenir l'état de préparation du Ministère et sa capacité à mettre en œuvre la Politique sur les résultats ainsi que le programme axé sur les résultats du gouvernement. Les facteurs à considérer sont énumérés ci-dessous :

La « résultologie » et le programme autochtone du gouvernement

Le gouvernement du Canada a indiqué par l'intermédiaire du Comité du Cabinet chargé du programme gouvernemental, des résultats et des communications – le Comité chargé d'élaborer le programme gouvernemental, de faire le suivi des progrès et de gérer les communications stratégiques – que les ministères auront la responsabilité d'adopter les principes de base de la « résultologie ». Mise en œuvre pour la première fois dans la fonction publique du Royaume-Uni, la « résultologie » est une approche en matière de mesure du rendement qui réunit les meilleures pratiques en la matière et son but est d'atteindre les résultats des politiques en mettant l'accent sur les activités clés les plus susceptibles d'avoir une grande incidence^{Note de bas de page 4}.

De plus, le gouvernement du Canada a récemment indiqué dans ses lettres de mandat que la mesure du rendement serait désormais une grande priorité. Dans la lettre de mandat à l'intention de la ministre d'AANC, on pouvait lire ceci : « les mesures de rendement, la présentation de preuves et la rétroaction des Canadiens [seront] la pierre angulaire de notre travail. Nous dirigerons nos ressources vers les initiatives qui ont le plus d'incidences positives sur la vie des Canadiens et qui nous permettront de respecter nos engagements envers eux. Je m'attends à ce que vous produisiez régulièrement des rapports sur vos progrès dans la réalisation de nos engagements et que vous développiez des mesures efficaces qui permettront d'évaluer l'impact des travaux de votre portefeuille^{Note de bas de page 5}  ». Le gouvernement a également rendu publiques les lettres de mandat à l'intention des ministres, et ce, « pour la première fois de l'histoire de notre pays^{Note de bas de page 6}  ».

Changements de politique clés liés à la mesure du rendement

La Politique sur la structure de gestion, des ressources et des résultats (SGRR) de 2010 du CT vise à garantir que le gouvernement et le Parlement reçoivent l'information financière et non financière intégrée sur le rendement de façon à améliorer les décisions d'affectation et de réaffectation des ressources, tant dans chaque ministère qu'à l'échelle pangouvernementale. Plus précisément, cette politique exigeait que chaque ministère et chaque organisme mettent en place un cadre commun pour la définition des programmes de même que pour la collecte, l'utilisation et la déclaration de renseignements financiers et non financiers concernant ces programmes. Cette politique est appuyée par la Politique sur l'évaluation du CT qui a été conçue pour s'assurer que l'on dispose de renseignements crédibles, neutres et obtenus en temps opportun sur la pertinence continue et le rendement des dépenses directes de programme à l'appui de la prise de décision fondée sur des données probantes.

Le CT a publié la Politique sur les résultats le 1er juillet 2016, laquelle a pour but de remplacer la Politique sur la SGRR et la Politique sur l'évaluation.> La mise en œuvre de la nouvelle politique sera achevée en 2017- 2018. Durant la période de transition, Il est prévu que les ministères continuent de respecter les exigences établies par la Politique sur la SGRR et la Politique sur l'évaluation.

Similarités pertinentes entre la Politique sur la SGRR et la Politique sur les résultats

La Politique sur la SGRR et la Politique sur les résultats sont des cadres de gestion de portée générale conçus pour prendre des décisions éclairées concernant l'affectation des ressources et l'exécution des programmes. Les principes de mesure du rendement fondés sur des données probantes, l'utilisation de données financières et non financières, l'horizontalité (les initiatives touchant différents programmes et ministères), la conception de programme et la souplesse de la gestion ainsi que l'atteinte de résultats pour les Canadiens par l'intermédiaire de la surveillance et de la production de rapports constantes sont des caractéristiques communes aux deux politiques.

Différences pertinentes entre la Politique sur la SGRR et la Politique sur les résultats

L'objectif de la Politique sur les résultats est de veiller à ce que, à un niveau plus général, les ministères du gouvernement se concentrent non seulement sur les priorités à court terme, mais également sur les mandats à long terme. Les principales différences entre les deux politiques en ce qui a trait à la mesure du rendement sont décrites dans le tableau ci-dessous.

La Politique sur les résultats a une plus grande portée que la Politique sur la SGRR; par exemple, elle définit les rôles et responsabilités de l'administrateur général, du Comité de la mesure du rendement et de l'évaluation, des responsables des programmes et du chef de la mesure du rendement.

La Politique sur les résultats et la mise en application de la « résultologie » contiennent des objectifs et des méthodes qui se chevauchent en partie lorsqu'elles sont mises en œuvre dans le contexte fédéral canadien. Compte tenu de ces facteurs, la vérification de la mesure du rendement décrit l'état actuel de la mesure du rendement, en tenant compte de l'évaluation exhaustive de l'état de la mesure du rendement menée et décrite dans le Rapport annuel sur l'état de la mesure du rendement de 2013 du Ministère, et des lacunes liées aux exigences qui devront être respectées en vertu de la Politique sur les résultats et de la « résultologie ».

2.1 Objectif de la vérification

La vérification avait pour objectif d'évaluer l'état de préparation du Ministère et sa capacité à mettre en œuvre les changements requis en vertu de la Politique sur les résultats du Conseil du Trésor en ce qui concerne la mesure du rendement et à relever les facteurs pertinents à examiner en matière de mesure du rendement.

2.2 Portée de la vérification

La vérification comprenait des évaluations du caractère adéquat et de l'efficacité du système de mesure du rendement d'AANC, plus particulièrement des secteurs de risque qui ont été relevés lors de la phase de planification. La vérification a porté essentiellement sur les activités entre le 31 mars 2015 et le 1er août 2016. Toutefois, l'examen de la documentation a inclus la revue de certains documents produits avant cette période.

La portée de la vérification a inclus l'évaluation de la mesure du rendement des programmes. Elle a exclu les mesures du rendement en matière de la prestation des services internes notamment finance et ressources humaines.

5.1 Leadership et orientation stratégique

Les membres de l'équipe de vérification s'attendaient à trouver des preuves démontrant que la haute direction soutient activement une culture de la mesure du rendement, notamment, en diffusant des communications portant sur la mesure du rendement, en échangeant régulièrement de l'information sur la mesure du rendement lors des réunions des comités de la direction, en établissant clairement des priorités pour la mesure du rendement ainsi qu'en adoptant une stratégie pour la mise en œuvre de changements axés sur la mesure du rendement en vertu de la Politique sur les résultats et des attentes créées par l'adoption de la « résultologie ».

Reconnaissant que la transition représente une occasion unique pour AANC d'améliorer l'efficacité de sa mesure du rendement et renforcer une culture de la mesure du rendement au sein du Ministère, la haute direction a pris certaines mesures pour appuyer la transition vers la Politique sur les résultats et de l'adoption de la « résultologie ».

Le Comité directeur des SMA sur les résultats et le Comité des directeurs généraux sur les résultats et l'exécution ont été mis sur pied afin de soutenir la mise en œuvre de la Politique sur les résultats et du programme axé sur les résultats du gouvernement. L'équipe de vérification a constaté que ces comités de la haute direction s'affairent à élaborer les exigences de base de la Politique sur les résultats. Par exemple, AANC a élaboré un cadre ministériel sur les résultats, un répertoire des programmes, une charte des résultats et des sous chartes (attentes établies en vertu de la « résultologie »). Des personnes ont été nommées aux postes d'agent en chef des résultats et de l'exécution ainsi que d'agent en chef des données.

Des défis relatifs au leadership ont été cernés, plus particulièrement en ce qui a trait aux communications et à l'établissement de priorités liées à la mesure du rendement. Les travaux de vérification ont permis de constater que la diffusion de communications sur la mesure du rendement liée aux résultats des programmes était peu fréquente et que le soutien offert pour la mise en œuvre d'une gestion axée sur les résultats dans le Ministère n'était pas constant. Selon l'examen de certains procès-verbaux des réunions des comités pendant la période visée, les discussions portant sur la mesure du rendement et les mesures de suivi se concentraient sur la surveillance des risques liés aux programmes ainsi qu'aux mises à jour du CRG et d'autres initiatives particulières. De plus, les réponses obtenues lors des entrevues donnent à penser que le processus d'établissement des priorités relatives aux activités de mesure du rendement manquait de clarté.

La « résultologie » et, dans une moindre mesure, la Politique sur les résultats,sont perçues par les personnes interviewées comme étant une occasion de renforcer la culture de la gestion axée sur les résultats au sein du Ministère. Cependant, la stratégie sur la gestion du changement qui définit et communique le parcours pour mener à bien la transition (calendrier, ordre des activités, dépendances, jalons et niveaux d'investissement de ressources humaines et financières) et qui permettra de pleinement mettre en œuvre la Politique sur les résultats et la « résultologie » pas encore été élaborée, puisque le nouveau cadre ministériel des résultats et le répertoire des programmes n'ont toujours pas été finalisés. L'équipe de vérification a constaté que le Ministère suit actuellement son plan visant à mettre en œuvre la Politique sur les résultats et que les facteurs de réussite clés ont été cernés, ces derniers comprennent :

• le leadership, la collaboration et les responsabilités;
• la communication et la mobilisation;
• les capacités et les outils;
• l'engagement externe avec les peuples autochtones.

5.2 Responsabilités claires

L'équipe de vérification s'attendait à trouver que les rôles, les responsabilités et les obligations en matière de reddition de comptes liés à la mesure du rendement étaient clairement définis et bien compris par les membres du personnel.

Au cours des dernières années, le personnel d'AANC s'est affairé à améliorer la gouvernance de la mesure du rendement. Le Ministère a rationalisé ses autorisations de programme, a peaufiné son CMR et a clarifié ses stratégies de mesure du rendement à l'échelle des programmes, notamment ses rôles et responsabilités. Le Ministère a élaboré une politique sur les stratégies de mesure du rendement qui décrit les rôles et les responsabilités associés à la mesure du rendement au sein du Ministère. Bien que c'était en dehors de la portée de cette présente vérification, les réponses des personnes interrogées ont laissé entendre que les rôles et les responsabilités liés à la mesure du rendement ont été améliorés grâce au processus de planification des activités et de production de rapports trimestriels.

L'équipe de vérification a également examiné une sélection de stratégies de mesure du rendement afin d'évaluer le caractère adéquat des descriptions des rôles et des responsabilités. Même si des sections sur les intervenants et la gouvernance des programmes apparaissaient de manière constante dans les stratégies de mesure du rendement examinée, les définitions des rôles et des responsabilités contenues dans la matrice de mesure du rendement variaient; certaines stratégies de mesure du rendement indiquaient qu'un ou plusieurs postes étaient responsables alors que d'autres stratégies indiquaient que la responsabilité incombait plutôt à une direction ou à une direction générale. Même si des différences liées à la gouvernance dans les stratégies de mesure du rendement ont été cernées, ces stratégies reflétaient de manière raisonnable les réalités des programmes et s'inscrivaient dans la marge de manœuvre allouée aux agents de programme pour qu'ils puissent élaborer des stratégies qui respectent les réalités sur le terrain.

Dans le cadre du programme autochtone du gouvernement et des travaux en cours réalisés au sein de, et en collaboration avec des collectivités autochtones, on prévoit la création d'une structure de responsabilité fondée sur une relation de nation à nation renouvelée. À cette fin, l'Assemblée des Premières nations est à la tête d'une initiative de transformation qui mènera à la création d'un nouveau cadre de gestion des investissements autochtone, qui appuiera la production de rapports publics sur les collectivités, et le développement de la nation et de la population plutôt que sur les résultats liés aux programmes. Le Ministère est déterminé à collaborer avec les collectivités afin de soutenir cette transition.

Même si la vérification a permis de déterminer que les rôles et les responsabilités liés aux résultats des programmes étaient généralement bien définis et compris par le personnel, les membres de la haute direction reconnaissent que les résultats sont de plus en plus susceptibles de devenir la responsabilité des collectivités autochtones. Les membres de la haute direction ont souligné qu'il faudra clarifier la nature des répercussions du processus de réconciliation engagé avec les collectivités autochtones sur la responsabilité ministérielle relative aux résultats et sur la mise en œuvre de la Politique sur les résultats.

5.3 Service axé sur la clientèle

L'équipe de vérification s'attendait à trouver des preuves démontrant que le Ministère avait la capacité d'exécuter des activités de mesure du rendement y compris la connaissance et la disponibilité du personnel, de même que des preuves attestant que le Ministère a tenu compte des besoins des collectivités autochtones et les a intégrés dans son approche en matière de mesure du rendement.

Les entrevues ont permis de déterminer que la connaissance et la compréhension des principes liés à la mesure du rendement s'étaient améliorées dans l'ensemble du Ministère en raison des travaux réalisés pour élargir la portée des stratégies de mesure du rendement au niveau des programmes. Aussi, l'accès aux conseillers principaux en matière de résultats stratégiques; l'intégration de spécialistes de la gestion axée sur les résultats du Secteur des politiques et de l'orientation stratégique intégrés aux secteurs afin de fournir du soutien et des conseils à la haute direction; et, la prestation de soutien de la part du personnel de la Direction générale de l'évaluation, de la mesure du rendement et de l'examen, ont été identifiés comme des éléments facilitateurs utiles.

Les défis en matière de capacité mis en évidence dans des entrevues touchaient moins les connaissances des membres du personnel et leur capacité d'analyser le rendement des programmes et d'en rendre compte, que la disponibilité de personnel pour mener à bien les activités de mesure du rendement en fonction du calendrier établi. Les travaux de vérification ont également identifié que la capacité de mesure du rendement était limitée, y compris lorsqu'il est question d'initiatives visant à répondre au changement des besoins (du Ministère ou des collectivités autochtones) découlant d'exigences relatives aux opérations ou à l'administration des programmes.

L'équipe de vérification a également évalué la prise en compte et l'intégration des besoins des collectivités dans le processus de mesure du rendement. En réponse aux conclusions d'une série d'enquêtes indépendantes, le Ministère a cherché à assouplir les exigences imposées aux collectivités autochtones en matière de rapport tout en continuant de fournir au Parlement et aux Canadiens suffisamment d'information pour évaluer le rendement des programmes^{Note de bas de page 8}. Le Ministère a amorcé des consultations et mis sur pied des programmes pilotes auprès des collectivités autochtones afin de simplifier les obligations en matière de collecte de données et de production de rapports. L'Initiative des rapports simplifiés^{Note de bas de page 9} a permis de cerner des défis liés aux besoins des collectivités que les projets pilotes visent à régler. Ces derniers tiendront compte de la capacité de production de rapports des Autochtones et de la pertinence des exigences en matière de rapport pour les collectivités. Voici les objectifs de l'Initiative des rapports simplifiés :

• consulter les collectivités autochtones dans le but de simplifier la production de rapports, tirer parti des pratiques exemplaires ainsi que travailler avec le personnel des programmes, des régions et des services internes afin d'assouplir les exigences en matière de rapport;
• accroître la souplesse de la production de rapports par l'entremise de solutions Web et l'établissement d'un calendrier de production de rapports prévisible;
• améliorer le partage de données avec les collectivités autochtones par l'intermédiaire de solutions Web.

En plus de l'Initiative des rapports simplifiés, AANC a également mis en œuvre une initiative visant à examiner les processus de collecte et de validation des données, décrite dans la prochaine section, ce qui a permis de réduire les exigences en matière de rapport établies dans les instruments de collecte de données (ICD).

Les personnes interrogées ont indiqué que certains programmes élaboraient actuellement des stratégies de mobilisation. Cependant, il n’existe aucun organisme de surveillance pour fournir des directives, et assurer que ces stratégies de mobilisation sont bien conçues ou pour faciliter la collaboration entre les secteurs.

5.4 Résultats et rendement

L'équipe de vérification s'attendait à découvrir qu'AANC avait fourni des renseignements de qualité et crédibles sur le rendement, que le Ministère avait eu recours à de l'information sur le rendement pour prendre des décisions, enfin, que le rendement était surveillé et appuyé par des systèmes ainsi que des processus établis.