Vérification de la mesure du rendement
Janvier 2017
Format PDF (174 Ko, 21 pages)
Table des matières
Acronymes
AANC |
Affaires autochtones et du Nord Canada |
---|---|
AAP |
Architecture d’alignement des programmes |
CMR |
Cadre de mesure du rendement |
CRG |
Cadre de responsabilisation de gestion |
CT |
Conseil du Trésor |
DPI |
Dirigeant principal de l'information |
ICD |
Instrument de collecte de données |
MR |
Mesure du rendement |
RMR |
Rapport ministériel sur le rendement |
RPP |
Rapport sur les plans et les priorités |
SGRR |
Structure de la gestion, des ressources et des résultats |
SMA |
Sous-ministre adjoint |
Résumé
Renseignements généraux
La vérification de la mesure du rendement était incluse dans le Plan de vérification axé sur le risque de 2016-2017 à 2018-2019 d'Affaires autochtones et du Nord Canada (AANC), qui a été approuvé par le sous-ministre le 4 mars 2016. Il a été déterminé que la priorité de la vérification était élevée en raison de l'importance de la surveillance et de l'évaluation des résultats des programmes ministériels, ainsi que de l'intérêt important et des préoccupations que suscite ce domaine à l'échelle du gouvernement.
Les lettres de mandat à l'intention des ministres du gouvernement du Canada indiquent que la mesure du rendement est une priorité et stipulent que, désormais, les ministères devront « [produire] régulièrement des rapports sur [leurs] progrès [ministériels] dans la réalisation de nos engagements » et qu'ils devront « [développer] des mesures efficaces qui permettront d'évaluer l'impact des travaux [des] portefeuille[s] [des ministères]Note de bas de page 1 ».
Les activités de mesure du rendement correspondent aux activités entreprises à l'appui de la surveillance, de la mesure de l'évaluation et de la production des rapports sur l'efficacité des programmes et services d'AANC. En matière de mesure du rendement, Comme tous les ministères, AANC gère actuellement deux transitions majeures : la mise en œuvre de la Politique sur les résultats du Conseil du Trésor (CT) et la mise en œuvre de la « Deliverology », ou « résultologie » un ensemble de pratiques de gestion axées sur les résultats dont l'emploi a pour but de faciliter le respect de l'engagement du gouvernement du Canada pour ce qui est d'obtenir des résultats concrets dans le cadre des services publics.
Objectif et portée de la vérification
La vérification avait pour objectif d'évaluer l'état de préparation du Ministère et sa capacité à mettre en œuvre les changements requis en vertu de la Politique sur les résultats du Conseil du Trésor en ce qui concerne la mesure du rendement et à relever les facteurs pertinents à examiner en matière de mesure du rendement.
La vérification comprenait des évaluations du caractère adéquat et de l'efficacité du système de mesure du rendement d'AANC, plus particulièrement des secteurs de risque qui ont été relevés lors de la phase de planification. La vérification a porté essentiellement sur les activités entreprises par AANC entre le 31 mars 2015 et le 1er août 2016, toutefois, l'examen a inclus la revue de certains documents produits avant cette période.
La portée de la vérification a inclus seulement l'évaluation de la mesure du rendement des programmes. Elle a exclu les mesures du rendement en matière de la prestation des services internes notamment finance et ressources humaines. Plus précisément, la gestion du rendement des employés, le rendement au regard des délais et des dépenses, ou les autres aspects du rendement qui ne portent pas directement sur l'exécution des programmes ou la prestation des services d'AANC ont été exclus de la portée de la présente vérification.
Énoncé de conformité
La présente vérification respecte les Normes relatives à la vérification interne au sein du gouvernement du Canada, comme en témoignent les résultats du programme d'assurance et d'amélioration de la qualité.
Observations positives
Les membres de l'équipe de vérification ont observé un certain nombre d'éléments positifs dans le système de mesure du rendement d'AANC; ils ont regroupé ces derniers par secteur thématique :
Leadership et harmonisation stratégique
- Grâce aux activités de facilitation de la Direction générale de l'évaluation, de la mesure du rendement et de l'examen et à la collaboration avec la Direction générale de la planification, de la recherche et de la statistique, les programmes d'AANC ont été capable d'élaborer et d'avoir à leur disposition des stratégies de mesure du rendement approuvées (incluant les cadres de mesure du rendement et tous les indicateurs s'y rapportant) pour tous leurs programmes. L'efficacité des mesures s'est améliorée en consolidant les stratégies de mesures du rendement en 24 de 29.
- Pour faciliter la transition à la Politique sur les résultats et la mise en œuvre du programme autochtone du gouvernement, AANC a mis sur pied le Comité des SMA sur les résultats; a élaboré une charte sur les résultats ainsi que de sous chartes afin de s'harmoniser aux principaux domaines de responsabilité; a nommé un agent en chef des résultats et de l'exécution et un agent en chef des données; a commencé à élaborer un cadre ministériel des résultats, un répertoire des programmes ainsi que des profils de l'information sur les programmes (qui sont tous des exigences de la nouvelle politique).
- AANC, tout comme d'autres experts externes, appuie le Comité de l'évaluation, de la mesure du rendement et de l'examen et le Comité consultatif du Conseil du Trésor, qui sont tous deux des mécanismes exemplaires au sein du gouvernement fédéral.
Responsabilités claires
- Du point de vue de la mesure du rendement à l'échelle des programmes, les rôles et les responsabilités en matière de gouvernance sont clairement définis pour le personnel et les gestionnaires de programme.
- Le progrès été réalisé dans l'établissement des rôles, des responsabilités et des obligations en matière de reddition de comptes, qui constituera un facteur de réussite pour mettre en œuvre la Politique sur les résultats.
Service axé sur la clientèle
- Les connaissances et les capacités du Ministère se sont améliorées en raison des efforts déployés pour peaufiner le cadre de mesure du rendement (CMR) d'AANC ainsi que de la mise en œuvre de stratégies de mesure du rendement à l'échelle des programmes.
- La mobilisation des collectivités autochtones a été reconnu comme est une priorité pour soutenir l'amélioration conjointe des renseignements utiles sur le rendement (p. ex. une initiative visant à simplifier la production de rapports a été créée pour améliorer l'efficacité de la mesure des instruments de collecte de données, et des mesures de planification ont été mises en œuvre).
Rendement et résultats
- Le Ministère a amélioré la clarté, la fiabilité et la mesure des indicateurs du CMR au cours des deux dernières années. AANC s'est classé dans le quartile supérieur dans 70 % (12 sur 17) des plus récentes catégories de mesure du rendement du Cadre de responsabilisation de gestion (CRG).
Conclusions
La vérification a permis de constater que le Ministère a mis en œuvre des mesures pertinentes pour soutenir son état de préparation et sa capacité d'apporter les modifications requises en vertu de la nouvelle Politique sur les résultats. Pour soutenir la transition à cette politique, des possibilités pouvant favoriser sa mise en œuvre ont étés cernés. Celles-ci incluent : une orientation stratégique plus claire et mieux communiquée; une gouvernance des données qui concorde avec les exigences de la nouvelle politique; une meilleure compréhension des besoins en matière de données à des fins de planification dans les collectivités autochtones pour qu'elles puissent servir à produire des rapports sur le rendement; et, une utilisation plus constante de l'information sur le rendement à l'échelle du Ministère pour atteindre les objectifs stratégiques.
Facteurs à considérer
L'équipe de vérification a cerné des domaines clés où des améliorations doivent être apportées afin de soutenir l'état de préparation du Ministère et sa capacité à mettre en œuvre la Politique sur les résultats ainsi que le programme axé sur les résultats du gouvernement. Les facteurs à considérer sont énumérés ci-dessous :
Leadership et orientation stratégique
1. Dans le cadre du plan de mise en œuvre de la Politique sur les résultats,le sous-ministre adjoint principal du Secteur des politiques et de l'orientation stratégique, en collaboration avec le chef de la mesure du rendement et le chef de l'évaluation, pourraient coordonner l'élaboration d'un ensemble d'activités qui permettront de s'assurer que les objectifs, les exigences et les responsabilités de la Politique sur les résultats sont bien compris, notamment les rôles et les responsabilités, la feuille de route de mise en œuvre ainsi que l'importance de la gestion axée sur les résultats au sein du Ministère.
Responsabilités claires
2. Établir des responsabilités claires a été déterminé comme un facteur de succès pour la mise en œuvre de la Politique sur les résultats. Le facteur à considérer cerné dans la section précédente intitulée « Leadership et orientation stratégique » devrait être tenu compte pour s'assurer que des responsabilités claires sont en place.
Service axé sur la clientèle
3. Alors que se renforce l'engagement auprès des collectivités autochtones, le sous-ministre adjoint principal du Secteur des politiques et de l'orientation stratégique, le chef de la mesure du rendement et le chef de l'évaluation pourraient fournir leur aide et donner des conseils aux secteurs afin de s'assurer que l'engagement auprès des collectivités autochtones comprend la mesure du rendement et s'harmonise avec le cadre ministériel des résultats d'AANC, la stratégie relative aux données et la mise en œuvre générale de la Politique sur les résultats.
Résultats et rendement
4. L'agent en chef des résultats et de l'exécution pourrait travailler avec les gestionnaires de programme et le dirigeant principal de l'information, au besoin, afin d'élaborer et de mettre sur pied une approche organisationnelle et une stratégie en matière de données viables afin de renforcer la capacité d'AANC de gérer et d'utiliser des données et de l'information sur le rendement (p. ex. définir des exigences relatives aux données, à la gestion de l'information et à la technologie de l'information pour la collecte, le stockage et l'accessibilité des données et surveiller l'exécution des programmes) tout en assurant une coordination adéquate avec d'autres initiatives d'élaboration ou de rationalisation des données d'AANC.
1. Contexte
La vérification de la mesure du rendement était incluse dans le plan de vérification axé sur le risque de 2016-2017 à 2018-2019 d'AANC, qui a été approuvé par le sous-ministre le 4 mars 2016. Il a été déterminé que la priorité de la vérification était élevée en raison de l'importance de la surveillance et de l'évaluation des résultats des programmes ministériels, ainsi que de l'intérêt important et des préoccupations que suscite ce domaine à l'échelle du gouvernement.
Les lettres de mandat à l'intention des ministres du gouvernement du Canada indiquent que la mesure du rendement est une priorité et stipulent que, désormais, les ministères devront « [produire] régulièrement des rapports sur [leurs] progrès [ministériels] dans la réalisation de nos engagements » et qu'ils devront « [développer] des mesures efficaces qui permettront d'évaluer l'impact des travaux [des] portefeuille[s] [des ministères]Note de bas de page 2 ».
Les activités de mesure du rendement correspondent aux activités entreprises à l'appui de la surveillance, de la mesure, de l'évaluation et de la production des rapports sur l'efficacité des programmes et services d'AANC. En matière de mesure du rendement, comme tous les ministères, AANC gère actuellement deux transitions majeures : la mise en œuvre de la Politique sur les résultatsNote de bas de page 3 du Conseil du Trésor (CT) et la mise en œuvre de la « résultologie », un ensemble de pratiques de gestion axées sur les résultats dont l'emploi a pour but de faciliter le respect de l'engagement du gouvernement du Canada pour ce qui est d'obtenir des résultats concrets dans le cadre des services publics.
La « résultologie » et le programme autochtone du gouvernement
Le gouvernement du Canada a indiqué par l'intermédiaire du Comité du Cabinet chargé du programme gouvernemental, des résultats et des communications – le Comité chargé d'élaborer le programme gouvernemental, de faire le suivi des progrès et de gérer les communications stratégiques – que les ministères auront la responsabilité d'adopter les principes de base de la « résultologie ». Mise en œuvre pour la première fois dans la fonction publique du Royaume-Uni, la « résultologie » est une approche en matière de mesure du rendement qui réunit les meilleures pratiques en la matière et son but est d'atteindre les résultats des politiques en mettant l'accent sur les activités clés les plus susceptibles d'avoir une grande incidenceNote de bas de page 4.
De plus, le gouvernement du Canada a récemment indiqué dans ses lettres de mandat que la mesure du rendement serait désormais une grande priorité. Dans la lettre de mandat à l'intention de la ministre d'AANC, on pouvait lire ceci : « les mesures de rendement, la présentation de preuves et la rétroaction des Canadiens [seront] la pierre angulaire de notre travail. Nous dirigerons nos ressources vers les initiatives qui ont le plus d'incidences positives sur la vie des Canadiens et qui nous permettront de respecter nos engagements envers eux. Je m'attends à ce que vous produisiez régulièrement des rapports sur vos progrès dans la réalisation de nos engagements et que vous développiez des mesures efficaces qui permettront d'évaluer l'impact des travaux de votre portefeuilleNote de bas de page 5 ». Le gouvernement a également rendu publiques les lettres de mandat à l'intention des ministres, et ce, « pour la première fois de l'histoire de notre paysNote de bas de page 6 ».
Changements de politique clés liés à la mesure du rendement
La Politique sur la structure de gestion, des ressources et des résultats (SGRR) de 2010 du CT vise à garantir que le gouvernement et le Parlement reçoivent l'information financière et non financière intégrée sur le rendement de façon à améliorer les décisions d'affectation et de réaffectation des ressources, tant dans chaque ministère qu'à l'échelle pangouvernementale. Plus précisément, cette politique exigeait que chaque ministère et chaque organisme mettent en place un cadre commun pour la définition des programmes de même que pour la collecte, l'utilisation et la déclaration de renseignements financiers et non financiers concernant ces programmes. Cette politique est appuyée par la Politique sur l'évaluation du CT qui a été conçue pour s'assurer que l'on dispose de renseignements crédibles, neutres et obtenus en temps opportun sur la pertinence continue et le rendement des dépenses directes de programme à l'appui de la prise de décision fondée sur des données probantes.
Le CT a publié la Politique sur les résultats le 1er juillet 2016, laquelle a pour but de remplacer la Politique sur la SGRR et la Politique sur l'évaluation.> La mise en œuvre de la nouvelle politique sera achevée en 2017- 2018. Durant la période de transition, Il est prévu que les ministères continuent de respecter les exigences établies par la Politique sur la SGRR et la Politique sur l'évaluation.
Similarités pertinentes entre la Politique sur la SGRR et la Politique sur les résultats
La Politique sur la SGRR et la Politique sur les résultats sont des cadres de gestion de portée générale conçus pour prendre des décisions éclairées concernant l'affectation des ressources et l'exécution des programmes. Les principes de mesure du rendement fondés sur des données probantes, l'utilisation de données financières et non financières, l'horizontalité (les initiatives touchant différents programmes et ministères), la conception de programme et la souplesse de la gestion ainsi que l'atteinte de résultats pour les Canadiens par l'intermédiaire de la surveillance et de la production de rapports constantes sont des caractéristiques communes aux deux politiques.
Différences pertinentes entre la Politique sur la SGRR et la Politique sur les résultats
L'objectif de la Politique sur les résultats est de veiller à ce que, à un niveau plus général, les ministères du gouvernement se concentrent non seulement sur les priorités à court terme, mais également sur les mandats à long terme. Les principales différences entre les deux politiques en ce qui a trait à la mesure du rendement sont décrites dans le tableau ci-dessous.
Politique sur la SGRR | Politique sur les résultatsNote de bas de page 7 | |
---|---|---|
Mesure | L'architecture d'alignement des programmes (AAP) permet d'organiser les dépenses des programmes en fonction des résultats stratégiques. Le cadre de mesure du rendement (CMR) transpose, les résultats stratégiques en indicateurs de rendement s'appliquant aux différents programmes et sous-programmes. Les stratégies de mesure du rendement définissent le modèle logique, le profil, la théorie du changement et l'ensemble d'indicateurs de rendement pertinents, y compris les cibles, les points de référence, la fréquence de la collecte de données ainsi que les sources de données pour les indicateurs. | Élimine l'AAP et les résultats stratégiques. Le cadre ministériel des résultats remplace le CMR. Le cadre ministériel des résultats harmonise les responsabilités de base du Ministère aux résultats et décrit la façon utilisée pour évaluer les résultats. Les répertoires des programmes stockent les profils de l'information sur les programmes, qui décrivent l'information sur le rendement des programmes semblable à celle contenue dans la stratégie de mesure du rendement. Les métadonnées recueillies par l'intermédiaire d'étiquettes de données fourniront de l'information sur l'alignement sans nécessiter une structure formelle comme c'était le cas avec l'AAP. Ce qui constitue l'introduction des indicateurs qualitatifs. |
Évaluation | Évaluation fondée sur des preuves de la pertinence et du rendement de l'ensemble des programmes tous les cinq ans (exigence établie aux termes de la Loi sur la gestion des finances publiques et décrite dans la Politique sur l'évaluation désormais abrogée). | La Politique sur l'évaluation a été incorporée à la Politique sur les résultats, néanmoins, elle continue d'être une fonction cruciale, que ce soit par l'intermédiaire d'évaluations menées par les ministères ou les organismes centraux. La portée des évaluations des ministères pourra être plus souple. Les changements exigent la mise sur pied d'un comité de hauts fonctionnaires (un Comité de la mesure du rendement et de l'évaluation) et la nomination d'un président afin de superviser la mesure du rendement et de l'évaluation ministérielles, ainsi que la nomination d'un chef de la mesure du rendement et d'un chef de l'évaluation à un niveau approprié. |
Rapports | Le rapport sur les plans et les priorités (RPP) décrit les objectifs financiers et non financiers du Ministère pour l'année; les indicateurs de programmes sont généralement fondés sur les indicateurs du CMR. Le rapport ministériel sur le rendement (RMR) décrit l'atteinte des résultats en fonction des attentes décrites dans le RPP. Les ministères sont tenus de présenter ces deux documents. Les rapports d'évaluation résument les conclusions des évaluations. |
La structure de production de rapports relative au RPP n'a pas encore été établie à ce jour. Les conclusions des évaluations continueront d'être résumées dans les rapports d'évaluation. |
La Politique sur les résultats a une plus grande portée que la Politique sur la SGRR; par exemple, elle définit les rôles et responsabilités de l'administrateur général, du Comité de la mesure du rendement et de l'évaluation, des responsables des programmes et du chef de la mesure du rendement.
La Politique sur les résultats et la mise en application de la « résultologie » contiennent des objectifs et des méthodes qui se chevauchent en partie lorsqu'elles sont mises en œuvre dans le contexte fédéral canadien. Compte tenu de ces facteurs, la vérification de la mesure du rendement décrit l'état actuel de la mesure du rendement, en tenant compte de l'évaluation exhaustive de l'état de la mesure du rendement menée et décrite dans le Rapport annuel sur l'état de la mesure du rendement de 2013 du Ministère, et des lacunes liées aux exigences qui devront être respectées en vertu de la Politique sur les résultats et de la « résultologie ».
2. Objectif et portée de la vérification
2.1 Objectif de la vérification
La vérification avait pour objectif d'évaluer l'état de préparation du Ministère et sa capacité à mettre en œuvre les changements requis en vertu de la Politique sur les résultats du Conseil du Trésor en ce qui concerne la mesure du rendement et à relever les facteurs pertinents à examiner en matière de mesure du rendement.
2.2 Portée de la vérification
La vérification comprenait des évaluations du caractère adéquat et de l'efficacité du système de mesure du rendement d'AANC, plus particulièrement des secteurs de risque qui ont été relevés lors de la phase de planification. La vérification a porté essentiellement sur les activités entre le 31 mars 2015 et le 1er août 2016. Toutefois, l'examen de la documentation a inclus la revue de certains documents produits avant cette période.
La portée de la vérification a inclus l'évaluation de la mesure du rendement des programmes. Elle a exclu les mesures du rendement en matière de la prestation des services internes notamment finance et ressources humaines.
3. Approche et méthodologie
La vérification de la mesure du rendement a été planifiée et menée conformément aux exigences de la Politique sur la vérification interne du CT et aux Normes relatives à la vérification interne au sein du gouvernement du Canada. L'équipe de vérification a examiné suffisamment d'éléments probants fiables et pertinents pour fournir un niveau d'assurance raisonnable à l'appui de ses conclusions. L'approche retenue comprenait notamment les éléments suivants :
- la tenue d'entrevues avec des employés d'AANC, notamment, des membres du personnel, des gestionnaires et des cadres supérieurs des bureaux régionaux et de l'administration centrale;
- l'examen de documents incluant, notamment, le RMR, le RPP, les constatations et les recommandations relatives à la mesure du rendement des vérifications et des évaluations ministérielles récentes, les plans d'activités, les rapports trimestriels, les stratégies de mesure du rendement, les indicateurs du CMR, les études sur la mesure du rendement réalisées par AANC et la littérature secondaire.
L'équipe de vérification s'est appuyée sur l'analyse des données effectuée par le Ministère pour évaluer le caractère adéquat des indicateurs de rendement contenus dans le CMR et décrits dans le RMR.
L'approche utilisée pour atteindre l'objectif de vérification consistait, entre autres, à établir des critères de vérification permettant de formuler des observations et de tirer des conclusions. Les critères de vérification ont été établis en fonction des caractéristiques des systèmes de mesure du rendement efficaces décrites dans le Rapport annuel sur l'état de la mesure du rendement de 2013 du Ministère, document qui a fourni une évaluation de l'état de la mesure du rendement à l'appui de l'évaluation à AANC et qui a permis d'assurer la conformité à la Politique sur l'évaluation et à la Directive sur la fonction d'évaluation de 2009 du CT. De plus, les critères de vérification tenaient compte des principaux secteurs de risque relevés durant la phase de planification et des exigences établies par la Politique sur les résultats, qui a été publiée durant la phase d'exécution. Les critères de vérification sont indiqués à l'annexe A.
4. Conclusion
La vérification a permis de constater que le Ministère a mis en œuvre des mesures pertinentes pour soutenir son état de préparation et sa capacité d'apporter les modifications requises en vertu de la nouvelle Politique sur les résultats. Pour soutenir la transition à cette politique, des possibilités pouvant favoriser sa mise en œuvre ont été cernées. Celles-ci incluent : une orientation stratégique plus claire et mieux communiquée; une gouvernance des données qui concorde avec les exigences de la nouvelle politique; une meilleure compréhension des besoins en matière de données à des fins de planification dans les collectivités autochtones pour qu'elles puissent servir à produire des rapports sur le rendement; et, une utilisation plus constante de l'information sur le rendement à l'échelle du Ministère pour atteindre les objectifs stratégiques.
5. Constatations et facteurs à considérer
L'équipe de vérification a examiné chaque critère de vérification à la lumière des données probantes recueillies à l'aide d'un certain nombre de techniques de vérification, incluant, notamment, l'examen et l'analyse de documents ainsi que la réalisation d'entrevues. Les lacunes identifiées dans les pratiques observées, ont été évaluées afin d'élaborer des facteurs à considérer pour faciliter la mise en œuvre de la Politique sur les résultats et sa transition.
La présente section décrit les constatations et les facteurs à considérer cernés par l'équipe de vérification.
5.1 Leadership et orientation stratégique
Les membres de l'équipe de vérification s'attendaient à trouver des preuves démontrant que la haute direction soutient activement une culture de la mesure du rendement, notamment, en diffusant des communications portant sur la mesure du rendement, en échangeant régulièrement de l'information sur la mesure du rendement lors des réunions des comités de la direction, en établissant clairement des priorités pour la mesure du rendement ainsi qu'en adoptant une stratégie pour la mise en œuvre de changements axés sur la mesure du rendement en vertu de la Politique sur les résultats et des attentes créées par l'adoption de la « résultologie ».
Reconnaissant que la transition représente une occasion unique pour AANC d'améliorer l'efficacité de sa mesure du rendement et renforcer une culture de la mesure du rendement au sein du Ministère, la haute direction a pris certaines mesures pour appuyer la transition vers la Politique sur les résultats et de l'adoption de la « résultologie ».
Le Comité directeur des SMA sur les résultats et le Comité des directeurs généraux sur les résultats et l'exécution ont été mis sur pied afin de soutenir la mise en œuvre de la Politique sur les résultats et du programme axé sur les résultats du gouvernement. L'équipe de vérification a constaté que ces comités de la haute direction s'affairent à élaborer les exigences de base de la Politique sur les résultats. Par exemple, AANC a élaboré un cadre ministériel sur les résultats, un répertoire des programmes, une charte des résultats et des sous chartes (attentes établies en vertu de la « résultologie »). Des personnes ont été nommées aux postes d'agent en chef des résultats et de l'exécution ainsi que d'agent en chef des données.
Des défis relatifs au leadership ont été cernés, plus particulièrement en ce qui a trait aux communications et à l'établissement de priorités liées à la mesure du rendement. Les travaux de vérification ont permis de constater que la diffusion de communications sur la mesure du rendement liée aux résultats des programmes était peu fréquente et que le soutien offert pour la mise en œuvre d'une gestion axée sur les résultats dans le Ministère n'était pas constant. Selon l'examen de certains procès-verbaux des réunions des comités pendant la période visée, les discussions portant sur la mesure du rendement et les mesures de suivi se concentraient sur la surveillance des risques liés aux programmes ainsi qu'aux mises à jour du CRG et d'autres initiatives particulières. De plus, les réponses obtenues lors des entrevues donnent à penser que le processus d'établissement des priorités relatives aux activités de mesure du rendement manquait de clarté.
La « résultologie » et, dans une moindre mesure, la Politique sur les résultats,sont perçues par les personnes interviewées comme étant une occasion de renforcer la culture de la gestion axée sur les résultats au sein du Ministère. Cependant, la stratégie sur la gestion du changement qui définit et communique le parcours pour mener à bien la transition (calendrier, ordre des activités, dépendances, jalons et niveaux d'investissement de ressources humaines et financières) et qui permettra de pleinement mettre en œuvre la Politique sur les résultats et la « résultologie » pas encore été élaborée, puisque le nouveau cadre ministériel des résultats et le répertoire des programmes n'ont toujours pas été finalisés. L'équipe de vérification a constaté que le Ministère suit actuellement son plan visant à mettre en œuvre la Politique sur les résultats et que les facteurs de réussite clés ont été cernés, ces derniers comprennent :
- le leadership, la collaboration et les responsabilités;
- la communication et la mobilisation;
- les capacités et les outils;
- l'engagement externe avec les peuples autochtones.
Facteur à considérer
Dans le cadre du plan de mise en œuvre de la Politique sur les résultats,le sous-ministre adjoint principal du Secteur des politiques et de l'orientation stratégique, en collaboration avec le chef de la mesure du rendement et le chef de l'évaluation, pourraient coordonner l'élaboration d'un ensemble d'activités qui permettront de s'assurer que les objectifs, les exigences et les responsabilités de la Politique sur les résultats sont bien compris, notamment les rôles et les responsabilités, la feuille de route de mise en œuvre ainsi que l'importance de la gestion axée sur les résultats au sein du Ministère.
5.2 Responsabilités claires
L'équipe de vérification s'attendait à trouver que les rôles, les responsabilités et les obligations en matière de reddition de comptes liés à la mesure du rendement étaient clairement définis et bien compris par les membres du personnel.
Au cours des dernières années, le personnel d'AANC s'est affairé à améliorer la gouvernance de la mesure du rendement. Le Ministère a rationalisé ses autorisations de programme, a peaufiné son CMR et a clarifié ses stratégies de mesure du rendement à l'échelle des programmes, notamment ses rôles et responsabilités. Le Ministère a élaboré une politique sur les stratégies de mesure du rendement qui décrit les rôles et les responsabilités associés à la mesure du rendement au sein du Ministère. Bien que c'était en dehors de la portée de cette présente vérification, les réponses des personnes interrogées ont laissé entendre que les rôles et les responsabilités liés à la mesure du rendement ont été améliorés grâce au processus de planification des activités et de production de rapports trimestriels.
L'équipe de vérification a également examiné une sélection de stratégies de mesure du rendement afin d'évaluer le caractère adéquat des descriptions des rôles et des responsabilités. Même si des sections sur les intervenants et la gouvernance des programmes apparaissaient de manière constante dans les stratégies de mesure du rendement examinée, les définitions des rôles et des responsabilités contenues dans la matrice de mesure du rendement variaient; certaines stratégies de mesure du rendement indiquaient qu'un ou plusieurs postes étaient responsables alors que d'autres stratégies indiquaient que la responsabilité incombait plutôt à une direction ou à une direction générale. Même si des différences liées à la gouvernance dans les stratégies de mesure du rendement ont été cernées, ces stratégies reflétaient de manière raisonnable les réalités des programmes et s'inscrivaient dans la marge de manœuvre allouée aux agents de programme pour qu'ils puissent élaborer des stratégies qui respectent les réalités sur le terrain.
Dans le cadre du programme autochtone du gouvernement et des travaux en cours réalisés au sein de, et en collaboration avec des collectivités autochtones, on prévoit la création d'une structure de responsabilité fondée sur une relation de nation à nation renouvelée. À cette fin, l'Assemblée des Premières nations est à la tête d'une initiative de transformation qui mènera à la création d'un nouveau cadre de gestion des investissements autochtone, qui appuiera la production de rapports publics sur les collectivités, et le développement de la nation et de la population plutôt que sur les résultats liés aux programmes. Le Ministère est déterminé à collaborer avec les collectivités afin de soutenir cette transition.
Même si la vérification a permis de déterminer que les rôles et les responsabilités liés aux résultats des programmes étaient généralement bien définis et compris par le personnel, les membres de la haute direction reconnaissent que les résultats sont de plus en plus susceptibles de devenir la responsabilité des collectivités autochtones. Les membres de la haute direction ont souligné qu'il faudra clarifier la nature des répercussions du processus de réconciliation engagé avec les collectivités autochtones sur la responsabilité ministérielle relative aux résultats et sur la mise en œuvre de la Politique sur les résultats.
Facteur à considérer
Établir des responsabilités claires a été déterminé comme un facteur de succès pour la mise en œuvre de la Politique sur les résultats. Le facteur à considérer cerné dans la section précédente intitulée « Leadership et orientation stratégique » devrait être pris en compte pour assurer que des responsabilités claires sont en place.
5.3 Service axé sur la clientèle
L'équipe de vérification s'attendait à trouver des preuves démontrant que le Ministère avait la capacité d'exécuter des activités de mesure du rendement y compris la connaissance et la disponibilité du personnel, de même que des preuves attestant que le Ministère a tenu compte des besoins des collectivités autochtones et les a intégrés dans son approche en matière de mesure du rendement.
Les entrevues ont permis de déterminer que la connaissance et la compréhension des principes liés à la mesure du rendement s'étaient améliorées dans l'ensemble du Ministère en raison des travaux réalisés pour élargir la portée des stratégies de mesure du rendement au niveau des programmes. Aussi, l'accès aux conseillers principaux en matière de résultats stratégiques; l'intégration de spécialistes de la gestion axée sur les résultats du Secteur des politiques et de l'orientation stratégique intégrés aux secteurs afin de fournir du soutien et des conseils à la haute direction; et, la prestation de soutien de la part du personnel de la Direction générale de l'évaluation, de la mesure du rendement et de l'examen, ont été identifiés comme des éléments facilitateurs utiles.
Les défis en matière de capacité mis en évidence dans des entrevues touchaient moins les connaissances des membres du personnel et leur capacité d'analyser le rendement des programmes et d'en rendre compte, que la disponibilité de personnel pour mener à bien les activités de mesure du rendement en fonction du calendrier établi. Les travaux de vérification ont également identifié que la capacité de mesure du rendement était limitée, y compris lorsqu'il est question d'initiatives visant à répondre au changement des besoins (du Ministère ou des collectivités autochtones) découlant d'exigences relatives aux opérations ou à l'administration des programmes.
L'équipe de vérification a également évalué la prise en compte et l'intégration des besoins des collectivités dans le processus de mesure du rendement. En réponse aux conclusions d'une série d'enquêtes indépendantes, le Ministère a cherché à assouplir les exigences imposées aux collectivités autochtones en matière de rapport tout en continuant de fournir au Parlement et aux Canadiens suffisamment d'information pour évaluer le rendement des programmesNote de bas de page 8. Le Ministère a amorcé des consultations et mis sur pied des programmes pilotes auprès des collectivités autochtones afin de simplifier les obligations en matière de collecte de données et de production de rapports. L'Initiative des rapports simplifiésNote de bas de page 9 a permis de cerner des défis liés aux besoins des collectivités que les projets pilotes visent à régler. Ces derniers tiendront compte de la capacité de production de rapports des Autochtones et de la pertinence des exigences en matière de rapport pour les collectivités. Voici les objectifs de l'Initiative des rapports simplifiés :
- consulter les collectivités autochtones dans le but de simplifier la production de rapports, tirer parti des pratiques exemplaires ainsi que travailler avec le personnel des programmes, des régions et des services internes afin d'assouplir les exigences en matière de rapport;
- accroître la souplesse de la production de rapports par l'entremise de solutions Web et l'établissement d'un calendrier de production de rapports prévisible;
- améliorer le partage de données avec les collectivités autochtones par l'intermédiaire de solutions Web.
En plus de l'Initiative des rapports simplifiés, AANC a également mis en œuvre une initiative visant à examiner les processus de collecte et de validation des données, décrite dans la prochaine section, ce qui a permis de réduire les exigences en matière de rapport établies dans les instruments de collecte de données (ICD).
Les personnes interrogées ont indiqué que certains programmes élaboraient actuellement des stratégies de mobilisation. Cependant, il n’existe aucun organisme de surveillance pour fournir des directives, et assurer que ces stratégies de mobilisation sont bien conçues ou pour faciliter la collaboration entre les secteurs.
Facteur à considérer
Alors que se renforce l'engagement auprès des collectivités autochtones de la part du personnel des secteurs et des programmes, le sous-ministre adjoint principal du Secteur des politiques et de l'orientation stratégique, le chef de la mesure du rendement et le chef de l'évaluation pourraient fournir leur aide et donner des conseils aux secteurs afin de s'assurer que l'engagement auprès des collectivités autochtones comprend la mesure du rendement et s'harmonise avec le cadre ministériel des résultats d'AANC, la stratégie relative aux données et la mise en œuvre générale de la Politique sur les résultats.
5.4 Résultats et rendement
L'équipe de vérification s'attendait à découvrir qu'AANC avait fourni des renseignements de qualité et crédibles sur le rendement, que le Ministère avait eu recours à de l'information sur le rendement pour prendre des décisions, enfin, que le rendement était surveillé et appuyé par des systèmes ainsi que des processus établis.
Renseignements de qualité et crédibles sur le rendement
Pour qu'un système de mesure du rendement soit efficace, il se doit de produire des renseignements de qualité et crédibles sur le rendement. AANC s'est affairé à améliorer la qualité et la crédibilité de ses renseignements sur le rendement, et ce, en dépit d'une combinaison de facteurs tels que la complexité des programmes, les résultats à long terme ainsi que le contrôle administratif limité sur le processus de collecte de données. Après avoir apporté ces améliorations, AANC a pu créer et améliorer ses méthodes relatives aux indicateurs de rendement, comme en témoigne le rapport de 2015-2016 du CT sur le CRG. De plus, les outils de suivi et de production de rapports internes du Ministère ont été évalués afin d'être parfaitement harmonisés à l'AAP, ce qui permet la production de rapports sur les résultats des programmes situés au niveau hiérarchique le plus bas.
Les résultats du CRG ont révélé certains défis liés à la disponibilité des données sur les indicateurs. Selon le CRG, le Ministère ne disposait pas d'information sur les résultats des programmes situés au niveau hiérarchique le plus bas en 2015-2016, et il était incapable de fournir des données sur les tendances couvrant des périodes d'au moins deux ans pour ses indicateurs de rendement.
En réponse aux conclusions du CRG liées aux renseignements de qualité et crédibles sur le rendement, le Ministère a entrepris un examen interne exhaustif des indicateurs de son CMR. L'examen a permis de cerner quatre problèmes liés aux indicateurs du CMR d'AANC : les indicateurs manquaient de clarté; les résultats attendus ou le cadre des indicateurs étaient trop optimistes compte tenu du niveau d'activité réelle des programmes; la qualité de la mesure ou des données était insuffisante; finalement, certains problèmes d'harmonisation entre les indicateurs et les résultats attendus ont été relevés. À la lumière de cet examen, le Ministère s'efforce de réduire la L'équipe de vérification a aussi relevé que le personnel du Ministère travaille sans relâche afin d'améliorer la qualité et la crédibilité des renseignements sur le rendement ainsi que la façon d'utiliser ces renseignements sur le rendement.
L'équipe de vérification a également tenu compte des conclusions des vérifications, des évaluations horizontales et d'autres évaluations qui portaient sur la mesure du rendement réalisées au cours des 5 dernières années. Des 66 constatations portant sur la mesure du rendement répertoriées, 20 étaient liées à la qualité et à la crédibilité des renseignements sur le rendement; ce sont les constatations de cette catégorie qui ont fait le plus souvent l'objet de difficultés. Enfin, les thèmes les plus couramment évoqués comprenaient les problèmes entourant la disponibilité des données, l'harmonisation des indicateurs ainsi que la mesure inadéquate du rendement des programmes et la production de rapports connexes inadéquats.
La vérification a révélé que le Ministère a constamment amélioré la qualité et la crédibilité de ses renseignements sur le rendement. La mise en œuvre de la Directive sur les résultats nécessitera la participation des responsables de programme et des administrateurs généraux pour toutes les futures demandes de financement adressées au CT afin de confirmer que l'information sur le rendement est « valide, fiable et correctement représentée Note de bas de page 10 ». Cependant, le CT ne fournit pas suffisamment d'information dans la Directive sur les résultats sur les critères qui doivent être utilisés pour vérifier la validité, la fiabilité et l'exactitude des renseignements sur le rendement. Alors que la mise en œuvre des nouvelles politiques et du programme axé sur les Autochtones se poursuit, le Ministère reconnaît l'importance de continuer à améliorer la qualité et la crédibilité des renseignements sur le rendement, et ce, tout en tenant compte des besoins des peuples autochtones et des exigences en matière de rapport.
Utilisation des renseignements sur le rendement lors de la prise de décisions
Les entrevues réalisées et les documents examinés ont montré que le Ministère avait éprouvé des difficultés au chapitre de l'utilisation uniforme des renseignements sur le rendement. Les résultats du CRG ont montré que malgré le fait que les membres de la haute direction utilisent les renseignements sur le rendement tout au long de l'année pour atténuer le risque, ajuster les priorités et prendre des décisions sur l'affectation des ressources, il s'avère que l'information sur l'efficacité et l'efficience des programmes n'est pas utilisée avec constance lorsque vient le temps d'établir les prioritésNote de bas de page 11 . Par ailleurs, en 2014-2015, AANC a réalisé un examen interne portant sur les indicateurs de son CMR pour découvrir que 31 des 107 cibles de ses indicateurs de rendement ne pouvaient être évaluées en raison de problèmes de mesure.
La sous-utilisation de l'information sur le rendement recueillie s'est également révélée être un problème. À la lumière des entrevues, on a remarqué que la pleine utilisation des données des programmes avait été entravée en raison du manque de données permettant de dégager des tendances, de l'obsolescence des outils d'analyse, ou du décalage entre la collecte de données et les besoins en matière de planification des programmes. L'équipe de vérification a constaté qu'il serait possible d'utiliser plus efficacement l'information sur le rendement recueillie par le Ministère pour prendre des décisions concernant l'amélioration et la gestion des programmes. Cependant, il sera essentiel de mobiliser les collectivités autochtones pour qu'elles participent aux efforts visant à définir les caractéristiques fondamentales des renseignements pertinents sur le rendement.
Systèmes et processus relatifs aux renseignements sur le rendement
Le Ministère a apporté un certain nombre d'améliorations aux processus internes, qui ont été conçues dans l'optique de « mesurer ce qui importe » et d'alléger le fardeau relatif à la production de rapports imposé aux collectivités autochtones. Dans le cadre de l'Initiative des rapports simplifiés, entre 2013-2014 et 2016-2017, le Ministère a réduit de 21 % le nombre total d'ICD des programmes, et ce, même si les ICD sont la principale méthode du Ministère pour recueillir des données sur le rendement au niveau des programmes. Le Ministère est aussi parvenu à éliminer 15 % des champs de données des ICD. Le Ministère a amélioré son processus d'approbation des descriptions des éléments de données, a clarifié ses critères d'analyse pour la collecte des données, a renforcé la fonction de remise en question des services responsables des opérations relatives aux données durant le processus d'approbation, et a élaboré un système qui permettra de remplir à l'avance les champs de données des ICD connues. AANC a également lancé un projet pilote à l'échelle nationale en collaboration auprès de 26 collectivités autochtones afin de favoriser la participation autochtone aux activités de gouvernance et de gestion des données.
Les travaux de vérification ont révélé que la collecte de renseignements fiables pour rendre compte des progrès réalisés à l'égard des résultats définis dans le programme autochtone du gouvernement est une priorité ministérielle clé. Il a été difficile de tirer parti de l'information sur le rendement existante pour rendre compte des progrès réalisés au regard des engagements décrits dans la lettre de mandat de la ministre en raison de l'horizontalité des engagements (ils nécessitent la participation de plusieurs secteurs et la collaboration de différents ministères) et des contraintes préexistantes touchant les données mentionnées précédemment. En plus de déployer des efforts pour rendre les données plus accessibles en créant un inventaire de données sur le rendement des programmes, d'emplacements de stockage et de permissions, le Ministère aura besoin de la pleine coopération des programmes, des secteurs (y compris du dirigeant principal de l'information), des régions et des collectivités autochtones pour s'assurer que les pratiques de collecte et d'évaluation des données conviennent et permettent de rendre compte du programme autochtone.
Facteur à considérer
L'agent en chef des résultats et de l'exécution pourrait travailler avec les gestionnaires de programme et le dirigeant principal de l'information, au besoin, afin d'élaborer et de mettre sur pied une approche organisationnelle et une stratégie en matière de données viables afin de renforcer la capacité d'AANC de gérer et d'utiliser des données et de l'information sur le rendement (p. ex. définir des exigences relatives aux données, à la gestion de l'information et à la technologie de l'information pour la collecte, le stockage et l'accessibilité des données et surveiller l'exécution des programmes) tout en assurant une coordination adéquate avec d'autres initiatives d'élaboration ou de rationalisation des données d'AANC.
Annexe A : Critères de vérification
Afin de veiller à la mise en place d'un niveau d'assurance approprié pour répondre aux objectifs de la vérification, on a élaboré les critères de vérification suivants que l'on a regroupés par champ d'enquête.
Leadership et orientation stratégique
1.1 La haute direction fournit une orientation claire et cohérente au personnel concernant la gestion des résultats.
1.2 Les membres du personnel et les gestionnaires de programme comprennent l’orientation fournie par la direction relative à la gestion des résultats.
Responsabilités claires
2.1 Les gestionnaires et les membres du personnel comprennent leurs rôles et leurs responsabilités liés à la mesure du rendement.
2.2 Les stratégies de mesure du rendement définissent les rôles et les responsabilités des gestionnaires et des membres du personnel de même que les obligations en matière de reddition de comptes pour les résultats.
2.3 Les recommandations liées au rendement formulées dans le cadre de vérifications et d’évaluations antérieures attribuent des rôles et des responsabilités pour des mesures correctives qui sont articulés dans les plans d’action de la direction.
Service axé sur la clientèle
3.1 Les processus de mesure du rendement mobilisent les collectivités autochtones afin d’établir les besoins et la capacité ainsi que d’intégrer l’information de façon appropriée.
Résultats et rendement
4.1 À AANC, la mesure du rendement comprend des points de référence, des cibles, des sources de données et des techniques d’acquisition clairement établis.
4.2 Les ressources nécessaires à la mesure du rendement sont facilement accessibles.
4.3 Il existe des systèmes et des processus pour la collecte, le stockage, la surveillance et la vérification des données liées à la mesure du rendement.
4.4 L’information relative à la mesure du rendement est utilisée pour la gestion et l’amélioration des programmes ainsi que pour la prise de décisions, l’élaboration de politiques et la production de rapports.
Annexe B : Politiques et directives pertinentes
Les sources faisant autorité suivantes (c.-à-d. les politiques et les directives) ont été examinées et ont servi de fondement dans le cadre de la présente vérification :
- Politique sur la structure de la gestion, des ressources et des résultats du CT
- Politique sur l'évaluation du CT
- Politique sur les résultats et Directive sur les résultats du CT
- Politique sur la vérification interne du CT
- Politique sur les stratégies de mesure du rendement d'AANC