Archivée - Rapport annuel sur l'état de la mesure du rendement à Affaires autochtones et Développement du Nord Canada pour 2011-12 et 2012-2013

Contexte

La Directive sur la fonction d’évaluation^{Note de bas de page 1} du Secrétariat du Conseil du Trésor exige que les responsables ministériels de l’évaluation produisent un rapport annuel sur l’état de la mesure du rendement à l’appui de l’évaluation. En 2009, Affaires autochtones et Développement du Nord Canada (AADNC) a présenté son premier rapport, qui couvre les activités pour l’exercice 2008-2009. En 2011, AADNC a achevé son deuxième rapport visant les activités de 2009-2010 et de 2010-2011. Les deux documents ont cerné dix attributs propres aux systèmes de mesure du rendement de qualité dans les organisations hautement performantes. Ces attributs ont ensuite été utilisés comme critères de référence pour examiner les activités de mesure du rendement d’AADNC. Les mêmes critères sont à la base du présent rapport, qui couvre la période de 2011-2012.

L’objectif de ce projet est d’entreprendre une évaluation complète et objective de l’état de la mesure du rendement à AADNC, tout en axant les efforts sur la collecte de données crédibles, neutres et obtenues en temps opportun pour appuyer les évaluations continues de la pertinence et du rendement^{Note de bas de page 2} des programmes du Ministère. En outre, le présent rapport tient compte de l’état de la gestion axée sur les résultats à AADNC.

Quatre sources de données ont servi à évaluer l’effet des activités cernées ci-dessus : une analyse documentaire, une étude des documents, des entrevues et des sondages. L’indice de classement du rendement d’AADNC pour chacun des dix principaux attributs cernés dans le rapport est le suivant :

La description textuelle de l'indice de classement du rendement d'AADNC

La figure décrit l'échelle utilisée pour noter le rendement d'AADNC pour chacun des dix principaux attributs. De gauche à droite, les indices de classement sont les suivants : Attention requise, Place à l'amélioration, Acceptable et Fort. Sur l'échelle, les attributs « Données crédibles et de qualité sur le rendement » et « Mise en œuvre » ont obtenu l'indice « Attention requise ». Les attributs « Responsabilités claires », « Besoins communautaires », « Capacité », « Communication », « Utilisation de l'information sur le rendement » et « Culture » ont tous reçu l'indice « Place à l'amélioration ». Les attributs « Leadership » et « Harmonisation avec l'orientation stratégique » ont reçu l'indice de classement « Acceptable ».

Principales constatations

Dans l’ensemble, il a été constaté que des progrès ont été réalisés vers la promotion d’une culture de gestion axée sur les résultats à AADNC (voir la Figure 1), même s’il ne fait aucun doute qu’un changement culturel n’en est encore qu’à ses premiers balbutiements. Les fondements de la gestion axée sur les résultats sont actuellement établis au niveau de la haute direction, à mesure que l’on comprend mieux ce en quoi elle consiste. Le Ministère a réalisé des avancées importantes pour harmoniser ses outils de mesure de rendement et d’établissement de rapports, et aussi pour alléger le fardeau administratif des bénéficiaires par l’entremise de l’initiative de modernisation de la gestion des subventions et contributions et d’une refonte du Guide de présentation des rapports des bénéficiaires.

La description textuelle de la figure 1

Le graphique établit la comparaison entre les cotes de rendement d'AADNC pour les attributs leadership, responsabilités claires, besoins communautaires, harmonisation avec l'orientation stratégique, données crédibles et de qualité sur le rendement, mise en œuvre, capacité, communication, utilisation de l'information sur le rendement et culture. Les indices de classement sont dans l'ordre suivant : Attention requise, Place à l'amélioration, Acceptable et Fort. Les catégories sont placées sur l'axe horizontal, et les indices de classement, sur l'axe vertical. En 2009-2010/2010-2011, l'attribut « Leadership » a reçu une cote élevée dans la catégorie « Place à l'amélioration ». En 2011-2012, l'attribut « Leadership » a reçu une cote « Acceptable », mais juste au-dessus de « Place à l'amélioration » sur l'échelle. En 2009 2010/2010 2011, l'attribut « Responsabilités claires » a reçu la cote « Acceptable », à l'extrémité inférieure de l'échelle dans cette catégorie. En 2011-2012, l'attribut « Responsabilités claires » a reçu la cote « Place à l'amélioration », mais plus près de la catégorie « Acceptable » que de la catégorie « Attention requise » sur l'échelle. En 2009-2010/2010-2011, l'attribut « Besoins communautaires » a reçu la cote « Attention requise ». En 2011-2012, la cote de l'attribut « Besoins communautaires » est passée de « Attention requise » à « Place à l'amélioration », mais est demeurée basse sur l'échelle dans cette catégorie. En 2009 2010/2010-2011, l'attribut « Harmonisation avec l'orientation stratégique » a reçu la cote « Acceptable » tout en restant relativement bas sur l'échelle de cette catégorie. En 2011-2012, l'attribut « Harmonisation avec l'orientation stratégique » a reçu une cote plus élevée sur l'échelle dans la catégorie « Acceptable ». En 2009-2010/2010-2011, l'attribut « Données crédibles et de qualité sur le rendement » a reçu la cote « Attention requise ». En 2011-2012, l'attribut « Données crédibles et de qualité sur le rendement » a reçu la cote « Attention requise », mais s'est placé légèrement plus haut sur l'échelle dans cette catégorie. En 2009 2010/2010-2011, l'attribut « Mise en œuvre » a reçu la cote « Attention requise ». En 2011 2012, l'attribut « Mise en œuvre » se classait toujours dans la catégorie « Attention requise », mais plus haut sur l'échelle. En 2009-2010/2010-2011, l'attribut « Capacité » s'est classé dans la catégorie « Place à l'amélioration », mais haut sur l'échelle dans cette catégorie. En 2011-2012, l'attribut « Capacité » se classait toujours dans « Place à l'amélioration », mais plus bas dans l'échelle de cette catégorie qu'en 2009-2010/2010-2011. En 2009-2010/2010-2011, l'attribut « Communication » s'est classé haut sur l'échelle dans la catégorie « Place à l'amélioration ». En 2011-2012, l'attribut « Communication » était assez bas dans l'échelle de la catégorie « Place à l'amélioration ». En 2009-2010/2010-2011, l'attribut « Utilisation de l'information sur le rendement » s'est classé dans la catégorie « Attention requise ». En 2011-2012, l'attribut « Utilisation de l'information sur le rendement » s'est classé dans la catégorie « Place à l'amélioration », mais juste au-dessus de la catégorie « Attention requise » sur l'échelle. En 2009-2010/2010-2011, l'attribut « Culture » s'est classé dans la catégorie « Attention requise ». En 2011 2012, l'attribut « Culture » a reçu la catégorie « Place à l'amélioration », approximativement à mi chemin entre « Attention requise » et « Acceptable » sur l'échelle.

Même si le Ministère compile beaucoup de données, une grande partie n’est pas analysée. Parmi les principales suggestions de formation pour améliorer la capacité en matière de mesure du rendement, notons le développement de compétences pour utiliser les outils de gestion du rendement (p. ex., les tableaux de bord), la mise au point d’indicateurs appropriés et l’analyse des données compilées. Plusieurs sources d’information confirment qu’il manque de données de qualité sur le rendement et que bon nombre d’indicateurs ne sont pas assortis de cibles, de critères de référence et de sources de données de qualité. La rentabilité demeure un domaine qui comporte peu d’indicateurs, de sorte qu’il est difficile pour le Ministère de produire des rapports sur les questions de l’efficience et de l’économie.

L’utilisation de l’information sur le rendement varie considérablement d’un programme à l’autre; dans certains cas, l’information sur le rendement est entièrement intégrée au processus décisionnel alors que dans d’autres, les responsables de programme ne veulent pas être tenus responsables des produits d’information fondés sur des données sur lesquelles ils n’ont aucune maîtrise. Dans bien des cas, le personnel de programme continue de percevoir largement l’exercice d’établissement de rapports comme un mécanisme de vérification de la conformité.

Comme dans les années précédentes, le Ministère continue de se buter à certains écueils pour ce qui est de la compilation et de l’analyse des données existantes, de l’accès à l’information par les utilisateurs pertinents et des outils de suivi inappropriés. Le Ministère continue d’utiliser MS Office comme principale méthode pour compiler des données, même si certains responsables de programmes prennent actuellement des mesures pour élaborer et mettre en œuvre des systèmes de TI dans le but d’améliorer l’intégrité des données et d’en faciliter l’analyse.

Dans une grande mesure, la culture ministérielle demeure axée sur les transactions, le financement et les extrants. Le manque de communication est toujours l’une des principales raisons pour lesquelles AADNC reste aux prises avec des problèmes de cloisonnement de programmes et de dédoublement de l’information et rate des occasions d’apprendre des erreurs passées. En outre, le Ministère ne dispose pas d’une stratégie complète pour gérer le mauvais rendement, ni d’une compréhension éclairée à l’égard des rôles et des responsabilités relatifs à l’atteinte des objectifs stratégiques.

Conclusion et prochaines étapes

Afin de répondre aux principales constatations indiquées ci-dessus, AADNC devrait envisager ce qui suit :

1. Améliorer la coordination entre les centres responsables de la mesure du rendement et les outils d’établissement de rapports du Ministère afin d’accroître l’harmonisation et la diffusion de l’information.
2. Collaborer davantage avec le personnel régional et les intervenants lorsqu’il met au point des cadres de mesure du rendement et des indicateurs.
3. Élaborer des indicateurs plus rigoureux par rapport à la rentabilité et à l’efficience pour répondre au besoin d’obtenir plus de renseignements dans ces domaines.
4. Établir des normes et des cibles afin de mesurer les dix attributs en prévision de la production du rapport annuel sur l’état de la mesure du rendement en collaboration avec les principaux partenaires internes.

1.1 Rapports antérieurs

En septembre 2009, le Comité de l’évaluation, de la mesure du rendement et de l’examen (CEMRE) a approuvé le premier rapport annuel, intitulé « État de la mesure du rendement à l’appui de l’évaluation à Affaires indiennes et du Nord Canada », qui portait sur les activités de 2008-2009. Ce rapport de référence mettait en relief les réalisations d’AADNC dans le domaine de la mesure du rendement et permettait d’entrevoir les défis et les possibilités à venir. Le rapport cernait dix principaux attributs propres aux organisations dotées de systèmes de mesure du rendement de qualité. Les activités de mesure du rendement d’AADNC ont été évaluées dans ce contexte. Le rapport révélait que même si le Ministère avait accompli des progrès pour régler les difficultés liées à la mesure du rendement de qualité, aux processus de compilation de données et à la production de rapports, il demeurait quand même nécessaire d’améliorer la communication par rapport aux rôles et aux responsabilités du personnel à l’égard des activités de mesure du rendement, et d’accroître la coordination au sein du Ministère, aux échelles nationale et régionale, ainsi qu’avec les Premières Nations et les partenaires externes.

En novembre 2011, le CEMRE a approuvé le deuxième rapport annuel, intitulé « État de la mesure du rendement à l’appui de l’évaluation pour 2009-2010 et 2010-2011 ». Les dix mêmes critères utilisés dans le rapport de 2009 ont servi à préparer ce rapport, même s’il a été jugé difficile d’évaluer les progrès du Ministère par rapport à ces attributs, car les paramètres n’avaient pas été établis avant l’exercice de compilation de données. Des indicateurs ont été définis pour préciser le point de mire des travaux de recherche, mais seulement une fois l’exercice de collecte des données terminé. Cela a eu pour conséquence que le classement a pris appui sur les données disponibles, qui n’étaient pas toujours liées avec les indicateurs. Il a été recommandé d’atteindre un équilibre entre les sources de données quantitatives et les sources de données qualitatives pour la production des prochains rapports afin de réduire la dépendance envers les entrevues ou les travaux des groupes de réflexion.

Le rapport a révélé que le Ministère avait fait des progrès pour promouvoir la mesure du rendement, mais qu’il restait certains points à améliorer. AADNC ne dispose pas d’une approche coordonnée pour développer le leadership en matière de mesure du rendement, mobiliser les collectivités et accroître la capacité à l’appui d’une culture axée sur les résultats. Par ailleurs, il y a encore un manque de données utilisables sur le rendement (des données qui peuvent servir à déterminer si un programme a atteint les objectifs escomptés ou non). En bref, l’établissement d’une culture axée sur les résultats à AADNC n’en est qu’à ses balbutiements.

1.2 Bien-fondé et portée

En reconnaissant que la mesure du rendement contribue à une gestion axée sur les résultats de même qu’à l’évaluation, le rapport s’intéresse à la contribution de la mesure du rendement pour ce qui est de la gestion des programmes, de la surveillance et de l’établissement de rapports ainsi que de l’évaluation. Par ailleurs, il évalue les progrès du Ministère pour améliorer sa culture de gestion axée sur les résultats.

Pour les besoins du présent rapport, les activités de mesure du rendement correspondent aux activités entreprises à l’appui de la surveillance, de la mesure et de l’évaluation du rendement des programmes et services d’AADNC, et de l’établissement de rapports sur ceux-ci. L’accent a été mis sur l’examen des activités liées à l’élaboration et à la mise en œuvre de stratégies de mesure du rendement, compte tenu de leur rôle clé à l’appui du Ministère dans sa réponse aux engagements formulés dans la Politique sur l’évaluation et la directive afférente.

En outre, on a procédé à un examen des dix principaux attributs et indicateurs afin de favoriser un meilleur équilibre entre les sources de données quantitatives et qualitatives et d’éliminer les limites qui caractérisaient le rapport de l’année précédente.

1.3 Collecte de données et méthodologie

En juin 2012, le CEMRE a approuvé le cadre de référence du présent projet. Les activités de recherche se sont amorcées en août 2012 et ont été achevées en décembre 2012. En plus de satisfaire aux exigences du SCT, le présent rapport contribuera à faire progresser le programme de mesure du rendement d’AADNC en répertoriant les leçons apprises, les pratiques exemplaires et les occasions de progrès. Le rapport portait sur les données de l’exercice 2011-2012 ainsi que sur certaines données de l’exercice 2012-2013 lorsqu’elles étaient pertinentes.

Quatre sources de données ont servi à évaluer l’effet des activités cernées ci-dessus : une analyse documentaire, une étude des documents, des entrevues et des sondages, comme il est indiqué ci-dessous.

1.3.4 Classement

Un peu comme l’année dernière, le rapport sur l’état de la mesure du rendement est un classement du rendement du Ministère par rapport à chacun des dix principaux attributs cernés dans le rapport de référence. Les niveaux de mesure utilisés sont les mêmes que ceux utilisés dans le cadre de responsabilisation de gestion (CRG).

(Les niveaux de mesure : Attention requise; Place à l'amélioration; Acceptable; Fort)

Afin d’orienter le classement, les principaux attributs ont été précisés encore davantage et des indicateurs ont été élaborés. Les indices de classement ont été attribués à la lumière de l’information qui s’est dégagée de l’analyse documentaire et de l’étude des documents, des entrevues et des sondages.

1.4 Considérations et limites

Afin d’éviter les limites cernées dans le rapport de l’année précédente, plusieurs mesures ont été mises en place avant la collecte de données, telles que le l’élaboration de 32 indicateurs qualitatifs et quantitatifs afin de mesurer les dix critères; le suivi auprès de tous les gestionnaires de programmes ayant une stratégie de mesure de rendement afin d’obtenir la version la plus récente; et l’augmentation du nombre d’entrevues afin d’obtenir le plus de points de vue possible. Il n’en demeure pas moins que le rapport annuel sur l’état de la mesure du rendement de 2011-2012 comporte aussi des limites qui devront être considérées en prévision du prochain rapport.

L’élaboration des 32 indicateurs a permis de mieux circonscrire les dix critères définis dans ce rapport. Cependant, afin de mieux mesurer ces critères, des normes ou des cibles devraient être établies afin de mieux jauger l’évolution d’AADNC selon l’échelle « attention requise – fort ». La documentation regorge d’information sur les pratiques qui doivent être mises en place pour assurer une bonne gestion axée sur les résultats au sein des organisations. Il n’en demeure pas moins qu’avant tout, AADNC devrait déterminer le niveau d’excellence qu’il veut atteindre en matière de gestion axée sur les résultats afin de déterminer quelles devraient être les priorités et produire des efforts en conséquence, tout en tenant compte de son environnement interne et externe. Une réflexion au niveau de la haute direction et des principaux intervenants sera nécessaire afin d’établir ces critères. L’expérience de l’Agence de santé publique du Canada, qui a déjà mené une réflexion similaire, pourrait être examinée.

L’analyse des données a montré que l’expression « mesure du rendement » a créé de la confusion chez les personnes interrogées et sondées, même si chaque terme avait été défini. En effet, certaines personnes qui connaissaient peu les stratégies de mesure du rendement ont adapté la terminologie à leur réalité et ont placé la question dans un contexte de responsabilisation plus général. Par conséquent, il importe d’interpréter avec prudence les résultats pour ce qui est des stratégies de mesure du rendement; ceux-ci demeurent toutefois valides dans le contexte de la gestion axée sur les résultats.

Finalement, la méthodologie initiale de cette étude prévoyait qu’une importance particulière serait accordée aux besoins communautaires, afin de mieux cerner les connaissances et l’expérience des collectivités et des organisations autochtones par rapport aux stratégies de mesure de rendement d’AADNC, la participation des collectivités à l’élaboration de ces stratégies et l’arrimage des indicateurs avec les besoins des collectivités. Après avoir achevé l’analyse documentaire et évalué le niveau de participation des organisations et des collectivités autochtones, il a été déterminé qu’il était encore trop tôt pour se pencher sur cette question. Au lieu de faire un sondage auprès des partenaires autochtones, le groupe d’évaluation a mis au point un questionnaire qui vise les employés des bureaux régionaux afin de mieux comprendre leur participation et, indirectement, celle des collectivités et organisations autochtones dans l’élaboration des stratégies de mesure de rendement.

2.1 Leadership

Un fort leadership est perçu comme étant essentiel à la réussite de l’élaboration, de la mise en œuvre et de l’utilisation des systèmes de mesure du rendement et de gestion axée sur les résultats. L’analyse des entrevues effectuées pour les besoins du présent rapport montre une compréhension et un intérêt accrus pour ce qui est de la gestion axée sur les résultats dans les hauts échelons du Ministère, même si l’on reconnaît que celle-ci représente un changement culturel et constitue une façon relativement nouvelle de percevoir l’information sur le rendement. Les résultats du sondage indiquent que 88 pour cent et 84 pour cent des répondants dans la RCN et dans les régions, respectivement, estiment que la haute direction est favorable à la gestion axée sur les résultats.

Dans une organisation qui mise sur la gestion axée sur les résultats, les hauts dirigeants doivent démontrer leur volonté et leur capacité de prendre des décisions et de gérer des programmes en fonction des résultats en énonçant clairement leurs objectifs et en démontrant que les décisions prises sont fondées sur les résultats mesurés par rapport à ces objectif^{Note de bas de page 3}. Lorsqu’on leur a demandé si les résultats relatifs au rendement avaient fait l’objet de discussions suffisamment abondantes dans les hauts échelons de l’organisation, la plupart des personnes interrogées ont répondu que ces résultats ne font pas toujours partie des discussions de la haute direction, et que les échanges ont davantage tendance à être axés sur le processus. Il a aussi été mentionné que le Plan d’action pour la réduction du déficit a nécessité beaucoup de temps et d’énergie au cours de la dernière année, de sorte que certains projets et initiatives ont été ralentis ou interrompus.

Néanmoins, la haute direction a manifesté un vif intérêt à l’égard de l’intégration de la gestion axée sur les résultats dans les activités quotidiennes, et la plupart des membres de la haute direction interrogés pourraient citer des exemples d’activités de MR entreprises dans leur secteur. Ainsi, la sensibilisation dans ce domaine est considérée comme étant élevée au niveau de la haute direction. D’autres ont observé que les comités de la haute direction et les rapports trimestriels pourraient être mieux utilisés pour favoriser la tenue de discussions axées sur les résultats.

Évaluation

Cette figure représente une échelle des quatre catégories dans l'ordre suivant, de gauche à droite : Attention requise, Place à l'amélioration, Acceptable, Fort. Sur cette échelle, l'attribut « Leadership » a été placé. L'attribut « Leadership » se classe dans la catégorie « Acceptable » sur l'échelle, mais il se place assez bas dans cette catégorie, proche de la catégorie « Place à l'amélioration ».

À la lumière des constatations ci-dessus, AADNC a obtenu l’indice de classement « acceptable » au chapitre du leadership. Dans le contexte d’une forte culture de gestion axée sur les résultats, les cadres supérieurs doivent continuellement demander de l’information sur les résultats aux étapes de planification, de mise en œuvre et d’examen, au point où cela devient routinier. La haute direction doit également être engagée et participer à la planification à long terme, laquelle comprend le réexamen périodique des outils de mesure du rendement afin de s’assurer qu’ils demeurent pertinents dans le contexte d’un milieu en constante évolution.

2.2 Responsabilités claires

Les stratégies de mesure du rendement sont l’un des mécanismes grâce auxquels le Ministère décrit ses rôles et ses responsabilités à l’égard d’un programme. Dans la plupart des stratégies de mesure du rendement examinées, on a pu trouver une section relative à la gouvernance clairement articulée, et toutes décrivaient des rôles et des responsabilités clairs pour le personnel et les gestionnaires.

La responsabilité à l’égard de la gestion axée sur les résultats est habituellement celle qui écope lorsque la direction et le personnel ne perçoivent pas l’utilité des outils de mesure du rendement, ni l’occasion d’établir le lien entre le fonctionnement au quotidien et la vision stratégique plus générale. À l’instar des rapports antérieurs, il a été constaté que les rôles et les responsabilités liés à la mesure du rendement n’étaient pas toujours clairs à tous les niveaux. Plus particulièrement, certaines personnes interrogées ont décrit le rôle général du Ministère comme étant simplement celui d’un « bailleur de fonds », de sorte qu’elles ne se sentaient pas à l’aise de fixer des objectifs pour des résultats influencés par des facteurs externes.

Pour leur part, les personnes interrogées percevaient largement le personnel de la DGEMRE comme des ressources utiles pour l’élaboration de leurs stratégies de mesure du rendement et ont souligné que l’un des déterminants de la réussite était la diligence des employés affectés au dossier. Elles ont aussi mentionné que même si des documents d’information et d’orientation permettant de donner une idée générale de la façon d’élaborer une stratégie de MR leur avaient été fournis, elles ne les ont pas trouvés aussi utiles qu’ils auraient pu l’être. Le document d’orientation est en cours d’examen.

Il y avait également de la confusion par rapport aux rôles de la DGEMRE et de la Direction générale de la planification, de la recherche et de la statistique (DGPRS), qui interviennent toutes deux dans la mesure du rendement au Ministère. La DGEMRE participe énormément à l’élaboration de la stratégie de MR alors que la DGPRS travaille directement à la fonction d’établissement de rapports sur le rendement, comme l’exercice d’élaboration des rapports trimestriels et du Rapport ministériel sur le rendement (RMR). En octobre 2012, un groupe de travail sur la mesure du rendement s’est réuni pour discuter de la façon dont les deux directions générales pourraient collaborer, y compris sur l’élaboration et l’utilisation d’outils conjoints. Les personnes interrogées qui avaient mis au point leur stratégie de MR pour les programmes ont également souligné l’importance de rallier les principaux intervenants dès le commencement du processus afin de réduire la confusion que risque d’entraîner la tenue de réunions ponctuelles où toutes les parties ne sont pas présentes.

Évaluation

Cette figure représente une échelle des quatre catégories dans l'ordre suivant, de gauche à droite : Attention requise, Place à l'amélioration, Acceptable, Fort. Sur cette échelle, l'attribut « Responsabilités claires » se classe dans la catégorie « Place à l'amélioration », plus près de la catégorie « Acceptable » que de la catégorie « Attention requise ».

À la lumière des constatations ci-dessus, AADNC a obtenu l’indice de classement « place à l’amélioration » sous la composante « responsabilités claires ». D’autres travaux devront être accomplis pour s’assurer qu’il y a collaboration entre les deux fonctions de mesure du rendement et que des formations ou des ateliers sont offerts au personnel de programme qui a besoin d’aide dans ce domaine, comme cela s’est avéré utile par le passé.

2.3 Besoins communautaires

La réduction des obligations redditionnelles du bénéficiaire est une priorité clé du Ministère. L’une des principales initiatives en cours à cet égard est la modernisation des subventions et contributions. Selon le site Web d’AADNC :

« La modernisation de la gestion des subventions et contributions comporte des avantages pour les Autochtones : accent mis sur le service aux collectivités et à leurs membres, économies d’échelle, allégement du fardeau administratif pour les bénéficiaires, économies de l’argent des contribuables et, en fin de compte, meilleure rentabilité. »^{Note de bas de page 4}

Dans le cadre de cette initiative, le Ministère a collaboré étroitement avec les spécialistes des finances des Premières Nations pour mettre au point un outil d’évaluation générale qui permet d’évaluer le risque rattaché à chaque bénéficiaire selon ses antécédents particuliers. L’objectif est de réduire les exigences en matière de rapport et d’offrir des arrangements de financement à plus long terme aux bénéficiaires qui sont considérés comme étant à faible risque.

En outre, AADNC travaille en étroite collaboration avec Santé Canada afin d’harmoniser les approches à l’égard des subventions et contributions en adoptant une même façon de faire pour les évaluations des risques et les accords de financement. Par ailleurs, il est prévu que les deux ministères partageront les mêmes systèmes de TI pour la gestion des finances et des subventions et contributions afin de réduire les obligations redditionnelles des bénéficiaires lorsque cela est possible.

Au cours de la dernière année, le Ministère s’est beaucoup attardé à la façon dont il utilise les données fournies par les bénéficiaires du financement, ce qui a entraîné une diminution notable du nombre de rapports ponctuels que le Ministère exige des bénéficiaires – le nombre étant passé de 4 800 en 2011-2012 à 800 in 2012-2013^{Note de bas de page 5}. En décembre 2012, on a tenu un sommet sur la mesure du rendement pour discuter de quelle façon le Guide de présentation des rapports des bénéficiaires pourrait être simplifié davantage afin d’éliminer les dédoublements et les inefficacités. Il semble actuellement que 412 indicateurs de rendement distincts existent toujours au sein du Ministère. Au niveau des programmes, 56 pour cent des répondants de la RCN et 69 pour cent de ceux des régions estimaient que leur direction générale ou direction s’efforçait de réduire les exigences en matière de rapport imposées aux collectivités et aux organismes autochtones. Ces chiffres devraient s’améliorer à mesure que progressent les travaux de simplification du Guide de présentation des rapports des bénéficiaires.

Selon la documentation, l’élaboration d’un cadre de mesure du rendement sera effectuée en collaboration avec les intervenants (c.-à-d., partenaires, personnel et bénéficiaires) qui auront une influence sur l’atteinte des résultats. En mobilisant les partenaires à toutes les étapes pour définir les indicateurs et les résultats escomptés, on favorisera la création d’un sentiment d’appartenance qui incidemment appuiera un système de mesure du rendement durable. Les études démontrent qu’un piège courant consiste à élaborer un cadre en refondant les services offerts pour obtenir le résultat désiré, au lieu d’amorcer le processus en définissant les résultats escomptés puis en cernant les mesures à prendre pour les réaliser^{Note de bas de page 6} En outre, la consultation et la collaboration contribuent à surmonter les défis qui caractérisent la mise en œuvre des cadres de mesure du rendement^{Note de bas de page 7}. Au cours des dernières années, le Ministère a souligné l’importance que les Premières Nations et les conseils tribaux rendent compte à leurs membres, ce qui renforce l’importance de tenir compte des besoins des Autochtones dans l’élaboration d’un cadre axé sur les résultats. Comme il est indiqué dans l’actuel Guide de présentation des rapports des bénéficiaires d’AADNC :

Les Premières nations ont besoin de renseignements pour informer les membres de leurs collectivités sur l’efficacité des programmes et pour pouvoir y apporter des ajustements afin de répondre de manière efficace aux besoins précis de leurs membres. En travaillant en partenariat avec les Premières nations, AADNC cherche à s’assurer que les renseignements définis et recueillis pour ce guide profitent aussi aux Premières nations ou aux conseils tribaux en les aidant à administrer et à gérer efficacement les programmes financés^{Note de bas de page 8}.

D’une façon générale, les personnes interrogées ont observé que lorsqu’il est question de mesure du rendement, il semble y avoir des cloisons entre l’AC, les régions et les intervenants. Lorsqu’on leur a demandé si l’élaboration et la mise en œuvre d’outils de mesure du rendement (p. ex., stratégies de mesure du rendement) étaient effectuées en collaboration, le personnel régional a répondu qu’il y avait un certain degré de collaboration au sein du personnel régional (56 pour cent), mais un peu moins avec les agents et les organismes de prestation de services dans les collectivités autochtones (31 pour cent). Même si certaines des personnes interrogées au niveau des programmes ont été capables de citer des exemples démontrant de quelle façon la capacité communautaire est prise en considération dans les exercices de définition d’indicateurs, la différence entre ce qui est considéré comme important, ce qui est mesuré au niveau communautaire et ce qui est exigé par AADNC demeure importante.

Évaluation

Cette figure représente une échelle des quatre catégories dans l'ordre suivant, de gauche à droite : Attention requise, Place à l'amélioration, Acceptable, Fort. Sur cette échelle, l'attribut « Besoins communautaires » se classe dans la catégorie « Place à l'amélioration », mais se trouve plus près de la catégorie « Attention requise » que de la catégorie « Acceptable ».

À la lumière des constatations ci-dessus, AADNC a obtenu l’indice de classement « place à l’amélioration » pour ce qui est des besoins communautaires. Le Ministère prend des mesures tangibles pour réduire les obligations en matière de rapport pour les bénéficiaires en simplifiant la structure hiérarchique et en réduisant le nombre de rapports ponctuels à produire. AADNC pourrait réaliser des améliorations dans ce domaine en travaillant davantage en collaboration avec les intervenants lorsqu’il élabore les cadres et les indicateurs de rendement.

2.4 Harmonisation avec l’orientation stratégique

L’un des éléments importants pour qu’une organisation réussisse à pratiquer une gestion axée sur les résultats consiste à aligner ses programmes et les mesures du rendement avec les objectifs stratégiques et les priorités afin de pouvoir mesurer le rendement par rapport à ces objectifs^{Note de bas de page 9} Au cours de la dernière année, le Ministère a restructuré le Secteur des politiques et de l’orientation stratégique, qui comporte maintenant une Direction de la gestion axée sur les résultats (DGAR) au sein de la DGPRS. À la DGPRS, des travaux d’envergure ont été achevés pour s’assurer d’harmoniser des stratégies de MR avec l’architecture d’alignement des programmes (AAP) et le Cadre de mesure du rendement (CMR). À ce jour, on estime que les stratégies de MR couvrent 43 pour cent de l’AAP, et un examen des stratégies de MR révèle que toutes ces stratégies sauf trois ont un lien clair avec l’AAP. Une analyse de l’alignement entre le CMR et les stratégies de MR montre que l’harmonisation entre ces documents a augmenté considérablement au cours de la dernière année.

De plus, le Ministère entreprend des initiatives afin de mieux aligner les résultats des stratégies de MR de niveau supérieur au Rapport sur les plans et les priorités (RPP) et au RMR. Le Plan d’activités du Ministère devrait également utiliser les résultats décrits dans le CMR à compter de 2013-2014. Bon nombre des personnes interrogées ont indiqué que des améliorations pourraient être apportées au chapitre de l’alignement des rapports trimestriels avec le Plan d’activités du Ministère afin de renforcer le lien entre les objectifs stratégiques du Ministère et les activités quotidiennes. D’une façon générale, les cadres supérieurs ont aussi mentionné que les rapports trimestriels s’étaient avérés utiles pour ce qui est de l’alignement des priorités. Les personnes interrogées reconnaissaient largement que l’alignement entre la mesure du rendement et les outils d’établissement de rapport du Ministère est essentiel pour renforcer la culture de mesure du rendement d’AADNC.

Les fondements de la gestion axée sur les résultats au gouvernement du Canada résident dans la Loi sur la gestion des finances publiques, la Loi fédérale sur la responsabilité et le Système de gestion des dépenses. La gestion axée sur les résultats devrait gagner en importance à mesure que les parlementaires sollicitent de plus en plus d’information financière et sur le rendement. Le SCT reconnaît que l’information sur le rendement devient de plus en plus un point de mire, et qu’elle est encore davantage sollicitée que l’information sur les dépenses. À cette fin, la prochaine version du RMR portera sur les activités ministérielles au niveau des sous-sous-programmes. Ainsi, les travaux d’alignement en cours au Ministère sont cruciaux pour qu’il soit en mesure de rendre compte aux Canadiens des résultats des programmes.

Évaluation

Cette figure représente une échelle des quatre catégories dans l'ordre suivant, de gauche à droite : Attention requise, Place à l'amélioration, Acceptable, Fort. Sur cette échelle, l'attribut « Harmonisation avec l'orientation stratégique » se classe dans la catégorie « Acceptable », plus proche de la catégorie « Fort » que de la catégorie « Place à l'amélioration ».

À la lumière des constatations ci-dessus, AADNC a obtenu l’indice de classement « acceptable » pour ce qui est de l’alignement avec son orientation stratégique. Le Ministère a réalisé des progrès considérables pour harmoniser ses outils de mesure du rendement et d’établissement de rapports ministériels et il devrait poursuivre les efforts en ce sens afin d’accroître cet alignement pour améliorer sa capacité de rendre compte de son rendement.

2.5 Données crédibles et de qualité sur le rendement

L’absence de données de qualité sur le rendement demeure un problème au Ministère. Entre avril 2011 et novembre 2012, seules trois des 19 évaluations qui ont été approuvées par le CEMRE ne mentionnaient pas comme limite l’absence de données relatives au rendement de qualité ou fiables. Plus particulièrement, parmi les 16 évaluations faisant état de limites relatives au rendement, sept signalaient des mesures de rendement faibles/limitées (c.-à-d., certains des indicateurs n’étaient pas compilés), deux évaluations mentionnaient qu’il n’y avait aucune stratégie de mesure du rendement, et une signalait qu’il n’y avait aucun modèle logique de programme. En outre, neuf évaluations relevaient spécifiquement des problèmes importants pour ce qui est de la qualité, de la fiabilité et de l’intégralité des données lorsqu’elles étaient disponibles. Selon les répondants au sondage, 62 pour cent des répondants dans la RCN et 53 pour cent des ceux des régions ont exprimé des réserves quant à la fiabilité de l’information sur le rendement compilée ou utilisée pour établir des rapports.

Dans le cadre de l’examen de la stratégie de MR, il a été constaté que presque toutes les stratégies à ce sujet indiquaient plusieurs sources de données, alors que bon nombre d’entre elles ne pouvaient que documenter les extrants, ou ne pouvaient être considérées comme une source de données (c.-à-d., présentations au Conseil du Trésor ou stratégies de MR elles-mêmes). L’examen a également révélé que dans le cas de 6 pour cent des indicateurs figurant dans les stratégies de MR, il restait encore à déterminer quelle était la source des données. L’un des principaux domaines à examiner au cours du processus de mise en œuvre consistera à déterminer une source de données pour chaque indicateur.

Alors que le Ministère amorce un virage pour adopter une culture davantage fondée sur les résultats, il doit envisager d’élaborer et d’améliorer ses critères de référence et ses cibles afin de dégager de l’information plus instructive sur le rendement. L’examen de la stratégie de MR a révélé que seulement 13 pour cent des indicateurs utilisaient des critères de référence et que seulement 41 pour cent étaient assortis de cibles. Par ailleurs, 41 pour cent des répondants au sondage ont indiqué que l’information sur le rendement compilée ou utilisée pour établir des rapports ne répondait pas aux besoins de leur direction générale ou direction particulière.

L’une des raisons claires pour lesquelles on compile de l’information sur le rendement est qu’elle permet de cerner les efficacités et la rentabilité. Les employés d’AADNC estiment largement que l’information sur le rendement est utilisée de plus en plus pour mesurer la rentabilité, et 67 pour cent des répondants de la RCN et 57 pour cent des répondants des régions sont en accord avec cet énoncé. En ce qui a trait aux véritables indicateurs qui peuvent être utilisés pour évaluer la rentabilité, seulement 8 pour cent semblaient présenter une corrélation directe. Ainsi, la définition d’indicateurs de mesure de la rentabilité devrait devenir une priorité du Ministère pour qu’il puisse accroître sa capacité de produire des rapports instructifs dans ce domaine.

Bon nombre des personnes interrogées ont souligné que la disponibilité de données crédibles et de qualité importe uniquement si on peut y accéder et les utiliser à des fins de décisions, et beaucoup ont allégué que l’accessibilité de l’information par les intervenants et les décideurs pertinents demeure problématique. En ce qui a trait à l’exécution de travaux politiques ou d’évaluation au Ministère, il a été mentionné qu’il pouvait être difficile d’obtenir les données pertinentes sur les programmes, et qu’il fallait attendre un certain temps avant d’être en mesure d’accéder à de l’information qui devrait être d’emblée disponible. Par ailleurs, 41 pour cent des répondants de la RCN et 50 pour cent des répondants des régions estiment que l’information sur le rendement est utilisée exclusivement à des fins de vérification de la conformité.

Évaluation

Cette figure représente une échelle des quatre catégories dans l'ordre suivant, de gauche à droite : Attention requise, Place à l'amélioration, Acceptable, Fort. Sur cette échelle, l'attribut « Données crédibles et de qualité sur le rendement » se classe dans la catégorie « Attention requise », mais se trouve tout près de la catégorie « Place à l'amélioration » sur l'échelle.

À la lumière des constatations ci-dessus, AADNC a obtenu l’indice de classement « attention requise » pour ce qui est des données crédibles et de qualité sur le rendement. L’accessibilité à une information de qualité et crédible sur le rendement est l’épine dorsale d’une culture de gestion axée sur les résultats robuste, qui exige que l’information soit complète, exacte, uniforme, crédible, pertinente, accessible, valide, facile à utiliser et obtenue en temps voulu^{Note de bas de page 10}. Ce domaine devrait devenir une priorité clé des efforts du Ministère visant à renforcer sa fonction de mesure du rendement.

2.6 Mise en œuvre

Le succès d’une mise en œuvre d’un système de gestion axée sur les résultats repose sur un système de gestion qui comprend la collecte, l’enregistrement, l’analyse et la reddition de compte systématique des informations sur le rendement et l’utilisation d’un nombre adéquat d’indicateurs^{Note de bas de page 11}. Les stratégies de mesure de rendement sont un indicateur révélateur de l’état de la mise en œuvre d’un système de gestion axée sur les résultats au sein du Ministère, puisqu’elles permettent de surveiller et d’évaluer systématiquement les résultats du programme.

Une analyse des stratégies de mesure du rendement révèle qu’à ce jour, 14 stratégies de MR n’indiquent pas si les indicateurs en sont à l’étape I ou à l’étape II. L’étape I désigne l’information actuellement compilée au sein du Ministère et l’étape II, l’information qui n’est pas encore collectée, mais que l’on croit pouvoir obtenir. En ce qui a trait aux 11 stratégies de MR restantes, parmi les 164 indicateurs qui sont considérés comme étant à l’étape I ou II, 97 (59 pour cent) en sont à l’étape I et 67 (41 pour cent) à l’étape II.

Le rapport annuel sur l’état de la mesure du rendement pour 2009-2010 et 2010-2011 mentionnait plusieurs facteurs qui nuisent à la mise en œuvre de stratégies de mesure du rendement, par exemple, les problèmes liés à la compilation et à l’analyse des données existantes, l’accessibilité pour les utilisateurs pertinents et la mauvaise qualité des outils de suivi. Les entrevues menées cette année ont révélé que ces facteurs constituent encore une problématique au sein du Ministère. Ces éléments sont d’ailleurs, selon certains auteurs, les raisons principales pour lesquelles une mise en œuvre d’un système de mesure de rendement risque d’échouer^{Note de bas de page 12}.

Au départ, les gestionnaires de programmes ont rencontré des difficultés pour mesurer leur rendement lorsque leurs indicateurs dépendaient de sources de données externes à l’extérieur de la maîtrise de leur programme (gouvernement provincial, autres programmes, etc.). En raison de cette dépendance envers des sources externes, il est souvent nécessaire de consacrer beaucoup de temps et d’efforts pour obtenir des données qui sont parfois incomplètes. Il s’avère aussi que lorsqu’un programme fait l’objet d’une refonte, la mise en œuvre des stratégies de mesure de rendement est plus lente; soit parce qu’il faut du temps pour intégrer les indicateurs dans la nouvelle structure du programme ou parce que les responsables de programme préfèrent attendre que la refonte soit achevée afin de changer la stratégie de mesure de rendement.

En ce qui a trait à la gestion des données, la plupart des personnes interrogées estiment que le système informatique d’AADNC ne permet pas de veiller à l’intégrité des données ou de compiler et d’analyser l’information sur le rendement. La suite MS Office (c.-à-d. Excel) serait utilisée la plupart du temps pour compiler des données sur le rendement pour les bureaux régionaux (57 pour cent) et pour l’AC (59 pour cent), suivie par les rapports sur support papier^{Note de bas de page 13} (44 pour cent pour les régions et 34 pour cent pour l’AC). Les bases de données développées par la Gestion de l’information et technologie de l’information (GI/TI) compteraient que pour 22 pour cent dans les deux groupes.

Évaluation

Cette figure représente une échelle des quatre catégories dans l'ordre suivant, de gauche à droite : Attention requise, Place à l'amélioration, Acceptable, Fort. Sur cette échelle, l'attribut « Mise en œuvre » se classe dans la catégorie « Attention requise », mais se trouve tout près de la catégorie « Place à l'amélioration ».

À la lumière des constatations ci-dessus, AADNC a obtenu l’indice de classement « attention requise » pour ce qui est de la mise en œuvre. Certains programmes ont proposé des systèmes de TI intégrés afin d’assurer une meilleure intégrité de leurs données (p. ex., SIGI, ARTG). Il s’agit cependant d’un travail en cours et il reste encore beaucoup à accomplir pour la mise en œuvre, mais aussi pour s’assurer que les personnes clés utilisent ces systèmes. AADNC a mis en place un projet pilote avec le groupe de l’éducation afin de créer une plateforme (Services d’électronique et d’informatique) centralisée pour assurer la collecte de données et permettre l’accès de l’information.

2.7 Capacité

Au sein d’une organisation, la capacité est une composante essentielle pour assurer l’utilisation des données sur le rendement. Les gestionnaires et le personnel ont besoin des ressources et des compétences pour planifier, élaborer, collecter et analyser les données afin de s’assurer que l’information est crédible et utile. Une organisation axée sur les résultats doit par conséquent assurer la formation et le perfectionnement professionnel de ses membres sur les techniques de mesure du rendement afin d’améliorer leurs capacités, mais aussi pour s’assurer que les employés désirent améliorer leur rendement et sont engagés à le faire. L’utilisation de l’expertise pour soutenir la mise en œuvre, la mise au point et l’utilisation d’un système de mesure du rendement, comme le recours à des spécialistes de la mesure du rendement, est aussi bien documentée.^{Note de bas de page 14}

Selon les données recueillies, le personnel d’AADNC compile de grandes quantités de données qui pourraient être utilisées pour mesurer le rendement. Le problème tient plutôt du temps et des ressources requises pour analyser les données. « Nous avons beaucoup de données, mais une capacité d’analyse insuffisante. » Par conséquent, les systèmes de collecte de données mettent plus l’accent sur les extrants que sur les résultats. L’élaboration de stratégies de mesure du rendement pourrait aider le personnel de programme à définir ses objectifs et ses résultats attendus. Il a été mentionné à nombre de reprises que la mise en œuvre de stratégies de mesure du rendement exigeait plus de temps et d’efforts qu’on l’avait estimé au départ. Si le programme n’a pas prévu le personnel nécessaire, la mesure du rendement est relayée en deuxième plan au profit d’autres priorités de programme. Les résultats du sondage appuient également ce sentiment. Selon les répondants des deux sondages, le manque de ressources humaines (47 pour cent et 51 pour cent) est la principale barrière pour recueillir l’information sur le rendement. Pour remédier à la situation, les répondants au sondage suggèrent d’accroître les ressources humaines (43 pour cent et 49 pour cent), d’augmenter le temps dédié à la mesure du rendement (28 pour cent et 30 pour cent) et de mettre en place des outils tels que des systèmes informatiques améliorés.

En ce qui concerne la compétence des employés, environ 20 pour cent estiment ne pas avoir les connaissances et les habiletés nécessaires en lien avec la mesure du rendement. Afin d’atténuer la situation, on a proposé principalement de développer les compétences nécessaires pour utiliser les outils de gestion du rendement (p. ex., tableau de bord), élaborer des indicateurs et analyser les données.

D’une façon générale, les répondants se sont dits satisfaits du niveau d’expertise des agents de la DGEMRE. En fait, les responsables de programmes comptent beaucoup sur les évaluations pour fournir des informations comme les résultats de leur programme. Cependant, au sein de la Direction générale, certains ont noté un manque d’expertise selon le responsable du dossier lors du développement des stratégies de mesure de rendement. Il existe aussi un manque de constance dans l’information prodiguée quant à la démarche à suivre auprès des responsables des programmes et des partenaires.

Enfin, seul un petit nombre de personnes interrogées ont indiqué travailler en collaboration avec le Secteur des politiques et de l’orientation stratégique pour élaborer leur stratégie de mesure du rendement. Ceux qui ont une expérience avec ce groupe ont noté que les analystes principaux des résultats stratégiques prodiguent d’excellents conseils, en plus de les aider à nouer des liens avec les bonnes personnes.

Évaluation

Cette figure représente une échelle des quatre catégories dans l'ordre suivant, de gauche à droite : Attention requise, Place à l'amélioration, Acceptable, Fort. Sur cette échelle, l'attribut « Capacité » se classe dans la catégorie « Place à l'amélioration », mais se trouve plus proche de la catégorie « Attention requise » que de la catégorie « Acceptable ».

À la lumière des constatations ci-dessus, AANDN a obtenu l’indice de classement « place à l’amélioration » pour ce qui est de la capacité. Plusieurs gestionnaires ont mentionné que les coupures au sein du Ministère ont affecté la capacité du personnel à répondre aux attentes en matière de mesure du rendement. Selon certains, le Ministère a reculé par rapport aux années précédentes. La Direction de l’évaluation, de la mesure du rendement et de l’examen n’échappe pas à cette vague, puisqu’elle a aussi été affectée par les coupures et que plusieurs initiatives ont été mises en suspens. Quoi qu’il en soit, un programme de formation sur la gestion axée sur les résultats a bel et bien été élaboré et il a été suivi par tous les évaluateurs en juin 2012. Cette formation était conçue de manière à renforcer leurs compétences en matière de gestion axée sur les résultats, en vue de l’appliquer aux programmes.

2.8 Utilisation de l’information sur le rendement

L’objectif de la collecte de données sur le rendement est d’aider le Ministère à prendre des mesures judicieuses fondées sur de l’information qui peut contribuer à cerner les priorités de programmes, attribuer les ressources, améliorer les programmes, établir les attentes futures à l’égard du rendement et rendre compte des progrès vers l’atteinte des objectifs fixés^{Note de bas de page 15}. L’information pertinente sur le rendement devrait également être utilisée pour produire des rapports et être communiquée à tous les intervenants, décideurs et évaluateurs^{Note de bas de page 16}. Selon les résultats de cette étude, il convient de mentionner que des efforts considérables doivent encore être déployés pour encourager l’utilisation des données relatives à la mesure du rendement au sein du Ministère.

Même si quelques gestionnaires ont mentionné l’utilisation des rapports trimestriels, certains se sont interrogés quant à l’utilité de l’outil et de sa valeur pour ce qui est du processus décisionnel. En outre, le RMR et le RPP sont souvent considérés utiles pour les députés du Parlement, mais pas au niveau opérationnel.

L’utilisation des données relatives au rendement varie considérablement d’un programme à l’autre. Certains déclarent utiliser les résultats de leurs activités de mesure du rendement considérablement dans le processus décisionnel. Selon les sondages, 63 pour cent des répondants des bureaux régionaux et 61 pour cent de ceux de l’AC utilisent les données colligées aux fins de la gestion et de l’amélioration des programmes. D’autres se demandent encore s’ils peuvent être tenus responsables des résultats lorsqu’ils ne sont pas les fournisseurs des services. Dans plusieurs cas, la fonction d’établissement de rapports est considérée comme un mécanisme pour soutenir la conformité, et les gestionnaires et le personnel ne voient aucun usage pratique à la mesure et à l’analyse des données relatives au rendement.

Par ailleurs, comparativement à d’autres ministères, AADNC n’a pas intégré les indicateurs de services internes dans son CMR. Quoi qu’il en soit, la situation pourrait changer à l’avenir, car le SCT procède à la mise au point d’un ensemble de mesures du rendement (des indicateurs de rendement clés) qui correspondent au CRG. Cet outil aidera les ministères à produire des rapports à l’aide des mêmes indicateurs (c.-à-d., finances).

Évaluation

Cette figure représente une échelle des quatre catégories dans l'ordre suivant, de gauche à droite : Attention requise, Place à l'amélioration, Acceptable, Fort. Sur cette échelle, l'attribut « Utilisation de l'information sur le rendement » se classe dans la catégorie « Place à l'amélioration » et se trouve tout près de la catégorie « Attention requise ».

À la lumière des constatations ci-dessus, AADNC a obtenu l’indice de classement « place à l’amélioration » pour l’utilisation de l’information sur le rendement. Le Ministère compile actuellement une quantité importante de données de sorte qu’il peut être difficile de cerner, de sélectionner et de valider l’information. En raison du manque d’intégration des données, les utilisateurs semblent frustrés du temps qu’il faut pour produire ou trouver de l’information utile et pertinente dans le contexte des activités de responsabilisation et de prise de décisions.

Néanmoins, on a indiqué que l’information était utilisée à des fins de décisions et d’amélioration de programmes. Afin de fournir un meilleur contexte sur l’utilisation des données, la DGEMRE, dans le cadre de son projet de stages, a récemment mis au point un outil pour mesurer l’utilisation des évaluations au sein du Ministère.

2.9 Communication

Selon ce qui se dégage de l’analyse documentaire, la communication est aussi importante que les processus officiels de planification stratégique et d’établissement de rapports^{Note de bas de page 17}. Les employés devraient continuellement être informés des progrès réalisés vers l’atteinte des résultats escomptés, afin que l’on puisse leur rappeler le lien entre les objectifs ministériels et de programmes et les activités qu’ils exécutent au quotidien. Cela permet de maintenir la motivation et l’engagement des employés. Par ailleurs, la communication devrait être bilatérale pour que les intervenants et les employés aient l’occasion de comprendre quels sont les défis et de prendre immédiatement les mesures pour corriger la situation lorsque les gestionnaires les renseignent sur la vision stratégique et leur rôle^{Note de bas de page 18}.

Selon les personnes interrogées, les efforts de communication au sein du Ministère se font principalement par l’entremise de la reddition de comptes, des rapports et des lignes directrices du programme. Les comités ministériels, les réunions avec les gestionnaires et les directeurs régionaux sont souvent utilisés pour fournir et recevoir de l’information sur les activités. Cependant, si les activités, le budget et les priorités sont les sujets principaux des discussions, peu d’importance semble être accordée aux indicateurs de mesure de rendement.

Au niveau opérationnel, mis à part quelques exceptions fortement reliées au leadership de quelques gestionnaires, l’information n’est pas systématiquement transmise aux employés, tant à l’administration centrale que dans les régions. Bon nombre de personnes ont indiqué qu’il pourrait être possible d’accéder à l’information en utilisant les rapports d’AADNC ainsi que son site Web, mais que l’information n’était pas nécessairement diffusée. Bien que des efforts aient été faits afin de sensibiliser les employés aux initiatives sur la réduction du fardeau administratif, ils sont surtout axés sur l’exécution des activités quotidiennes. Les discussions sur la mesure du rendement et les objectifs sont faites de manière sporadique. Les résultats du sondage démontrent d’ailleurs que plusieurs se questionnent sur l’arrimage de la gestion axée sur les résultats avec leurs tâches ou leur direction générale.

L’analyse documentaire mentionne que les intervenants externes devraient faire partie intégrante d’un canal de communications. L’objectif serait d’accroître le consensus, de faciliter la coordination des activités, d’améliorer la collaboration et de guider l’organisation dans l’atteinte de ses objectifs. Toutefois, les répondants ont souligné qu’il y avait une différence entre savoir et comprendre. Selon eux, les outils de communication, surtout les outils de reddition de compte, permettent aux bénéficiaires d’avoir une prise de conscience et de connaître le programme et les attentes, mais pas nécessairement de les comprendre dans les détails. Ainsi, très peu estiment que les organismes partenaires et les collectivités autochtones connaissent les stratégies de mesure de rendement.

Toutes les personnes interrogées s’entendent sur le fait que la communication avec les employés et les intervenants devrait être renforcée, et que plus d’effort et une meilleure coordination sont nécessaires afin de renforcer la compréhension des objectifs et de la mesure du rendement.

Évaluation

Cette figure représente une échelle des quatre catégories dans l'ordre suivant, de gauche à droite : Attention requise, Place à l'amélioration, Acceptable, Fort. Sur cette échelle, l'attribut « Communication » se classe dans la catégorie « Place à l'amélioration » et se trouve tout près de la catégorie « Attention requise ».

À la lumière des constatations ci-dessus, AADNC a obtenu l’indice de classement « place à l’amélioration » pour ce qui est des communications. Au Ministère, la communication sert principalement à appuyer la responsabilisation plutôt qu’à favoriser l’engagement et la collaboration. Cependant, la communication doit devenir, pour les gestionnaires et la haute direction, un mécanisme permettant de susciter l’intérêt et la participation à tous les niveaux, et ce, de manière transversale afin de briser le cloisonnement des programmes et de favoriser le dialogue en vue de l’atteinte des objectifs stratégiques.

2.10 Culture

Pour établir une culture axée sur les résultats, une organisation doit mobiliser les effectifs de tous les niveaux et s’assurer qu’ils sont résolus à améliorer le rendement opérationnel et les programmes. Les mécanismes comme la responsabilisation, la communication et les incitatifs formels et informels qui récompensent la réussite contribuent à instaurer des changements de comportement et créent un milieu propice à une gestion axée sur les résultats^{Note de bas de page 19}.

La majorité des répondants de l’AC et des régions comprennent l’importance théorique de la gestion axée sur les résultats (88 pour cent selon le sondage). Toutefois, il persiste un certain scepticisme à l’égard de la mise en œuvre d’une culture axée sur les résultats au sein du Ministère. Même s’il existe des outils, la culture n’est pas pour autant enracinée. La culture du Ministère demeure axée sur les transactions, le financement et les extrants. Les trois principales raisons évoquées par les répondants au sondage pour la mesure du rendement dans leur direction générale et leur secteur sont la planification à long terme, l’évaluation du rendement de certaines initiatives et la production de rapports sur le rendement et la conformité. Seulement quelque 20 pour cent des répondants ont indiqué que la gestion de la mesure du rendement était utilisée comme outil de surveillance et de contrôle dans les activités quotidiennes, en dépit du fait que la haute direction déploie des efforts considérables pour s’assurer que les résultats des rapports trimestriels sont utilisés comme outils de gestion.

On observe aussi un manque d’intégration entre les différents indicateurs et bon nombre soulignent un dédoublement de l’information ou des demandes multiples pour obtenir la même information de la part de divers intervenants du Ministère. Le mode de gestion en vase clos est toujours présent et certains répondants ont mentionné l’absence de communication relative au rendement entre les différents secteurs. Certains répondants ont même mentionné que le SCT encourage une culture de surveillance de la conformité par le truchement de ses exigences.

Une culture de gestion axée sur les résultats est flexible et permet d’apprendre du rendement antérieur, de s’adapter et d’apporter les changements nécessaires aux programmes. Les organisations devraient percevoir les erreurs comme des occasions d’apprentissage. L’organisation devrait fournir à ses gestionnaires le temps et les ressources dont ils ont besoin pour apporter les ajustements à leurs activités et créer des activités d’apprentissage en se dotant d’une structure d’échange et de communication de l’information^{Note de bas de page 20}. À AADNC, seulement 67 pour cent des répondants au sondage de l’AC et 61 pour cent des répondants régionaux estiment que leur direction générale et leur secteur tirent des apprentissages des expériences antérieures et s’adaptent en conséquence.

Enfin, certains gestionnaires estiment qu’il sera difficile de mettre en œuvre une culture de gestion axée sur les résultats tant qu’il n’y aura pas de stratégie ministérielle pour gérer le piètre rendement, tant qu’il y a un manque de coordination et d’intégration pour éviter le dédoublement de l’information (en particulier par la mise en œuvre d’outils de rendement intégrés) et tant qu’il y a un manque de compréhension à l’égard des rôles et des responsabilités pour ce qui est de l’atteinte des objectifs stratégiques.

Évaluation

Cette figure représente une échelle des quatre catégories dans l'ordre suivant, de gauche à droite : Attention requise, Place à l'amélioration, Acceptable, Fort. Sur cette échelle, l'attribut « Culture » se classe dans la catégorie « Place à l'amélioration », à mi-chemin entre « Attention requise » et « Acceptable ».

À la lumière des constatations ci-dessus et en tenant compte des facteurs intrinsèques inclus dans le présent rapport, AADNC a obtenu l’indice de classement « place à l’amélioration » pour ce qui est de la culture. Aux termes de différentes entrevues, bon nombre ont indiqué qu’en dépit du travail qu’il reste à accomplir pour passer d’une gestion fondée sur les transactions à une gestion axée sur les résultats, les outils mis en œuvre pour assurer la responsabilisation en axant les efforts sur les résultats ont amélioré la culture du Ministère. Néanmoins, il reste encore beaucoup à accomplir pour que la gestion axée sur les résultats devienne plus qu’un principe théorique dans l’esprit des gens.

3.1 Sommaire des principales constatations

En 2011-2012, le Ministère a été en mesure de réaliser des gains considérables dans certains domaines liés à la mesure du rendement. Plus particulièrement, il a entrepris des travaux pour renforcer l’harmonisation entre les documents relatifs au rendement de l’organisation et ceux relatifs au rendement des programmes, et pour réduire le fardeau redditionnel des bénéficiaires par l’entremise de son initiative de modernisation de la gestion des subventions et contributions et de la simplification du Guide de présentation des rapports des bénéficiaires. Toutefois, le Ministère reste aux prises avec des difficultés quant à la qualité et à la crédibilité de son information de même qu’à la mise en œuvre de ses stratégies de mesure du rendement.

À la lumière de l’information recueillie au moyen de l’analyse documentaire, de l’étude des documents, des entrevues et des sondages, le classement du rendement d’AADNC dans chacun des dix principaux attributs est le suivant :

La description textuelle de la classement du rendement d'AADNC

Cette figure représente une échelle des quatre catégories dans l'ordre suivant, de gauche à droite : Attention requise, Place à l'amélioration, Acceptable, Fort. L'échelle présente un sommaire des catégories de chacun des dix principaux attributs du rendement d'AADNC : Données crédibles et de qualité sur le rendement, Mise en œuvre, Responsabilités claires, Besoins communautaires, Capacité, Utilisation de l'information sur le rendement, Communication, Culture, Leadership, Harmonisation avec l'orientation stratégique. Sur l'échelle, « Données crédibles et de qualité sur le rendement » ainsi que « Mise en œuvre » se classent dans la catégorie « Attention requise ». « Responsabilités claires », « Besoins communautaires », « Capacité », « Utilisation de l'information sur le rendement », « Communication » et « Culture » se classent dans la catégorie « Place à l'amélioration ». « Leadership » et « Harmonisation avec l'orientation stratégique » se classent dans la catégorie « Acceptable ». Aucun des dix principaux attributs ne se classe dans la catégorie « Fort » sur l'échelle.

Dans l’ensemble, il a été constaté que des progrès ont été réalisés au chapitre de la promotion d’une culture axée sur les résultats à AADNC, même s’il ne fait aucun doute que le virage culturel n’en est qu’à ses premiers balbutiements. Voici quelques constatations propres aux dix principaux attributs :

1. Leadership
   
   Les fondements de la gestion axée sur les résultats sont actuellement mis en place au niveau de la haute direction, à mesure que l’on comprend mieux ce en quoi elle consiste. De plus en plus de cadres supérieurs désirent que la gestion axée sur les résultats soit intégrée aux activités quotidiennes, mais affirment que les outils et réunions actuels pourraient être améliorés afin que ce type de gestion soit à l’avant-plan des discussions. L’indice de classement de cet attribut est passé de « place à l’amélioration » à « acceptable » comparativement au rapport annuel de l’année précédente.
2. Responsabilités claires
   
   Dans le rapport de l’année précédente, cette section était intitulée « Rôles et responsabilités ». Grâce au raffinement de cet attribut et des indicateurs correspondants, l’indice de classement est passé d’« acceptable » à « place à l’amélioration ». Il y a actuellement un manque de coordination et de collaboration entre les deux groupes responsables de la mesure du rendement au Ministère, et les rôles du personnel et de l’organisation ne sont pas toujours clairs. On estime que la formation pourrait s’avérer une mesure positive qui contribuerait à clarifier les responsabilités et à orienter les personnes qui sont moins familières avec la mesure du rendement.
3. Besoins communautaires
   
   Le Ministère prend des mesures tangibles pour réduire les obligations redditionnelles des bénéficiaires en simplifiant sa structure de production de rapports et en réduisant le nombre de rapports ponctuels requis. Il a été constaté qu’AADNC pourrait s’améliorer dans ce domaine en collaborant davantage avec les intervenants lorsqu’il élabore des cadres de mesure du rendement et des indicateurs. L’indice de classement de cet attribut est passé d’« attention requise » en 2010-2011 à « place à l’amélioration » en 2012.
4. Harmonisation avec l’orientation stratégique
   
   Le Ministère a fait des avancées importantes au chapitre de l’harmonisation de ses outils de mesure du rendement et de production de rapports ministériels. Plus particulièrement, il s’est efforcé d’aligner les stratégies de MR et le Cadre de mesure du rendement. Le rapport a révélé que l’harmonisation des rapports trimestriels avec le plan d’activités du Ministère contribuerait à renforcer le lien entre les objectifs stratégiques du Ministère et les activités quotidiennes. L’évaluation de cet attribut demeure « acceptable ».
5. Données crédibles et de qualité sur le rendement
   
   La compilation de données crédibles et de qualité sur le rendement demeure un domaine qui nécessite de l’attention à AADNC. Plusieurs sources de données confirment un manque de données de qualité sur le rendement et montrent que plusieurs indicateurs ne sont pas assortis de cibles, de critères de référence et de sources de données de qualité. La rentabilité demeure un domaine auquel peu d’indicateurs sont consacrés, de sorte qu’il est difficile pour le Ministère de produire des rapports sur les questions d’efficience et d’économie.
6. Mise en œuvre
   
   La mise en œuvre est aussi un domaine clé qui nécessite de l’attention à AADNC. Comme dans les années précédentes, le Ministère continue de se buter à des problèmes pour ce qui est de la compilation et de l’analyse des données existantes, de l’accès à l’information par les utilisateurs pertinents et de la mauvaise qualité des outils de surveillance. Le Ministère continue d’utiliser MS Office comme méthode principale pour rassembler de l’information, même s’il a pris des mesures pour élaborer et mettre en œuvre des systèmes de TI afin d’améliorer l’intégrité de ses données et d’en faciliter l’analyse.
7. Capacité
   
   Le Ministère compile actuellement de grandes quantités de données qui peuvent être utilisées pour évaluer le rendement; cependant, il ne dispose pas des effectifs appropriés pour mener les analyses. Ce problème pourrait être facilement atténué en simplifiant les exigences en matière de rapports. Parmi les principales suggestions de formation pour améliorer la capacité de mesure du rendement, notons le développement de compétences pour utiliser les outils de gestion du rendement (p. ex., les tableaux de bord), la mise au point d’indicateurs appropriés et l’analyse des données compilées. Cet attribut conserve la même évaluation que l’année dernière, à savoir « place à l’amélioration ».
8. Utilisation de l’information sur le rendement
   
   L’utilisation de l’information sur le rendement varie considérablement d’un programme à l’autre; dans certains cas, elle est entièrement intégrée au processus décisionnel alors que dans d’autres, les responsables de programme ne veulent pas être imputables des produits d’information fondés sur des données sur lesquelles ils n’ont aucune maîtrise. Bien souvent, le personnel de programme continue de percevoir largement l’exercice d’établissement de rapports comme un mécanisme de vérification de la conformité. L’indice de classement de cet attribut est passé d’« attention requise » à « place à l’amélioration », principalement en raison des progrès effectués dans certains programmes pour mieux intégrer les données relatives au rendement aux processus décisionnels.
9. Communication
   
   Au Ministère, la communication est principalement utilisée pour appuyer la responsabilisation plutôt que pour favoriser l’engagement et la collaboration. Cependant, la communication doit devenir un moyen pour les gestionnaires et la haute direction de susciter l’intérêt et la participation à tous les niveaux, et ce, de manière transversale afin de briser le cloisonnement des programmes et de favoriser un dialogue pour l’atteinte des objectifs stratégiques. Cet attribut conserve l’indice de classement « place à l’amélioration ».
10. Culture
    
    La culture est un thème très important qui englobe tous les autres attributs. Dans l’ensemble, le Ministère a pris les mesures pour améliorer sa culture de gestion axée sur les résultats, mais il reste encore beaucoup à accomplir pour ce qui est de l’intégration et de l’utilisation d’information de qualité sur le rendement. La culture du Ministère demeure en grande partie axée sur les transactions, le financement et les extrants. Le manque de communication demeure l’une des principales raisons pour lesquelles le Ministère reste aux prises avec des problèmes de cloisonnement de programmes et de dédoublement de l’information et rate des occasions d’apprendre des erreurs passées. En outre, il ne dispose pas d’une stratégie complète pour gérer le mauvais rendement, ni d’une compréhension éclairée à l’égard des rôles et des responsabilités relatifs à l’atteinte des objectifs stratégiques. L’indice de classement de cet attribut s’est amélioré, passant d’« attention requise » à « place à l’amélioration ».

3.2 Prochaines étapes

Pour répondre aux points soulevés dans les conclusions ci-dessus, AADNC devrait envisager ce qui suit :

1. Améliorer la coordination entre les centres responsables de la mesure du rendement et les outils d’établissement de rapports du Ministère afin d’accroître l’harmonisation et la diffusion de l’information;
2. Collaborer davantage avec le personnel régional et les intervenants lorsqu’il met au point des cadres de mesure du rendement et des indicateurs;
3. Élaborer des indicateurs plus rigoureux par rapport à la rentabilité et à l’efficience pour répondre au besoin d’obtenir plus de renseignements dans ces domaines.
4. Établir des normes et des cibles afin de mesurer les dix attributs en prévision de la production du rapport annuel sur l’état de la mesure du rendement en collaboration avec les principaux partenaires internes.

Rapport sommaire – RCN

(Taux de réponse : 33,8 %)

Rapport sommaire – Régions

(Taux de réponse : 36,6 %)

A5. Dans le cadre de vos fonctions, compilez-vous des données relatives au rendement ou produisez-vous des rapports sur le rendement?