Archivée - État de la mesure du rendement à l'appui de l'évaluation pour 2009-2010 et 2010-2011
Renseignements archivés
Cette page a été archivée dans le Web. Les renseignements archivés sont fournis aux fins de référence, de recherche ou de tenue de documents. Ils ne sont pas assujettis aux normes Web du gouvernement du Canada et n'ont pas été modifiés ou mis à jour depuis leur archivage. Pour obtenir ces renseignements sous une autre forme, veuillez communiquer avec nous.
Rapport définitif
Date : Novembre 2011
Format PDF (221 Ko, 50 pages)
Table of contents
Liste des sigles et acronymes
AADNC | Affaires autochtones et Développement du Nord Canada |
---|---|
AAP | Architecture des activités de programme |
AINC | Affaires indiennes et du Nord Canada |
CEMRE | Comité de l'évaluation, de la mesure du rendement et de l'examen |
CGRR | Cadre de gestion et de responsabilisation axé sur les résultats |
CVAR | Cadre de vérification axé sur les résultats |
DAS | Direction de l'analyse stratégique |
DCD | Direction des collectivités durables |
DGEMRE | Direction générale de l'évaluation, de la mesure du rendement et de l'examen |
DPPS | Direction de la planification et de la politique stratégique |
DQHF | Direction des questions hommes-femmes |
EPA | Enquête auprès des peuples autochtones |
GI-TI | Gestion de l'information et technologie de l'information |
MR | Mesure du rendement |
RMR | Rapport ministériel sur le rendement |
RPP | Rapport sur les plans et les priorités |
SCT | Secrétariat du Conseil du Trésor du Canada |
SGI-SEFPN | Système de gestion de l'information des Services à l'enfance et à la famille des Premières nations |
SGRR | Structure de la gestion, des ressources et des résultats |
SIE | Système d'information sur l'éducation |
SIGI | Système intégré de gestion des immobilisations |
Sommaire
Contexte
La Directive sur la fonction d'évaluation du Secrétariat du Conseil du Trésor exige que les responsables ministériels de l'évaluation produisent un rapport annuel sur l'état de la mesure du rendement à l'appui de l'évaluation. En 2009, Affaires autochtones et Développement du Nord Canada (AADNC) a présenté son premier rapport, qui couvre les activités pour l'exercice 2008-2009. Ce rapport a cerné dix attributs propres aux systèmes de mesure du rendement de qualité dans les organisations hautement performantes. Ces attributs ont ensuite été utilisés comme critères de référence pour examiner les activités de mesure du rendement d'AADNC. Les mêmes critères sont à la base du présent rapport, qui couvre la période de 2009 à 2011.
Principales constatations
Au cours de ces deux années, AADNC a pris des mesures pour établir une assise lui permettant de faire progresser la mesure du rendement au sein du Ministère. Comme première étape, la Direction générale de l'évaluation, de la mesure du rendement et de l'examen (DGEMRE) a ajouté l'élaboration de stratégies de mesure du rendement à son plan annuel pour encourager la collecte de données sur les résultats dans le but d'éclairer les évaluations ultérieures. La Direction générale a également mis en place un processus de gouvernance qui a mobilisé des partenaires internes en ce qui touche l'élaboration de stratégies de mesure du rendement, et la haute direction pour ce qui est de l'approbation des stratégies.
Une équipe responsable de la mesure du rendement a été mise sur pied. Elle a élaboré des séances et des documents d'information pour sensibiliser à l'importance et à l'utilisation des données relatives au rendement et pour favoriser un virage vers une gestion axée sur les résultats. Le développement des capacités a aussi été encouragé, par l'élaboration d'un guide visant l'élaboration des stratégies de mesure du rendement et par la prestation de conseils à l'intention des représentants de programme. En outre, l'équipe a coordonné une étude spéciale sur des indicateurs thématiques afin de faciliter la définition des indicateurs. Entre avril 2009 et mars 2011, 19 stratégies de mesure du rendement ont été examinées par le Comité de l'évaluation, de la mesure du rendement et de l'examen, qui est présidé par le sous-ministre.
D'autres secteurs ont également collaboré à l'avancement de la mesure du rendement. Plusieurs secteurs de programme, y compris ceux de l'éducation, de l'infrastructure, des consultations et de la politique ainsi que des services à l'enfance et à la famille ont mis au point ou sont en train d'élaborer des systèmes de gestion de l'information qui permettront de recenser les renseignements relatifs au rendement. AADNC dispose également d'une stratégie de gestion de l'information à jour qu'il utilise actuellement.
L'Enquête auprès des peuples autochtones (EPA) s'est également avérée une mine de renseignements sur une variété de caractéristiques démographiques et socioéconomiques des Premières Nations, des Métis, des Inuits, des hommes et des femmes et pour l'ensemble du Canada (dans les réserves, dans le Nord, à l'extérieur des réserves et en milieu urbain). AADNC s'est efforcé de régler les problèmes liés à la participation pour la prochaine version de l'EPA.
Quatre sources de données ont servi à évaluer l'effet des activités cernées ci-dessus : une analyse documentaire/recension des ouvrages spécialisés, des entrevues, un groupe de réflexion et un indice de classement. L'indice de classement du rendement d'AADNC pour chacun des dix principaux attributs cernés dans le rapport est le suivant :
![](/DAM/DAM-CIRNAC-RCAANC/DAM-AEV/STAGING/images-images/ev_spme_scale1_1385577431403_fra.jpg)
La description textuelle de l'indice de classement du rendement d'AADNC est disponible sur une autre page.
L'indice de classement du rendement d'AADNC
Cette figure est une représentation de l'échelle utilisée pour classer le rendement d'AADNC relativement aux 10 principaux attributs relevés dans le rapport de référence. De gauche à droite, les classements sur l'échelle sont les suivants : attention requise, place à l'amélioration, acceptable et fort. Les attributs suivants ont été classés dans la catégorie « attention requise » : besoins communautaires, données crédibles sur le rendement, mise en œuvre, utilisation de l'information sur le rendement et culture. Les attributs suivants ont été classés dans la catégorie « place à l'amélioration » : leadership, capacité et communication. Les attributs suivants ont été classés dans la catégorie « acceptable » : rôles et responsabilités, et harmonisation avec l'orientation stratégique. Aucun attribut n'a été classé comme « fort ».
Les constatations révèlent que le Ministère a réalisé des progrès pour ce qui est de la mesure du rendement; cependant, comme le montrent les indices de classement ci-dessus, il reste certains domaines où il y a place à l'amélioration. AADNC ne dispose pas d'une approche coordonnée pour développer le leadership, mobiliser les collectivités et accroître la capacité à l'appui d'une culture axée sur les résultats. Par ailleurs, il y a encore un manque de données utilisables sur le rendement (données qui peuvent être utilisées pour déterminer si un programme a atteint les objectifs escomptés ou non). Les données recueillies, les besoins en matière de données, l'utilisation des données et les liens des données relatives à la mesure du rendement avec les résultats stratégiques du Ministère ne sont pas bien compris. En bref, l'établissement d'une culture axée sur les résultats à AADNC n'en est qu'à ses balbutiements.
Pour éliminer les faiblesses mentionnées ci-dessus, les sections intitulées « Évaluation » de l'analyse des dix attributs portent à penser qu'il conviendrait de procéder à une mobilisation horizontale à tous les échelons pour :- améliorer le leadership et développer la capacité de faire progresser la gestion axée sur les résultats et la gestion du rendement au sein du Ministère;
- améliorer et faire progresser les partenariats et la collaboration, y compris la façon dont nous pouvons mobiliser les collectivités, tout en contribuant à réduire les lourdeurs administratives;
- mieux comprendre quelles sont les données actuellement compilées et cerner les données requises pour mieux comprendre les effets et les résultats et en rendre compte;
- surveiller la mise en œuvre des stratégies de gestion du rendement et l'utilisation des données relatives à la gestion du rendement;
- promouvoir la croissance d'une culture axée sur la gestion du rendement à AADNC.
Conclusion et prochaines étapes
Pour régler les problèmes mentionnés ci-dessus et promouvoir la croissance d'une culture axée sur le rendement à AADNC, la DGEMRE est déterminée à :
- obtenir un engagement élargi à tous les échelons pour améliorer le leadership, cerner des incitatifs à l'utilisation des données sur le rendement et accroître la capacité;
- promouvoir une collaboration améliorée avec des partenaires internes et externes pour s'assurer que de meilleures données sont disponibles à l'appui d'activités efficaces de mesure du rendement et de gestion axée sur les résultats;
- élaborer un plan de communication qui cible différents publics pour encourager l'acceptation de la mesure du rendement en tant qu'outil de gestion essentiel;
- analyser les données actuellement compilées, les besoins en matière de données aux fins de l'établissement de rapport sur le rendement et de la réduction des lourdeurs administratives;
- lancer une stratégie de suivi de la mise en œuvre des stratégies de gestion du rendement. Cette stratégie contribuera à l'évaluation de l'état de la mesure du rendement à AADNC, et servira de tribune d'échange où les représentants des programmes et les partenaires répertorieront les obstacles, les pratiques exemplaires, les besoins en matière de communication et les produits de formation.
1. Introduction
En avril 2009, le Secrétariat du Conseil du Trésor du Canada (SCT) a adopté la Politique sur l'évaluationNotes en bas de page 1, qui a eu une influence considérable sur la façon d'aborder la question de l'évaluation au sein des organismes et des ministères fédéraux. Axée sur la responsabilisation et la prise de décisions, cette politique insiste sur l'importance de recueillir des données crédibles et neutres en temps opportun afin d'établir des rapports sur la pertinence et sur le rendement des programmes et des services gouvernementaux. Elle est à l'origine de plus grandes attentes à l'égard de la portée de l'évaluation et de la qualité des projets d'évaluation, de même que de la mise en œuvre de la mesure continue du rendement à l'appui de ces travaux.
La Directive sur la fonction d'évaluation du SCTNotes en bas de page 2 décrit les rôles et les responsabilités des sous-ministres, des gestionnaires de programme et des chefs de l'évaluation. En ce qui a trait à la gestion du rendement, cette directive indique qu'il incombe aux responsables de l'évaluation d'examiner les stratégies de gestion du rendement et de fournir des conseils en cette matière, de même que de fournir une orientation concernant les dispositions sur la responsabilisation et le rendement à inclure dans les documents du Cabinet. Ceux-ci sont également responsables d'examiner le Cadre de mesure du rendement, enchâssé dans la Structure de la gestion, des ressources et des résultats (SGRR) de leur ministère, et de fournir des conseils à son égard. Enfin, ils sont responsables de présenter un rapport annuel à leur comité d'évaluation ministériel sur l'état de la gestion du rendement à l'appui de l'évaluation.
En 2009, Affaires autochtones et Développement du Nord Canada (AADNC), autrefois Affaires indiennes et du Nord Canada (AINC), a déposé son premier rapport sur l'état de la mesure du rendement intitulé « La mesure du rendement des programmes à l'appui de l'évaluation à Affaires indiennes et du Nord Canada »Notes en bas de page 3. Ce premier rapport (ci-après appelé le rapport de référence) portait sur la période 2008-2009 et a été approuvé par le Comité de l'évaluation, de la mesure du rendement et de l'examen (CEMRE) en septembre 2009. La préparation d'un deuxième rapport a été retardée pour permettre d'exécuter des travaux sur les stratégies de gestion du rendement, puis de nouveau en raison de l'importante charge de travail et de problèmes liés à la passation de marchés. En conséquence, le présent rapport couvre les exercices 2009-2010 et 2010-2011.
Il est important de signaler ici qu'AADNC reconnaît que la gestion du rendement ne sert pas qu'à la fonction d'évaluation. L'information relative au rendement peut être utilisée aux fins de l'élaboration des politiques, de la planification, de la surveillance, de la prise de décisions et de l'établissement de rapports, et également pour réagir à un virage pangouvernemental vers une gestion et une culture axées sur les résultats. Par ailleurs, même si le sous-ministre, les gestionnaires de programme et le responsable de l'évaluation (dirigeant principal de la vérification et de l'évaluation) ont été guidés par les politiques et les directives du SCT, et s'acquittent de responsabilités en découlant, il est clair que tous les secteurs d'AADNC doivent jouer un rôle pour s'assurer d'avoir accès à des données fiables et pertinentes, ainsi qu'à des systèmes de gestion des données et à des rapports sur le rendement. Le présent rapport analyse les mesures prises à l'échelle du Ministère.
1.1 Contexte
Le rapport de référence offre un cadre de référence général pour interpréter et évaluer les travaux relatifs à la mesure du rendement au sein du Ministère, y compris pour ce qui est de l'identification des principaux partenaires et intervenants. Pour orienter l'évaluation, une recherche a été effectuée afin de cerner les principaux attributs propres aux systèmes de mesure du rendement de qualité qui caractérisent les organisations hautement performantes. Ces attributs ont ensuite été utilisés comme critères de référence pour examiner les activités de gestion du rendement du Ministère.
Au total, dix critères ont été établis pour orienter l'évaluation. Le tableau 1 fournit une liste de haut niveau de ces attributs. Dans l'ensemble, le rapport de référence indiquait qu'AADNC avait réalisé des progrès notables au chapitre de la mise en place d'un système de gestion du rendement efficace principalement par le truchement des initiatives de développement du leadership et des capacités. Parmi les principaux domaines où il y a place à l'amélioration, notons l'amélioration des communications et la mobilisation des intervenants, ainsi que la clarification des rôles et des responsabilités liés aux activités de gestion du rendement.
Tableau 1 : Les dix principaux attributs propres à un système de mesure du rendement de qualité
PRINCIPAL ATTRIBUT | BRÈVE DESCRIPTION |
---|---|
Leadership | Les hauts échelons d'une organisation participent (ou sont perçus comme participant) à une culture de la mesure du rendement et l'appuient activement. |
Responsabilités claires | Les rôles et les responsabilités en matière de mesure du rendement sont bien définis et compris à tous les échelons du Ministère. |
Besoins communautaires | Les besoins et la capacité de la collectivité bénéficiaire des activités de gestion du rendement sont intégrés au processus. |
Harmonisation avec l'orientation stratégique | La mesure du rendement est en harmonie avec l'orientation stratégique du Ministère. |
Données crédibles sur le rendement | L'information et les données saisies grâce aux activités de gestion du rendement semblent fiables. |
Mise en œuvre | Les activités de gestion du rendement sont pleinement mises en œuvre et surveillées. |
Capacité | Les intervenants ont la capacité de répondre aux exigences relatives à la mesure du rendement. |
Utilisation de l'information sur le rendement | L'information et les données relatives à la mesure du rendement sont utilisées pour éclairer le processus décisionnel, de planification et d'établissement de rapports. |
Communication | Tous les intervenants et les partenaires sont mobilisés et les employés connaissent la valeur des activités de gestion du rendement ainsi que leur rôle. |
Culture | Il existe une culture bien établie axée sur les résultats, où les activités de gestion du rendement appuient efficacement l'environnement opérationnel du Ministère. |
Veuillez prendre note que certains des noms et des définitions relatifs aux attributs ont été précisés dans ce rapport. Par exemple, le terme « Responsabilités claires » ci-dessus est défini comme la description des rôles et des responsabilités. Le nom de cet attribut a été modifié dans ce rapport pour « Rôles et responsabilités » pour mieux refléter la définition.
1.2 Bien-fondé et portée
Le titre du présent rapport porte à penser que le but visé est de discuter de la mesure du rendement à l'appui de l'évaluation; cependant, la portée du rapport est beaucoup plus vaste. En reconnaissant que la mesure du rendement contribue à une gestion axée sur les résultats de même qu'à l'évaluation, le rapport s'intéresse à la contribution de la mesure du rendement pour ce qui est de la gestion des programmes, de la surveillance et de l'établissement de rapport ainsi que de l'évaluation. En fait, il sera difficile de mesurer l'influence de la gestion du rendement sur l'évaluation jusqu'à ce que les évaluations visent des programmes assortis de stratégies de gestion du rendement pleinement mises en œuvre, ce qui ne se produira pas encore avant trois ou quatre ans. À court terme, l'attention sera axée sur les efforts d'établissement de systèmes de gestion du rendement plus généraux conformément à l'orientation actuelle fournie par le SCT. Les versions futures du rapport annuel sur l'état de la mesure du rendement pourront s'intéresser à l'incidence de la gestion du rendement sur l'évaluation, car les stratégies de gestion du rendement seront mises en œuvre et les programmes connexes feront l'objet de l'évaluation.
Pour les besoins du présent rapport, les activités de gestion du rendement correspondent aux activités entreprises à l'appui de la surveillance, de la mesure et de l'évaluation du rendement des programmes et services d'AADNC, et de l'établissement de rapports sur ceux-ci. L'accent a été mis sur l'examen des activités liées à l'élaboration et à la mise en œuvre de stratégies de mesure du rendement, compte tenu de leur rôle clé à l'appui du Ministère dans sa réponse aux engagements formulés dans la Politique sur l'évaluation et la directive afférente.
1.3 Collecte de données et méthodologie
En novembre 2010, le CEMRE a approuvé le cadre de référence du présent projet. Les activités de recherche se sont amorcées en décembre 2010 et ont été achevées en mars 2011. En plus de satisfaire aux exigences du SCT, le rapport contribuera à faire progresser le programme de mesure du rendement d'AADNC en répertoriant les leçons apprises, les pratiques exemplaires et les occasions de progrès.
Les constatations issues de ce rapport sont fondées sur plusieurs sources de données. Les sous-sections suivantes font état des principales sources de données et méthodologies utilisées.
1.3.1 Analyse documentaire et examen des documents
Afin d'obtenir des renseignements sur le contexte dans lequel s'inscrit la mesure du rendement à l'échelle du gouvernement, il a fallu faire l'examen des rapports et des plans du gouvernement fédéral. En outre, au cours des mois de janvier et de février 2011, la Direction générale de l'évaluation, de la mesure du rendement et de l'examen (DGEMRE) a compilé les rapports de vérification et d'évaluation d'AADNC de même que les stratégies sur la mesure du rendement approuvées depuis avril 2009. Les rapports organisationnels, les politiques et les plans pertinents ainsi que les documents disponibles sur les initiatives et études spéciales ont aussi été examinés. Tous ces documents ont été examinés afin d'en dégager des détails sur la nature des activités de gestion du rendement qui sont déployées à l'échelle des secteurs de programme et des divisions organisationnelles du Ministère, y compris sur les forces, les domaines de progrès, les défis et les occasions d'amélioration. Enfin, des documents publiés et non publiés ont été recensés afin de servir de documents de référence pour ce qui est des dix principaux attributs, y compris des pratiques exemplaires et des leçons apprises.
Entrevues
Des entrevues en personne ont été effectuées en février et en mars 2011 avec un échantillon de cadres supérieurs d'AADNC au niveau des directeurs et des directeurs généraux. Ces entrevues visaient à en apprendre davantage sur les activités de gestion du rendement qui sont déployées dans les différents secteurs ministériels, à dégager des renseignements sur certains des enjeux et des histoires de réussite notables du Ministère, et à cerner toute possibilité de gains d'efficacité ou les domaines où il y a place à l'amélioration. Les participants ont été choisis à l'aide d'une stratégie d'échantillonnage officieuse. L'organigramme du Ministère a servi de liste de référence, et le cadre d'échantillonnage a été défini de manière à viser les représentants de la haute direction responsables des principaux secteurs de programme. À partir de cette liste simplifiée, les personnes invitées à une entrevue ont été sélectionnées parmi les personnes réputées les mieux renseignées sur les activités de gestion du rendement en cours dans leurs secteurs respectifs, de même qu'à l'échelle du Ministère d'une façon plus générale. Compte tenu de la pertinence de leurs activités par rapport à l'objet du présent rapport, les cadres supérieurs du Secteur de la vérification et de l'évaluation ainsi que le représentant spécial du sous-ministre pour la réduction des rapports ont aussi été ajoutés à la liste des invités. Dans l'ensemble, 13 des 15 cadres supérieurs invités à une entrevue ont accepté de participer, ce qui représente un taux de réponse de 81 pour cent. Le guide d'entrevue se trouve à l'annexe A du présent rapport.
1.3.3 Groupe de réflexion
L'objectif de la séance en groupe de réflexion était d'obtenir de la rétroaction et des commentaires sur l'élaboration et la mise en œuvre des stratégies de gestion du rendement. Les représentants de programmes qui avaient participé à l'élaboration d'une stratégie de gestion du rendement entre le 1er avril 2009 et le 31 mars 2011 ont été invités à participer à la séance qui a eu lieu en mars 2011. Au total, 27 représentants de programmes ont été invités à cette séance et huit ont accepté d'y participer. Les questions soumises aux discussions pendant la séance ont été communiquées par courriel après les travaux du groupe de réflexion pour encourager les personnes qui n'ont pas été en mesure de participer à faire part de leur rétroaction écrite. D'autres réponses ont été reçues de la part de trois représentants de programmes, ce qui porte le taux de réponse global à 41 pour cent. L'annexe B du rapport présente le guide de discussion utilisé par le groupe de réflexion.
1.3.4 Classement
Le rapport sur l'état de la mesure du rendement propose une nouveauté dans cette version, à savoir le classement du rendement du Ministère par rapport à chacun des dix principaux attributs cernés dans le rapport de référence. Les niveaux de mesure utilisés sont les mêmes que ceux utilisés dans le cadre de responsabilisation de la gestion :
![](/DAM/DAM-CIRNAC-RCAANC/DAM-AEV/STAGING/images-images/ev_spme_scale2_1385577526360_fra.jpg)
(Les niveaux de mesure : Attention requise; Place à l'amélioration; Acceptable; Fort)
Afin d'orienter le classement, les principaux attributs ont été précisés encore davantage et des indicateurs ont été élaborés. Les indices de classement ont été attribués à la lumière de l'information qui s'est dégagée de l'analyse documentaire et de l'examen des documents, des entrevues et des groupes de réflexion.
1.4 Limites du projet
La production du rapport a présenté plusieurs écueils. Par exemple, il a été difficile de dégager des données correspondant à l'ensemble des activités de gestion du rendement dans les différents secteurs parce qu'il n'existe aucun réseau officiel pour mettre en commun de l'information sur la gestion du rendement au sein du Ministère. Ainsi, la plus grande partie des documents examinés avait été préparée par le Secteur de la vérification et de l'évaluation. Cette limite pourra être partiellement surmontée par la présentation d'une version préliminaire du rapport afin de recueillir les commentaires des principaux partenaires et du Comité de coordination des directeurs généraux sur les politiques.
Parallèlement, bien que certains efforts aient été déployés pour cerner les activités à l'échelle du Ministère, bon nombre des mesures présentées ainsi que les étapes suivantes proposées sont largement axées sur la DGEMRE. Étant donné que la mesure du rendement exige une approche panorganisationnelle, les prochains rapports devront mieux intégrer les activités des autres secteurs.
Le processus de sélection des personnes reçues en entrevue n'a pas nécessairement permis d'inviter les candidats les mieux renseignés. Comme il a été indiqué précédemment, les hauts gestionnaires réputés avoir le plus de connaissances sur les activités de gestion du rendement en cours dans leurs secteurs respectifs de même qu'à l'échelle du Ministère, d'une façon plus générale, ont été sélectionnés aux fins de l'entrevue. Les représentants ministériels bien renseignés sur les activités de gestion du rendement n'ont peut-être pas été sélectionnés pour l'entrevue, et le point de vue des intervenants ayant des responsabilités administratives n'a pas été saisi.
La participation aux groupes de réflexion a plutôt été décevante. Sur les 27 personnes invitées, seulement huit ont participé et trois autres personnes ont répondu aux questions par voie électronique. La participation aux entrevues et aux groupes de réflexion s'est peut-être butée à l'entrave représentée par le moment choisi pour leur tenue au quatrième trimestre (fin de l'année financière).
Il a été difficile d'évaluer les progrès du Ministère par rapport aux dix principaux critères, car aucun paramètre de mesure n'avait été établi avant la collecte des données. Des indicateurs ont été définis pour préciser le point de mire des travaux de recherche, mais ils n'ont été établis qu'une fois l'exercice de collecte des données terminé. Le classement a donc du prendre appui sur les données disponibles, qui n'étaient pas toujours liées avec les indicateurs. Il conviendrait d'atteindre un équilibre entre les sources de données quantitatives et les sources de données qualitatives pour la production des prochains rapports afin de réduire la dépendance envers les entrevues ou les travaux des groupes de réflexion.
2. Principales constatations
Afin de dresser un certain contexte pour la tenue de discussions sur les constatations, les paragraphes suivants fournissent une description de l'évolution de l'équipe responsable de la gestion du rendement à la DGEMRE et des activités au cours des périodes 2009-2010 et 2010-2011. Les activités de gestion du rendement d'autres groupes internes sont également mises en relief.
En 2009-2010, une petite équipe composée d'un gestionnaire et de 2,5 équivalents temps plein a été mise sur pied à la DGEMRE pour répondre aux exigences en matière de mesure de rendement, comme il est précisé dans la Politique sur l'évaluation du Conseil du Trésor. L'équipe mise sur pied était distincte des équipes d'évaluation de la DGEMRE afin de concentrer ses efforts sur la mesure du rendement. Les activités de cette équipe ont été éclairées par le premier rapport sur le rapport de référence 2009 et l'étude de 2008 sur le cadre de gestion et de responsabilisation axé sur les résultats (CGRR), mettant en relief les problèmes liés à la définition des objectifs, à la mesure de rendement, aux résultats, aux cibles, aux mécanismes de collecte de données, aux données de référence, à la surveillance et aux rapports. Bien que l'équipe ait axé principalement ses travaux sur l'élaboration de stratégies de gestion du rendement, ses cinq domaines prioritaires étaient les suivants : la planification, la gouvernance, la mobilisation des intervenants, le développement des capacités et l'évaluation du progrès.
La question de la planification a été traitée par l'intégration des stratégies de gestion du rendement en 2009-2010 dans la mise à jour du plan d'évaluation ministériel. Les exigences relatives aux stratégies de gestion du rendement étaient largement fondées sur les recommandations d'évaluation et l'étude spéciale de 2008 sur le CGRR, qui établissaient un classement fondé sur la robustesse des rapports sur le CGRR/cadre de vérification axé sur les résultats (CVAR). Ceux qui obtenaient une faible cote obtenaient la priorité. Par ailleurs, les analystes du SCT ont exigé des stratégies de gestion du rendement pour plusieurs programmes admissibles à du financement au titre du Cadre fédéral pour le développement économique des Autochtones avant l'octroi de tout financement.
En 2009-2010, 26 stratégies de gestion du rendement ont été répertoriées dans le plan afin de les mener à bien, et 7 stratégies de gestion du rendement, considérées à risque élevé, devaient être portées à l'attention du CEMRE pour approbation. L'intégration des stratégies de gestion du rendement à la mise à jour annuelle du plan d'évaluation quinquennal visait à permettre au Ministère d'être en meilleure position pour veiller à ce que les données relatives au rendement soient disponibles aux fins de la gestion continue des résultats et des évaluations de programmes prévues au calendrier.
La notion de gouvernance renvoie à l'établissement des rôles, des responsabilités et des processus liés à l'élaboration de la mesure du rendement au sein du Ministère. D'avril 2009 jusqu'à mars 2011, la DGEMRE a appuyé l'élaboration des stratégies de gestion du rendement par le truchement d'activités de renforcement des capacités dans les programmes, sous forme de présentations et de la participation à des groupes de travail sur la mise au point d'un modèle logique et la définition d'indicateurs de rendement, ou encore de la direction de ces groupes. La définition des indicateurs a également été facilitée par l'exécution du projet de recherche sur les indicateurs thématiques en 2009-2010, lequel a permis de cerner les principaux indicateurs de rendement dans six domaines thématiques qui représentent la vaste étendue du mandat d'AADNC, à savoir : la santé et le mieux-être, l'environnement, l'éducation, l'économie, la gouvernance et l'infrastructure. Ce rapport ne propose pas d'ensemble d'indicateurs normatifs, et encourage plutôt un changement de paradigme à l'égard de l'objet et de l'esprit de la mesure du rendement, car les indicateurs répertoriés peuvent être largement appliqués à l'intérieur des différents domaines de programme du Ministère.
La question du développement des capacités a également été traitée par la production du Guide des gestionnaires de programme d'AINC sur les stratégies de mesure du rendement, approuvé par le CEMRE en décembre 2009. Ce document d'orientation était en harmonie avec les lignes directrices du SCT et introduisait la notion de mesure du rendement, décrivait les rôles et responsabilités et le processus de gouvernance mentionné ci-dessus et proposait des définitions ainsi qu'une marche à suivre étape par étape sur la préparation des principales composantes d'une stratégie de gestion du rendement. Les annexes renfermaient plusieurs modèles, outils d'évaluation et autres outils. Ce document d'orientation a été mis à jour en novembre 2010 et demeure un manuel de référence en constante évolution qui fait état des pratiques exemplaires qui se dégagent des observations de l'expérience organisationnelle et du gouvernement fédéral dans son ensemble.
Dès le départ, les stratégies de gestion du rendement ont été approuvées par les sous-ministres adjoints responsables du programme, ainsi que par le dirigeant principal de la vérification et de l'évaluation et soumises au CEMRE à titre d'information uniquement. Seules les stratégies de gestion du rendement considérées « à risque élevé » ont été soumises à l'approbation du CEMRE. Le document d'orientation de novembre 2010 proposait un processus d'approbation selon lequel les sous-ministres adjoints responsables du programme présentaient leurs stratégies de gestion du rendement au CEMRE à des fins d'approbation définitive. Le processus de gouvernance actuel pour l'élaboration, l'approbation et la mise en œuvre des stratégies de gestion du rendement est décrit ci-après :
Figure 1 : Organigramme de la stratégie de gestion du rendement
![](/DAM/DAM-CIRNAC-RCAANC/DAM-AEV/STAGING/images-images/ev_spmefg1_1385577555408_fra.jpg)
La description textuelle de la figure 1
Figure 1 : Organigramme de la stratégie de gestion du rendement
Cette figure est une représentation du processus de gouvernance actuel pour l'élaboration, l'approbation et la mise en œuvre des stratégies de gestion du rendement.
- La première étape du processus est la réunion d'orientation, qui comprend un aperçu du processus, l'attribution des outils et l'établissement du calendrier. Le soutien interne pour cette étape provient de la DGEMRE et de la DPPS. Cette étape est dirigée par la DGEMRE.
- À la deuxième étape, un groupe de travail est constitué. Les partenaires sont notamment les représentants de programme et les représentants régionaux. Le soutien externe est fourni par des spécialistes, d'autres ministères et des intervenants. Le soutien interne comprend la DPPS, la DAS, la DQHF, la DCD et la DGEMRE.
- La troisième étape du processus est l'élaboration du modèle logique. Cette étape correspond à la première séance du groupe de travail.
- La quatrième étape consiste à mettre au point les indicateurs de rendement, étape au cours de laquelle la deuxième séance du groupe de travail a lieu. L'élaboration du modèle logique et des indicateurs de rendement est un processus itératif.
- La cinquième étape du processus de la stratégie de gestion du rendement consiste à élaborer les autres composantes, dont le plan d'évaluation, ainsi que la matrice de mesure du rendement et le plan de mise en œuvre.
- La sixième étape du processus consiste à ébaucher la stratégie de gestion du rendement. Il s'agit de présenter la stratégie à la DGEMRE aux fins de l'examen par les pairs et de l'approbation du plan d'évaluation par le gestionnaire principal de l'évaluation approprié.
- La septième étape est celle de l'analyse et des recommandations de la DGEMRE et des autres, ce qui comprend la rétroaction écrite officielle. La DGEMRE fournit une évaluation d'ensemble fondée sur les commentaires des spécialistes des services internes. Cette étape est dirigée par la DGEMRE.
- À la huitième étape, la stratégie de gestion du rendement définitive est présentée à la DGEMRE dans les deux langues officielles, pour insertion dans le cartable du CEMRE deux semaines avant la réunion. Elle est également approuvée par le DG et le SMA.
- La stratégie de gestion du rendement est alors transmise au CEMRE pour approbation. Le SMA du programme présente la stratégie et le CEMRE fait un compte rendu aux partenaires des services internes et aux intervenants.
- Enfin, dans le cadre du suivi du CEMRE, le processus est axé sur la collecte de données, l'intégrité des données et la pertinence continue des indicateurs. Les recommandations du CEMRE font aussi l'objet d'un suivi. Cette étape du processus a lieu annuellement et est dirigée par la DGEMRE.
L'ensemble du processus relatif à la stratégie de gestion du rendement dure de 4 à 7 mois, environ.
Comme il est indiqué ci-dessus, la DGEMRE a également mobilisé les principaux partenaires des services internes d'AADNC en vue de l'élaboration de stratégies de gestion du rendement afin d'intégrer les indicateurs de rendement sur les questions hommes-femmes, qui présentent un intérêt pour la Direction des questions hommes-femmes, et le développement durable, qui relève de la Direction des collectivités durables. La définition des indicateurs était également un exercice d'intérêt pour la Direction de la planification et de la politique stratégique (DPPS), qui est responsable du cadre de mesure du rendement, lequel sert de répertoire ministériel des mesures du rendement à utiliser dans le Rapport sur les plans et les priorités (RPP), le Rapport ministériel sur le rendement (RMR), le plan stratégique, le plan d'activités, les rapports trimestriels et les stratégies de gestion du rendement. La Direction de la planification et des priorités stratégiques a participé à la définition des sources de données possibles, et la Direction générale de la gestion de l'information s'est montrée intéressée au système de collecte de données proposé.
La DGEMRE a tenu des séances réunissant ses partenaires internes afin de clarifier les rôles et responsabilités rattachés aux activités de gestion du rendement du Ministère. En novembre 2010, l'équipe de mesure du rendement de la DGEMRE a organisé un atelier de collaboration sur la mesure du rendement. L'objectif de cet atelier était d'offrir aux partenaires internes l'occasion de cerner leurs rôles et d'en discuter durant le processus d'élaboration de la stratégie de gestion du rendement, et de dégager les principaux défis et occasions en vue de favoriser une meilleure coordination. Au terme de l'atelier, la DGEMRE a établi des partenariats officiels avec les partenaires organisationnels suivants : la Direction des questions hommes-femmes, la Direction des collectivités durables, la Direction de la planification et de la politique stratégique (DPPS), la Direction de l'analyse stratégique, ainsi que l'équipe de gestion de l'information et technologie de l'information (GI-TI). Une approche de type « équipe-choc » a été adoptée pour examiner les stratégies de gestion du rendement, et formuler de la rétroaction sur celles-ci avant de les présenter au CEMRE. Les partenaires ont participé à un atelier sur les indicateurs et le modèle logique, et ont fourni une rétroaction officieuse sur l'ébauche des stratégies de gestion du rendement.
Les actions ci-dessus liées à la planification, à la gouvernance, à la mobilisation des intervenants et au développement des capacités ont contribué à l'achèvement de trois stratégies de gestion du rendement en 2009-2010, et de 16 autres en 2010-2011. Un examen des 19 stratégies de gestion du rendement par rapport aux 15 principales composantes (comme la description de programme, le modèle logique et le plan de mise en œuvre) montre un niveau élevé d'uniformité quant au contenu des stratégies. La figure 2 ci-après résume les constatations issues de cet examen.
Figure 2 : Contenu des 19 stratégies de mesure du rendement approuvées en 2009-2010 et en 2010-2011
![](/DAM/DAM-CIRNAC-RCAANC/DAM-AEV/STAGING/images-images/ev_spmefg2_1385577613816_fra.jpg)
La description textuelle de la figure 2
Figure 2 : Contenu des 19 stratégies de mesure du rendement approuvées en 2009-2010 et en 2010-2011
Cette figure est un graphique qui illustre le contenu des rapports sur les stratégies de mesure du rendement approuvées en 2009-2010 et 2010-2011. Le nombre de rapports se trouve du côté gauche de l'axe y et le pourcentage du nombre total de rapports se trouve du côté droit de l'axe y. Les éléments des rapports se trouvent sur l'axe x. Ces éléments sont les suivants : description du programme, modèle logique, activités, extrants, résultats, évaluation des risques, matrice de la SGR, sources de données de la SGR, indicateurs cibles de la SGR, harmonisation de la SGR à l'AAP, plan de mise en œuvre de la SGR, risque lié aux données relatives à la mesure du rendement, exigences en matière de rapports, stratégie d'évaluation/matrice/plan, et enjeux liés à la mesure du rendement. Une description de programme est comprise dans 19 rapports, c'est-à-dire la totalité des rapports. Un modèle logique est présenté dans 19 rapports, c'est-à-dire la totalité. Une composante sur les activités se trouve dans 19 rapports, c'est-à-dire la totalité. Une composante sur les extrants est comprise dans 19 rapports, c'est-à-dire la totalité. Une composante sur les résultats est intégrée dans 19 rapports, c'est-à-dire la totalité. Une évaluation des risques se trouve dans 17 rapports, soit 90 % des rapports. Une matrice de la SGR est comprise dans 19 rapports, soit la totalité. Les sources de données de la SGR sont indiquées dans 16 rapports, soit 85 %. Les indicateurs cibles de la SGR sont compris dans 16 rapports, soit 85 % du total. Une composante sur l'harmonisation de la SGR avec l'AAP se trouve dans 7 rapports, soit 37 %. Un plan de mise en œuvre de la SGR est compris dans 18 rapports, soit 95 % du total. Les risques liés aux données sur la mesure du rendement sont présentés dans 11 rapports, soit 58 %. Un élément sur les exigences en matière de rapports se trouve dans 3 rapports, soit 16 %. Un élément de stratégie d'évaluation/matrice/plan se trouve dans 18 des rapports, soit 95 %. Enfin, les enjeux liés à la mesure du rendement sont décrits dans 12 rapports, soit 63 % du total.
Dans l'ensemble, 6 des 15 principales composantes d'une stratégie de gestion du rendement ont été couvertes dans la totalité des stratégies de gestion du rendement mises au point. Les neuf composantes restantes n'ont pas été couvertes de manière uniforme. La composante la plus épineuse semble celle liée aux « exigences en matière de rapports », car 16 des stratégies de gestion du rendement n'ont pas abordé cette question. Selon le Groupe d'experts indépendant sur les subventions et les contributions, les exigences en matière de rapports concernent la simplification du régime d'établissement de rapports et de responsabilisation pour refléter les réalités et capacités des bénéficiaires et les véritables besoins du gouvernement et du Parlement. La deuxième composante la plus épineuse en importance était celle de l'« harmonisation de la stratégie de gestion du rendement à l'architecture des activités de programme (AAP) »; 12 stratégies de gestion du rendement ne traitaient pas de ce sujet. Par ailleurs, huit stratégies ne traitaient pas des « risques liés aux données relatives à la mesure du rendement » et sept ne traitaient pas des « enjeux liés à la mesure du rendement ».
En juin 2010, la DGEMRE a proposé un projet de recensement des indicateurs pour mesurer les stratégies de gestion du rendement mises au point à ce jour et pour examiner leur lien ou leur contribution par rapport aux exigences ministérielles globales en matière de rapports et pour évaluer si les indicateurs sélectionnés permettent de dresser un portrait cohérent du rendement au sein du Ministère. Le Programme d'immobilisations et d'entretien (stratégie globale de mesure du rendement en matière d'infrastructure) a été utilisé comme pilote. L'objectif était le suivant :
- Valider la logique et les résultats;
- Valider, préciser et si possible simplifier les indicateurs pour s'assurer qu'ils sont axés sur les principaux résultats et réduire le chevauchement, les redondances et l'établissement de rapports inutiles;
- Assurer l'harmonisation des énoncés de résultats et des indicateurs du cadre de mesure du rendement et d'autres exigences en matière de planification et d'établissement de rapport (p. ex. RPP/RMR, rapports trimestriels, plans d'activités);
- Clarifier et valider les exigences en matière de collecte de données;
- Recenser les interrelations des programmes dans l'AAP.
Les résultats de ce projet pilote ont révélé des indicateurs qui pouvaient être simplifiés et réduits d'un tiers, renforcés, validés et appliqués aux différents cadres et exigences en matière de rapport, et ont abouti à un plan de mise en œuvre des données en 10 étapes.
La stratégie globale de mesure du rendement pour le Cadre fédéral pour le développement économique des Autochtones et cinq sous-stratégies approuvées ont été ciblées pour un exercice analogue. Une analyse initiale de ces stratégies de gestion du rendement a permis de mettre au jour plus de 177 indicateurs dans 16 énoncés de résultats uniques, ce qui représente une moyenne de 11 indicateurs par résultat. Ce projet de recension n'a pas été mis en œuvre en raison des diverses refontes de programmes, de la pertinence du programme et des changements à l'effectif au sein de l'équipe responsable de la gestion du rendement.
Outre la DGEMRE, d'autres services du Ministère ont réalisé des progrès relativement à la mesure du rendement. L'Enquête auprès des peuples autochtones (EPA) a été mise en œuvre pour la première fois en 1991 afin de recueillir des données qui n'avaient pas été recensées dans le Recensement de 1991. Cette enquête à participation volontaire administrée après le recensement est devenue une composante essentielle de l'exercice de collecte de données sur les Autochtones, et elle a été répétée en 2001 et en 2006. L'Enquête fournit des données sur les conditions sociales et économiques des peuples autochtones du Canada. Plus précisément, elle permet de cerner les besoins des peuples autochtones, et de se concentrer sur des questions comme la santé, la langue, l'emploi, le revenu, la scolarisation, le logement et la mobilité. En 2010-2011, des travaux préparatoires ont été accomplis en vue de cerner les secteurs d'amélioration pour la prochaine édition de l'Enquête, y compris pour mieux harmoniser l'Enquête avec les priorités, et déterminer comment accroître la mobilisation et la participation des collectivités des Premières Nations.
En septembre 2010, le Secteur des programmes et des partenariats en matière d'éducation et de développement social a reçu l'approbation préliminaire du SCT pour mettre au point le Système d'information sur l'éducation. Ce système, qui devrait intégrer l'ensemble des données relatives à l'éducation et des processus d'établissement de rapports, permettra de faire le suivi du rendement, de mesurer les réussites et d'appuyer l'amélioration continue des programmes.
D'autres systèmes de gestion des données sont également en cours d'élaboration. Dans le cadre du Programme d'immobilisations et d'entretien, le Système intégré de gestion des immobilisations a été élaboré afin de favoriser un meilleur suivi de l'information relative aux programmes et aux projets. L'Alberta procède actuellement au développement d'un système de gestion des données amélioré (aux premières étapes), appelé à être déployé à l'échelle nationale, pour les besoins du Programme des services à l'enfance et à la famille des Premières Nations.
AADNC dispose actuellement d'une stratégie de gestion de l'information et d'un plan de mise en œuvre qui cerne les objectifs opérationnels du Ministère, les résultats en matière de programmes et de services, les besoins opérationnels et les responsabilités, ainsi que les exigences découlant de la politique sur la gestion de l'information. Cette stratégie de GI est partiellement intégrée à d'autres stratégies et plans organisationnels. Certains programmes (p. ex. consultation et politique) visent à pallier l'absence d'un système intégré d'information en examinant et en révisant l'ensemble des instruments de collecte de données, en cernant des résultats réalistes et significatifs, des indicateurs et des cibles par l'élaboration de la stratégie de gestion du rendement, et en mettant au point des systèmes de gestion de l'information.
En dépit des efforts mentionnés ci-dessus, le profil de risque de l'organisation de 2010 a établi qu'il est possible que le Ministère ne fasse pas suffisamment de progrès pour améliorer son accès en temps utile à des données pertinentes, cohérentes et exactes qui l'aideront à prendre des décisions en matière de planification, de répartition des ressources et de programmes, faciliteront ses activités de surveillance et de suivi et lui permettront de s'acquitter de ses obligations légales, réglementaires et d'imputabilité. Les facteurs de risque à l'origine de cette constatation et la réponse du Ministère sont les suivants :
Tableau 2 : Facteurs de risque et réponses quant au risque lié à l'information nécessaire à la prise de décisions, selon l'évaluation des risques de l'organisation de 2010
Facteurs de risque | Réponses |
---|---|
|
|
En date de décembre 2010, l'équipe responsable de la mesure du rendement de la DGEMRE s'était élargie de cinq équivalents temps plein, à savoir un gestionnaire et quatre analystes qui se consacrent à fournir du soutien pour l'élaboration des stratégies de gestion du rendement (p. ex. coordination des consultations internes, évaluation de la qualité et des composantes). En mars 2011, il y a eu un changement stratégique et les membres de l'équipe de gestion du rendement ont été intégrés à différentes équipes d'évaluation.
La section suivante examine l'effet des mesures prises par la DGEMRE et d'autres en 2009-2010 et en 2010-2011 relativement aux dix principaux attributs d'un système de mesure du rendement de qualité.
2.1 Leadership
La réussite de la mesure du rendement dépend de façon critique du Ministère. Il est indispensable que la direction participe (et qu'on puisse voir qu'elle participe), et qu'elle apporte un soutien actif à une culture de mesure du rendement dans l'ensemble du Ministère. Les cadres supérieurs doivent s'engager avant qu'on puisse attendre des gestionnaires de programmes qu'ils prennent en charge les résultats de l'évaluation et adoptent la mesure du rendement comme méthode d'amélioration continue (rapport de référence).
![](/DAM/DAM-CIRNAC-RCAANC/DAM-AEV/STAGING/images-images/ev_spme_scale2_1_1385577696054_fra.jpg)
(Cette figure est une échelle qui représente quatre catégories dans l'ordre suivant, de gauche à droite : attention requise, place à l'amélioration, acceptable, et fort. Sur cette échelle, le « leadership » est mesuré. Le « leadership » se classe dans la catégorie « attention requise », mais le classement est élevé sur l'échelle de cette catégorie, se rapprochant de la catégorie « acceptable ».)
Entre avril 2009 et mars 2011, le CEMRE a examiné ou approuvé 19 stratégies de gestion du rendement. Il s'agissait du résultat des efforts visant à renforcer l'engagement et la mobilisation de la haute direction sous l'égide d'une approche officielle à l'égard de la mesure du rendement. Les directeurs généraux de programme et les sous-ministres adjoints ont également été mis à contribution pour la planification de la mesure du rendement dans le cadre de la mise à jour annuelle du plan de mesure du rendement et d'évaluation et du processus d'approbation pour les stratégies de gestion du rendement soumises au CEMRE. La majorité des hauts gestionnaires interrogés ont été en mesure de montrer qu'ils connaissaient les activités de gestion du rendement en cours dans leurs secteurs et qu'ils étaient au fait des activités de gestion du rendement réalisées dans d'autres secteurs du Ministère. Dans l'ensemble, ils ont exprimé un vif intérêt à l'égard de la mesure du rendement et ont dit appuyer le progrès des activités de gestion du rendement à l'avenir. Les hauts gestionnaires ont également apprécié le fait de pouvoir tirer des apprentissages des discussions sur les activités de gestion du rendement au CEMRE.
Des commentaires supplémentaires portent à penser qu'il est possible de faire davantage pour mobiliser le personnel d'AADNC. Selon les personnes interrogées, les employés doivent être mieux renseignés sur ce que signifie la mesure du rendement par rapport à leur travail, notamment en comprenant mieux la valeur des données relatives au rendement de qualité pour leurs programmes et le Ministère. Des commentaires analogues ont été documentés lors des séances en groupes de réflexion réunissant les représentants de programme.
Évaluation
Les hauts gestionnaires qui sont des figures éminentes dans le domaine de la mesure du rendement estiment que la gestion doit être axée sur l'obtention de résultats et en reconnaissent son importance, entretiennent une vision à l'égard de la gestion en vue d'obtenir des résultats, sont capables de cerner des objectifs et des mesures stratégiques pour mettre en place une culture favorable à la gestion axée sur les résultats, et fournissent le soutien nécessaire au personnel afin d'atteindre ces objectifs. Les constatations ci-dessus montrent que la gouvernance a amélioré la compréhension et l'engagement de la part de la direction à l'égard des processus de gestion du rendement; cependant, les observations d'un véritable leadership demeurent sporadiques. Compte tenu du fait que les cadres supérieurs et les représentants de programme ont cerné un fossé au niveau opérationnel, il semble que cette vision, si tant est qu'elle existe, n'a pas été communiquée à l'échelle du Ministère. Pour cette raison, AADNC a obtenu la cote « place à l'amélioration » dans ce domaine.
2.2 Rôles et responsabilités
Il faut aussi clairement énoncer et bien comprendre les rôles et responsabilités de chaque participant. Les participants de tous les niveaux, des bénéficiaires aux gestionnaires et aux bureaux régionaux en passant par les dirigeants et les services internes doivent comprendre leurs rôles et leurs responsabilités (rapport de référence).
![](/DAM/DAM-CIRNAC-RCAANC/DAM-AEV/STAGING/images-images/ev_spme_scale2_2_1385577737618_fra.jpg)
(Cette figure est une échelle qui représente quatre catégories dans l'ordre suivant, de gauche à droite : attention requise, place à l'amélioration, acceptable, et fort. Sur cette échelle, les « rôles et responsabilités clairement énoncés » sont mesurés. Les rôles et responsabilités clairement énoncés se classent dans la catégorie « acceptable » de l'échelle, mais se rapprochent du segment « place à l'amélioration ».)
Le Ministère a réalisé certains progrès pour comprendre les rôles et les responsabilités liés à la mesure du rendement, nommément, l'élaboration de stratégies de mesure du rendement. Le document de la DGEMRE intitulé Guide des gestionnaires de programme d'AINC sur les stratégies de mesure du rendement fournit de l'information sur les responsabilités en matière de gestion décrites dans la Politique sur l'évaluation et la directive afférente, ainsi que sur le rôle de la DGEMRE et d'autres partenaires internes aux étapes de la planification, de l'élaboration et de la mise en œuvre des stratégies de gestion du rendement.
La rétroaction reçue de la part des participants à l'atelier sur la collaboration sur la mesure du rendement porte à penser que l'exercice a été bien accueilli. Plusieurs participants ont fait savoir qu'en assistant à l'atelier, ils avaient pu mieux comprendre leur rôle de même que celui de leurs collègues.
Toutefois, les progrès réalisés par rapport aux rôles et aux responsabilités ont reçu des évaluations mitigées selon ce qui se dégage des commentaires des participants reçus en entrevue et aux groupes de réflexion. À l'instar de quelques autres commentaires dont il a été question précédemment à la section 2.1, les répondants ont exprimé des réserves quant à la mesure dans laquelle les rôles et les responsabilités liés à la gestion du rendement sont clairement définis à tous les échelons de l'organisation. En faisant tout spécialement référence aux processus d'élaboration et de mise en œuvre de la stratégie de gestion du rendement, les participants aux groupes de réflexion estimaient que le document d'orientation de la DGEMRE constituait un bon point de départ, mais qu'il était nécessaire d'obtenir des renseignements plus précis sur les rôles et responsabilités au regard des besoins opérationnels et des pouvoirs décisionnels.
Plusieurs participants ont aussi soulevé le besoin de clarifier les distinctions entre les rôles de la DGEMRE et de la DPPS. Au cours de la séance en groupe de réflexion, les représentants des programmes ont également fait état de difficultés à obtenir du soutien de la part de partenaires internes pendant le processus d'élaboration de la stratégie de gestion du rendement. Les raisons demeurent obscures, mais la fréquence à laquelle cette difficulté a été soulevée par les participants porte à penser que les rôles et les responsabilités ainsi que les engagements en temps et en ressources rattachés à ces tâches ne sont pas tout à fait bien compris.
Évaluation
Il se dégage toutefois clairement deux étapes importantes pour s'assurer que les rôles et les responsabilités en matière d'élaboration et de mise en œuvre des stratégies de gestion du rendement sont claires : 1) les rôles et les responsabilités sont bien documentés et communiqués; 2) les gestionnaires, les employés et les partenaires comprennent clairement les rôles et les responsabilités. Il ne fait aucun doute que certaines initiatives, dont la communication du document d'orientation et les ateliers réunissant des partenaires internes, ont permis de réaliser certains progrès au chapitre de la définition des rôles et des responsabilités en matière d'élaboration de stratégies de gestion du rendement. Pour cette raison, l'organisation a obtenu la cote « acceptable » dans ce domaine.
2.3 Besoins communautaires
Il faut intégrer au processus de planification les besoins et la capacité de la collectivité ciblée par les programmes et activités. Des programmes conçus en tenant compte de l'apport de la collectivité auront sans doute une forte résonance pour ce public. Cette participation communautaire devrait aussi prendre la forme de mesures et de cibles du rendement réalistes, fixées dès le début, et que chaque partie comprend clairement avant le début des activités de programme. Une collectivité est plus portée à participer à la mesure du rendement si elle observe que les programmes ont une orientation communautaire, et que sa participation aux processus de mesure du rendement et de rapport est valorisée (c.-à-d. mesurer ce qui lui paraît important).
![](/DAM/DAM-CIRNAC-RCAANC/DAM-AEV/STAGING/images-images/ev_spme_scale2_3_1385577771557_fra.jpg)
(Cette figure est une échelle qui représente quatre catégories dans l'ordre suivant, de gauche à droite : attention requise, place à l'amélioration, acceptable, et fort. Sur cette échelle, « les besoins et la capacité communautaires » sont mesurés. Les besoins communautaires se classent au point médian de la catégorie « attention requise » de l'échelle.)
Le Ministère a pris des mesures pour promouvoir l'engagement des collectivités et des bénéficiaires de programme afin de s'assurer que les activités de gestion du rendement reflètent le besoin et la capacité des collectivités desservies par ses programmes. L'engagement communautaire est entériné par la DGEMRE pendant les présentations d'introduction des programmes. Par ailleurs, le document d'orientation insiste sur l'importance de consulter les représentants régionaux des programmes, les groupes de bénéficiaires et les collectivités pour solliciter leur point de vue sur l'élaboration des indicateurs, la disponibilité des données, la collecte des données, la surveillance et les exigences en matière de rapports. Le projet sur les indicateurs thématiques a également permis de cerner des indicateurs qui répondent aux besoins communautaires tout en permettant de réaliser des objectifs plus généraux en matière de rendement du Ministère.
Avant la présentation au CEMRE, la DGEMRE, avec les conseils des partenaires internes, a évalué la version préliminaire des stratégies de gestion du rendement au regard de plusieurs critères, y compris la mesure dans laquelle les responsables du programme ont consulté les principaux intervenants pendant la phase de mise au point de la stratégie de gestion du rendement. Cette évaluation est à l'origine d'une note de couverture qui accompagne le document étayant la stratégie de gestion du rendement présentée au CEMRE. Sept des dix-neuf notes de couverture présentées au CEMRE en 2009-2010 et en 2010-2011 recommandaient une plus grande participation des partenaires externes et des intervenants, et trois indiquaient que des travaux importants avaient été accomplis pendant la phase d'élaboration de la stratégie de gestion du rendement. Il est difficile d'établir clairement quel a été le résultat obtenu par les neuf autres stratégies de gestion du rendement, car les formulaires d'évaluation sur lesquels sont fondées les notes de couverture n'étaient pas toujours mis à jour de manière à refléter les changements dans la version définitive de la stratégie de gestion du rendement. En outre, il a été impossible de repérer certaines évaluations. Au moment de la rédaction du présent rapport, aucune donnée n'était disponible pour cerner l'influence de l'approche en matière de consultation du Ministère sur la qualité et l'utilisation des données relatives au rendement dans les collectivités.
Évaluation
Deux domaines liés aux besoins communautaires ont été mis en relief en vue de la prise d'autres mesures dans le rapport de référence de 2009 : l'avancement des travaux prévus par le consortium de l'EPA, et les consultations continues auprès des régions et des populations cibles pour l'élaboration des stratégies de gestion du rendement.
Les fonds destinés à la production de la quatrième édition de l'Enquête auprès des peuples autochtones ont été approuvés dans le budget de 2011.
Un petit nombre de partenaires et d'intervenants externes ont été mobilisés pour participer à l'élaboration des stratégies de gestion du rendement. Compte tenu de l'importance d'harmoniser les stratégies de gestion du rendement en fonction des besoins en matière d'information et de la capacité de collecte de données des agents de prestation de services, et compte tenu du manque d'information sur les besoins en matière de données, de l'utilisation des données et de la capacité dans les collectivités, AADNC a obtenu la cote « attention requise » dans ce domaine
2.4 Harmonisation avec l'orientation stratégique
Pour qu'une organisation montre la mesure dans laquelle elle a atteint ses objectifs stratégiques, ses mesures du rendement doivent être en harmonie avec son orientation stratégique. Les systèmes de soutien doivent également être harmonisés.
![](/DAM/DAM-CIRNAC-RCAANC/DAM-AEV/STAGING/images-images/ev_spme_scale2_4_1385577824059_fra.jpg)
(Cette figure est une échelle qui représente quatre catégories dans l'ordre suivant, de gauche à droite : attention requise, place à l'amélioration, acceptable, et fort. Sur cette échelle, l'« harmonisation avec l'orientation stratégique » est mesurée. L'« harmonisation avec l'orientation stratégique » se classe dans la catégorie « acceptable » de l'échelle, mais se rapproche de la catégorie « place à l'amélioration ».)
Le projet de recensement des indicateurs de juin 2010 a servi d'outil de vérification pour déterminer si les stratégies de gestion du rendement étaient en harmonie avec le cadre de mesure du rendement et d'autres exigences en matière de planification et de rapports (p. ex. RPP, RMR, rapports trimestriels, plans d'activités). Comme il a été mentionné, le projet pilote a mis au jour certains chevauchements et redondances liés à l'infrastructure communautaire. Le manque d'uniformité et d'harmonisation entre l'AAP, le cadre de mesure du rendement, le cycle de planification des activités, les rapports trimestriels et les stratégies de gestion du rendement continuent de poser problème.
Plus récemment, la Direction générale a mis en œuvre des initiatives conjointement avec la DPPS afin de mieux faire connaître les considérations relatives à la planification et à l'établissement de rapports qui doivent entrer en ligne de compte dans l'élaboration ou la révision d'une stratégie de gestion du rendement. Par exemple, en février 2011, la DGEMRE et la DPPS ont participé à une conférence nationale annuelle organisée par les responsables du Programme d'aide à la gestion des urgences. Des représentants des deux groupes ont effectué des présentations complémentaires sur les étapes rattachées aux activités de révision de la stratégie de gestion du rendement pour les programmes, et sur la façon dont ces travaux s'inscrivent dans le portrait général de la situation. Selon les commentaires reçus pendant la phase de collecte de données aux fins de l'établissement de ce rapport, il y aurait place à la mise en œuvre d'un plus grand nombre d'initiatives de nature analogue. Selon les participants à l'entrevue et aux groupes de réflexion, même si des processus ont été établis aux fins de l'élaboration des stratégies de gestion du rendement et du cadre de mesure du rendement, les liens entre ces deux outils ne sont pas bien documentés ou compris.
En dépit du fait que les participants à l'entrevue et aux groupes de réflexion aient indiqué que l'AAP offre une orientation cohérente pour l'ensemble des programmes, ils ont également souligné que les stratégies de gestion du rendement des programmes ne sont pas toujours en harmonie avec l'AAP. En outre, certains estiment qu'il existe un fossé entre les autorisations, les programmes et l'AAP, et que les changements apportés à l'AAP ont des répercussions sur les stratégies de gestion du rendement des programmes et inversement, ce qui augmente la charge de travail et les délais. Les changements apportés à l'AAP et aux stratégies de gestion du rendement font aussi en sorte qu'il est difficile de surveiller les changements au fil du temps ou de démontrer des progrès vers la réalisation des objectifs fixés.
Évaluation
Certains gains ont été réalisés au chapitre de la mise en liaison des résultats du rendement de programme avec l'orientation stratégique du Ministère, comme il avait été recommandé dans le rapport de référence de 2009. Pour cette raison, AADNC a obtenu la cote « acceptable ». Néanmoins, il y a encore de la place à l'amélioration à l'égard de l'harmonisation des stratégies de gestion du rendement avec l'orientation stratégique, ce qui pourrait essentiellement être effectué à l'aide de la SGRR (AAP et cadre de mesure du rendement), mais également à l'aide de la planification intégrée. Le maintien de la collaboration entre la DGEMRE et la DPPS est préconisé pour renforcer les liens entre la gestion du rendement et les résultats au niveau des résultats stratégiques.
2.5 Données crédibles sur le rendement
Un système de mesure du rendement n'est utile que si l'information qu'il produit inspire la confiance. Les utilisateurs ne feront confiance aux renseignements que s'ils sont crédibles; et pour qu'ils soient crédibles, une planification efficace est nécessaire. La stratégie ou le cadre de mesure du rendement offre un moyen de déterminer et de recueillir les mesures du rendement exigées par la gestion fondée sur les résultats.
![](/DAM/DAM-CIRNAC-RCAANC/DAM-AEV/STAGING/images-images/ev_spme_scale2_5_1385577869935_fra.jpg)
(Cette figure est une échelle qui représente quatre catégories dans l'ordre suivant, de gauche à droite : attention requise, place à l'amélioration, acceptable, et fort. Sur cette échelle, les « données crédibles sur le rendement » sont classées dans la catégorie « attention requise ».)
L'insuffisance des données sur le rendement continue de présenter un problème à AADNC. L'étude de 2010 intitulée Vers l'avenir : analyse des tendances des évaluations réalisées par AINC s'est penchée sur 32 évaluations achevées entre 2007-2008 et 2009-2010, et a constaté que les recommandations les plus fréquemment formulées étaient liées à la mesure du rendement, à la surveillance et à l'établissement des rapports. Parmi les problèmes relatifs aux données cernées, notons les suivants : une insuffisance générale de données, la difficulté de colliger ou d'analyser les données existantes, l'absence d'indicateurs ou de mesures exactes, des données biaisées ou peu fiables, le peu de rapports sur les résultats ou l'absence de plan de production de rapports, l'absence de données relatives à l'efficacité par rapport au coût, l'insuffisance des données de référence et un manque de données régionales. Il est important de signaler que ces faiblesses dans les données concernent les données relatives au rendement, qui peuvent être utilisées pour déterminer si un programme a réussi à réaliser ou non les résultats ou les objectifs énoncés. Les données relatives aux extrants (mesures des produits ou des services), d'autre part, étaient aisément accessibles.
Le Ministère continue de déployer ses efforts visant à apporter un vent de changement pour axer les discussions sur les résultats, l'élaboration d'indicateurs plus pertinents, la définition de cibles et de données de référence et un processus d'établissement de rapports simplifié. Au niveau des programmes, ces efforts sont facilités par une approche uniformisée à l'égard des stratégies de mesure du rendement qui est approuvée par la DGEMRE. Le document d'orientation demeure l'un des principaux outils de référence utilisés à l'appui des programmes à ce chapitre.
Bien que ces deux outils soient extrêmement fiables, des préoccupations ont été exprimées à l'égard de la pertinence du Recensement et de l'Indice du bien-être des collectivités aux fins de la mesure des résultats en raison de problèmes liés à la fréquence et à la pertinence du moment choisi pour la mesure des résultats. Les données du recensement sont recueillies selon un cycle quinquennal, et sont diffusées une année plus tard ou un peu plus.
Afin d'augmenter la disponibilité de renseignements crédibles sur le rendement, AADNC a poursuivi ses activités d'élaboration d'un système de collecte de donnée officiel (comme le Système d'information sur l'éducation) pour les programmes déployés à grande échelle au sein du Ministère.
Évaluation
Il faut poursuivre les travaux visant à régler les problèmes rattachés aux données au sein du Ministère. Il est crucial que les collectivités à l'extérieur des réserves participent à l'EPA (comme il était proposé dans le rapport de référence de 2009). Par ailleurs, AADNC doit avoir accès à d'autres sources de données primaires et secondaires fiables, produites sur une base annuelle ou semestrielle, qui permettent d'établir des liens avec les objectifs en matière de rendement.
Le rapport de référence de 2009 insistait sur l'importance de disposer de mesures de rendement qui soient en harmonie avec les résultats des programmes, assortis de données de référence et de cibles de rendement claires, qui soient désagrégés et facilement accessibles. Tous ces facteurs ont été incorporés dans le document d'orientation intitulé Guide des gestionnaires de programme d'AINC sur les stratégies de mesure du rendement. Cependant, tant que des stratégies de gestion du rendement et des systèmes de gestion de l'information n'auront pas été mis en œuvre, les données crédibles sur le rendement continueront à manquer. C'est pour cette raison qu'AADNC a obtenu la cote « attention requise » dans ce domaine.
2.6 Mise en œuvre
Pour que les avantages soient pleinement réalisés, les stratégies de mesure du rendement doivent être entièrement mises en œuvre. Il faut recueillir, régulièrement et avec efficacité, les données sur le rendement auprès de toutes les sources trouvées. L'approche doit tenir compte de la cible double : gérer la responsabilité et équilibrer la capacité.
![](/DAM/DAM-CIRNAC-RCAANC/DAM-AEV/STAGING/images-images/ev_spme_scale2_6_1385577893014_fra.jpg)
(Cette figure est une échelle qui représente quatre catégories dans l'ordre suivant, de gauche à droite : attention requise, place à l'amélioration, acceptable, et fort. Sur cette échelle, la « mise en œuvre » est mesurée. La mise en œuvre est classée dans la catégorie « attention requise ».)
Même si le document d'orientation intitulé Guide des gestionnaires de programme d'AINC sur les stratégies de mesure du rendement précise que des activités de suivi des stratégies de gestion du rendement doivent être déployées sur une base annuelle, la DGEMRE, en date de mars 2011, n'avait encore mis en place aucun processus officiel pour surveiller la mise en œuvre des stratégies de gestion du rendement.
Plusieurs difficultés rattachées à la mise en œuvre des stratégies de gestion du rendement ont été cernées lors de l'exercice d'analyse documentaire et pendant les entrevues :
- Les problèmes rattachés à la collecte et à l'analyse des données existantes, l'absence d'indicateurs ou de mesures exactes, les données biaisées ou peu fiables;
- L'incapacité d'accéder à des données provenant d'autres ministères, de Premières Nations ou de tierces parties à l'appui de la mise en œuvre de la stratégie de gestion du rendement;
- La saisie de données est limitée en raison du manque de structure, d'outils ou de mécanismes de suivi. Les participants aux groupes de réflexion ont indiqué qu'il fallait mettre en place davantage de systèmes de gestion de données pour soutenir la collecte et la gestion des données, ce qui incidemment améliorerait la gestion du rendement;
- Le manque de capacité (chez les bénéficiaires des programmes et les gestionnaires de programme) pour recueillir les données, les analyser et dresser des rapports;
- Les répondants à l'entrevue ont indiqué que la fragmentation des systèmes de données est problématique;
- L'incidence des stratégies de gestion du rendement sur les exigences en matière de rapports est mal comprise.
La définition des risques rattachés à la mise en œuvre des stratégies de gestion du rendement a contribué à comprendre la situation. Par ailleurs, plusieurs stratégies de gestion du rendement ont mis en relief l'importance d'intégrer le risque aux travaux liés à la gestion du rendement pour s'assurer que l'infrastructure requise à l'appui d'une application efficace est mise en place. Quoi qu'il en soit, pour de nombreux répondants, la mise en œuvre des stratégies de gestion du rendement continue de se buter à l'entrave que représente le manque de données.
Évaluation
La mise en œuvre concerne l'établissement de systèmes et de processus encadrant la collecte de données, le stockage, la surveillance et la vérification, ainsi que l'intégration des données relatives à la mesure du rendement dans les décisions de gestion, l'élaboration de politiques et l'établissement de rapports.
Le rapport de référence préconisait l'utilisation des stratégies de gestion du rendement comme substituts aux CGRR et CVAR. Toutefois, les constatations portent à penser que le point de mire demeure largement axé sur l'élaboration des stratégies de gestion du rendement. Par conséquent, AADNC obtient la cote « attention requise » dans ce domaine. Il conviendrait de mettre en place un processus officiel pour surveiller la mise en œuvre des stratégies de gestion du rendement, car les leçons apprises dans le cadre de ce processus pourraient ensuite être utilisées aux fins de la formulation d'autres orientations.
2.7 Capacité
Les employés et les autres intervenants doivent posséder la capacité de satisfaire aux exigences de la mesure du rendement. Les problèmes liés à la capacité sont les suivants : formation et éducation (p. ex. mesure du rendement, établissement de rapports et autres compétences et aptitudes pertinentes); outils et lignes directrices; infrastructure ou systèmes de GI-TI en place et adéquation des ressources, tant les ressources financières qu'humaines.
![](/DAM/DAM-CIRNAC-RCAANC/DAM-AEV/STAGING/images-images/ev_spme_scale2_7_1385577940923_fra.jpg)
(Cette figure est une échelle qui représente quatre catégories dans l'ordre suivant, de gauche à droite : attention requise, place à l'amélioration, acceptable, et fort. Sur cette échelle, la « capacité » est mesurée. Sur cette échelle, la « capacité » est classée dans la catégorie « place à l'amélioration », mais se rapproche de la catégorie « acceptable » de l'échelle.)
La DGEMRE a pris des mesures pour développer la capacité de mesure du rendement au moyen d'ateliers, d'études, de présentations et de documents d'orientation; toutefois, le virage vers l'adoption d'une approche fondée sur les résultats s'est buté aux obstacles que sont les problèmes de capacité à l'échelle de la DGEMRE, avec les partenaires internes, les programmes et les régions et dans les collectivités des Premières Nations.
Les personnes interrogées et les participants aux groupes de réflexion ont soulevé des préoccupations au sujet des ressources limitées accessibles par l'entremise de la DGEMRE et d'autres partenaires internes pour faciliter l'élaboration et la mise en œuvre des stratégies de gestion du rendement. La question du manque d'uniformité dans les conseils reçus a également été soulevée. Il semble que le personnel de programme ne possède pas l'expérience requise pour élaborer et mettre en œuvre les stratégies de gestion du rendement, et qu'il a constamment besoin de conseils, de formation et de sensibilisation à tous les échelons, en particulier en ce qui concerne les personnes qui ont des responsabilités et des besoins en matière de gestion du rendement.
D'une façon générale, les répondants estiment que l'approche axée sur la collaboration à l'interne a contribué à soutenir les capacités, mais également qu'une plus grande coordination était requise pour appuyer une vision horizontale à l'égard du développement des capacités. Ils ont notamment suggéré d'adopter une approche plus proactive en matière de développement des capacités, assortie de ressources supplémentaires pour appuyer la collecte et la gestion des données ainsi que la maintenance des systèmes de gestion des données. Dans le même ordre d'idées, ils ont exprimé de la confiance à l'égard de la compétence des organismes bénéficiaires, en rappelant cependant que ceux-ci ne disposaient pas des ressources nécessaires pour assurer la collecte des données. Par ailleurs, il a été signalé que certaines plus petites collectivités du Nord ne disposaient d'aucun système d'information électronique élaboré. Il a été suggéré que le Ministère définisse une stratégie pour régler les problèmes de capacité et mettre en place un cours de formation ou des outils communs sur la gestion du rendement destinés à l'ensemble du personnel.
Il a été relevé lors de l'analyse documentaire que des systèmes de gestion de l'information et des données étaient en cours d'élaboration et de mise en œuvre, en réponse aux limites dans les capacités. Néanmoins, bon nombre de responsables de programmes et d'intervenants conservent les systèmes d'information par observation. L'utilisation et le maintien de ce double mode de fonctionnement contribuent aux limites de capacité. De même, la mise en œuvre de nouveaux systèmes de données exige parfois plus de formation qu'il ne l'a été prévu par certains programmes.
Évaluation
Le développement des capacités a trait à l'attribution des ressources appropriées pour effectuer la mesure du rendement et donner de la formation sur la gestion du rendement et la gestion axée sur les résultats. Étant donné que l'adoption d'une utilisation accrue de données relatives au rendement a des répercussions dans l'ensemble du Ministère, il est nécessaire d'adopter une approche plus coordonnée à l'égard du développement des capacités, et ce, à tous les échelons et avec les partenaires internes et externes, afin d'assurer l'uniformité et la qualité.
La DGEMRE a fait plus que prendre les mesures proposées dans le rapport de référence 2009 pour achever le projet de recensement des indicateurs thématiques et a collaboré avec des partenaires internes pour élaborer des stratégies de gestion du rendement. Quoi qu'il en soit, AADNC a obtenu la cote « place à l'amélioration » car la capacité dans les secteurs de programme demeure limitée.
2.8 Utilisation de l'information sur le rendement
L'information sur le rendement doit servir à répondre aux exigences politiques, à appuyer la prise de décisions fondées sur des données probantes et à satisfaire à différentes exigences en matière de rapports. Plus directement, l'information sur le rendement est utilisée pour surveiller les progrès dans les programmes et pour éclairer les travaux d'évaluation. De manière plus générale, l'information sur le rendement est utilisée dans le cadre d'un processus permanent d'amélioration de la gestion de la qualité.
![](/DAM/DAM-CIRNAC-RCAANC/DAM-AEV/STAGING/images-images/ev_spme_scale2_8_1385578006128_fra.jpg)
(Cette figure est une échelle qui représente quatre catégories dans l'ordre suivant, de gauche à droite : attention requise, place à l'amélioration, acceptable, et fort. Sur cette échelle, le mode d'« utilisation de l'information sur le rendement » est mesuré. Il se classe dans la catégorie « attention requise », au point médian de cette catégorie.)
Plusieurs sont portés à penser qu'AADNC rassemble beaucoup d'information; malheureusement, une grande partie de celle-ci ne peut être utilisée aux fins de l'établissement des rapports sur le rendement. Les données recueillies sont axées sur les extrants plutôt que sur les résultats, et l'incapacité d'intégrer ces données a souvent été soulevée à titre de problème. Les rapports sur les programmes et les rapports d'activités ne sont pas conçus de manière à faciliter l'évaluation du rendement ou des retombées, et ne permettent pas de gérer les impacts au niveau communautaire ou sur la capacité organisationnelle. L'analyse documentaire et l'examen des documents semblent indiquer que l'utilisation de l'information sur le rendement aux fins de l'évaluation est limitée, et que si l'information relative au rendement était plus crédible, des évaluations de meilleure qualité pourraient être menées. Par ailleurs, les stratégies de gestion du rendement sont vues comme un moyen d'enrichir les présentations au Conseil du Trésor et les mémoires au Cabinet et de simplifier les activités d'établissement des rapports et la gestion de l'information.
En dépit de la faiblesse de la force probante des données recueillies, l'analyse de celles-ci a tout de même orienté le processus décisionnel ainsi que les exercices de refonte et de conception des programmes et des systèmes de gestion des données. Environ la moitié des participants aux groupes de réflexion ont été capables de citer des exemples où les données ont été utilisées. La rétroaction issue des entrevues et des groupes de réflexion révèle que l'information disponible est utilisée au niveau du secteur et de la haute direction, quoiqu'elle serve principalement aux fins de l'établissement de rapports destinés aux organismes centraux, en étant intégrés dans différents rapports comme le RMR, le CRG, les présentations au Conseil du Trésor, l'examen stratégique et les rapports produits de façon périodique.
En somme, les données recueillies sont utilisées d'une façon générale, mais elles sont axées sur les extrants (produits et services) et se prêtent mal à une utilisation dans la gestion des résultats et l'évaluation des retombées des programmes.
Évaluation
L'information sur le rendement peut être utilisée aux fins de la planification des résultats et de la mesure des progrès vers leur réalisation, de la surveillance et de l'atténuation des risques, de l'évaluation, de l'établissement des rapports au niveau du programme, du Ministère ou du Cabinet, et aux fins de la prise de décisions. Le rapport de référence de 2009 est axé sur le besoin de communiquer l'utilisation et la valeur des données relatives au rendement pour que les employés puissent véritablement en mesurer l'importance.
Compte tenu des constatations qui précèdent, il ne fait aucun doute qu'il existe de nombreuses sources d'information, et que les gestionnaires utilisent l'information disponible pour prendre des décisions et établir des rapports. En revanche, il semble que les données disponibles ne soient pas intégrées aux résultats. AADNC a donc obtenu la cote « attention requise » dans ce domaine.
Un examen de la nature des données recueillies et des motifs de collecte, semblable à celui du projet de recensement, permettrait de cerner les données qui sont compilées, mais qui ne sont pas utilisées ou qui ne peuvent pas l'être aux fins de l'établissement de rapports sur le rendement. Il pourrait être profitable d'effectuer une évaluation de la mesure dans laquelle les données relatives à la gestion du rendement sont utilisées (p. ex. un processus officiel de suivi de la mise en œuvre des stratégies de gestion du rendement) pour découvrir comment optimiser l'utilisation de l'information.
En outre, une crédibilité et une qualité accrues des indicateurs favoriseraient sans doute une augmentation de l'utilisation de l'information relative à la gestion du rendement.
2.9 Communication
Il importe de maintenir les communications entre tous les intéressés, à tous les niveaux et dans tous les secteurs de responsabilité, internes et externes. Les renseignements clés sur le rendement doivent être diffusés dans l'organisation afin que les employés comprennent leur importance et leur rôle pour atteindre les résultats escomptés.
![](/DAM/DAM-CIRNAC-RCAANC/DAM-AEV/STAGING/images-images/ev_spme_scale2_9_1385578062380_fra.jpg)
(Cette figure est une échelle qui représente quatre catégories dans l'ordre suivant, de gauche à droite : attention requise, place à l'amélioration, acceptable, et fort. Sur cette échelle, la « communication » est mesurée. La « communication » se classe dans la catégorie « place à l'amélioration » de l'échelle, se rapprochant davantage du segment « acceptable » que du segment « attention requise ».)
Comme il a été décrit dans les sections précédentes, plusieurs outils et processus ont été mis au point en 2009 et sont utilisés de façon régulière pour communiquer de l'information et promouvoir et accroître la sensibilisation au sujet de la mesure du rendement à AADNC. Par ailleurs, la présentation de rapports périodiques au CEMRE a contribué à enrichir les connaissances de la haute direction et à favoriser son engagement. L'analyse documentaire fait état d'une plus grande connaissance de la gestion du rendement au sein de l'organisation. Cependant, il est difficile de déterminer avec exactitude dans quelle mesure les messages généraux réussissent à parvenir jusqu'au personnel responsable des programmes.
Il semble aussi y avoir un écart aux échelons inférieurs du personnel (analystes compilant les données) quant à leur compréhension du mode d'utilisation des données, et la valeur de leurs contributions aux stratégies de gestion du rendement et à la responsabilisation d'une façon générale. Les participants aux groupes de réflexion ont indiqué que les processus sont plutôt mal compris par les employés responsables des programmes, et bon nombre de ceux-ci ne savent même pas ce en quoi consiste une stratégie de gestion du rendement. Dans l'ensemble, les voies de communication semblent moins limpides de la haute direction jusqu'au personnel de première ligne, entre la DGEMRE et le personnel de programme, et entre les responsables des stratégies de gestion du rendement et les responsables de la planification et de l'établissement des rapports dans l'organisation. Le besoin d'améliorer les communications internes et externes au sujet de la mesure du rendement a été cerné.
En ce qui a trait aux communications externes, AADNC s'est efforcé de promouvoir la communication avec les collectivités des Premières Nations, les Inuits, ainsi que d'autres partenaires externes au moyen d'activités de mobilisation; cependant, il semble y avoir peu de structure ou d'uniformité quant à la nature, au mode et au moment des communications liées à la gestion du rendement.
Évaluation
Les outils et processus mis en place, la mesure dans laquelle la direction et le personnel reconnaissent la valeur de la gestion du rendement ainsi que les mesures prises sont des preuves d'efforts de communication réussis.
Les ateliers et réunions appuyés par la DGEMRE donnaient suite aux recommandations contenues dans le rapport de référence 2009 visant à renforcer la communication horizontale à l'échelle du Ministère; néanmoins, l'effet à l'échelle du Ministère ne semble pas uniforme. Les communications avec les organisations des Premières Nations, des Métis et des Inuits et d'autres ministères, comme il avait été suggéré dans le rapport de référence, n'ont pas été uniformes et ont été limitées. En conséquence, AADNC a obtenu la cote « place à l'amélioration » dans ce domaine.
Compte tenu de la nature horizontale des activités de mesure du rendement et de la participation des intervenants externes, AADNC tirerait profit d'une plus grande communication qui permette de comprendre plus facilement où s'inscrit la gestion du rendement dans le portrait plus général d'une culture axée sur les résultats.
2.10 Culture
Pour créer un milieu favorable, il faut établir une culture axée sur les résultats, qui permet de comprendre le but et la valeur de la mesure du rendement et dans laquelle les employés possèdent les compétences voulues.
![](/DAM/DAM-CIRNAC-RCAANC/DAM-AEV/STAGING/images-images/ev_spme_scale2_10_1385578110913_fra.jpg)
(Cette figure est une échelle qui représente quatre catégories dans l'ordre suivant, de gauche à droite : attention requise, place à l'amélioration, acceptable, et fort. Sur cette échelle, la « culture » est mesurée. Sur cette échelle, la « culture » se classe au point médian de la catégorie « attention requise ».)
Comme il est dit précédemment, des progrès ont été réalisés dans neuf domaines, ce qui contribue à l'établissement d'une culture axée sur la gestion du rendement. Cependant, de nombreuses activités de développement des capacités et de sensibilisation restent requises.
Un examen des lettres de recommandation préparées pour les stratégies de gestion du rendement et présentées au CEMRE montre que les stratégies de gestion du rendement soumises présentaient plusieurs faiblesses. Cela dit, il semble y avoir un manque d'incitatifs à l'amélioration de ces stratégies.
Selon ce qui se dégage des groupes de réflexion, la culture de gestion du rendement reste nouvelle, et il existe encore beaucoup de place à la croissance. Le personnel semble clairement prêt à collaborer à l'établissement de stratégies de gestion du rendement, et il a été suggéré de déplacer le point de mire de l'élaboration à la mise en œuvre.
Évaluation
La culture qui prévaut à AADNC revêt un caractère transactionnel où l'intérêt principal consiste à distribuer les fonds aux bénéficiaires. Il semble qu'une culture de gestion du rendement axée sur les résultats, dans laquelle l'objectif et la valeur de la gestion du rendement sont compris, n'en soit qu'aux premières étapes de développement à AADNC. Le rapport de référence de 2009 suggérait que le Ministère mette au point des incitatifs ou élimine les obstacles à la gestion du rendement, afin que les employés puissent s'approprier les résultats. Il a été suggéré, comme possible étape, d'inclure les attentes à l'égard de la mesure du rendement dans les contrats conclus avec les cadres dirigeants. Par contre, aucune décision n'a encore été prise en ce sens.
Compte tenu de ce qui précède, AADNC a obtenu la cote « attention requise » dans les secteurs cruciaux que sont le leadership, la mise en œuvre, l'utilisation et la crédibilité des données, et également la cote « attention requise » dans le domaine de la culture.
3. Conclusion
3.1 Sommaire des principales constatations
En 2009-2010 et en 2010-2011, AADNC a réalisé des progrès modérés dans dix des principaux attributs d'un système de mesure du rendement de qualité, tel qu'il a été défini dans le rapport de référence de 2009. La DGEMRE a défini les principes encadrant l'élaboration des stratégies de gestion du rendement et les a communiqués par le truchement d'exercices de sensibilisation et de développement des capacités et de documents d'orientation. La structure de gouvernance établie a mobilisé les organisations internes, défini les rôles et responsabilités et assuré l'engagement de la haute direction. Des projets et études supplémentaires ont permis de faire évoluer la compréhension des indicateurs, de cerner les domaines caractérisés par le double emploi et le chevauchement des activités et de faire le suivi des progrès réalisés à ce jour.
Dans d'autres secteurs, plusieurs domaines de programme, dont l'éducation, l'infrastructure, la consultation et les politiques et les services à l'enfance et à la famille, ont mis au point ou sont en train de mettre au point des systèmes de gestion de l'information qui permettront de saisir des données relatives au rendement. En outre, l'EPA s'est avérée une source d'information clé sur une vaste gamme de caractéristiques démographiques et socioéconomiques des Premières Nations, des Métis et des Inuits. En somme, AADNC a établi les bases de la mesure du rendement au sein du Ministère.
À la lumière de l'information recueillie au moyen de l'analyse documentaire, de l'examen des documents, des entrevues et des séances en groupe de réflexion, le classement du rendement d'AADNC dans chacun des principaux attributs cernés dans le rapport de référence est le suivant :
![](/DAM/DAM-CIRNAC-RCAANC/DAM-AEV/STAGING/images-images/ev_spme_scale1_1385577431403_fra.jpg)
La description textuelle de l'indice de classement du rendement d'AADNC
L'indice de classement du rendement d'AADNC
Cette figure est une représentation de l'échelle utilisée pour classer le rendement d'AADNC relativement aux 10 principaux attributs relevés dans le rapport de référence. De gauche à droite, les classements sur l'échelle sont les suivants : attention requise, place à l'amélioration, acceptable et fort. Les attributs suivants ont été classés dans la catégorie « attention requise » : besoins communautaires, données crédibles sur le rendement, mise en œuvre, utilisation de l'information sur le rendement et culture. Les attributs suivants ont été classés dans la catégorie « place à l'amélioration » : leadership, capacité et communication. Les attributs suivants ont été classés dans la catégorie « acceptable » : rôles et responsabilités, et harmonisation avec l'orientation stratégique. Aucun attribut n'a été classé comme « fort ».
Dans l'ensemble, il a été constaté que les mesures prises à ce jour ont établi les bases des activités à venir; cependant, il est nécessaire d'améliorer les résultats des dix attributs. Des constatations particulières relatives aux dix principaux attributs sont résumées ci-dessous :
- Leadership
La gouvernance a amélioré la compréhension et l'engagement de la direction à l'égard des processus de gestion du rendement; cependant, les observations d'un véritable leadership demeurent variables. Compte tenu du fait que les cadres supérieurs et les représentants de programme ont cerné un fossé au niveau opérationnel, il semble que cette vision, si tant est qu'elle existe, n'a pas été communiquée à l'échelle du Ministère. Les cadres supérieurs doivent reconnaître l'importance de gérer en vue de produire des résultats, de définir une vision, de développer des capacités et de prendre des mesures pour établir une culture propice à une gestion axée sur les résultats. - Rôles et responsabilités
Certaines initiatives ont réussi à définir les rôles et responsabilités liés à l'élaboration de stratégies de gestion du rendement. Cependant, certains membres du personnel ne comprennent pas clairement quels sont les rôles de la DGEMRE et de la DPPS. En ce qui a trait à la mesure dans laquelle les rôles et responsabilités en matière de gestion du rendement ont été communiqués et le degré de compréhension des partenaires internes et externes, ces données demeurent inconnues. Il faudrait une meilleure documentation et une compréhension accrue de ces rôles et responsabilités à AADNC. - Besoins communautaires
Un petit nombre de partenaires et d'intervenants externes ont été mobilisés pour participer à l'élaboration des stratégies de gestion du rendement. Il est important d'harmoniser les stratégies de gestion du rendement en fonction des besoins en matière d'information et de la capacité de collecte de données des agents de prestation de services. - Harmonisation avec l'orientation stratégique
Certains gains ont été réalisés au chapitre de la mise en liaison des résultats du rendement de programme avec l'orientation stratégique du Ministère. Cependant, une collaboration renforcée entre la DGEMRE et la DPPS est encouragée pour assurer l'établissement de liens entre la gestion du rendement et les résultats stratégiques. - Données crédibles sur le rendement
Tant que des stratégies de gestion du rendement et des systèmes de gestion de l'information n'auront pas été mis en œuvre, les données crédibles sur le rendement continueront à manquer. Il faut poursuivre les travaux visant à régler les problèmes rattachés aux données au sein du Ministère. Il est crucial que les collectivités à l'extérieur des réserves participent à l'EPA. Par ailleurs, AADNC doit avoir accès à d'autres sources de données primaires et secondaires fiables, produites sur une base annuelle ou semestrielle, qui permettent d'établir des liens avec les objectifs en matière de rendement. - Mise en œuvre
AADNC s'est concentré principalement sur l'élaboration de stratégies de gestion du rendement au détriment de leur mise en œuvre. Il faudrait mettre en place un processus officiel pour la surveillance de la mise en œuvre des stratégies de gestion du rendement. - Capacité
Le développement des capacités a trait à l'attribution des ressources appropriées pour effectuer la mesure du rendement et donner de la formation sur la gestion du rendement et la gestion axée sur les résultats. Il est nécessaire d'adopter une approche plus coordonnée à l'égard du développement des capacités, et ce, à tous les échelons et avec les partenaires internes et externes, afin d'assurer l'uniformité et la qualité. - Utilisation de l'information sur le rendement
La haute direction utilise des données relatives au rendement aux fins de l'établissement de rapports externes, mais pas pour la gestion axée sur les résultats. Il existe plusieurs sources de données, mais rien ne semble indiquer que celles-ci soient coordonnées ou intégrées de façon stratégique avec les résultats. Il conviendrait de réaliser un examen des données qui sont recueillies et qui devraient l'être pour pouvoir rendre compte des résultats. - Communication
Les ateliers et réunions appuyés par la DGEMRE ont renforcé les communications horizontales au sein du Ministère. Les communications avec les organisations des Premières Nations, des Métis et des Inuits et d'autres ministères n'ont pas été uniformes et ont été limitées. AADNC tirerait profit d'une plus grande communication qui permette de comprendre plus facilement où s'inscrit la gestion du rendement dans le portrait plus général d'une culture axée sur les résultats. - Culture
Il semble qu'une culture de gestion du rendement axée sur les résultats, dans laquelle l'objectif et la valeur de la gestion du rendement sont compris, n'en soit qu'aux premières étapes de développement à AADNC. Des incitatifs et des dissuasifs contribueraient à l'avancement d'une telle culture au Ministère.
3.2 Prochaines étapes
Pour régler les problèmes mentionnés ci-dessus et promouvoir la croissance d'une culture axée sur la gestion du rendement à AADNC, la DGEMRE est déterminée à :
- obtenir un engagement élargi à tous les échelons pour améliorer le leadership, cerner des incitatifs à l'utilisation des données sur le rendement et accroître la capacité;
- promouvoir une collaboration améliorée avec des partenaires internes et externes pour s'assurer que de meilleures données sont disponibles à l'appui d'activités efficaces de mesure du rendement et de gestion axée sur les résultats;
- élaborer un plan de communication qui cible différents publics pour encourager l'acceptation de la mesure du rendement en tant qu'outil de gestion essentiel;
- analyser les données actuellement compilées et les besoins en matière de données aux fins de l'établissement de rapport sur le rendement et de la réduction des lourdeurs administratives;
- lancer une stratégie de suivi de la mise en œuvre des stratégies de gestion du rendement. Cette stratégie contribuera à l'évaluation de l'état de la mesure du rendement à AADNC, et servira de tribune d'échange où les représentants des programmes et les partenaires répertorieront les obstacles, les pratiques exemplaires, les besoins en matière de communication et les produits de formation.
Références
ALBERTA NATIVE FRIENDSHIP CENTRES ASSOCIATION. Common Ground: An Aboriginal Relationship Agreement Framework: Facilitator's Toolkit, 2009.
ALKIN, M. C., et R. H. DAILLAK. « Study of Evaluation Utilization », Educational Evaluation and Policy Analysis, vol. 1, no 4 (juillet-août 1979), p. 41-49.
ALKIN, M. C., et S. M. TAUT. « Unbundling Evaluation Use », Studies in Educational Evaluation, vol 29, no 1 (2003), p. 1-12.
AUCOIN, P. Le processus décisionnel au gouvernement : le rôle de l'évaluation des programmes (en ligne), mars 2005 (consulté le 25 janvier 2012). Document de travail.
BERNSTEIN, D. J. « Comments on Perrin's effective use and misuse of performance measurement », American Journal of Evaluation, vol. 20, no 1 (1999), p. 85-93.
BERNSTEIN, D. J. « Performance Measurement: Does the Reality Match the Rhetoric? A Rejoinder to Bernstein and Winston », American Journal of Evaluation, vol. 20, no 1 (1999), p. 101-111.
BORYS, S. Challenges facing the federal evaluation function: Attracting (and keeping) the next generation of evaluators, 18 février 2009. Présentation dans le cadre d'un petit déjeuner du Forum sur le rendement et la planification.
BOSSIDY, L., et R. CHARAN. Tout est dans l'exécution, Éditions First, 2003.
BOUCHARD-MORRIS, B. Considerations in the design of program activity level evaluations in the public sector, Ottawa, 2 juin 2009. Présentation au Congrès de la Société canadienne d'évaluation.
BOURNE, M., A. NEELY, K. PLATTS et J. MILLS. « The success and failure of performance measurement initiatives – Perceptions of participating managers », International Journal of Operations & Production Management, vol. 22, no 11 (2002), p.1288-1310.
BOURNE, M., J. MILLS, M. WILCOX, A. NEELY et K. PLATTS. « Designing, implementing and updating performance management systems », International Journal of Operations & Production Management, vol. 20, no 7 (2000), p. 754-771.
BUSI, M., et U. BITITCI. « Collaborative performance management: present gaps and future research », International Journal of Productivity and Performance Management, vol. 55, no 1 (2006), p. 7-25.
CANADA. BUREAU DU VÉRIFICATEUR GÉNÉRAL DU CANADA. Audit of Evaluation Function, 2009.
CANADA. BUREAU DU VÉRIFICATEUR GÉNÉRAL DU CANADA. « Chapitre 8 : L'évaluation de programme au gouvernement fédéral – Plaidoyer en faveur de l'évaluation de programme »; « Chapitre 9 : L'évaluation de programme dans les ministères – Le fonctionnement des services d'évaluation de programme »; et « Chapitre 10 : Le système d'évaluation de programme – Les gages de succès », Rapport à la Chambre des communes, 1993.
CANADA. BUREAU DU VÉRIFICATEUR GÉNÉRAL DU CANADA. « Chapitre 19 — L'information sur le rendement communiquée au Parlement : les progrès sont trop lents », Rapport du vérificateur général du Canada – Décembre 2000, 2000.
CANADA. BUREAU DU VÉRIFICATEUR GÉNÉRAL DU CANADA. Repenser les rapports soumis par les Premières nations aux organismes fédéraux, décembre 2002.
CANADA. BUREAU DU VÉRIFICATEUR GÉNÉRAL DU CANADA. Vérification des programmes de subventions ou de contributions, mai 2001.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. 2010-2011 : Profil de risque du Ministère, 27 août 2010. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Approach for INAC Implementation of Performance Measurement Strategy, 2009. SGGID no 3302959.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Cadre de référence : Recensement des indicateurs, 2010. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Cadre ministériel de gestion du risque, septembre 2009. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Capacity Assessment Check Survey, 2010-2011. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Engagement Policy for the Evaluation, Performance Measurement and Review Branch, 2010. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Enquête préliminaire pour la vérification planifiée du fardeau de la production des rapports des bénéficiaires, 2009.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Guide des gestionnaires de programme d'AINC sur les stratégies de mesure du rendement, 2010. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. INAC Program Activity Architecture and the Performance Measurement Framework: The Government Strategic Outcome, 2009-2010.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Management Accountability Framework Round 7 2009-2010: Treasury Board Assessment. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Measuring what matters: PM guidelines,2008. Document interne (présentation).
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. MRRS Policy Overview: How a Performance Measurement Strategy aligns to the Program Activity Architecture and Performance Measurement Framework. 2 février 2010. Document interne (présentation).
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Performance Measurement and the new federal Framework for Aboriginal Economic Development. Présentation au Congrès de la Société canadienne d'évaluation, Victoria, 3 mai 2010.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Performance Measurement Collaboration Workshop – Agenda, 2010. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Performance Measurement Strategy Collaboration Workshop – Participant Notebook, 25 novembre 2010. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Performance Measurement Strategy Workshop 2010 Collaboration Matrix, 2010. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. PM Strategy Collaboration Workshop, 25 novembre 2010. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Rapport ministériel sur le rendement, 2009-2010.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Rapport ministériel sur le rendement, Commission canadienne des affaires polaires et Agence canadienne de développement économique du Nord, 2009-2010.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Recensement des indicateurs : Examen et analyse des indicateurs utilisés dans les stratégies de mesure du rendement, Numéro de projet : 1570-77/10015, juin 2010. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Results-based Management and Accountability Framework special study, 2008. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Risk Management Training Strategy, 30 juin 2010. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Risk Training 2010-2011: Lessons Learned. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. State of Performance Measurement at Indian and Northern Affairs Canada, 2009-2010. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Stratégie de mesure du rendement. Présentation à AINC, décembre 2010.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Terms of Reference for Evaluation, Performance Measurement and Review Branch, 2009. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Thematic Indicators Project, 2010. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Update: Indicator Mapping Pilot Project: Community Infrastructure Partnership, 18 novembre 2010.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. Vers l'avenir : analyse des tendances des évaluations réalisées par AINC, 22 octobre 2010.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. DIRECTION GÉNÉRALE DE L'ÉVALUATION, DE LA MESURE DU RENDEMENT ET DE L'EXAMEN. Plan quinquennal d'évaluation et de mesure du rendement, 2010-2015. Document interne.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. DIRECTION GÉNÉRALE DE L'ÉVALUATION, DE LA MESURE DU RENDEMENT ET DE L'EXAMEN. Regional Protocol: Junctures for Engagement with Regional Operations and Regions.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA. DIRECTION GÉNÉRALE DE L'ÉVALUATION, DE LA MESURE DU RENDEMENT ET DE L'EXAMEN. Terms of Reference, 12 juillet 2010.
CANADA. MINISTÈRE DES AFFAIRES INDIENNES ET DU NORD CANADA et COMMISSION CANADIENNE DES AFFAIRES POLAIRES. Rapport sur les plans et les priorités, 2010-2011.
CANADA. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA. Cadre de responsabilisation de gestion.
CANADA. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA. Des lourdeurs administratives à des résultats clairs : Rapport du Groupe d'experts indépendant sur les programmes de subventions et de contributions du gouvernement fédéral, Ottawa, 2006.
CANADA. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA. Des résultats pour les Canadiens et les Canadiennes : Un cadre de gestion pour le gouvernement du Canada
CANADA. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA. Directive sur la fonction d'évaluation.
CANADA. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA. Directive sur les paiements de transfert.
CANADA. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA. First Nations Performance Framework, 2010. Présentation.
CANADA. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA, Politique d'évaluation des programmes, 2001.
CANADA. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA. Politique sur les paiements de transfert.
CANADA. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA. Politique sur l'évaluation.
CANADA. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA. Pour soutenir des évaluations efficaces : Guide d'élaboration de stratégies de mesure du rendement.
CANADA. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA. CENTRE D'EXCELLENCE EN ÉVALUATION, DIVISION DE LA GESTION AXÉE SUR LES RÉSULTATS, SECTEUR DE LA GESTION DES DÉPENSES. L'état de l'évaluation au sein du gouvernement fédéral, Ottawa, 18 février 2009. Présentation dans le cadre d'un petit déjeuner du Forum sur le rendement et la planification.
CARACELLI, V.J. « Evaluation use at the threshold of the twenty-first century », dans V. J. Caracelli et H. Preskill, éditeurs, The Expanding Scope of Evaluation Use: New Directions for Evaluation, San Francisco, Jossey-Bass, no 88 (2000), p. 99-111.
CARACELLI, V.J., et H. PRESKILL, éditeurs. The Expanding Scope of Evaluation Use: New Directions for Evaluation, no 88 (2000). Numéro spécial.
CARROLL, B.W. « Obstacles à l'évaluation des résultats », Optimum, la revue de gestion du secteur public, vol. 30, no 1 (mars 2000).
COUSINS, J. B., et K. A. LEITHWOOD. « Current empirical research on evaluation utilization », Review of Educational Research, vol. 56, no 3 (1986), p. 331-364.
COUSINS, J. B., et L. M. SHULHA. « A comparative analysis of evaluation utilization and its cognate fields », dans I. F. Staw, J. C. Greene et M. M. Mark, éditeurs, The SAGE Handbook of Evaluation, Londres, Sage, 2006, p. 266-291.
COUSINS, B., M. SIMON et D. TRUMPOWER. À quel degré vos mesures de rendement vous permettent-elles de communiquer adéquatement l'information? Des stratégies pratiques pour améliorer la qualité des données, 22 janvier 2008. Présentation au Forum sur le rendement et la planification.
DONALDSON, S.I., et M.W. LIPSEY. « Roles for theory in contemporary evaluation practice: Developing practical knowledge », dans I. F. Staw, J. C. Greene et M. M. Mark, éditeurs, The SAGE Handbook of Evaluation, Londres, Sage, 2006, p. 56-75.
DONNA CONA. Examen de la mesure du rendement pour le ministère des Affaires indiennes et du Nord Canada, 23 juillet 2010.
ÉTATS-UNIS. NOUVEAU-MEXIQUE. SAN JUAN COUNTY. Community Engagement Framework model.
FRASER HEALTH. Community Engagement Framework, juin 2009.
GILBERT, M. C. « Integrated Program Evaluation: A Three Part Vision for Better Leadership, Planning, and Effectiveness », Nonprofit Online News, 16 avril 2009.
HASHAGEN, S. Models of Community Engagement, Scottish Community Development Centre, mai 2002.
HEINRICH, C.J. « Outcomes-based performance management in the public sector: Implications for government accountability and effectiveness », Public Administration Review, vol. 62, no 6 (2002), p. 712-725.
HUMMELBRUNNER, R. « Monitoring and evaluation as elements of strategic governance for cohesion policy », dans J. Galla, A. Martinuzzi et R. Steurer, éditeurs, Governance by Evaluation: Institutional Capacities and Learning for Sustainable Development, Viennes, 2008. Actes de la conférence d'EASY-ECO tenue à Viennes du 11 au 14 mars 2008.
IYER, R., JOSHI, A., LOBO, N., MHATRE, V., & NAYAK, V., Building a Collaborative Engagement Model (site Web non disponible en français) (en ligne), 11 août 2009 (consulté le 27 janvier 2012).
KERNAGHAN, K., et M. CHARIH. « The Challenges of Change: Emerging Issues in Contemporary Public Administration », Administration publique du Canada, vol. 40, no 2 (1997), p. 218-233.
KRAMER, M., M. PARKHUSRT et L. VAIDYANANTH. Breakthroughs in Shared Measurement Systems: Systemic Approaches to Evaluation, 24 mars 2010. Présentation à Grantmakers for Effective Organizations.
KUENG, P.; A. MEIRER et T. WETTSREIN. « Performance measurement systems must be engineered », Communications of the Association for Information Systems, vo. 7, no 3 (2001).
LAHEY, R. Implementing RBM: Lessons from the Field for Evaluators, Ottawa, 1er juin 2009. Présentation au Congrès annuel 2009 de la Société canadienne d'évaluation.
LALANDE, R. Maximiser la valeur ajoutée de l'évaluation pour la revue stratégique – l'expérience de PCH, Ottawa, 14 mai 2009. Présentation au Symposium 2009 du Forum sur le rendement et la planification.
MANITOBA. MINISTÈRE DES SERVICES À LA FAMILLE ET DU LOGEMENT. Cadre de participation communautaire, mai 2008.
MARK, M., et G. HENRY. « The mechanisms and outcomes of evaluation influence », Evaluation, vol. 10, no 1 (2004), p. 35–57.
MAYNE, J. Building an Evaluative Culture: The key to a results management and evaluation, Ottawa, 21 octobre 2008. Présentation au Forum sur le rendement et la planification.
MAYNE, J. « Challenges and lessons in implementing results-based management », Evaluation, vol. 13, no 1 (2007), p. 87-109.
MAYNE, J. Régler la question de l'attribution par l'analyse de la contribution : utiliser judicieusement les mesures du rendement, Bureau du vérificateur général du Canada, juin 1999. Document de travail.
MAYNE, J., et R. RIST. « Studies are not enough: the necessary transformation of evaluation », Revue canadienne d'évaluation de programme, vol. 21, no 3 (2006), p. 93-120.
McCORMACK, L., A. ROUTHIER, R. AMIRA et T. WILSON. Results-based Expenditure Management: Agenda for the next two years, mai 2007. Présentation au Forum sur le rendement et la planification.
MEYER, M. W. cite>Rethinking Performance Measurement: Beyond the Balanced Scorecard, Cambridge, Cambridge University Press, 2002.
MOLLENHAUER, L., et R. R. ARMSTRONG. A Culture of Accountabilty : A New Framework (site Web non disponible en français) (en ligne) (consulté le 26 janvier 2012).
NAJMI, M., J. RIGAS et I. FAN. « A framework to review performance measurement systems », Business Process Management Journal, vol. 11, no 2 (2005), p. 109-122.
NEELY, A., J. MILLS, K. PLATTS, H. RICHARDS, M. GREGORY, M. BOURNE et M. KENNERLEY. « Performance Measurement System Design: Developing and Testing a Process-Based Approach », International Journal of Operations & Production Management, vol. 20, no 10 (2000), p. 1119-1145.
PATTON, M. Q. « Process use as a usefulism », New Directions for Evaluation, vol. 2007, no 116 (hiver 2007), p. 99-112.
PATTON, M. Q. Utilization-focused evaluation, 4e éd., Thousand Oaks, Californie, Sage, 2008.
PERRIN, B. « Effective use and misuse of performance measurement », American Journal of Evaluation, vol. 19, no 3 (1998), p. 367-379.
PERRIN, B. « How evaluation can help make knowledge management real », dans R. C. Rist et N. Stame, éditeurs, From studies to streams: Managing evaluative systems, New Brunswick, New Jersey, Transaction, 2006, p. 23-45.
SCHACTER, M. Performance Measurement Meets the Real World: Leadership, Accountability, Politics & Scandal (en ligne), novembre 2005 (consulté le 27 janvier 2012).
SCHEIRER, M. A., & NEWCOMER, K. « Opportunities for program evaluators to facilitate performance-based management », Evaluation and Program Planning, vol. 24, no 1 (2001), p. 63-71.
SHANE, B. Performance Measurement System: A leadership-driven methodology (site Web non disponible en français) (en ligne), 28 février 2004 (consulté le 27 janvier 2012).
SPITZER, D. Rethinking Innovation Measurement 2007. Présentation dans le cadre du IBM iForum.
SPITZER, D. Rethinking Measurement: More than evaluating Performance, IBM Global Business Services, mars 2007.
SPITZER, D. « Transforming Performance Measurement: How to drive organizational success with reliable verification », KL@TG (hiver 2007), p. 70-73.
SPITZER, D. Transforming Performance Measurement: Rethinking How You and Your Organization Use Measurement, Ottawa, 13 mai 2009. Présentation au Symposium 2009 du Forum sur le rendement et la planification.
SPITZER, D. Transforming Performance Measurement: Rethinking the Way We Measure and Drive Organizational Success, New York, AMACON, 2007.
STUFFLEBEAM, D. Institutionalizing Evaluation Checklist, 2002 (consulté le 27 janvier 2012).
TRY, D., et Z. RADNOR. « Developing an understanding of results-based management through public value theory », International Journal of Public Sector Management, vol. 20, no 7 (2007), p. 655-673.
VALOVIRTA, V. « Evaluation Utilization as Argumentation », Evaluation, vol. 8, no 1 (2002), p. 60-80
VAN THIEL, S., et F. LEEUW. « The performance paradox in the public sector », Public Performance & Management Review, vol. 25, no 3 (2002), p. 267-281.
VOLKOV, B. B., et J. A. KING. A Checklist for Building Organizational Evaluation Capacity (en ligne), 2007 (consulté le 25 janvier 2012). Sur Internet.
YOUNG, G. « Evaluation can cross the Boundaries: The Case of Transport Canada », Revue canadienne d'évaluation de programme, vol. 21, no 3 (2006), p. 73-92.
Annexe A - Guide d'entrevue
[Salutation et introduction]
Objectif
Nous vous remercions de prendre le temps de parler avec nous de l'état de la mesure du rendement à AINC. De manière générale, l'entrevue a pour but :
- de recueillir de l'information sur les activités de mesure du rendement relatives au travail qui se fait dans votre secteur;
- de recueillir votre avis au sujet des principales réussites et difficultés, des gains d'efficacité et des aspects qu'il y a lieu d'améliorer.
Vos réponses aideront à enrichir notre compréhension de la structure du système de mesure du rendement et éclaireront la préparation d'un rapport ministériel à ce sujet.
Confidentialité
L'information recueillie aujourd'hui sera mise en commun avec les réponses des autres participants à l'entrevue. Vos vues ne seront partagées avec personne d'autre hors du cercle formé par l'équipe principale du projet, et toutes les notes pertinentes seront conservées en lieu sûr.
Enregistrement sonore
Afin d'améliorer la fidélité des notes prises pendant le processus d'entrevue, nous vous demandons la permission d'enregistrer l'entrevue. À la suite de l'entrevue, l'enregistrement sonore nous servira également d'outil de référence pour nos propres notes. Tout comme les notes prises en cours d'entrevue, le fichier sonore sera conservé en lieu sûr. Si vous le souhaitez, nous serons heureux de partager ce fichier avec vous après l'entrevue.
Contexte de l'entrevue
La mesure du rendement est une méthode utilisée pour surveiller et évaluer les progrès réalisés en regard d'objectifs énoncés ou prédéterminés et un outil de gestion servant à guider le processus décisionnel, à éclairer la gestion des programmes et à appuyer l'évaluation.
Pour les besoins de l'entrevue, activités de mesure du rendement (MR) s'entend de toute activité entreprise à l'appui de la surveillance, de la mesure et de l'évaluation du rendement des programmes et services d'AINC et de la reddition de comptes à ce sujet.
Questions d'entrevue
- Au cours de la dernière année ou dernière année et demie, savez-vous si des activités de mesure du rendement (MR) ont été conçues et/ou réalisées dans votre secteur?
(Note pour l'intervieweur/intervieweuse : la période visée est celle d'avril 2009 à maintenant)- Si oui, veuillez en décrire la teneur (enchaîner avec la question 2).
- Sinon, enchaîner avec la question 3.
- Pour les besoins de ces activités de MR, a-t-il fallu établir et/ou utiliser des systèmes de collecte de données? Si oui, veuillez les décrire.
- À votre connaissance :
- des activités de mesure du rendement sont-elles en cours de réalisation dans d'autres secteurs à AINC? Veuillez élaborer.
- des systèmes de collecte de données sont-ils en voie d'être mis sur pied/établis dans d'autres secteurs à AINC? Veuillez élaborer.
- À votre avis, les données recueillies grâce aux activités de MR à AINC servent-elles à éclairer le processus décisionnel :
- au niveau sectoriel? Veuillez élaborer.
- au niveau ministériel? Veuillez élaborer.
- Dans quelle mesure une culture de gestion axée sur les résultats a-t-elle été instaurée à AINC? Veuillez préciser.
- Les rôles et responsabilités liés à la préparation et à la réalisation des activités de MR à AINC sont-ils clairs et bien communiqués? Veuillez expliquer.
- Selon vous, la valeur de la gestion du rendement en tant qu'outil de gestion orienté vers les résultats est-elle communiquée à l'échelle de l'organisation? Veuillez élaborer.
- Pouvez-vous me parler de quelques-unes des grandes réussites qu'AINC a connues récemment en rapport avec les activités de MR?
- Selon vous, quels sont les défis les plus importants qu'AINC doit relever en ce qui concerne :
- la conception d'activités de MR?
- la mise en œuvre d'activités de MR?
- Y a-t-il des possibilités au Ministère de surmonter ces défis? Veuillez élaborer.
- AINC peut-il améliorer son approche globale en matière de gestion du rendement? Dans l'affirmative, de quelle façon?
- D'après vous, les activités de MR à AINC ont-elles des répercussions sur le fardeau des rapports à produire? Veuillez élaborer.
- Le rapport de 2009 sur l'état de la mesure du rendement à AINC cernait 10 critères clés à l'intention des organisations désireuses de mettre sur pied et de tenir à jour un système de mesure du rendement de qualité. [Fournir le tableau]. En ce qui concerne le système de mesure du rendement d'AINC, quels seraient, selon vous, les trois critères prioritaires d'AINC dans l'avenir?
- À votre avis, y a-t-il d'autres questions à considérer dans l'examen de l'état de la mesure du rendement à AINC?
- Avez-vous d'autres observations à formuler à ce sujet?
- Avez-vous des questions?
Merci pour votre temps et votre collaboration.
Annexe B - Questions pour le groupe de réflexion
Examen annuel de la mesure du rendement –
Élaboration et mise en œuvre à AINC
Questions destinées au groupe de réflexion
Le 16 mars 2011
- Qu'est-ce qui a bien fonctionné durant l'élaboration et la mise en œuvre de votre stratégie de mesure du rendement?
- Quels facteurs ont compliqué l'élaboration et la mise en œuvre de votre stratégie de mesure du rendement?
- Quelles occasions la mise en place d'une stratégie de mesure du rendement a-t-elle procurées ou procurera-t-elle à votre programme?
- Croyez-vous que les intervenants clés ont la capacité d'appuyer la collecte efficace de données?
- Les données sur la mesure du rendement sont-elles utilisées afin de prendre des décisions au niveau : (i) du programme, (ii) du secteur, (iii) du Ministère?
- La haute direction d'AINC se montre-t-elle favorable à une culture axée sur la mesure du rendement? Dans l'affirmative, de quelle façon?
- Les résultats des activités de mesure du rendement sont-ils communiqués aux employés? Ceux-ci comprennent-ils la valeur de la mesure du rendement?
- Les rôles et les responsabilités associés à l'élaboration et à l'exécution des activités de mesure du rendement, notamment les stratégies de mesure du rendement, sont-ils : (i) clairs, (ii) communiqués efficacement à l'échelle du Ministère?
- a) Quelles étaient vos attentes quant à l'appui que vous avez reçu pendant l'élaboration et la mise en œuvre de votre stratégie de mesure du rendement?
b) Avez-vous des suggestions sur la façon d'améliorer le processus?