Plan d'évaluation ministériel quinquennal d'Affaires autochtones et du Nord Canada 2017-2018 à 2021-2022

1.1 Objet du plan quinquennal

L'objectif premier du plan est d'aider l'administrateur général à veiller à ce qu'une information crédible et neutre soit disponible en temps opportun au sujet de la pertinence continue et du rendement des dépenses directes de programme et des programmes de subventions et contributions en cours, pour appuyer une prise de décisions éclairée et témoigner des résultats atteints pour les Canadiens. En outre, le plan :

• donne l'occasion d'harmoniser les évaluations afin de s'assurer que les besoins en matière d'information du Ministère et d'autres utilisateurs d'évaluations (p. ex. les autres ministères) sont satisfaits;
• aide à faire en sorte que des évaluations étayant la restructuration de programmes soient planifiées et menées à terme avant le renouvellement des programmes;
• permet aux unités ministérielles chargées d'élaborer le plan ministériel et le rapport ministériel sur le rendement, de même qu'à d'autres groupes participant aux activités de planification stratégique et de rapport, de déterminer à quel moment les évaluations seront prêtes pour guider leur travail;
• assure une communication et une concertation régulières quant aux besoins et aux priorités d'évaluation à l'échelle du Ministère; et
• fournit aux organismes centraux un préavis de la date à laquelle les évaluations seront disponibles pour éclairer leurs travaux (p. ex. à l'appui d'un mémoire au Cabinet ou de présentations au Conseil du Trésor).

En outre, le plan est un outil important du chef de l'évaluation et de la Direction générale pour gérer le déroulement des projets et la planification des activités de ses ressources humaines. Les rapports d'étape sur le plan sont habituellement présentés à toutes les réunions normales du Comité de l'évaluation, de la mesure du rendement et de l'examen (CEMRE) pour fournir l'assurance d'une mise en œuvre rapide et aviser le Comité de tout changement ou ajout requis. Le CEMRE se réunit généralement quatre fois au cours d'un exercice.

1.2 Historique et contexte ministériel

Le plan a été élaboré à l'aide du guide provisoire sur les résultats du Conseil du Trésor, qui a été mis à jour pour soutenir la nouvelle Politique sur les résultats. Celle-ci permet aux ministères d'établir un cadre de résultats qui précise les responsabilités de base, les résultats connexes et les indicateurs appropriés. Elle limite aussi les exigences de façon à ce que les ministères n'aient à communiquer au Conseil du Trésor qu'une partie de l'information sur le rendement qu'ils recueillent. Elle permet aux ministères de prioriser la couverture et les enjeux des évaluations, tout en assurant la professionnalisation de la fonction d'évaluation. La nouvelle politique continue de demander aux ministères de faire rapport sur leurs dépenses directes de programme et leurs programmes de subventions et contributions en cours, mais accorde plus de souplesse en permettant une planification fondée sur le risque pour ce qui est des dépenses directes de programme et en donnant la possibilité de différer les évaluations au-delà de cinq ans lorsque les dépenses annuelles moyennes sont inférieures à 5 millions de dollars (au cours de la période quinquennale précédente).

1.3 Mandat du Ministère

AANC est le ministère fédéral responsable de répondre aux obligations et engagements du gouvernement du Canada envers les peuples autochtones (Premières Nations, Inuits et Métis) et d'acquitter les responsabilités constitutionnelles du gouvernement fédéral dans le Nord^{Note de bas de page 1}.Le mandat général du Ministère découle de la Loi constitutionnelle de 1982, de la Loi sur les Indiens, de la Loi sur le ministère des Affaires indiennes et du Nord canadien, des lois territoriales, des traités, des ententes sur le règlement des revendications globales et sur l'autonomie gouvernementale ainsi que de nombreuses autres lois qui concernent les Autochtones et le Nord. Une partie importante du mandat du Ministère provient également des décisions stratégiques et des pratiques de programme qui ont été établies au fil des ans. Le mandat du Ministère est aussi balisé par des décisions judiciaires qui ont des incidences stratégiques directes^{Note de bas de page 2}.

1.4 Structures des programmes et rendement

Les activités ministérielles sont largement structurées par des arrangements en matière de financement ou des ententes officielles conclues avec les Premières Nations ou les gouvernements provinciaux et territoriaux. La prestation de la plupart des programmes ministériels, qui comptent pour la majorité des dépenses d'AANC, est assurée au moyen de partenariats avec des collectivités autochtones ou d'accords fédéraux-provinciaux ou fédéraux-territoriaux. AANC travaille également avec les Autochtones vivant en milieu urbain, les Métis et les Indiens non inscrits, dont bon nombre habitent dans des régions rurales.

1.5 Dépenses prévues et paiements de transfert

Selon les Comptes publics du Canada de 2016, AANC est le cinquième ministère fédéral en importance pour ce qui est du montant total des dépenses ministérielles nettes, et le troisième en importance d'après le montant total des paiements de transfert et des subventions et contributions, après Finances Canada et Emploi et Développement social Canada.

D'après le Budget principal des dépenses de 2017-2018^{Note de bas de page 3}, AANC prévoit dépenser plus de 10 milliards de dollars annuellement, dont environ 89 % (8,96 milliards de dollars) vont directement aux bénéficiaires au moyen de paiements de transfert. Les dépenses totales prévues en 2017-2018 sont indiquées dans le tableau ci-dessous en fonction des résultats stratégiques du Ministère.

Tableau 1

2.1 Facteurs de planification des évaluations

Des évaluations de programme sont requises par l'actuelle Politique sur les résultats du Conseil du Trésor (2016). Le paragraphe 42.1 de la Loi sur la gestion des finances publiques exige aussi d'évaluer tous les programmes de subventions et contributions en cours tous les cinq ans. La planification des évaluations est faite compte tenu de ces exigences.

Chaque année, la Direction générale des services de vérification et d'assurance établit les rangs de priorité des unités vérifiables au sein du Ministère, conformément à l'orientation du Bureau du contrôleur général. Les considérations relatives aux risques sont l'incidence des risques sur l'atteinte des résultats ministériels; leur importance; leur portée; la possibilité qu'ils attirent l'attention du public; les risques juridiques; la prévalence des risques; et la gravité des conséquences. Le plan est élaboré dans le contexte du Plan de vérification axé sur le risque pour 2017-2018 à 2019-2020. Les cotes de risque sont indiquées à l'annexe B et sont codées par couleur pour refléter le niveau de risque déterminé dans le Plan de vérification axé sur le risque^{Note de bas de page 4}.

2.2 Ce qu'il y a de nouveau dans le plan

Il importe de mentionner que le programme de résultats du gouvernement, qu'orientent les mandats ministériels rendus publics, la Politique sur les résultats et les grandes priorités du gouvernement communiquées à AANC convergent pour favoriser un changement dans les structures des programmes et dans l'information sur le rendement disponible au sein du Ministère. Cela donnera probablement lieu à la création de nouvelles entités de programme et à la formulation de nouveaux résultats attendus et d'indicateurs de rendement connexes. Quoi qu'il en soit, l'orientation du Secrétariat du Conseil du Trésor précise que la planification de 2017-2018 doit être faite en conformité avec les politiques et les exigences de couverture en vigueur.

La première étape de la préparation du plan pour 2017-2018 à 2021-2022 consistait à s'assurer que toutes les dépenses continues en matière de programmes sont évaluées tous les cinq ans. Le crédit pour la couverture des évaluations est accordé à l'approbation d'un rapport par l'administrateur général, suivant le principe selon lequel l'approbation permet de communiquer l'information à l'appui des interventions de la direction et de diffuser les résultats au public. Cet examen était fondé sur l'Architecture d'alignement des programmes d'AANC de 2017-2018 (annexe A).

La préparation du plan comprenait aussi l'examen de secteurs de programme au sein du Ministère afin de s'assurer que chacun est évalué avant le renouvellement de programmes ou conformément aux engagements temporels pris auprès du Conseil du Trésor, et que les exigences de la Loi fédérale sur la responsabilité sont satisfaites.

Le document comporte deux « ableaux sur la couvertur », que tous les ministères doivent remplir et soumettre au Secrétariat du Conseil du Trésor chaque année.

L'annexe B (Affaires autochtones et du Nord Canada – Calendrier quinquennal des évaluations de 2017-2018 à 2021-2022) présente la séquence de toutes les évaluations de programme au cours des cinq prochaines années, avec les dates prévues de début et de fin^{Note de bas de page 5}. Le plan montre ainsi la réalisation prévue de 40 évaluations couvrant 93,8 % des dépenses directes de programme de 2017-2018 à 2021-2022. Les programmes dont la moyenne sur cinq ans est inférieure à cinq millions de dollars, et donc qui n'ont pas été sélectionnés pour faire l'objet d'une évaluation à l'heure actuelle, représentent 6,3 % des dépenses organisationnelles totales.

L'annexe C (Affaires autochtones et du Nord Canada – Couverture des programmes de subventions et contributions en cours – de 2017-2018 à 2021-2022, comprend un aperçu du moment choisi pour mener les évaluations, comme l'exige la Loi sur la gestion des finances publiques, ce qui est présenté dans un modèle requis par le Secrétariat du Conseil du Trésor.

2.3 Couverture des évaluations prévues des dépenses directes de programme, des services internes et des examens

Au cours de l'exercice précédent, six rapports d'évaluation touchant les dépenses directes de programme ont été approuvés en 2016-2017. Ces évaluations représentent 950 millions de dollars (9,7 %) de dépenses directes de programme du Ministère et comprennent ce qui suit :

• l'évaluation de la gouvernance et des institutions gouvernementales;
• l'évaluation du logement dans les réserves;
• l'évaluation du Programme d'aide à la gestion des urgences;
• l'évaluation de la Stratégie pour les Autochtones vivant en milieu urbain;
• l'évaluation de la gouvernance du Nord – Soutien aux relations territoriales et aux organismes du Nord; et
• l'évaluation des subventions au gouvernement des Territoires du Nord-Ouest et au gouvernement du Nunavut pour les services de santé dispensés aux Indiens et aux Inuits.

En plus des évaluations mentionnées ci-dessus qui concernent les dépenses directes de programme, d'autres travaux menés en 2016-2017 comprenaient des examens des services internes et des études sur les leçons apprises :

• l'évaluation de la mise en œuvre de Milieu de travail 2.0 (auparavant Locaux 2.0) (évaluation des services internes);
• l'examen de la mise en œuvre de l'Accord-cadre tripartite sur l'éducation (auparavant désigné sous le nom de Comité de coordination de l'éducation des Premières Nations) (examen); et
• l'étude des leçons apprises des crédits personnels (examen/étude des leçons apprises).

L'évaluation qui suit, initialement prévue en 2016-2017, a été reportée en 2017-2018 :

• l'évaluation du cycle annuel de gestion des ententes (auparavant le cycle de financement annuel accéléré) (évaluation des services internes).

Les évaluations suivantes de dépenses directes de programme ont débuté en 2016-2017 et devraient être terminées et approuvées en 2017-2018 :

• l'évaluation des soutiens à la mise en œuvre et à l'application de la Loi sur les loyers familiaux situés dans les réserves et les droits ou intérêts matrimoniaux;
• l'évaluation de l'aide au revenu;
• l'évaluation de l'aide à la vie autonome;
• l'évaluation de la prévention de la violence familiale;
• l'évaluation horizontale de l'adaptation aux changements climatiques (à réaliser conjointement avec Environnement Canada)^{Note de bas de page 6}; et
• l'évaluation de la gestion des terres et des eaux.

Conformément à la Politique sur les résultats, selon laquelle les programmes dont la moyenne sur cinq ans est inférieure à cinq millions de dollars n'ont pas à être évalués tous les cinq ans, le programme et les sous-programmes suivants ne feront pas l'objet d'une évaluation :

• Traités avant 1975 (« historiques »)
• Commissions des traités
• Successions
• Résolution des questions des pensionnats
• Gestion des terres de réserve
• Résilience climatique
• Pétrole et minéraux

L'annexe D (Comité de l'évaluation, de la mesure du rendement et de l'examen – Calendrier des éléments 2017-2018) énumère tous les engagements et les jalons ou produits livrables de la Direction générale.

2.4 Couverture des évaluations prévues des programmes de subventions et contributions en cours

AANC a actuellement la responsabilité de 36 autorisations (subventions et contributions votées). Il existe dans sept cas seulement une correspondance « un à un » entre les autorisations indiquées dans le Budget principal des dépenses et le répertoire des programmes de subventions et contributions en cours que le Ministère considère être un « programme ». Un certain nombre de programmes s'appuient sur de multiples subventions et contributions. Inversement, une subvention ou une contribution peut soutenir de multiples programmes ministériels.

La Direction générale prend en compte ce qui précède dans sa planification afin de s'assurer que les évaluations examinent la pertinence et le rendement de toutes les subventions et contributions votées sur un cycle de cinq ans. Les activités d'évaluation sont organisées de manière à recueillir l'information nécessaire, soit au moyen d'évaluations distinctes des autorisations ou des subventions et contributions individuelles, soit au moyen d'évaluations qui rendent compte de la pertinence et du rendement des autorisations rattachées à des programmes plus vastes. Chaque rapport d'évaluation indiquera clairement les autorisations visées par les activités d'évaluation.

Dans ce contexte, le plan indique le moment prévu des évaluations à l'annexe C (Affaires autochtones et du Nord Canada – Couverture des programmes de subventions et contributions en cours – de 2017-2018 à 2021-2022). Ce tableau relie toutes les autorisations à tous les programmes ministériels. Cela aide à clarifier les liens qui existent entre et parmi les autorisations et les programmes afin de soutenir les efforts du Ministère pour répondre aux exigences de la Loi fédérale sur la responsabilité.

2.5 Mesure du rendement de la Direction générale de l'évaluation, de la mesure du rendement et de l'examen

La DGEMRE a établi des mesures du rendement pour assurer une progression vers les exigences de couverture. Le Plan d'activités du Secteur de la vérification et de l'évaluation pour 2017-2018 établit des cibles pour la Direction générale concernant le lancement, le déroulement et l'achèvement des évaluations prévues.

2.6 Mise en œuvre du plan

Les évaluations menées par la DGEMRE servent à appuyer la prise de décisions et l'établissement de rapports (comme le plan ministériel, les rapports sur le rendement ministériel), à évaluer les progrès réalisés par les programmes pour atteindre les résultats attendus et à intégrer les leçons apprises afin d'améliorer la conception et la prestation des programmes.

De plus en plus, afin de gérer la charge de travail, d'améliorer les délais d'exécution des évaluations et d'assurer la plus grande pertinence de la fonction d'évaluation, la Direction générale se concentrera sur les enjeux prioritaires dans ses évaluations et cherchera à les délimiter en fonction du thème le plus pressant (pertinence, rendement, efficacité), selon ce qui a été déterminé à la phase de planification. Les changements apportés à la politique permettent une plus grande flexibilité dans la détermination des enjeux, ce qui confère à la DGEMRE plus de souplesse pour établir la portée de ses travaux. Une fois défini, le cadre de référence de chaque évaluation sera approuvé par la DGEMRE.

Le tableau ci-dessous donne un aperçu des dépenses et des ressources humaines réelles et prévues affectées à l'évaluation sur un horizon de trois ans. Il importe de souligner que cela ne comprend pas les montants liés au recouvrement des coûts.

Tableau 2

Il est à noter que, bien que le tableau indique 20 postes équivalents temps plein, la Direction générale fonctionne rarement à sa pleine capacité et doit constamment pourvoir des postes vacants en raison du mouvement général de personnel vers d'autres possibilités et des délais nécessaires pour doter les postes. La Direction générale tire aussi parti des compétences et des talents d'étudiants de premier cycle et des cycles supérieurs tout au long de l'année.

2.7 Autres activités de la Direction générale

En plus d'évaluations, la Direction générale mène une panoplie d'activités pour appuyer et renforcer les travaux d'évaluation et de mesure du rendement du Ministère. Celles-ci comprennent la prestation de conseils et de soutien pour la mesure du rendement, la planification organisationnelle et l'établissement de rapports à l'échelle du Ministère (p. ex. l'Architecture d'alignement des programmes et le Cadre de gestion du rendement), un appui pour le renforcement des capacités et les activités de sensibilisation, ainsi que des travaux de recherche et des études spéciales des questions d'évaluation et de mesure du rendement.

Mesure du rendement

La DGEMRE travaille en étroite collaboration avec d'autres bureaux de services internes clés pour offrir des conseils et des orientations sur les stratégies de mesure du rendement et d'autres activités liées à la mesure du rendement au Ministère. Au cours des années passées, le rôle du CEMRE a été d'examiner les stratégies de mesure du rendement et de recommander leur approbation par l'administrateur général. À la lumière des changements à venir qui toucheront tous les aspects de la mesure du rendement, la DGEMRE continuera d'offrir des conseils et des orientations aux programmes sur les nouvelles exigences en la matière (p. ex. profils de l'information sur le programme) ainsi que sur les rôles et responsabilités découlant de la nouvelle Politique sur les résultats.

Examens

La Direction générale effectue aussi des examens, qui sont différents des évaluations et qui sont menés au cas par cas sur instruction de la sous-ministre. La DGEMRE et d'autres directions générales du Secteur de la vérification et de l'évaluation effectuent ou commandent des examens, et la production de documents de discussion et d'études sur des sujets pertinents relativement à leur mandat.

Conseils organisationnels

La Direction générale offre conseils et soutien à l'échelle du Ministère relativement à l'élaboration des présentations au Conseil du Trésor et des mémoires au Cabinet, au plan ministériel et au rapport ministériel sur le rendement, et à des activités connexes.

Renforcement des capacités

Pour soutenir le renforcement des capacités au sein de la fonction d'évaluation fédérale, les membres de l'équipe de la DGEMRE présentent des exposés et donnent des cours dans le milieu de l'évaluation. En 2016-2017, AANC a présenté un exposé au congrès de la Société canadienne d'évaluation sur les résultats de son projet de stages en 2015-2016, qui a appuyé la Direction des politiques stratégiques d'AANC dans l'analyse des rapports au public en fonction des mesures du rendement ministériel. Intitulé « Naviguer sur les eaux inconnues de l'historique du rendement d'AANC – Quand les résultats des programmes correspondent aux incidences dans la population », l'exposé décrit en détail les travaux accomplis par le Ministère pour analyser la rigueur de ses résultats stratégiques et de ses indicateurs de programme.

Programme de stages d'été

Depuis 2008, la Direction générale offre un programme de stages unique dans le cadre duquel de huit à dix étudiants diplômés d'universités sélectionnées^{Note de bas de page 7} au Canada inscrits en politique publique ou en administration sont embauchés pour 16 semaines pendant l'été. La DGEMRE, qui en est à sa dixième année, accueille 12 étudiants de mai à août. Les étudiants sont affectés à des postes au sein du Ministère qui leur permettent de mieux comprendre les activités d'AANC; ils travaillent en équipe à des projets de recherche et participent à des séances d'apprentissage qui leur donneront les connaissances et les compétences nécessaires pour mener à bien leurs projets de recherche et appuyer l'avancement de leur carrière.

En 2016, les étudiants ont produit un rapport suscitant la réflexion, « Réconciliation et évaluation », qui examinait de quelle façon les efforts renouvelés du Canada pour la réconciliation avec les Autochtones ont une incidence sur la mesure du rendement et l'évaluation. Le Ministère envisage de mettre à l'essai certaines des recommandations de cette étude dans ses prochains travaux d'évaluation.

Cet été, le projet sélectionné par la sous-ministre demande aux étudiants d'examiner les facteurs encourageant ou décourageant les Premières Nations à délaisser la Loi sur les Indiens et à choisir d'autres options de gouvernance, comme l'autonomie gouvernementale et les traités modernes, pour faire progresser leur autodétermination Les anciens stagiaires ont un taux d'emploi élevé au sein du gouvernement du Canada. Le programme a recruté 82 stagiaires depuis 2008 : 12 % travaillent toujours pour AANC et 60 % sont actuellement employés dans la fonction publique fédérale ou provinciale.

Soutien de la mobilisation

Des membres du personnel du Secteur ont participé en tant que preneurs de notes à la séance de mobilisation du Ministère tenue avec les organisations et les dirigeants des Premières Nations, visant la responsabilisation et la transparence mutuelles, activité menée par les Opérations régionales. La DGEMRE collabore avec les Opérations régionales, à l'administration centrale, et avec les régions et entreprend des travaux de planification et de coordination pour le Secteur afin de fournir des preneurs de notes (deux par séance pour environ 33 séances prévues). Ces personnes se rendent dans les régions et agissent en tant que preneurs de notes officiels pour qu'il y ait une consignation neutre et objective des engagements. Un dossier de notes et un document sommaire sont préparés et remis aux Opérations régionales. Une fois approuvées et rendues publiques, les notes contribueront également à l'évaluation du cycle annuel de gestion des ententes cernée dans le présent plan pour 2017-2018.