Vérification du cadre de contrôle de gestion pour les subventions et contributions (2014-2015) - Processus d’évaluation générale

Contexte

Afin de promouvoir la conformité à la Politique sur les paiements de transfert (PPT) du Conseil du Trésor ainsi que de faciliter la gestion des ententes de financement qui ont été négociées entre Affaires autochtones et Développement du Nord Canada (AADNC) et les bénéficiaires de fonds, un outil d'évaluation générale (EG) a été mis en place à l'automne 2010. Cet outil permet de dresser annuellement un portrait du rendement antérieur du bénéficiaire de fonds et cerne les points forts et les risques émergents qui pourraient influer sur la façon dont AADNC gère les paiements de transfert à l'intention du bénéficiaire.

L'EG est un outil évolutif. La version 1 de l'EG a été mise en œuvre et utilisée à l'automne 2010 pour les ententes de financement de l'exercice 2011-2012. Depuis, la version 2 a été mise en œuvre et utilisée pour les années de financement subséquentes.

Les résultats de l'EG sont censés influer sur la durée des ententes de financement, la fréquence et le type des activités de surveillance du Ministère (et des exigences afférentes en matière de déclaration), sur la souplesse du mode de financement ainsi que l'admissibilité du bénéficiaire à certains modes de financement. C'est pourquoi le Ministère doit pouvoir attester de la cohérence et de la transparence des résultats de l'évaluation.

Objectif et portée de la vérification

La vérification avait pour objectif de fournir à la haute direction une assurance quant à la pertinence et à l'efficacité de l'application de l'outil d'EG à la grandeur du ministère des Affaires autochtones et Développement du Nord Canada, afin d'appuyer la gestion des ententes de financement conclues avec les bénéficiaires de fonds.

La portée de la vérification a visé à évaluer la pertinence et l'efficacité de l'outil d'EG (Parties A, B et C), de manière horizontale, à partir d'un échantillon de sept (7) régions pour l'exercice 2014-2015, afin d'évaluer si l'outil d'EG est appliqué de façon constante.

Énoncé de conformité

La vérification est conforme aux normes de vérification interne du gouvernement du Canada, comme en témoignent les résultats du programme d'assurance et d'amélioration de la qualité.

Conclusion

La vérification a révélé que les EG sont exécutées conformément à la Directive 410 – Évaluation générale du Ministère. Cependant, des discordances ont été relevées, entre les régions et les secteurs, dans les processus établis pour élaborer, examiner et approuver les EG, ainsi que dans la documentation et les analyses devant appuyer les résultats de l'évaluation.

Afin d'établir des processus plus uniformes pour l'élaboration, l'étude et l'approbation des EG et d'améliorer les performances à cet égard dans l'ensemble du Ministère, la vérification a dégagé des pistes d'amélioration pour les outils, l'orientation et la formation associés au processus d'EG.

De plus, la vérification a révélé que les notes des EG n'affectent pas de façon égale le niveau des exigences administratives imposées aux bénéficiaires. Bien que le but visé par la Politique sur les paiements de transfert soit de permettre l'adoption d'une démarche fondée sur le risque en matière de déclaration et de surveillance, les limites actuelles des régimes de déclaration et de gestion des programmes font que les régions et les secteurs n'arrivent pas à ajuster soit les exigences de déclaration ou la surveillance des bénéficiaires à la lumière des notes des EG.

Recommandation

L'équipe de vérification a identifié des aspects pour lesquels la pertinence et l'efficacité de l'outil d'EG devraient être améliorées et a formulé quatre (4) recommandations en conséquence :

1. Le Comité de surveillance de la gestion des subventions et des contributions devrait mettre au point et coordonner un programme d'assurance et de contrôle de la qualité pour l'ensemble du Ministère afin de lui fournir une assurance que les EG sont effectuées de façon uniforme et que les résultats de l'évaluation sont suffisamment justifiés. Le programme d'assurance et de contrôle de la qualité devrait comprendre l'examen et l'évaluation des EG, Parties A, B et C.
2. Le Comité de surveillance de la gestion des subventions et des contributions devrait veiller à la normalisation des listes de contrôle et gabarits propres aux programmes servant à appuyer l'analyse du risque dans l'ensemble des régions. Avant leur mise en œuvre, ces listes de contrôle et gabarits devraient être soumis à une évaluation de leur conformité aux considérations en matière de risque et aux points de référence énoncés dans le Cahier de travail de l'évaluation générale (GA Workbook).
3. Le Comité de surveillance de la gestion des subventions et des contributions devrait améliorer l'uniformité des exigences de déclaration et de surveillance appliquées aux bénéficiaires ainsi que la souplesse des modes de financement offerts aux bénéficiaires sur la base de leur niveau de risque.
4. Le Comité de surveillance de la gestion des subventions et des contributions devrait donner suite aux recommandations énoncées ci-dessous afin de combler les lacunes identifiées au regard de la Directive 410 – Évaluation générale et du Cahier de travail de l'évaluation générale.
   1. Une mise à jour devrait être apportée à la Directive 410 – Évaluation générale afin de mieux définir :
      1. le rôle et les responsabilités des Services de financement et des représentants de programme dans l'élaboration, l'examen et l'analyse du bien-fondé des composantes relatives aux programmes d'une EG-Partie A, et
      2. le rôle et les responsabilités des bureaux régionaux dans l'examen et l'analyse du bien-fondé de l'incidence des données de Santé Canada dans les notes des EG.
   2. Le Cahier de travail de l'évaluation générale devrait être actualisé de façon à inclure les points de référence relatifs aux cotes de risque faible-moyen et moyen-élevé pour chacune des considérations, sur la base de critères pertinents comme les éléments déjà inclus pour les cotes de risque faible, moyen et élevé.
   3. Afin d'assurer une notation uniforme des EG, une mise à jour devrait être apportée la Directive 410 et au Cahier de travail de l'évaluation générale pour mieux indiquer comment les considérations particulières, comme celles établies durant la vérification, doivent être examinées et abordées au cours de la réalisation des EG.
   4. La Directive 410 devrait être mise à jour pour clarifier les rôles et les responsabilités relatifs à l'examen et à l'approbation des EG, en précisant le niveau décisionnel approprié pour l'approbation des EG-Partie A et EG-Partie B et garantir leur application uniforme dans l'ensemble des régions et des secteurs.

Réponse de la direction

La direction approuve les constatations et a accepté les recommandations contenues dans le rapport. Pour y répondre, elle a élaboré un plan d'action, compris dans le présent rapport.

1.1 Subventions et contributions

Affaires autochtones et Développement du Nord Canada (AADNC) verse aux Premières nations et à d'autres bénéficiaires un financement sous forme de subventions et de contributions (S et C) pour la prestation de programmes et de services, dans des domaines comme l'éducation, la gestion des terres, le développement social et les infrastructures communautaires. Le Ministère a versé 6,3 milliards de $^{Note de bas de page 1} en S et C au cours de l'exercice 2014-2015.

Les programmes de paiements de transfert sont administrés conformément à la Politique sur les paiements de transfert (PPT) et à la Directive sur les paiements de transfert du Conseil du Trésor (CT), en vigueur depuis le 1er octobre 2008. La PPT et la DPT ont pour objectif de garantir que les programmes de paiements de transfert sont gérés de façon juste, transparente et responsable, compte tenu des risques, qu'ils sont axés sur les citoyens et les bénéficiaires et conçus en fonction des diverses priorités du gouvernement et des résultats attendus. Plus précisément, la PPT énonce les attentes voulant qu'une démarche axée sur les risques soit adoptée à la conception des programmes de paiements de transfert, des modalités des programmes, des ententes de financement, de la surveillance et de la vérification des bénéficiaires.

AADNC a procédé à la mise en œuvre initiale de la PPT et de la DPT en mars 2011. Afin de répondre aux exigences de la PPT, le Secteur du dirigeant principal des finances (DPF) a établi le Centre d'expertise des paiements de transfert (CEPT), qui a mis en place le cadre de contrôle de gestion (CCG) pour les subventions et les contributions dans le but de permettre une gestion et une surveillance efficaces des programmes de subventions et de contributions et de garantir le respect de la politique et de la directive sur les paiements de transfert. En tant que responsable de la gestion globale des fonds de paiements de transfert, le DPF d'AADNC est le gardien du CCG appliqué au Ministère. Le CCG énonce les rôles et les responsabilités au regard des S et C, en particulier quant à la gestion des programmes (conception et mise en œuvre d'un programme) et aux opérations de paiement de transfert (opérations d'un programme avec les bénéficiaires), et fixe les attentes du Ministère quant à la gestion des S et C entre les régions et l'administration centrale (AC).

Le CCG fait l'objet d'une vérification annuelle en raison de l'importance du financement par S et C au regard du budget global et du mandat du Ministère.

1.2 L'évaluation générale

Mise en œuvre à l'automne 2010, l'évaluation générale (EG) permet la conformité avec la PPT et la gestion des ententes de financement négociées entre AADNC et les bénéficiaires de financement. Cet outil permet de dresser annuellement un portrait du rendement antérieur du bénéficiaire de financement et de cerner les points forts et les risques émergents qui pourraient influer sur la façon dont AADNC gère les paiements de transfert au bénéficiaire. L'EG permet à AADNC d'évaluer la capacité des bénéficiaires d'accéder à divers modes de financement, notamment les ententes pluriannuelles. Les résultats de l'EG peuvent aussi mener à des ajustements aux exigences de déclaration imposées par AADNC au bénéficiaire.

Depuis 2013-2014, AADNC a collaboré avec Santé Canada (SC) à l'élaboration d'ententes relatives à des programmes multiples continus pour le versement de fonds aux bénéficiaires recevant à la fois un financement d'AADNC et de la Direction générale de la santé des Premières nations et des Inuits (DGSPNI) de Santé Canada. Pour l'exercice 2014-2015, les EG-Partie A élaborées pour les bénéficiaires dans le cadre d'ententes relatives à des programmes multiples continus ont inclus une évaluation des activités de gestion de programme des bénéficiaires associées à la fois aux programmes d'AADNC et de la DGSPNI.

L'EG est un outil évolutif. La version 1 de l'EG a été mise en œuvre et utilisée à l'automne 2010 pour les ententes de financement de l'exercice 2011-2012. Depuis, la version 2 a été mise en œuvre et utilisée pour les années de financement subséquentes. L'échelle de pointage des considérations y a été affinée, de même que les pondérations appliquées à chacun des facteurs de risque qui ont été simplifiés.

Un Cahier de travail de l'évaluation générale (GA Workbook) a été créé pour mieux uniformiser la réalisation des EG. Le cahier de travail énonce les diverses « considérations » et les points de référence associés, à évaluer pour chaque facteur de risque (gouvernance, planification, gestion financière, gestion de programme et autres considérations) dans la réalisation d'une EG. Le Cahier de travail de l'évaluation générale favorise une approche équitable et cohérente pour la gestion des ententes de financement.

Le Cahier de travail de l'évaluation générale est divisé en deux parties : la Partie A, pour les relations de financement plus complexes, et la Partie B, pour les relations de financement moins complexes. La Partie A est remplie dans le cas des bénéficiaires qui ont une relation continue avec AADNC, avant que ne soit conclue une entente de financement, puis une fois par année subséquemment pour les ententes pluriannuelles dans lesquelles le bénéficiaire est considéré comme présentant un risque moyen ou plus important. Les EG-Partie A sont généralement remplies par les bureaux régionaux; une petite partie seulement est remplie par les secteurs de l'AC. Les EG-Partie A comprennent une évaluation des facteurs de risque suivants : Gouvernance, Planification, Gestion financière et Gestion de programme (applicables pour chaque programme admissible pour lequel le bénéficiaire reçoit des fonds).

Contrairement aux EG-Partie A, les EG-Partie B servent à évaluer les bénéficiaires d'un projet ponctuel ou d'un service particulier continu faisant l'objet d'une entente de financement qui lui est propre. Les EG-Partie B comprennent une évaluation de la gouvernance, des antécédents en matière de rendement, de la stabilité financière et de la planification du bénéficiaire, ainsi que de la complexité du projet pour ce programme ou projet. La Partie B renferme une catégorie de risque « Autres considérations », utilisée lorsque des exigences de programme particulières rendent nécessaire l'évaluation de sphères de risque additionnelles. Pour 2014-2015, 30 % des EG-Partie B ont été remplies par des secteurs de l'AC.

L'EG-Partie C sert à évaluer le risque et la capacité d'un bénéficiaire de programmes multiples continus, afin d'éclairer la décision d'admettre le bénéficiaire à une entente de financement par contribution globale ou de renouveler son adhésion à une telle entente. C'est pourquoi les EG-Partie C appliquent des critères beaucoup plus détaillés que les EG-Partie A et EG-Partie B et fournissent une liste de contrôle qui détermine une cote d'évaluation numérique pour chaque catégorie de risque. Les EG-Partie C sont remplies par les bureaux régionaux.

Les résultats de l'EG sont censés influer sur la durée des ententes de financement, la fréquence et le type des activités de surveillance du Ministère (et des exigences afférentes en matière de déclaration), sur la souplesse du mode de financement ainsi que l'admissibilité du bénéficiaire à certains modes de financement. C'est pourquoi le Ministère doit pouvoir attester de la cohérence et de la transparence des résultats de l'évaluation. C'est en raison de ces facteurs qu'a été prise la décision de faire des EG l'élément central de la présente vérification.

2.1 Objectif de la vérification

La vérification avait pour objectif de fournir à la haute direction une assurance quant à la pertinence et à l'efficacité de l'application de l'outil d'EG dans l'ensemble du Ministère pour ce qui est de la gestion des ententes de financement conclues avec les bénéficiaires de fonds.

2.2 Portée de la vérification

La portée de la vérification visait principalement à mesurer la pertinence et l'efficacité des Parties A, B et C de l'outil d'EG, notamment :

• le travail de supervision associé à l'établissement et à la mise au point des résultats et de la notation de l'évaluation;
• la sélection d'un mécanisme de financement approprié, compte tenu des résultats de l'EG, selon les besoins^{Note de bas de page 2};
• les activités et la participation de chacun des bénéficiaires dans le cadre de l'évaluation annuelle;
• les outils ainsi que les mécanismes de gouvernance et d'orientation utilisés pour assurer l'application uniforme de l'évaluation dans toutes les régions.

La portée de la vérification comprenait l'examen d'un échantillon d'EG, Partie A, Partie B et Partie C, pour l'exercice 2014-2015 couvrant les visites à trois (3) bureaux régionaux, ainsi qu'un examen de quatre (4) autres régions.

La portée de la vérification ne s'étendait pas, toutefois, aux résultats des EG menées par Santé Canada. Elle ne couvrait que le processus d'examen et d'approbation d'AADNC pour l'EG complétée, qui inclut les composantes réalisées par Santé Canada.

Sélection des régions à visiter

La méthode d'échantillonnage a pris en compte les facteurs suivants dans la sélection des bureaux régionaux à visiter :

• nombre d'EG réalisées par les bureaux régionaux;
• nombre d'EG de risque faible, moyen et élevé par bureau régional, et
• rétroaction recueillie durant la phase de planification auprès des personnes interviewées à l'AC et dans les régions.

Compte tenu des critères mentionnés ci-dessus et de l'objectif d'évaluer la pertinence et l'efficacité de l'application de l'outil d'EG dans l'ensemble du Ministère, les bureaux régionaux suivants ont été choisis pour des visites régionales :

• Atlantique;
• Alberta;
• Colombie-Britannique.

Afin d'obtenir une image globale de la pertinence et de l'efficacité de l'outil d'EG, Parties A, B et C, nous avons élargi la portée de nos contrôles pour y inclure des EG menées dans les régions de l'Ontario, du Manitoba, de la Saskatchewan et du Québec. La vérification a aussi inclus des entrevues dans certains secteurs de programmes à l'AC axés sur la Partie B du Cahier de travail de l'évaluation générale, notamment les secteurs Organisation des affaires du Nord, Terres et développement économique, et Traités et gouvernement autochtone.

5.1 Rôles et responsabilités

Mise au point par le CEPT et entrée en vigueur le 1er avril 2011, la Directive 410 – Évaluation générale (Directive 410) énonce certains rôles et responsabilités clés pour la réalisation, l'examen et l'approbation des EG, ainsi que la tenue du cadre des EG, y compris l'élaboration d'outils de formation et de travail. Le Guide de l'utilisateur, révisé en août 2011, comprend aussi le mandat du Comité de gestion des paiements de transfert régional/sectoriel.

Plus précisément, la Directive 410 assigne la responsabilité de la réalisation des EG aux services de financement ou au programme équivalent, la supervision étant assurée par les directeurs généraux régionaux ou les directeurs généraux de la direction générale du programme, le Secteur du dirigeant principal des finances (DPF) et le Comité de gestion des paiements de transferts régional/sectoriel, ou l'équivalent. La vérification a révélé que bien que les rôles et les responsabilités assignés à certains membres du personnel clés participant au processus des EG soient clairement définis, la compréhension de certains rôles n'est pas uniforme. L'équipe de vérification a indiqué que des améliorations doivent être apportées pour garantir une approche uniforme dans l'exécution des composantes de programme des EG-Partie A et des EG-Partie B remplies par les secteurs de l'AC, ainsi que dans l'examen et l'analyse du bien-fondé des évaluations menées par Santé Canada.

5.2 Formation, outils et orientation

L'équipe de vérification a constaté des écarts dans le niveau de formation offert aux personnes chargées de remplir, d'examiner ou d'approuver les EG. Elle a aussi identifié des moyens de rendre le processus des EG plus objectif grâce à des améliorations au Cahier de travail de l'évaluation générale.

5.3 Résultats de l'évaluation des EG

5.4 Incidence sur les activités de surveillance et de rapport

Selon la PPT, les obligations administratives imposées aux bénéficiaires - nécessaires pour assurer un contrôle efficace, la transparence et la responsabilisation - doivent être proportionnelles au niveau des risques propres au programme, au niveau de financement et au profil de risques des bénéficiaires. La DPT précise que ces mêmes risques devaient influer sur le niveau de surveillance des bénéficiaires et les mesures de déclaration qui leur sont exigées.

Les entrevues menées auprès de représentants provenant d'un échantillon de bureaux régionaux et de secteurs de l'AC ont révélé que les notes attribuées aux EG ne sont pas utilisées de façon uniforme pour déterminer le niveau des exigences administratives appliquées aux bénéficiaires. Plus précisément, l'équipe de vérification a constaté qu'en raison des limites imposées par les cadres de contrôle de certains programmes, le niveau de surveillance et de déclaration exigé des bénéficiaires ne peut pas être adapté en fonction des résultats de l'EG.

Cette observation vient appuyer un constat de la Vérification du cadre de contrôle de gestion pour les subventions et contributions - Accent sur les cadres de contrôle des programmes et la production de rapports des bénéficiaires (2013-2014). Cette vérification a révélé que les régions et les programmes n'appliquent généralement pas de régimes de rapport et de gestion fondés sur les risques pour orienter les ressources ministérielles limitées vers les projets et les bénéficiaires présentant les risques les plus élevés. De même, la Vérification du Cadre de contrôle de gestion pour les subventions et contributions - Approches de financement (2012-2013) a révélé que le niveau de risque du bénéficiaire n'était pas toujours adéquatement pris en compte dans l'établissement et la sélection des modes de financement et des activités relatives à la conformité au sein du Ministère.

Conformément à la Directive 410, l'EG a été élaborée pour fournir un processus normalisé dans l'évaluation d'un bénéficiaire afin d'identifier les problèmes pouvant nuire à la réalisation des programmes financés par AADNC, dans le but de créer une certaine flexibilité au niveau des régimes de gestion des ententes de financement. C'est pourquoi l'EG devrait être le principal outil utilisé pour déterminer le niveau de production de rapports et d'autres exigences administratives imposées aux bénéficiaires, appuyé par des cadres de contrôle de gestion de programme offrant suffisamment de latitude pour permettre aux régions de choisir les exigences de déclaration et de surveillance adaptées aux notes de l'EG et à d'autres facteurs pertinents.

5.5 Processus d'examen et d'approbation

Selon la Directive 410, les rapports d'EG doivent faire l'objet d'un examen multiniveaux visant à garantir l'intégrité des différents documents de décision et l'uniformité du traitement pour l'ensemble des bénéficiaires. La Directive indique que les EG remplies sont d'abord examinées par un groupe de pairs, revues ensuite par un gestionnaire des Services de financement ou l'équivalent et, enfin, examinées et approuvées par le président du Comité de gestion des paiements de transfert, ou l'équivalent.

Le Guide de l'utilisateur de l'EG, annexe B, indique que les résultats de l'EG doivent être approuvés par un comité régional établi ou par un sous-comité délégué, au besoin. Une démarche fondée sur le risque doit être appliquée pour déterminer si les circonstances justifient que l'approbation de l'EG soit confiée à un Comité de gestion des paiements de transfert, de niveau supérieur.

L'équipe de vérification a déterminé une démarche solide et uniforme pour l'examen et l'approbation des EG-Partie C, lesquelles sont toutes examinées et approuvées par un comité de surveillance régional, composé de membres possédant une autorité suffisante. Cependant, des discordances ont été constatées dans l'examen, l'analyse du bien-fondé et l'approbation des EG-Partie A et EG-Partie B parmi un échantillon de bureaux régionaux et de secteurs de l'AC. Les trois visites régionales ont mené aux constats suivants :

• Dans une des régions visitées, les EG ne sont pas soumises à un examen formel par les pairs ou par un comité de supervision ou de surveillance (outre l'approbation d'un gestionnaire dans le SGISC). Au contraire, seules les EG particulières affichant un seuil d'écart préétabli (hausse ou baisse de 5 % par rapport à la notation du risque antérieure) sont soumises à un examen et à une analyse du bien-fondé par le directeur des Services de financement. Aucune EG-Partie A ou EG-Partie B n'est examinée ni approuvée par le Comité régional des opérations ou un sous-comité.
• Dans une autre région, toutes les EG-Partie A et EG-Partie B étaient examinées d'abord par un gestionnaire des services extérieurs, puis par la section régionale de Vérification des bandes et allégations. Les EG sont examinées et approuvées soit par le Comité d'examen des vérifications ou par une révision sommaire de la section Vérification des bandes et allégation (si le risque est très faible), puis approuvées dans le SGISC par un membre de la section. Les EG à risque moyen ou élevé, ainsi qu'une synthèse de tous les résultats des EG, sont examinées par le Comité régional des opérations.
• Dans la dernière région visitée, les résultats de toutes les EG-Partie A et EG-Partie B étaient examinés par le gestionnaire des Services de financement et le comité régional d'évaluation du risque. Les résultats des EG évaluées comme posant un risque moyen-élevé ou élevé étaient aussi examinés par le Comité de gestion des paiements de transfert.

Pour aucun des trois programmes de l'AC faisant partie de l'échantillon un Comité de gestion des paiements de transfert n'a été établi pour examiner les EG-Partie B remplies. Dans tous les programmes, les EG étaient examinées et approuvées par un gestionnaire.

L'absence d'une approche uniforme pour l'examen et l'approbation des EG-Partie A et EG-Partie B fait augmenter le risque que des EG non justifiées ou incomplètes ne soient pas repérées et corrigées rapidement. De plus, sans un processus d'examen complet, comprenant l'examen et l'analyse du bien-fondé des EG par un comité ou une personne apte à exercer une surveillance adéquate de la réalisation de toutes les EG régionales ou sectorielles, des discordances dans les notes attribuées au regard des considérations en matière de risque pourraient passer inaperçues.