Vérification des programmes d'éducation postsecondaire

Programme d’aide aux étudiants de niveau postsecondaire et Programme préparatoire à l’entrée au collège et à l’université

Affaires autochtones et Développement du Nord Canada appuie les étudiants inuits et des Premières nations admissibles à l’éducation postsecondaire (EP) dans le cadre du Programme d’aide aux étudiants de niveau postsecondaire (PAENP) et du Programme préparatoire à l’entrée au collège et à l’université (PPECU). Les objectifs de ces programmes sont énumérés ci-après.

• Le PAENP vise à améliorer l’aptitude à l’emploi des étudiants inuits et des Premières nations admissibles en leur fournissant le soutien nécessaire qui leur donnera accès à des possibilités d’éducation et de développement des compétences au niveau postsecondaire.
• Le PPECU vise à appuyer financièrement les étudiants inuits et des Premières nations admissibles qui prennent part aux programmes préparatoires à l’entrée au collège et à l’université offerts dans les établissements d’enseignement postsecondaire du Canada, et à leur permettre d’atteindre le niveau académique requis pour être admis aux programmes menant à l’obtention d’un grade ou d’un diplôme.

Ces deux programmes sont les principales composantes des PEP du Ministère. En 2013-2014, les dépenses de ces programmes s'établissaient environ à 314 million de dollars, ce qui correspond environ à 93 % de l'ensemble des fonds disponibles affectés à l'EP.

L’administration centrale (AC) d’AADNC verse les fonds aux bureaux régionaux, qui les versent ensuite à des organismes des Premières nations, tels les conseils de bande, les conseils tribaux ou les organisations représentatives. Des organismes autochtones désignés ou certains bureaux régionaux d’AADNC financent les étudiants inuits admissibles. Ils versent ensuite les fonds aux étudiants admissibles dans leurs collectivités respectives. De ce fait, la capacité du Ministère d’influer sur les méthodes d’affectation des fonds aux étudiants est limitée; aussi, il lui est difficile d’influer directement sur les résultats des programmes.

Programme de partenariats postsecondaires

Affaires autochtones et Développement du Nord Canada soutient directement les établissements d’enseignement postsecondaire au moyen du Programme de partenariats postsecondaires (PPP). L’objectif du PPP est d’aider ces établissements à concevoir et à offrir des cours de niveau collégial et universitaire qui répondent aux besoins en éducation des étudiants inuits et des Premières nations. Le programme devrait améliorer la disponibilité des cours et des programmes postsecondaires qui ciblent les étudiants inuits et des Premières nations dans des domaines en forte demande sur le marché du travail local, régional ou national, ainsi que dans les domaines de la gouvernance autochtone et du développement des entreprises.

Les dépenses prévues en 2014-2015 pour le PPP s’établissent environ à 22 millions de dollars, et sept millions de cette somme sont affectés au soutien des activités de l’Université des Premières nations du Canada qui est située à Regina, en Saskatchewan. Les 15 millions de dollars restants sont affectés à des projets approuvés d’établissements d’enseignement postsecondaire admissibles après le processus de réception et d’examen des propositions. En 2014-2015, un total de 87 projets de 35 établissements d’enseignement postsecondaire a été approuvé.

5.1.1 Politiques, procédures et outils

Comme pour tous les programmes d’AADNC, il était attendu que les responsables des programmes et les responsables régionaux aient élaboré et mis sur pied un ensemble de processus, de procédures et d’outils connexes destinés à promouvoir les objectifs des programmes et à surveiller leur satisfaction ainsi qu’à s’assurer du respect des exigences. Ces ressources devraient refléter les attentes du Ministère pour la gestion et le contrôle des programmes ainsi que le contexte et le profil de risque du PAENP et du PPECU. Au minimum, il était attendu que la vérification confirme l’existence d’ententes de financement, de cadres de mesure du rendement et des dispositifs de suivi et de conformité efficaces et bien conçus ainsi que de lignes directrices, d’outils et de formation de base pour soutenir les bureaux régionaux et les bénéficiaires des programmes dans leur rôle respectif. Les paragraphes qui suivent traitent des résultats de la vérification eu égard aux politiques, aux programmes et aux outils du PAENP et du PPECU. Les capacités et les pratiques en matière de surveillance seront quant à elles abordées à la section 5.1.4.

Les procédures de la vérification ont conclu que les ententes de financement et les lignes directrices nationales des programmes  sont des éléments structuraux clés pour atteindre les objectifs du PAENP et du PPECU. L’examen d’un échantillon d’ententes a révélé que ces dernières reflètent fidèlement les modèles standards d’AADNC. Bien que, comme il a été mentionné à la section 1, le Ministère ait une capacité limitée à influencer la manière dont les fonds sont distribués aux étudiants, la vérification a confirmé que les ententes comprennent des modalités qui promeuvent l’utilisation des fonds aux fins prévues. Voici quelques-unes des observations relevées dans le cadre de la vérification à l’égard de ces modalités :

• Toutes les ententes de financement contiennent une clause qui impose au bénéficiaire de se conformer aux modalités des programmes, telles qu’elles sont établies dans les LDNP (voir ci-après pour de plus amples renseignements).
• Contrairement aux ententes de financement global, les bénéficiaires qui souscrivent à une entente de financement fixe ne sont pas autorisés à transférer des fonds des programmes d’EP en dehors du PAENP et du PPECU sans un plan des fonds inutilisés. À l’échéance de l’entente, tous les surplus pourront être demandés au bénéficiaire. Ces modalités visent à encourager une utilisation des fonds aux fins prévues.

Comme il est mentionné précédemment, toutes les ententes de financement incluent une exigence selon laquelle les bénéficiaires doivent se conformer aux modalités décrites dans les LDNP. Ces dernières ont été mises au point par les responsables des programmes pour articuler toutes les attentes formulées envers les bénéficiaires, y compris pour l’établissement de rapports liés au PAENP et au PPECU. L’examen des lignes directrices nationales actuelles a démontré que ces dernières offrent une orientation détaillée relativement aux critères de sélection prioritaires, la procédure d’appel et l’exigence imposée aux bénéficiaires d’établir publiquement des lignes directrices locales qui cadrent avec les exigences des LDNP. Les ententes de financement requièrent également des bénéficiaires qu’ils soumettent annuellement des renseignements financiers et de rendement par l’entremise d’états financiers vérifiés et de l’instrument de collecte de données fourni par le Ministère, respectivement. Des travaux de vérification menés sur le terrain dans quatre bureaux régionaux ont permis de constater que certaines régions ont mis au point des outils supplémentaires pour aider les bénéficiaires à se conformer aux lignes directrices nationales des programmes. Par exemple, le bureau du Yukon propose un modèle d’affectation budgétaire conçu localement ainsi qu’un guide régional d’utilisation. Le bureau de la Colombie-Britannique a quant à lui produit un DVD destiné à aider les Premières nations à répondre aux exigences des programmes en matière d’établissement de rapports.

La vérification a également permis de constater qu’une stratégie de gestion du rendement en matière d’éducation a été élaborée au début de 2014-2015. Cette stratégie comportait six indicateurs de rendement pour les programmes d’EP, tous reliés à des résultats du modèle logique de programme de la Direction générale de l’éducation. En raison de changements apportés aux processus de collecte de données, expliqués à la section 5.1.3, l’opérationnalisation de l’établissement des rapports sur le rendement à l’appui des programmes d’EP a connu des retards.

Enfin, la vérification a relevé des preuves que les responsables des programmes de l’administration centrale ont pris des mesures pour améliorer ou mettre à jour les lignes directrices et les outils offerts aux régions et aux bénéficiaires. Par exemple, la comparaison des LDNP actuelles et antérieures a permis de constater que les premières ont été mises à jour afin de mieux définir les dépenses admissibles en vertu du PAENP et du PPECU. Nous avons également découvert une récente initiative du SPPEDS. Dans le cadre de cette dernière, l’ébauche d’une directive sur la conformité et d’un manuel d’examen de la conformité des bénéficiaires des programmes a été élaborée. Y figurent les principes directeurs, les rôles et les responsabilités, les procédures relatives à une évaluation des risques et à l’élaboration d’un plan de conformité fondé sur les risques ainsi que les procédures relatives aux examens de conformité. Ces outils n’ont pas encore été mis en place pour les programmes d’EP; ils sont destinés à la programmation du SPPEDS.

5.1.2 Approche en matière de financement des programmes

Sauf pour un volume relativement restreint de subventions qui sont directement accordées à des étudiants admissibles par les bureaux régionaux, les bénéficiaires sont responsables d’accorder des fonds aux étudiants selon les lignes directrices nationales des programmes. Le mécanisme de financement en place prévoit que l’administration centrale verse des fonds pour les programmes d’EP aux régions, qui, à leur tour, les distribuent aux bénéficiaires. Comme il a été mentionné précédemment, les bureaux régionaux sont autorisés à faire preuve d’une certaine souplesse dans l’administration et la prestation des programmes. Néanmoins, il était attendu que la vérification découvre des mécanismes de financement et des méthodologies pour la répartition des fonds qui promeuvent une mise en place cohérente du PAENP et du PPECU partout au pays ainsi qu’un accès équitable au financement pour les étudiants admissibles de chacune des régions. De plus, il était attendu que des mécanismes efficaces soient en place pour surveiller, évaluer et traiter l’harmonisation des objectifs des programmes à leur capacité en matière de ressources, comme une analyse des besoins par rapport au niveau de financement, afin de favoriser l’harmonisation des pratiques de financement et des besoins de financement.

Le programme prévoit trois types de financement : le financement global, les contributions fixes et les subventions. En 2013-2014, la valeur du financement global était d’environ 132 millions de dollars; celle des contributions fixes, d’environ 179 millions de dollars et celle des subventions, d’environ 1 million de dollars. Dans le cadre d’un financement global, le Ministère applique une formule pour répartir un montant du financement total reçu aux programmes d’EP de chaque région (tel qu’il est établi dans les accords de financement global). Les régions remettent ensuite les fonds aux bénéficiaires selon leur propre accord de financement global. Les bénéficiaires liés par une entente de financement global peuvent transférer les fonds obtenus à d’autres programmes, à condition de pouvoir démontrer qu’ils ont accompli des progrès dans l’atteinte des objectifs des programmes d’EP.

Pour les ententes de financement fixe, le financement des programmes repose sur des modèles de financement antérieurs sujets à une augmentation nominale annuelle d’environ 2 %. Le Ministère peut affecter ces 2 % à des dépenses obligatoires d’autres programmes éducatifs. Cette façon de faire correspond à l’approche relevée dans la vérification interne de 2009. Aucun examen ni aucune analyse n’ont toutefois été menés pour s’assurer que les affectations de l’administration centrale favorisent un accès équitable au financement entre toutes les régions. Conséquemment, il y a un risque accru que l’atteinte de cet objectif diminue avec le temps.

La vérification interne de 2009 recommandait qu’un examen soit mené afin de déterminer si les exigences de financement des bénéficiaires sont adéquates et suffisantes. À ce jour, aucune analyse officielle des besoins n’a été menée pour déterminer si le financement offert aux bénéficiaires est suffisant pour atteindre les objectifs des programmes. Des défis d’ordre pratique se posent pour la réalisation d’une analyse des besoins efficace, dont la capacité de répertorier les candidats potentiels qui vivent en dehors des réserves. De plus, de nombreux facteurs historiques et contextuels, décrits à la section Contexte du présent rapport, font en sorte qu’il est difficile et délicat de déterminer si les fonds alloués sont suffisants à l’échelle des étudiants. Et bien que ce fut une considération importante pour les responsables des programmes, la vérification n’a pas procédé à une analyse détaillée de cet enjeu. Indépendamment des montants alloués, les augmentations nominales annuelles n’équivalent certainement pas les hausses bien connues des coûts liés à l’enseignement postsecondaire au Canada. À ce titre, il existe un risque que l’atteinte des objectifs s’érodera avec le temps. En outre, la variabilité des profils démographiques d’un bout à l’autre du pays peut avoir une incidence sur la détermination d’où se situent les besoins les plus criants en financement.

La vérification de 2009 relevait aussi le fait que les méthodes d’affectation du financement différaient d’une région à l’autre. La présente vérification fait le même constat. La flexibilité dont font preuve les régions leur permet de prendre l’initiative de choisir l’approche d’affectation du financement qui répond le mieux aux intérêts des programmes et des bénéficiaires. Par exemple, l’une des régions visitées prenait en considération les besoins de financement des bénéficiaires pour répartir le financement obtenu. Pour ce faire, elle redirigeait une partie du financement régional reçu, d’une valeur supérieure à un montant d’affectation initial, dans des réserves de fonds, ce qui permettait à des bénéficiaires d’accéder à un financement supplémentaire par l’entremise d’un processus de propositions fondé sur les besoins. Pour démontrer leurs besoins, les bénéficiaires devaient présenter les fins prévues des fonds demandés et les listes d’attente d’étudiants. Ce processus avait été élaboré en collaboration avec des partenaires, dont des représentants des bénéficiaires. Comme l’illustre cet exemple, des variations mineures dans l’affectation du financement ne sont pas inappropriées en soi. Toutefois, de telles disparités présentent un risque si les bénéficiaires d’une région ne jouissent pas du même accès à des fonds supplémentaires que des bénéficiaires semblables d’une autre région. De plus, la vérification a constatée que les méthodes uniques qu’utilisaient certaines des régions visitées n’avaient pas été soumises à un examen depuis un certain temps.

Recommandation :

1. Le sous-ministre adjoint (SMA), Secteur des programmes et des partenariats en matière d’éducation et de développement social (SPPEDS), doit examiner si les méthodes d’affectation du financement pour l’éducation postsecondaire sont adéquates dans l’ensemble des régions, de manière à assurer un accès équitable et, dans la mesure du possible, à favoriser l’harmonisation des pratiques en matière de financement avec les besoins. À la lumière des résultats de cet examen et des objectifs généraux des programmes, il doit élaborer des directives nationales pour soutenir l’uniformité des méthodes d’affectation de fonds utilisées par les régions et permettre les différences régionales, si la situation le justifie. À la lumière des résultats de cet examen et des objectifs généraux des programmes, il doit élaborer des directives nationales pour soutenir l’uniformité des méthodes d’affectation de fonds utilisées par les régions et permettre des différences régionales, si la situation le justifie.

5.1.3 Changements aux processus de collecte de données

La collecte de renseignements pertinents et exacts sur le rendement est essentielle pour déterminer dans quelle mesure les programmes d’EP obtiennent les résultats escomptés et si leur planification est efficace. Comme pour de nombreux programmes d’AADNC, la collecte efficace et efficiente de données auprès des bénéficiaires est un défi permanent pour le PAENP et le PPECU. Des vérifications et des évaluations menées dans le passé avaient également relevé la nécessité d’être plus rigoureux dans la collecte de renseignements sur le rendement, de manière à favoriser le processus décisionnel de la gestion, la planification et la surveillance des programmes d’EP. En 2012-2013, de nouvelles exigences en matière d’établissement de rapports pour les bénéficiaires du PAENP et du PPECU ont été introduites au moment d’effectuer la transition vers le système d’information sur l’éducation (SIE). Il était attendu que ces changements aux processus de collecte de données améliorent la capacité de surveiller les bénéficiaires de ces programmes et, plus largement, la programmation en général.

Les modalités des ententes de financement exigent des bénéficiaires qu’ils fournissent deux sources de renseignements principales. La première correspond à l’état financier vérifié annuel, qui comprend des tableaux complémentaires présentant les renseignements financiers d’un bénéficiaire donné par rapport à l’utilisation du financement, dont celui du PAENP et du PPECU. La vérification a relevé des preuves que ces états financiers vérifiés faisaient l’objet d’une surveillance par le personnel des régions, une surveillance toutefois limitée aux coûts d’administration des programmes et aux dépenses admissibles. La section 5.1.4 fournit de plus amples renseignements sur la nature et l’efficacité de la surveillance des états financiers vérifiés.

La seconde source d’information correspond à l’outil de déclaration actuel des programmes, connu sous le nom d’instrument de collecte de données (ICD), qui contient des formulaires à remplir par les bénéficiaires une fois l’an. L’ICD simplifie la collecte de renseignements variés auprès des bénéficiaires à propos des étudiants ayant reçu des fonds. Il contient également des instructions sur la manière de remplir les formulaires et les entrevues menées dans le cadre de la vérification ont permis de constater que certaines régions offrent également aux bénéficiaires une formation sur l’ICD. Une fois les formulaires remplis, la région doit réviser l’ICD avant d’entrer ou de charger les données dans le SIE. Les procédures de vérification menées dans les quatre bureaux régionaux visités démontrent que les formulaires sont bel et bien révisés afin de s’assurer qu’ils ont été remplis convenablement et qu’ils sont exempts de messages d’erreur (lesquels apparaissent par exemple lorsqu’un bénéficiaire entre ou tente d’entrer des renseignements invalides, comme le nom d’un établissement postsecondaire non approuvé). Comme il est décrit de manière plus approfondie à la section 5.1.4, avant que c’est télécharger dans SIE, la surveillance ne porte pas sur la qualité de l’informationsaisie dans l’ICD.

Le SIE vise à soutenir une responsabilité accrue pour les programmes d’éducation, à appuyer les changements en matière d’élaboration des programmes et des politiques et à améliorer la prestation des services. Bien que le SIE soit déployé au sein de la Direction générale de l’éducation, il n’est pas encore complètement opérationnel pour les programmes d’EP; des données doivent encore y être chargées et sa conformité n’a pas été validée. La saisie de données dans le SIE a connu d’importants retards à l’échelle régionale, ce qui fait que les données de 2012-2013 ont été saisies en 2014-2015. De plus, la Direction générale de l’éducation fait actuellement l’objet d’une évaluation qui cherche à vérifier sa conformité aux modalités et aux LDNP en vue de l’établissement des rapports et de l’analyse. Par conséquent, bien que les renseignements liés à l’EP aient été recueillis auprès des bénéficiaires et saisis dans le SIE, ils ne peuvent être utilisés pour générer des rapports qui serviraient aux responsables en matière de surveillance de la conformité, de prises de décisions, de responsabilités ou de mesure du rendement. De plus, l’absence de rapports signifie que les programmes ont une capacité limitée, voire nulle, d’évaluer la qualité des renseignements déclarés. Les entrevues menées avec les responsables des programmes et les représentants du SIE démontrent que les programmes n’ont pas encore rédigé de plan clair qui décrirait à quel moment et de quelle manière la fonction d’établissement de rapports du SIE pourra servir les programmes d’EP. Les lacunes créées par cette absence de rapports sur l’EP pendant la configuration du SIE pour les programmes d’EP ont passablement nui à la capacité des responsables de soutenir l’atteinte des objectifs de rendement des programmes et de rendre des comptes à cet égard, ainsi qu’à leur capacité de surveiller dans quelle mesure les bénéficiaires respectent les exigences des programmes.

Recommandation :

2. Le sous-ministre adjoint, Secteur des programmes et des partenariats en matière d’éducation et de développement social, doit élaborer une stratégie et un plan officiels précis pour savoir de quelle façon et à quel moment les capacités d’établissement de rapports du SIE seront mises à profit pour soutenir la gestion et le contrôle efficaces des PEP (c.-à-d. nature, fréquence et destinataires des rapports, etc.) ainsi que de quelle façon la formation soutiendra l’amélioration de la précision et de l’uniformité en matière de collecte de données.

5.1.4 Approche en matière de surveillance

La vérification a évalué la mesure dans laquelle des activités de surveillance et de supervision sont menées pour promouvoir la conformité aux exigences des programmes et l’atteinte de leurs objectifs. De plus, la vérification a étudié les mécanismes en place pour surveiller, évaluer et traiter l’harmonisation des objectifs des programmes avec les capacités de ce dernier en matière de ressources. À cette fin, des entrevues et des examens de contrôle ont été menés dans quatre bureaux régionaux afin de relever et d’analyser les processus utilisés pour surveiller la conformité des bénéficiaires aux modalités des ententes de financement, y compris aux lignes directrices nationales des programmes. Nous avons également mené des évaluations indépendantes pour déterminer dans quelle mesure les objectifs de conformité ont été atteints. Enfin, nous avons étudié les processus en place à l’administration centrale pour soutenir l’harmonisation des ressources et pour assurer une surveillance efficace de la conformité et des objectifs des programmes.

Malgré quelques variations quant à la portée de la surveillance assurée, les procédures de la vérification menées dans les quatre régions visitées ont permis de conclure que les employés des régions effectuent des examens sur dossier dans leur bureau, des examens toutefois limités à l’étude des états financiers vérifiés et de l’ICD. L’examen des états financiers vérifiés porte sur les dépenses effectuées et vise à s’assurer que l’exigence selon laquelle les coûts d’administration ne doivent pas dépasser 10 % des dépenses est respectée. Quant à l’ICD, il est suivi et examiné afin de confirmer que les grilles ont été reçues et bien remplies.

Il a été impossible de relever des preuves d’une surveillance exhaustive de la conformité aux modalités des ententes de financement ou aux lignes directrices nationales dans quelque région visitée que ce soit. Plus précisément, l’ampleur et la portée des activités de surveillance ou de conformité entreprises ne semblaient pas suffisantes pour repérer de manière systématique les problèmes potentiels de conformité ni pour promouvoir au maximum l’atteinte des objectifs des programmes. Et en ce qui concerne les quelques activités de conformité menées, des variations ont été observées d’une région à l’autre sur le plan des mesures de suivi prises auprès des bénéficiaires, lesquelles n’étaient par ailleurs pas officiellement établies. Même lorsque des activités de surveillance ont été observées, les procédures de la vérification ont démontré que les cas de non-conformité ne faisaient pas toujours l’objet d’un traitement ou d’un suivi. Quant aux exigences qui ne font pas l’objet d’une surveillance régionale, comme l’exigence imposée aux bénéficiaires de rédiger et de rendre publiques des lignes directrices locales, les taux de non-conformité étaient très élevés. Sur un échantillon de 45 bénéficiaires, 15 avaient publié de telles lignes directrices en ligne. Un examen de ces dernières a permis de constater que 14 d’entre elles répondaient aux exigences élémentaires décrites dans les lignes directrices nationales en présentant les critères de sélection et la procédure d’appel. Cela dit, aucune des lignes directrices locales n’incluait tous les éléments requis d’une procédure d’appel, tels qu’ils sont définis dans les LDNP. Pour une plus grande certitude, aucune donnée probante n’a été relevée indiquant que les régions avaient entrepris une approche fondée sur les risques pour surveiller les bénéficiaires des programmes d’EP. Bien que le processus d’évaluation générale soit appliqué à tous les bénéficiaires pour analyser leur capacité, il ne fournit pas un éclairage suffisant pour appuyer une approche de surveillance exhaustive, fondée sur les risques. Pourtant, sans une telle approche, la probabilité que les objectifs de programme ne soient pas atteints et que les bénéficiaires ne respectent pas les modalités des ententes de financement augmente.

Les répondants des entrevues menées dans les régions et à l’administration centrale entretenaient une compréhension commune de l’influence qu’ont les niveaux de ressource à l’échelle régionale sur l’ampleur et la portée de la surveillance liée à l’EP. Par exemple, une région qui n’a pas été visitée durant la vérification a fourni des renseignements sur un programme régional de conformité dans le cadre duquel la conformité de chaque étudiant aux modalités du PAENP ou du PPECU et aux lignes directrices des programmes a été récemment évaluée. Les entrevues avec cette région ont révélé la présence d’enjeux de conformité qui, dans certains cas, se sont soldés par un recouvrement des fonds.

Malgré les préoccupations soulevées précédemment, la vérification a permis de découvrir que le SPPEDS travaille actuellement à la conception de deux outils de conformité destinés à l’ensemble du secteur, dont une nouvelle directive sur la conformité et un manuel d’examen de la conformité des bénéficiaires des programmes. Une fois déployés dans les programmes d’EP, ces outils permettront de mener des évaluations de la conformité à ces programmes. Ces documents contiennent l’ébauche de listes de contrôle de la conformité propres à l’EP, mises au point par la Direction générale de l’éducation. La vérification a également relevé une initiative parallèle du Secteur des opérations régionales pour aborder les niveaux généraux de ressources destinées à la conformité. Cette initiative cherche à promouvoir des activités de conformité cohérentes et efficaces, menées en harmonie avec les ressources disponibles grâce à des stratégies qui incluent l’élaboration de structures communes et des catégories de ressources. Ces avancées positives ne devraient toutefois pas être mises en place dans les programmes d’EP avant 2016-2017. Un plan de mise en place solide sera nécessaire pour assurer l’efficacité et la durabilité de cette initiative. Pour l’élaborer, la contribution des régions sur les questions d’établissement de rapports, d’outils et de ressourcement sera essentielle. D’ici là, il faudrait établir une norme minimale de conformité, fondée sur les risques des bénéficiaires, pour pallier les lacunes observées sur le plan de la conformité et pour atténuer le risque que les fonds ne soient pas utilisés aux fins prévues.

Recommandation :

3. Le sous-ministre adjoint, Secteur des programmes et des partenariats en matière d’éducation et de développement social, doit établir un plan et un échéancier de mise en œuvre pour appliquer le nouveau cadre de conformité du SPPEDS à l’éducation postsecondaire. Entre-temps, il doit élaborer une approche axée sur le risque en matière de surveillance qui prévoit l’établissement et le maintien d’une norme minimale de surveillance et de suivi de la conformité dans toutes les régions.

5.1.5 Gestion du financement sous forme de subventions du PAENP et du PPECU

Ensemble, trois bureaux régionaux gèrent des subventions dont la valeur atteint environ un million de dollars. Le Yukon (400 000 dollars), l’Alberta (500 000 dollars) administrent le programme pour le compte de certaines Premières nations qui ont conclu des accords à cet effet. La Saskatchewan administre des subventions d’une valeur de 60 000 dollars pour les étudiants inuits ayant séjourné plus de 12 mois consécutifs à l’extérieur du Nunavut ou des Territoires du Nord-Ouest et qui, conséquemment, ne sont plus admissibles au financement d’un programme d’EP avec leur gouvernement.

La vérification menée sur place au Yukon a révélé que la région a mis au point un guide régional d’utilisation qui porte sur l’administration du programme. Ce guide joue le même rôle que les lignes directrices locales élaborées par d’autres bénéficiaires. La région a également instauré des pratiques et des protocoles appropriés relativement à l’admission des étudiants, aux exigences en matière de documentation et aux calculs de financement. Elle a également dressé une liste de contrôle pour la conformité et l’évaluation qui permet de déterminer l’admissibilité d’un étudiant à du financement. Les tests que la vérification a réalisés sur un échantillon de dossiers de subvention indiquaient que les mesures de contrôle en place étaient suffisamment efficaces.

Selon la vérification, la Saskatchewan n’a accordé des fonds qu’à quatre étudiants en 2013-2014. Bien que la vérification ait observé que les processus d’attribution des subventions étaient ad hoc, les tests réalisés sur un échantillon de dossiers de subvention indiquaient que les mesures de contrôle en place étaient suffisamment efficaces.

5.2.1 Objectifs du programme

La vérification a étudié le processus entrepris par les responsables du programme pour définir les objectifs du PPP dans le cadre de sa restructuration. L’équipe de la vérification s’attendait à ce qu’un concept et des objectifs harmonisés au mandat et aux priorités du Ministère aient été établis pour le PPP afin de répondre à un besoin établi par l’entremise de consultations ou d’autres moyens.

La vérification a permis de constater que la haute direction du Ministère avait demandé que l’ancien programme d’aide aux étudiants indiens soit révisé et modernisé afin de s’assurer que sa gestion et sa prestation respectent ses buts et ses objectifs initiaux ainsi que les priorités du gouvernement et du Ministère. Conséquemment, le programme a été modifié afin d’y inclure un processus d’examen des propositions plus rigoureux et plus transparent destiné à choisir les projets à financer (voir la section 5.2.3) et à financer des projets capables de répondre aux besoins du marché du travail (à l’échelle locale ou nationale) tout en augmentant le taux d’emploi chez les jeunes autochtones. Pour déterminer si les projets répondaient à un besoin local ou national, le programme avait recours à la liste des besoins du marché du travail d’Emploi et Développement social Canada (EDSC) et au savoir du personnel régional. Ces sources peuvent certes fournir une perspective utile pour l’évaluation des besoins sans avoir à mener une analyse officielle qui impliquerait la participation des différents partenaires. Toutefois, elles ne permettent pas de déterminer clairement la mesure dans laquelle le programme tient compte des besoins les plus importants des collectivités et des étudiants des Premières nations.

De plus, l’équipe de vérification a appris que la restructuration du programme avait pour objectif de mettre davantage l’accent sur l’établissement de partenariats, au point de privilégier les propositions de projets incluant des partenaires de financement additionnels. Pour insister sur ce nouvel angle d’approche, le nom du programme a été changé afin d’y inclure le mot « partenariats ». L’objectif de cette nouvelle orientation était de permettre au Ministère et aux partenaires de financement de tirer profit de la contribution de l’autre partie pour obtenir des résultats. Les responsables des programmes ont donc ajouté les nouveaux axes du programme (à savoir les besoins du marché du travail et les partenariats) aux critères de notation utilisés par le personnel pour évaluer les propositions.

La vérification s’est également penchée sur la stratégie de mesure du rendement (SGR) de la Direction générale de l’éducation afin d’y repérer les résultats escomptés et les indicateurs de succès du PPP. L’équipe de vérification a ainsi découvert que la SGR ne comprend aucun résultat ni aucun indicateur propre au PPP.

De manière générale, la vérification a révélé que les principaux objectifs du PPP n’étaient pas renforcés ni clairement traduits dans la stratégie de mesure du rendement et le processus d’examen des propositions. Bien que le rapport sur les plans et les priorités 2014-2015 du Ministère décrive l’importance de consolider les liens avec les besoins du marché du travail, ce facteur ne compte que pour 20 % de la note attribuée aux propositions. De plus, l’harmonisation au marché du travail ne figure pas au chapitre des exigences obligatoires. Une telle situation diminue considérablement l’importance de cet objectif, car elle permet que des projets soient approuvés sans avoir obtenu une bonne note dans le secteur pourtant considéré comme le plus étroitement lié aux objectifs ministériels. En outre, il est difficile d’établir de quelle manière le rendement du programme sera évalué ou ce qui constitue un succès pour ce dernier en l’absence de résultats escomptés et d’indicateurs de succès. Le flou qui entoure les objectifs et les résultats du programme fait aussi en sorte qu’il est difficile de déterminer s’il s’harmonise au mandat et aux priorités du Ministère.

5.2.2 Politiques, procédures et outils

La vérification s’est penchée sur les politiques, les procédures et les outils en place pour soutenir le personnel dans la prestation du programme. L’équipe de vérification s’attendait à trouver une documentation à jour sur les normes du programme, les rôles et les responsabilités du personnel et les attentes formulées à l’endroit des bénéficiaires.

La vérification a révélé que les responsables du programme ont mis à jour les lignes directrices nationales du programme afin de refléter la restructuration du PPP et que ces dernières ont été distribuées au personnel des régions. Les lignes directrices à jour définissent clairement les normes du programme relativement aux activités admissibles, aux bénéficiaires cibles, aux dépenses admissibles ainsi qu’à d’autres caractéristiques clés du programme. Elles répertorient également les critères d’évaluation des propositions ainsi que la pondération accordée à chacun d’eux.

Les responsables du programme ont également rédigé un mandat pour le Comité national de sélection, qu’ils ont remis au personnel des régions. Ce mandat définit clairement les rôles et les responsabilités de chacun ainsi que les étapes qui composent le processus d’évaluation des propositions.

Les attentes formulées à l’égard des bénéficiaires du PPP figurent dans leur entente de financement. Il est notamment attendu d’eux que les activités qu’ils réalisent soient conformes à la proposition qu’ils ont soumise et qui a été approuvée ainsi qu’aux lignes directrices nationales du programme. Ils sont également tenus de soumettre un rapport annuel à l’aide des grilles de l’ICD du PPP du Ministère.

Si les ententes de financement incluent les attentes formulées à l’endroit des bénéficiaires en matière d’établissement de rapports, la vérification a révélé que la grille de l’ICD et les éléments de données s’y rattachant n’ont pas été mis à jour après la restructuration du PPP. Par conséquent, certains des éléments de données dans le modèle ICD ne semblent pas être en rapport avec la restructuration du programme.Par exemple, les catégories de dépenses de l’ICD incluent toujours des dépenses pour les conférenciers/aînés, alors que de telles dépenses ne sont plus admissibles selon les lignes directrices nationales du PPP. De plus, comme il a été mentionné précédemment, le programme n’a pas encore établi des indicateurs propres au PPP. Il est donc difficile de déterminer si l’information recueillie par l’entremise de l’ICD permettra d’évaluer le rendement du programme.

5.2.3 Processus d’examen des propositions

La révision du processus d’examen des propositions représentait une composante essentielle de la restructuration du PPP. Avant 2013-2014, les régions attribuaient les fonds du programme d’aide aux étudiants indiens aux bénéficiaires. Depuis, les responsables du programme ont transféré le processus à l’échelle nationale en créant le Comité national de sélection (CNS), auquel participent des représentants de l’administration centrale et des régions. Le CNS est responsable d’examiner et d’approuver les propositions du PPP. Voici la composition du CNS pour 2014-2015 :

• Le sous-ministre adjoint du SPPEDS (coprésident);
• Le sous-ministre adjoint principal du Secteur des opérations régionales (coprésident);
• Le directeur général de la Direction générale de l’éducation;
• Le directeur des Programmes d’éducation;
• Les dix directeurs généraux régionaux (DGR).

Dans le cadre du processus d’examen des propositions, les régions avaient la responsabilité de lancer un appel de propositions et de recevoir les propositions de candidats potentiels. Chacune des propositions a ensuite été soumise à un examen préliminaire mené par la région concernée et qui consistait notamment à évaluer son admissibilité et à lui attribuer une note sur 100 à l’aide de critères d’évaluation établis dans les lignes directrices nationales du programme.

Une fois l’examen préliminaire mené, la Direction générale a soumis chaque proposition à deux autres régions (ou à des fonctionnaires de l’administration centrale au sein de la Direction générale) afin qu’elles mènent un deuxième et un troisième examens (examens par les pairs). Une note finale, correspondant à la moyenne des trois résultats obtenus, était enfin attribuée aux propositions. La décision d’accorder ou non des fonds était fondée sur ces résultats finaux ainsi que sur d’autres facteurs (comme un engagement antérieur du Ministère à financer un programme auquel des étudiants sont inscrits).

Tout au long de ce processus, le CNS a tenu des conférences téléphoniques périodiques afin de discuter des projets soumis et des écarts dans leur notation. Pour que ces réunions aient lieu, au moins cinq DGR, dont ceux concernés par les propositions débattues, devaient être présents.

Lors du processus d’examen de 2014-2015, le Ministère a évalué 220 propositions du PPP. De ce nombre, 213 ont été soumises à trois examens et 87 ont été approuvées. Le tableau 1 ci-après présente une ventilation de la contribution de l’administration centrale et des régions dans ce processus, sur le plan du nombre de propositions reçues, non examinées, examinées et approuvées. Le tableau illustre le fait qu’un nombre exceptionnellement petit de propositions n’ont pas été soumises à un examen (3 %), puisqu’elles ne satisfaisaient pas aux critères d’admissibilité du programme. Il indique également que, collectivement, l’administration centrale et les régions ont mené 639 examens. Dans les entrevues menées pour la vérification, le personnel des régions a mentionné que le temps requis pour examiner une seule proposition variait, mais qu’une estimation conservatrice duen fonction de différents facteurs, dont la quantité de matériel fourni par le soumissionnaire pour chaque projet. En gardant cette variabilité en tête, les répondants ont indiqué que le temps moyen passé à simplement examiner et coter une proposition était d’environ 2,5 heures. Cette estimation ne tient pas compte du délai administratif lié à la gestion d’une quantité impressionnante de renseignements et de documents et aux comptes rendus livrés à la haute direction par rapport à ces examens. Ainsi, les 639 examens auraient nécessité un effort total équivalant à plus de 213 jours-personnes.

L’équipe de vérification a souligné que, compte tenu du fait que l’appel de propositions pour le PPP 2014-2015 n’a pas été lancé avant février 2014, combiné à l’important investissement en temps qui est associé au processus d’examen des propositions par le CNS, de nombreux soumissionnaires dont la proposition a été approuvée ont reçu leur financement bien après le début de leur projet, en septembre 2014. Les responsables du programme ont évité qu’un tel retard se produise en 2015-2016 en lançant l’appel de propositions pour cet exercice à l’automne 2014.

Dans son examen du processus d’examen des propositions, l’équipe de vérification s’attendait à ce qu’un processus officiel ait été établi et documenté, que des documents d’orientation aient été remis aux membres du personnel pour les aider à prendre des décisions et qu’une analyse ait été menée pour déterminer la quantité de ressources nécessaires aux examens.

L’équipe a découvert que le processus est clairement décrit dans le mandat du CNS et que des documents d’orientation sur les grilles d’évaluation sont remis au personnel des régions. Certains membres du personnel des régions ont soulevé des inquiétudes par rapport au risque de subjectivité dans l’attribution des cotes. Les responsables du programme continuent de perfectionner les grilles afin de réduire ce risque.

La vérification a également permis de constater que le processus d’examen des propositions n’était pas appuyé par une analyse des exigences sur le plan des ressources. Les employés de toutes les régions visitées ont exprimé des craintes par rapport à la quantité importante de travail à abattre pour mener les examens, et ce, dans des délais serrés. Dans certains cas, le processus d’examen a forcé des employés à mettre de côté d’autres tâches pour une période prolongée. Des inquiétudes ont également été soulevées par rapport à la quantité d’efforts requis à l’échelle de la haute direction (à savoir les DGR). Certes, ce sont les employés régionaux du programme qui ont mené les examens, mais les DGR devaient tout de même être informés des grandes lignes de ces examens avant une réunion périodique du CNS.

D’après les observations de la vérification, le niveau d’efforts et de ressources requis par le processus d’examen des propositions ne semble pas en harmonie avec l’importance relative du programme et les risques qui y sont associés.

Recommandation :

4. Le sous-ministre adjoint, Secteur des programmes et des partenariats en matière d’éducation et de développement social, doit préciser et confirmer les objectifs du PPP quant à leur priorité et leur harmonisation avec les priorités générales du Ministère. Par la suite, les responsables des programmes doivent :

• élaborer des indicateurs de rendement pertinents et les harmoniser avec l’instrument de collecte de données (ICD) des programmes;
• relever et mettre en œuvre des moyens d’améliorer le processus d’examen des propositions pour s’assurer que les ressources et les efforts correspondent à l’importance relative et au degré de risque des programmes.

5.3.1 Améliorer le cadre de mesure du rendement des programmes (vérification interne de 2009, recommandation no 4)

La vérification a révélé que les responsables des programmes avaient apporté des améliorations au cadre de mesure du rendement pour le PAENP et le PPECU, notamment en élaborant de nouveaux indicateurs de rendement. Un examen de ces indicateurs a démontré un lien approprié avec les résultats escomptés des programmes. De plus, comme il est mentionné à la section 5.1.3, il a été établi que les exigences liées au cadre de gestion du rendement en matière d’information traduisaient une harmonisation avec l’ICD à jour.

Bien que des améliorations aient été apportées au cadre de mesure du rendement des programmes, la recommandation de 2009 visait davantage à ce que la mesure du rendement produise des données permettant de réaliser des analyses, des évaluations et des rapports adéquats et appropriés. Comme il est mentionné à la section 5.1.3, l’établissement de rapports n’est pour l’instant pas possible étant donné que la mise en place du SIE pour les PEP n’est pas encore terminée. Par conséquent, des cibles de rendement n’ont pas encore été établies par les programmes, qui n’ont toujours pas rendu de comptes sur les résultats de rendement de l’EP. Dans le cadre de l’intervention des responsables en réponse à la recommandation de la section 5.1.3, il est attendu que l’établissement de rapports appuie l’élaboration de cibles du rendement.

5.3.2 Clarifier les exigences et les normes de prestation des programmes pour les bénéficiaires et le personnel d’AADNC concerné par la surveillance de ces exigences (vérification interne de 2009, recommandation no 6)

Le suivi effectué sur cette recommandation indique que les exigences et les normes de prestation des programmes sont maintenant clairement définies dans les lignes directrices nationales des programmes. Ces lignes directrices sont mises à jour annuellement et certaines données probantes indiquent que des améliorations y sont apportées régulièrement. Par exemple, des limites ont été fixées pour les dépenses administratives. Les lignes directrices sont communiquées au personnel concerné du Ministère et publiées sur le site Web de ce dernier. Lorsque des changements sont apportés aux exigences contenues dans les lignes directrices, un avis est transmis aux bénéficiaires. De plus, certains bureaux régionaux ont pris l’initiative de joindre aux lignes directrices des documents d’orientation propres à leur région, qui sont remis aux bénéficiaires et mis à jour régulièrement.

Ainsi, d’après les procédures de suivi menées, les responsables ont traité la recommandation de 2009 de manière appropriée et suffisante.

5.3.3 Concevoir un cadre de contrôle de gestion (vérification interne de 2009, recommandation no 7)

La vérification de 2009 recommandait qu’un cadre de contrôle de gestion propre aux programmes soit mis en place et qu’il comprenne, au minimum, les éléments suivants :

1. un processus permettant de mettre à jour régulièrement les éléments de base des programmes, par exemple leurs modalités, la Politique relative aux programmes, leurs lignes directrices et peut-être un guide des opérations afin que ces documents conservent leur pertinence et demeurent compréhensibles;
2. un processus annuel de planification pour déterminer des objectifs et des cibles chaque année en vue d’améliorer continuellement les résultats (par la mesure et l’évaluation du rendement des programmes) et d’en renforcer l’efficacité;
3. des outils d’appui, des communications régulières et des lignes directrices sur les opérations afin de conseiller, d’orienter et de diriger les bureaux régionaux en ce qui concerne leurs opérations, et afin de bien définir et de communiquer les rôles et responsabilités;
4. un processus de planification des ressources qui tient compte du nombre d’employés nécessaire pour administrer les programmes et en atteindre les objectifs et garantir une surveillance et une supervision suffisante des programmes et des ententes;
5. un processus de gestion des risques qui cible annuellement les risques liés aux programmes, produit une stratégie d’atténuation continue des risques et garantit la surveillance périodique et une vérification fondée sur le risque des bénéficiaires suffisante.

Les mesures de suivi appliquées à ces éléments démontrent que le cadre de contrôle de gestion actuel des programmes a comme principales composantes divers documents d’orientation, dont les lignes directrices nationales, des documents d’orientation propres aux régions, des réunions de gestion et des services d’accompagnement pour les bureaux régionaux. L’évaluation de ces composantes a permis de conclure que les articles (i) et (iii) ont été traités adéquatement. En revanche, les éléments qui suivent présentent toujours des lacunes :

Processus annuel de planification — Comme il est mentionné à la section 5.3.1, les cibles de rendement n’ont pas encore été établies par rapport à la stratégie de mesure du rendement mise à jour. Par conséquent, la recommandation formulée en 2009 n’a pas encore été traitée correctement. La recommandation soumise à la section 5.1.3 du présent rapport vient combler ces lacunes.

Processus de planification des ressources — Les procédures de suivi appliquées n’ont pas permis de démontrer que les programmes avaient mis en place un processus qui tient compte du nombre d’employés nécessaire pour administrer les programmes et en atteindre les objectifs et garantir une surveillance et une supervision suffisantes des programmes et des ententes. Comme il est mentionné aux sections 5.1.3 et 5.2, les craintes soulevées par rapport à l’harmonisation aux ressources ont eu une incidence sur les activités de surveillance et l’efficacité de la prestation du PPP, respectivement.

Processus de gestion des risques — Les procédures de suivi appliquées ont révélé qu’une évaluation des risques est menée à l’échelle de la Direction générale pour l’ensemble des programmes d’éducation. Elles ont par contre révélé l’absence d’un processus de gestion des risques propres à l’EP qui permettrait, entre autres choses, de soutenir l’élaboration de stratégies d’atténuation des risques, y compris des activités de conformité et de surveillance du rendement fondées sur les risques.

L’existence de telles lacunes sur le plan du cadre de contrôle de gestion lié aux programmes d’EP augmente, d’une part, le risque que leurs objectifs ne soient pas atteints et, d’autre part, que les pratiques de gestion en vigueur soient inefficaces, incohérentes et non rentables.

L’équipe de vérification reconnaît que la Vérification du cadre de contrôle de gestion pour les subventions et les contributions (2013 - 2014) a été réalisée récemment, laquelle inclut une recommandation en lien avec ces constatations. L’objectif de cette vérification était d’évaluer l’adéquation et l’efficacité des processus ministériels pour soutenir la conception et l’approbation de cadres de contrôle fondés sur les risques. À cet égard, elle recommandait que le Ministère revoie et clarifie ses processus, les structures de gouvernance, les responsabilités et les pouvoirs en ce qui concerne l’élaboration et l’approbation de cadres de contrôle des programmes. En dépit de la portée générale de la recommandation de 2009, la présente vérification s’est penchée sur le cadre de contrôle de gestion des programmes d’EP et il est attendu que les programmes puissent traiter les lacunes soulevées dans la recommandation ci-dessous tout en participant à la mise en place de mesures de gestion en réponse à la Vérification du cadre de contrôle de gestion pour les subventions et les contributions (2013 - 2014).

Recommandation :

5. Le sous-ministre adjoint, Secteur des programmes et des partenariats en matière d’éducation et de développement social, doit renforcer les principaux éléments de contrôle afin d’appuyer la gouvernance générale des PEP. Plus particulièrement, il est recommandé ce qui suit :

• l’évaluation par la Direction générale de l’éducation des risques propres aux PEP, à partir de laquelle mettre en œuvre des mesures de contrôle fondées sur le risque pour atténuer les risques relevés;
• l’élaboration d’un plan de ressourcement pour l’harmonisation du niveau de ressources requis avec les besoins opérationnels liés aux activités de prestation et de surveillance des programmes.