Vérification de suivi du Système d’information sur l’éducation

Programmes d'éducation

Les programmes d'éducation du Ministère, gérés principalement par le Secteur des programmes et des partenariats en matière d'éducation et de développement social (SPPEDS) et mis en œuvre par le Secteur des opérations régionales, sont conçus pour aider les élèves inuits et des Premières nations à obtenir des résultats scolaires comparables à ceux des autres Canadiens. Le but des programmes d'éducation d'AANC est d'offrir aux élèves inuits et des Premières nations admissibles une éducation de qualité et la possibilité d'acquérir les compétences nécessaires pour entrer sur le marché du travail et participer à l'économie canadienne.

Système d'information sur l'éducation (SIE)

Le Système d'information sur l'éducation (SIE) est une base de données utilisée pour gérer les renseignements sur les programmes d'éducation du Ministère. Le système a été mis en œuvre pour moderniser et remplacer les processus de rapports sur support papier et simplifier la collecte des données. Le SIE consigne des données complémentaires précieuses en un lieu centralisé afin d'aider le Ministère et les Premières nations à s'acquitter de leurs responsabilités dans la prestation des services d'éducation des Premières nations par un suivi du rendement, du mouvement des élèves et de leurs résultats scolaires et par la mesure du succès des programmes d'éducation. Les renseignements ainsi obtenus permettront au Ministère et aux Premières nations de mieux comprendre le rendement des élèves et des écoles, de répondre aux préoccupations et d'apporter rapidement les changements nécessaires pour améliorer les résultats scolaires. Les Premières nations vont adopter le SIE et en utiliser les données progressivement, avec l'accroissement des capacités, de la visibilité des bénéfices, et de la formation des utilisateurs. Toutes les Premières nations utilisent actuellement le SIE dans une mesure variable. La saisie des données dans le SIE peut être effectuée par un portail, passerelle ministérielle unique donnant accès à différents systèmes, exigences de déclaration et outils, dont le Système d'information sur l'éducation, la Solution pour la production de rapports et l'analyse de données en éducation (SRAE) et d'autres systèmes de déclaration ministériels.

Le SIE est conçu de manière à permettre aux Premières nations d'ouvrir une session, de soumettre des renseignements en matière d'éducation dans le but d'observer des exigences de déclaration et d'exécuter des rapports pour leurs propres besoins de surveillance. Le taux d'adoption du système est donc un indicateur clé de la réussite du SIE.

Au cours de la vérification, les vérificateurs ont observé que peu de Premières nations étaient capables d'utiliser la pleine fonctionnalité du SIE (p. ex.., utiliser le Portail pour entrer, examiner et soumettre des renseignements en matière d'éducation pour les besoins des propositions et des exigences de déclaration). Le SIE est appuyé par la SRAE, qui est l'outil de rapport permettant aux utilisateurs régionaux et aux bénéficiaires de consulter des rapports généraux et personnalisés dans le but de prendre rapidement des décisions éclairées.

5.1.1 Plan de transition

Étant donné qu'au cours de la période de vérification, le SIE était dans sa phase de transition de projet pour passer au stade de maintien, l'équipe de vérification a été informée qu'un plan de transition formel avait été établi. Les plans de transition formels définissent généralement les objectifs et les cibles principaux à atteindre avant la fin de la phase de transition. En fixant ces objectifs et ces cibles, l'équipe de projet définit les exigences requises pour faire passer le SIE au stade de maintien. Les objectifs et les cibles étant établis, l'équipe de projet était en mesure d'évaluer sa progression au cours de l'année et la direction pouvait déterminer si le système avait été maintenu comme prévu. Outre les objectifs et les cibles de la phase de transition, un plan de transition formel comprend d'autres éléments clés comme la structure et le cadre de gouvernance associés, les rôles et les responsabilités des parties intéressées, les activités de transfert des connaissances et de formation, les principaux processus et activités de TI, ainsi que les exigences financières pour la période de transition. Bon nombre de ces éléments ont été observés dans différents documents de la phase SIE-MA. Cependant, les vérificateurs ont constaté l'absence d'un plan de transition formellement documenté, énonçant les objectifs et les cibles, les activités détaillées et les fonds associés expressément prévus pour la phase de transition. Il a donc été difficile de déterminer comment l'équipe de projet a défini l'état de maintien du système ainsi que les conditions requises par le système et les processus connexes en vue d'atteindre ce résultat.

À la place d'objectifs et de cibles formellement définis pour la phase de transition et la phase de maintien subséquente, l'équipe de vérification a examiné les buts initiaux du projet, ses objectifs et les facteurs critiques de succès établis au début du projet SIE, en 2010-2011. Ce faisant, elle a évalué le SIE au regard de quatre facteurs critiques de succès établis, qui sous-tendaient les buts, les objectifs et les résultats opérationnels du projet. Ces facteurs devaient être respectés avant la fin du projet SIE original (date révisée de mars 2014) pour qu'il soit considéré comme procurant les avantages requis par rapport aux investissements consentis. Les facteurs critiques de succès et l'évaluation correspondante sont décrits dans le tableau suivant.

Comme le montre le tableau ci-dessus, alors que l'équipe de vérification a observé que des éléments de ces facteurs critiques de succès ont été comblés, les facteurs n'ont pas tous été observés en entier et il n'est pas prévu qu'ils le soient avant la fin de la phase de transition. En conséquence, les objectifs et les buts généraux du projet SIE n'ont pas été complètement atteints.

En cherchant à comprendre comment et pourquoi le SIE n'a pas atteint entièrement ses facteurs critiques de succès, les vérificateurs ont observé que les objectifs pour le SIE et la phase SIE-PG n'avaient pas été atteints au moment de la clôture du projet, et que les éléments laissés en suspens ont été reportés à la phase suivante. Cela a eu pour conséquence que la phase de transition a porté principalement sur la mise en œuvre de fonctionnalité clé pour améliorer le système et atteindre les objectifs non réalisés, plutôt que sur la transition du système au stade de maintien (c'est-à-dire, maintien du système et transfert des connaissances et des responsabilités des entrepreneurs aux membres du personnel). Ensuite, il a été observé que certaines contraintes (p. ex.., le gouvernement du Canada exige que tous les systèmes tournent sur la plateforme Internet Explorer) ont entraîné des problèmes de compatibilité pour bien des bénéficiaires, ce qui a nui à l'atteinte de facteurs critiques de succès du système. Ainsi, il a été établi qu'au cours des cinq années d'élaboration et de mise en œuvre du système, plusieurs contraintes internes et externes ont nui à l'atteinte des buts originaux du projet.

Au vu de ces contraintes, les vérificateurs ont constaté qu'aucun exercice de relecture des conditions de base visant à redéfinir les buts, les objectifs et les facteurs critiques de succès du SIE n'a été effectué afin de les faire correspondre davantage aux conditions réelles des opérations, du système et du projet. Cela aurait permis à l'équipe de définir le maintien du SIE qui tienne compte des contraintes et lui permette de dresser un plan de transition pour passer au stade de maintien.

5.1.2 Financement

Des fonds de 27,3 M$ ont été alloués pour l'élaboration et la mise en œuvre du SIE au début du projet, et une somme additionnelle de 450 000 $ a été prévue pour chaque année subséquente pour couvrir les coûts de maintien continu (à compter de 2013-2014). Au cours du projet, et pour chaque phase additionnelle, le budget original du SIE a été complété par des fonds destinés à des mesures continues de soutien et à une autre fonctionnalité, déterminées par l'équipe de projet. Au total, une somme estimative de 56,2 M$ a été consacrée au SIE et à son maintien en date de mars 2016. Le tableau suivant décrit les fonds estimatifs approuvés qui ont été alloués pour chaque phase du SIE.

L'équipe de vérification a observé que le document intitulé Ongoing Support Activities, Organization, and Costs Report constitue un document clé du stade SIE-MA, décrivant le financement requis pour les activités de transition en 2015-2016. Pour justifier le financement, une liste énumérait des activités de nature générale auxquelles les fonds seraient alloués, notamment le soutien continu aux utilisateurs des régions et des Premières nations, des activités de transition des responsabilités des conseillers aux membres du personnel, et la mise en œuvre d'une fonctionnalité devant améliorer le SIE. Au-delà de cette description des activités, aucun élément probant n'a été découvert démontrant que des activités de production de rapports ou de surveillance aient été menées pour faire le suivi de ces fonds par rapport à leur utilisation prévue.

En l'absence de rapports sur les activités clé nécessaires pour atteindre le stade de maintien, il est difficile d'évaluer si le SIE est en voie de parvenir à ce stade avec le budget alloué. Aux réunions du Comité de surveillance, des préoccupations ont été exprimées au sujet des fonds restants pour 2015-2016 et des fonds alloués pour 2016-2017 et s'ils seraient suffisants pour mener les activités continues de soutien. Étant donné que les cibles de la phase de transition n'ont pas été fixées formellement, que seules des activités de nature générale ont été définies et que l'exécution de ces activités par rapport au budget ne fait pas l'objet d'une surveillance étroite, il est difficile d'établir combien de ressources financières sont requises pour que le SIE atteigne le stade de maintien et si ces ressources respectent le budget alloué au SIE.

Recommandation :

3. La sous-ministre adjointe du secteur des programmes et des partenariats en matière d'éducation et de développement social, en collaboration avec la sous-ministre adjointe principale du secteur des opérations régionales, devrait s'assurer qu'un plan de formation adéquat et raisonnable est mis au point afin que les Premières nations reçoivent une formation sur le SIE. Ce plan devrait être appuyé par les ressources et les outils nécessaires pour permettre aux représentants régionaux de s'acquitter de leurs responsabilités en matière de formation.

5.3.1 Adoption du système

Le SIE, en particulier le Portail, est conçu de manière à permettre aux Premières nations d'ouvrir une session, de soumettre des renseignements en matière d'éducation dans le but d'observer des exigences de déclaration et d'exécuter des rapports pour leurs propres besoins de surveillance. Le taux d'adoption du système est donc un indicateur clé de la réussite du SIE.

Les vérificateurs ont observé que peu de Premières nations étaient capables d'utiliser toutes les fonctionnalités du SIE (p. ex.., utiliser le Portail pour entrer, examiner et soumettre des renseignements en matière d'éducation pour les besoins des propositions et des exigences de déclaration). L'une des principales raisons de ce faible taux d'adoption se situe dans les problèmes de compatibilité du système avec la plateforme sur laquelle tourne le SIE - Internet Explorer -, exigée par le gouvernement du Canada. Le SIE, le Portail et l'outil de production de rapports de la SRAE s'appuient sur Internet Explorer et ne sont accessibles que par cette plateforme. Or, bien des bénéficiaires des Premières nations n'utilisent pas Internet Explorer et n'ont donc pas accès au SIE.

Une solution proposée aux Premières nations a été d'utiliser des clés USB cryptées contenant des PDF intelligents. Cette solution de rechange a été proposée aux bénéficiaires en région éloignée ne disposant que d'un accès Internet limité. Dans ce procédé, les régions fournissent des clés USB cryptées contenant des PDF intelligents aux bénéficiaires des Premières nations, qui remplissent les documents PDF et sauvegardent l'information sur les clés USB cryptées. Les Premières Nations renvoient les clés USB par la poste au bureau régional, où un représentant régional charge le PDF dans le SIE. Le représentant régional exécute ensuite le processus de validation des données relatif aux renseignements fournis par les Premières nations.

Les vérificateurs ont constaté des problèmes de rendement avec le chargement de PDF dans le SIE. Ce processus demande du temps et il arrive que la taille de certains documents PDF occasionne des arrêts du système. Cette question est examinée plus en détail au point 5.3.2. Au cours de la validation des données au nom des Premières nations, il arrive que des avertissements et des messages d'erreur obligent le représentant régional à communiquer avec les bénéficiaires jusqu'à ce que les erreurs soient corrigées. Cela alourdit la tâche de certains représentants régionaux et retarde le processus.

Les problèmes de compatibilité éprouvés par bien des Premières nations ont aussi perturbé leur accès aux capacités de production de rapports du SIE et de la SRAE, les empêchant d'accéder aux rapports existants qui pourraient les aider à prendre plus rapidement des décisions mieux éclairées en matière d'éducation. Les Premières nations étant une partie prenante clé du système, il importe que nous ayons une bonne vision à long terme de la façon dont elles sont censées interagir avec le système et en utiliser les capacités.

5.3.2 Rendement du système

La vérification comprenait une évaluation des mesures adoptées pour permettre un rendement adéquat du SIE. Comme il est indiqué au point 5.3.1, peu de Premières nations sont actuellement en mesure d'utiliser toutes les fonctionnalités du SIE, compte tenu des problèmes de compatibilité et d'accessibilité. Les difficultés liées au rendement du système ont nui à son adoption pour bien des Premières nations. Des outils et des processus parallèles ont donc été maintenus dans les régions, alourdissant la charge de travail de certains représentants régionaux.

Avec la soumission électronique de documents PDF intelligents, il arrive que des fichiers de grande taille soient téléchargés dans le SIE, en particulier pour les besoins de la liste nominative. Le chargement de ces lourds documents PDF a souvent occasionné des arrêts et des erreurs du système. Ces documents de grande taille sont exigeants pour le système et peuvent occasionner des défaillances.

Les capacités du système sont un autre facteur qui a influé sur le rendement du SIE. Si les capacités sont insuffisantes pour maintenir plusieurs utilisateurs dans le SIE à la fois, le délai de traitement augmente et une défaillance du système peut se produire. La vérification a établi que la gestion de l'infrastructure et de l'environnement relève de Services partagés Canada (SPC). Par conséquent, AANC doit s'en remettre à SPC pour le suivi et la surveillance de l'utilisation des capacités du système et des journaux d'exploitation. L'information provenant des rapports sur les capacités et des journaux du système est communiquée à la DGGI. Cependant, les vérificateurs n'ont pas observé de preuve indiquant que les rapports sur les capacités et les journaux faisaient l'objet d'une surveillance périodique structurée. Ils ont aussi relevé deux tests de téléchargement effectuées par la DGGI au regard des capacités du SIE, qui ont révélé que le système cessait systématiquement de fonctionner lorsque plus de 42 utilisateurs l'utilisaient simultanément. S'il n'est pas réglé, ce problème va s'aggraver, car le Ministère constate une augmentation du nombre de Premières nations qui utilisent le SIE pour soumettre leurs renseignements en matière d'éducation.

La vérification a aussi révélé que chaque nouvelle version du système connaît son lot d'erreurs de programmation et de défaillances. Pour la seule phase SIE-MA, d'avril 2015 à mars 2016, cinq versions sont censées être produites. Des représentants régionaux ont observé que les nouvelles versions sont souvent accompagnées d'erreurs de programmation et de défaillances qui demeurent non résolues, et qui contribuent à leur tour à affaiblir le rendement et nuisent à l'utilisation et à l'adoption du système.

En raison de ces problèmes de rendement, des régions continuent d'utiliser des processus et des outils parallèles (p. ex., feuilles de calcul Excel et rapports Crystal) pour faire le suivi des données sur l'éducation obtenues des bénéficiaires et produire des rapports à ce sujet. Cette situation engendre un double emploi et a eu pour effet d'alourdir la charge de travail du personnel de certaines régions, qui doivent surveiller la soumission des données sur les programmes d'éducation (en collaboration avec les bénéficiaires, afin de régler les erreurs et les messages d'avertissement au cours du processus de validation des données du SIE), tout en maintenant des systèmes distincts pour faire le suivi de données déjà consignées dans le SIE. Cependant, la charge de travail demeure moindre que par les années passées, puisque les propositions sont vérifiées automatiquement et que des rapports de conformité automatisés contribuent à alléger le travail.

5.3.3 Production de rapports

La vérification a évalué la disponibilité et la fiabilité des rapports du SIE et de la SRAE ainsi que la capacité de la fonction de production de rapports de ces systèmes à soutenir la mesure du rendement et à accélérer la prise de décisions.

Les vérificateurs ont constaté que l'outil de production de rapports du SIE - la SRAE - a été élaboré sur la base de différents rapports généraux et personnalisés disponibles pour les programmes des paliers élémentaire/secondaire et de l'EPS. Il semble qu'en raison de problèmes d'intégrité, les données relatives à l'EPS n'ont pas été transférées à la SRAE pour activer les capacités de production de rapports pour ce programme. C'est pourquoi, au moment de la vérification, le Ministère n'était pas encore en mesure de générer des rapports, des statistiques ou des indicateurs pour l'EPS à partir de la SRAE. Étant donné que la SRAE contient les données de la liste nominative pour l'année 2000, les rapports relatifs à la liste sont disponibles pour étayer les rapports de rendement du Ministère relatifs aux programmes d'éducation élémentaire et secondaire. Des porte-parole de la Direction générale de l'éducation ont confirmé que les données sur l'EPS étaient examinées et nettoyées et allaient être disponibles aux fins de rapports et d'analyses pour l'exercice 2016-2017.

Les entrevues avec des membres du personnel des régions ont révélé que bien qu'ils aient reçu une formation sur la SRAE et aient été en mesure de l'utiliser, cet outil de production de rapports n'était pas encore utilisé dans certaines régions. Outre le fait que des rapports n'étaient pas disponibles pour l'EPS, les rapports relatifs à la liste nominative ne pouvaient être générés que par la SRAE après que toutes les données de chaque région avaient été soumises pour l'exercice. Les régions ont besoin de données de rapports en temps réel pour pouvoir prendre des décisions, et c'est pourquoi les régions utilisaient encore des outils et des processus en parallèle pour produire leurs rapports et prendre des décisions de gestion. De même, en raison des problèmes d'accessibilité du SIE, les Premières nations ne pouvaient pas encore exploiter les capacités de production de rapports offertes par le système.

5.4.1 Intégrité des données

Une fonction clé du SIE est la capacité de valider les données par rapport à des règles opérationnelles prédéfinies. Ces règles de validation améliorent l'intégrité des données du SIE, ce qui, en retour, favorise la production des rapports et la prise de décisions. La vérification a révélé que des contrôles de validation adéquats sont présents durant le chargement des données dans le SIE et dans les interfaces avec les autres systèmes, afin de garantir l'intégrité des données. Lorsque les données sont saisies directement dans le système par le Portail, les règles de validation opérationnelles intégrées au SIE assurent l'exactitude et l'exhaustivité des données saisies. Lorsque les données ne peuvent être entrées directement dans le Portail, l'intégrité des données avant leur changement dans le SIE est assurée par :

• des PDF intelligents, qui contiennent les champs obligatoires, les règles opérationnelles et des menus déroulants contenant des valeurs prédéfinies
• des fichiers XML provenant d'un Système informatisé d'information scolaire contrôlés par rapport à un schéma d'essai fourni par AANC avant que les données ne soient soumises.

Dans le SIE, plusieurs règles de validation opérationnelles ont été définies, documentées et mises en œuvre par module aux fins des rapports et des propositions. Selon la nature de la règle opérationnelle, des erreurs et des messages d'avertissement vont se produire. Les erreurs doivent être corrigées avant que les données ne soient soumises. Cependant, les vérificateurs ont observé que les avertissements n'empêchent pas la soumission des données. Par exemple, un contrôle clé de validation empêche que les utilisateurs ne saisissent en double l'information relative à un élève. Cette validation est effectuée au niveau du champ d'inscription des élèves, de sorte que l'inscription en double d'un élève dans la même liste nominative pour un exercice donné est relevée au cours de la validation du système et génère une erreur. En plus du contrôle de validation, un double du rapport peut être généré pour comparer les élèves à plusieurs rapports de liste nominative entre différentes régions.

Un autre exemple des règles de validation du SIE est la correspondance du numéro du SII à l'intérieur du SIE. Les règles de validation du SIE mettent en correspondance les renseignements sur l'élève avec les données du SII. Cela inclut un contrôle de validation du numéro du SII, du nom de famille, de la date de naissance et du sexe. Les procédés de vérification ont confirmé que ces règles de validation étaient en place pour démontrer l'existence de contrôles au regard du maintien de l'intégrité des données dans le SIE et dans les interfaces avec d'autres systèmes.

5.4.2 Sécurité et confidentialité des données

Selon la Norme opérationnelle de sécurité : Gestion de la sécurité des technologies de l'information établie par le CT, les systèmes ne peuvent être autorisés à fonctionner avant d'avoir été certifiés et accrédités. De plus, il a été établi que l'accréditation doit être revue périodiquement dans les cas de modifications importantes au système ou lorsque l'environnement de risque a changé sensiblement. La certification et l'accréditation permettent de vérifier que les exigences de sécurité établies sont respectées et que les contrôles et les processus en place fonctionnent efficacement.

Lors de la certification et de l'accréditation originales du SIE, en décembre 2012, le système ne respectait pas les exigences de sécurité obligatoires et son exploitation n'a pas été autorisée.

Une décision de nature opérationnelle a été prise, soit de poursuivre la mise en œuvre du système au stade de production tout en s'efforçant d'atténuer les problèmes de sécurité. En avril 2014, après un nouveau processus de certification et d'accréditation, le SIE a obtenu une autorisation d'exploitation provisoire. L'autorisation était provisoire parce que des problèmes persistaient dans certaines lacunes révélées par l'examen de l'architecture et de la programmation ainsi que l'évaluation des menaces et des risques. L'autorisation provisoire a pris fin en septembre 2014 et le SIE n'a fait l'objet d'aucune certification ou accréditation durant la période de vérification, bien que le système demeure exploité au niveau de la production et que des changements y soient apportés constamment.

Étant donné la nature délicate des données saisies dans le SIE, les vérificateurs ont examiné la séparation des données de production par rapport à l'environnement de développement et à celui des essais. L'examen des écrans du système et la consultation de représentants de l'AC ont permis de déterminer que le SIE est séparé en plusieurs environnements (c.-à-d., production, développement, essais). Cependant, les données de production sont copiées dans ces autres environnements de façon périodique. Cela peut poser problème, car des utilisateurs dans l'environnement de développement et d'essais, sans accès à la production, peuvent avoir inutilement accès à des données de production sensibles ou confidentielles (comme des noms d'élèves, des numéros de SII, des dates de naissance et des données financières). Cet accès peut ne pas correspondre aux responsabilités inhérentes à leur poste ou à leur niveau d'accès aux données dans l'environnement de production.