Archivée - Système d'information sur l'éducation - Vérification d'un système en cours d'élaboration

Date : Novembre 2010

Format PDF (307 Ko, 38 pages)

Table des matières

• Liste des sigles et abbres et définitions techniques
• Résumé
• 1. Contexte
• 2. Objectif et étendue
• 3. Énoncé d'assurance
• 4. Méthodologie
• 5. Constatations et recommandations
• 6. Conclusion
• 7. Réponse de la direction aux recommandations de la vérification
• Annexe A - Sommaire des principales dépendances externes
• Annexe B - Principaux éléments de la réussite du projet de Système d'information sur l'éducation
• Annexe C - Résultats opérationnels qui dépendent du taux d'adoption du système et du partage des données

Liste des sigles et abbres et définitions techniques

Liste des sigles et abbres

Définitions techniques

Instruments de collecte de données (ICD) - Rapports de bénéficiaire produits conformément aux modalités de divers accords de contribution, qui représentent la seule source de données recueillies dans le cadre des programmes d'éducation financés par AINC.

Entrée en service - Date de lancement de l'environnement de production du Système d'information sur l'éducation (SIE) (le système est en ligne; les utilisateurs obtiennent l'accès au système et peuvent créer/soumettre des propositions et exécuter des rapports; du soutien en service est offert).

Intégration - Assemblage d'un système à partir de toutes ses composantes (ou sous-systèmes), de façon à ce que les sous-systèmes interagissent entre eux et fonctionnent comme un seul système.

Interface - Point d'interaction ou de communication entre des systèmes ou des composantes de système, qui peut comprendre un échange de données automatisé ou manuel.

Stabilisation - Période de transition suivant l'entréeen service, lors de laquelle on diminue la taille de l'équipe du projet et transfère des activités à d'autres.

Résumé

Contexte

Principal responsable de l'éducation des Premières nations dans les réserves, Affaires indiennes et du Nord Canada (AINC ou « le Ministère ») consacre environ 1,7 milliard de dollars par année aux programmes d'éducation des Autochtones. En mai 2008, AINC a approuvé la réalisation d'une initiative en faveur de l'apport de changements fondamentaux à l'éducation des Premières nations. Il a été déterminé que le système de mesure du rendement appelé Système d'information sur l'éducation (SIE) était un outil essentiel pour soutenir la réforme. Le SIE vise à accroître la responsabilisation à l'égard des programmes d'éducation; à orienter l'apport de changements au processus d'élaboration de politiques et de programmes et à améliorer la prestation de services.

Un financement de 26,6 M$ pour l'élaboration et la mise en œuvre du SIE ainsi que l'attribution d'une somme de 450 000 $ par année pour l'entretien et le soutien permanents ont été approuvé. En 2008, AINC a engagé des experts-conseils de l'extérieur pour gérer le projet de SIE et élaborer le système. De 2008 à 2010, on a affecté 5,5 M$ à la planification préliminaire du projet et à sa documentation, dont une somme de 0,8 M$ en fonds ministériels existants. En juin 2009, l'approbation préliminaire de projet (APP) pour la conception du SIE d'AINC a été reçue. Si l'approbation définitive de projet (ADP) est accordée, une somme de 21,7 M$ sera débloquée en vue de l'élaboration et de la mise en œuvre du SIE approuvé.

Le Secteur de la vérification et de l'évaluation (SVE) d'AINC a retenu les services de Ernst & Young pour mener une vérification du projet de SIE, aux étapes préalables à l'ADP, de juin à octobre 2010. Les résultats de la vérification, qui comprennent les constatations et recommandations figurant dans le présent rapport, se fondent sur l'information qui a été mise à notre disposition de juin à août 2010.

Objectif et étendue de la vérification

La vérification [Note 2] cherchait à fournir l'assurance que le projet de SIE était en voie d'aboutir à la livraison d'un système, de processus et de contrôles, en septembre 2012, qui permettront d'administrer de façon sécuritaire et fiable un ensemble complet de ressources informationnelles nationales sur l'éducation visant l'apprentissage dans les écoles ou les établissements d'enseignement. Le champ de la vérification englobe les trois domaines de risque suivants, repérés lors de l'étape de planification des travaux :

• Calendrier de mise en œuvre, y compris le calendrier et la méthode de mise en œuvre, les dépendances du projet, les interfaces prévues, les activités de nettoyage et de conversion des données et les procédures de gestion du risque.
• Faisabilité du projet de Système d'information sur l'éducation, y compris les prévisions du projet (budget, planification des ressources, estimation de la qualité et coût total de la propriété), l'analyse des possibilités et la faisabilité stratégique de la mesure du rendement.
• Résultats de la mesure du rendement, y compris l'harmonisation avec la stratégie de mesure du rendement en matière d'éducation d'AINC, les résultats définis, les exigences impératives et l'analyse de rentabilité générale.

Méthodologie

Un programme de vérification axé sur le risque a été établi à l'étape de la planification de la vérification afin de cibler les domaines les plus à risque. Il a été structuré de façon à inclure des examens de la documentation et des entrevues. Tout le travail sur place a eu lieu à l'administration centrale d'AINC, à Ottawa et Gatineau. La planification de la vérification s'est déroulée en juin 2010, puis a été suivie du travail sur place, en juillet et août 2010. L'étape du rapport a eu lieu en septembre et octobre 2010.

Pour que la direction d'AINC puisse se pencher en temps opportun sur les risques cernés durant la vérification, nous avons présenté des constatations préliminaires aux hauts fonctionnaires à la mi-septembre 2010.

Constatations et conclusions

Trois constatations découlent de la vérification. En résumé, nous manquons de preuves pour montrer que :

• il est possible d'atténuer efficacement le risque, selon le calendrier de projet prévu, en ayant recours à la stratégie de mise en œuvre « en un seul temps » choisie à la lumière de l'analyse des possibilités;
• le plan du SIE est réalisable du point de vue stratégique (pour ce qui est de la mesure du rendement), technologique et économique, en ayant recours à la conception, à la stratégie et à l'analyse des possibilités validées dans le cadre d'une étude de faisabilité indépendante;
• le SIE permettra l'atteinte des objectifs de mesure du rendement d'AINC; tout spécialement, l'accès à des données fiables et exhaustives, recueillies de manière systématique pour mettre à profit la technologie du SIE, dans laquelle on a investi, et obtenir les résultats opérationnels prévus.

Bien que le projet semble en bonne voie d'offrir un système qui regroupe les données, permet la production de rapports électroniques et aide la fonction de TI d'AINC à gagner en expérience et en maturité, si le Ministère n'est pas en mesure de recueillir des données fiables et exhaustives, il lui sera impossible de mettre à profit la fonctionnalité complexe dans laquelle il a investi pour mesurer le rendement. Le projet se soldera par un échec si AINC ne dispose pas des outils et de l'information nécessaires pour exploiter la technologie, et ce, même si l'élaboration du système suit les spécifications techniques. En outre, sans une pleine compréhension des besoins et des données à l'égard de la mesure du rendement, les exigences et attentes relatives au SIE pourraient changer en cours de route, ce qui entraînera un risque important pour le projet.

À la lumière des constatations de la vérification, nous ne sommes pas en mesure de conclure que le projet de SIE est en voie d'aboutir à la livraison d'un système, de processus et de contrôles, en septembre 2012, qui permettront d'administrer de façon sécuritaire et fiable un ensemble complet de ressources informationnelles nationales sur l'éducation visant l'apprentissage dans les écoles ou les établissements d'enseignement.

Recommandations

Nous recommandons au Ministère d'examiner ses attentes envers la mesure du rendement et de confirmer qu'il recueillera systématiquement des données fiables et exhaustives pour bien mettre à profit la technologie du SIE, avant d'investir dans les capacités du système. Il faut ensuite produire un calendrier des résultats prévus en matière de mesure du rendement et estimer le coût total de la propriété. Enfin, la stratégie de mise en œuvre du SIE, le calendrier et les stratégies d'atténuation doivent faire l'objet d'un examen objectif et indépendant pour valider que le projet correspond bien aux attentes d'AINC et du CT et répond le mieux possible aux exigences opérationnelles.

1. Contexte

Affaires indiennes et du Nord Canada (AINC) appuie la prestation de programmes sociaux de type provincial, notamment dans le domaine de l'éducation, dans les collectivités des Premières nations. Pour réaliser son mandat, AINC a la responsabilité légale de veiller à ce que la qualité des services soit comparable à celle des services offerts aux autres Canadiens [Note 3]. Principal responsable de l'éducation des Premières nations dans les réserves [Note 4], le Ministère consacre environ 1,7 milliard de dollars par année aux programmes d'éducation des Autochtones.

En mai 2008,  la réalisation de l'Initiative de réforme de l'éducation des Premières nations,en faveur de l'apport de changements fondamentaux à l'éducation des Premières nations a été approuvé. Il a été déterminé que le système de mesure du rendement appelé Système d'information sur l'éducation (SIE) était un outil essentiel pour soutenir la réforme. Un financement de 26,6 M$ pour l'élaboration et la mise en œuvre du SIE ainsi que l'attribution d'une somme de 450 000 $ par année pour l'entretien et le soutien permanents ont été alloué au projet.

Le projet de SIE, pour lequel AINC et les Premières nations ont des intérêts communs et des responsabilités partagées, porte sur l'établissement d'un ensemble complet de ressources informationnelles nationales sur l'éducation visant l'apprentissage dans les écoles ou les établissements d'enseignement. Le nouveau système vise à accroître la responsabilisation à l'égard des programmes d'éducation, à orienter l'apport de changements au processus d'élaboration de politiques et de programmes et à améliorer la prestation de services.

L'élaboration du SIE figure parmi les projets de technologie de l'information (TI) les plus vastes et complexes du point de vue technique jamais entrepris par le Ministère. En 2008, AINC a engagé des experts-conseils de l'extérieur pour gérer le projet et élaborer le système. De 2008 à 2010, on a affecté 5,5 M$ à la planification préliminaire du projet et à sa documentation, dont une somme de 0,8 M$ en fonds ministériels existants.

En juin 2009, une APP pour la conception du SIE d'AINC a été approuvé. Selon la présentation au CT produite dans ce contexte, le SIE contribuera de façon très significative à la compréhension et à l'amélioration des résultats des élèves des Premières nations, améliorera la gestion des programmes d'éducation et augmentera la responsabilisation grâce aux capacités suivantes :

• Simplification des formulaires de collecte de données et utilisation des rapports provenant de tous les programmes d'éducation afin de présenter un portrait complet des résultats scolaires.
• Conservation des données dans un format « exploitable », pour en tirer des rapports utiles, tant annuellement que longitudinalement, au moyen de toutes les données recueillies [Note 5].
• Recours à de l'information tirée d'autres bases de données en vue de fournir le contexte nécessaire à la mesure significative des résultats des élèves (p. ex. conditions socioéconomiques, infrastructure scolaire).
• Possibilité de présenter en temps opportun des rapports sur les résultats, fondés sur des indicateurs de rendement mis au point avec les Premières nations et d'autres intervenants.
• Réduction du fardeau des rapports, en diminuant la redondance et en simplifiant le processus de rapport.
• Amélioration de la qualité des données, en simplifiant la collecte et en détectant les anomalies plus tôt, de façon à déclencher l'examen automatique des rapports.
• Établissement de liens entre les résultats des programmes d'éducation et les renseignements financiers d'AINC pour mieux évaluer les dépenses liées aux résultats.
• Présentation de rapports à jour sur la gestion des programmes et la mesure du rendement.

Si l'ADP est accordée, une somme de 21,7 M$ sera débloquée en vue de l'élaboration et de la mise en œuvre du SIE approuvé, dont l'entrée en service est prévue pour septembre 2012. Le SVE d'AINC a retenu les services de Ernst & Young pour mener une vérification du projet de SIE, aux étapes préalables à l'ADP.

Pour que la direction d'AINC puisse se pencher en temps opportun sur les risques cernés durant la vérification, nous avons présenté des constatations préliminaires aux hauts fonctionnaires à la mi-septembre 2010.

Dans le présent rapport de vérification, nous exposons le contexte et décrivons en détail nos constatations et recommandations.

2. Objectif et étendue

2.1 Objectif

La vérification cherchait à fournir l'assurance que le projet de SIE est en voie d'aboutir à la livraison d'un système, de processus et de contrôles qui permettront d'administrer de façon sécuritaire et fiable un ensemble complet de ressources informationnelles nationales sur l'éducation visant l'apprentissage dans les écoles ou les établissements d'enseignement.

2.2 Étendue

Le champ de la vérification englobait les grands domaines suivants :

• Gestion du risque;
• Prévisions du projet;
• Exigences du projet.

Le rapport s'articule autour de trois domaines de risque, repérés lors de l'étape de planification de la vérification :

• Calendrier de mise en œuvre, y compris la méthode de mise en œuvre, le calendrier, les dépendances du projet, les interfaces prévues, les activités de nettoyage et de conversion des données et les procédures de gestion du risque.
• Faisabilité du projet de Système d'information sur l'éducation, y compris les prévisions du projet (budget, planification des ressources, estimation de la qualité et coût total de la propriété), l'analyse des possibilités et la faisabilité stratégique de la mesure du rendement.
• Résultats de la mesure du rendement, y compris l'harmonisation avec la stratégie globale de mesure du rendement en matière d'éducation d'AINC, les résultats définis, les exigences impératives et l'analyse de rentabilité générale.

Nous exposons en détail les observations et constatations relatives à chacun des trois domaines de risque à la section 5.

2.3. Limitation de l'étendue de la vérification

Compte tenu que le projet en est aux premières étapes de planification et que l'élaboration du système ne débutera qu'après l'obtention de l'ADP, il a fallu exclure certains aspects, notamment l'examen et la mise à l'essai des contrôles de système, des plans de secours et des interfaces. Nous avons examiné la documentation disponible, de juin à août 2010, ce qui comprenait les exigences détaillées, l'analyse de rentabilité du SIE et la charte de projet ainsi qu'une ébauche de la présentation au CT visant l'obtention de l'ADP.

Puisque le projet de SIE est en cours de réalisation, nous sommes conscients que certains problèmes soulevés dans le rapport peuvent déjà avoir été cernés par l'équipe du projet et pris en compte dans un plan d'action. Les présentes observations se fondent sur l'information accessible au moment du travail sur place. Le cas échéant, nous avons intégré des renseignements fournis par la direction lors de réunions tenues à l'étape du rapport, et ce, afin de fournir le contexte des constatations et des recommandations du rapport. Cependant, à l'étape du rapport, nous n'avons pas effectué d'autres travaux sur place pour examiner de nouveaux aspects de l'avancement du projet et de l'élaboration du système.

3. Énoncé d'assurance

Des travaux suffisants ont été exécutés et les éléments de preuve nécessaires ont été recueillis pour appuyer les constatations, recommandations et conclusions du présent rapport. Nous avons effectué les travaux en nous conformant au programme de vérification axé sur le risque établi en collaboration avec le SVE d'AINC.

Le programme de vérification axé sur le risque se fonde sur la version 4.1 du modèle COBIT (Control Objectives for Information and related Technology) et la version 4 du Project Management Body of Knowledge du Project Management Institute (PMI PMBOK 4).

La vérification est conforme aux Normes relatives à la vérification interne au sein du gouvernement du Canada. Le procédé de vérification respecte aussi la Politique sur la vérification interne du CT et les instruments de politique connexes, de même que les Normes internationales pour la pratique professionnelle de l'audit interne. Il ne s'agit pas d'une vérification ou d'un examen selon les normes de vérification généralement reconnues (NVGR).

4. Méthodologie

4.1 Démarche et calendrier

La vérification s'est déroulée en trois étapes :

• Planification (juin 2010);
• Exécution (juillet et août 2010);
• Rapport (septembre et octobre 2010).

Nous sommes conscients que, étant donné l'ampleur et la complexité du projet et le fait que les travaux d'élaboration du système sont actuellement en cours, il est important pour le Ministère d'obtenir de la rétroaction en temps opportun. En conséquence, nous avons présenté des observations préliminaires, exposé les risques et fait des recommandations aux hauts fonctionnaires d'AINC, en septembre 2010.

4.2 Stratégie de vérification

Un programme de vérification axé sur le risque a été établi à l'étape de la planification de la vérification afin de cibler les domaines les plus à risque. Il a été structuré de façon à inclure des examens de la documentation et des entrevues. Tout le travail sur place a eu lieu à l'administration centrale d'AINC, à Ottawa et Gatineau.

Comme la vérification a été menée préalablement à l'obtention de l'ADP, avant le début de l'élaboration du système, il n'y a pas eu de mise à l'essai. Nous avons tiré parti des travaux de recherche et des pratiques exemplaires dans les domaines suivants, au moment d'évaluer les plans de projet et de mettre sur pied le programme de vérification :

• Mesure du rendement;
• Mise en œuvre de projet de TI;
• Conversion des données.

5. Constatations et recommandations

Le SIE est un important outil grâce auquel AINC pourra atteindre ses objectifs de mesure du rendement et regrouper dans un format « exploitable » les rapports sur l'éducation, qui sont actuellement difficiles à gérer. Nous sommes conscients de l'intérêt stratégique du système pour le Ministère et des enjeux inhérents à la mesure du rendement. Nous nous rendons également compte de l'ampleur des travaux effectués à l'étape préalable à l'ADP, ce qui comprend beaucoup de planification. L'équipe du projet nous a signalé que plus de 4 500 documents de planification ont été produits. Plusieurs documents examinés comportaient des pratiques exemplaires de la gestion de projet.

La présente section vise à décrire les risques, lacunes et domaines où des améliorations pourraient être apportées pour favoriser la réussite du projet de SIE. La présentation de nos constatations et recommandations s'articule autour des trois principaux domaines de risque définis pendant la vérification :

• Calendrier de mise en œuvre;
• Faisabilité du projet de Système d'information sur l'éducation;
• Résultats de la mesure du rendement.

5.1 Calendrier de mise en œuvre

L'entrée en service du SIE est prévue pour le mois de septembre 2012, échéance dont le respect est considéré comme primordial. En effet, parce que les rapports sur l'éducation concordent avec les années scolaires, il faut mettre en œuvre le nouveau système au début de la période de rapport annuelle du Ministère (septembre). Si on manque la cible, le prochain créneau viable sera un an plus tard. Selon l'équipe de projet, l'objectif de septembre 2012 doit être respecté puisqu'il ne sera pas possible de conserver les fonds pour les ressources de projet jusqu'au cycle de rapport annuel suivant. En outre, AINC s'est publiquement engagé à mettre en œuvre le SIE au début de l'année scolaire 2012.

L'équipe du projet a opté pour la mise en œuvre du SIE en un seul temps, soit en septembre 2012 (voir la figure 1 ci-dessous). Selon le modèle de mise en œuvre en un seul temps, le lancement de l'environnement de production du système définitif a lieu à une seule date, par opposition à un modèle de mise en œuvre graduelle (où chaque étape de mise en œuvre comporte une « mise à niveau ») ou à un modèle de mise en œuvre évolutive (dans le cadre duquel un projet pilote, ou une mise en œuvre partielle, a lieu avant la mise en œuvre globale, pour atténuer les risques).

Figure 1 - Calendrier de haut niveau [Note 6]

Ce graphique illustre le cycle de développement du SIE dans le temps, à intervalle de 4 mois (d'octobre 2010 à décembre 2012) en indiquant les évènements clés.

• D'octobre 2010 à avril 2012 : période d'itération de développement. (période au cours de laquelle, le gestionnaire du projet suivra périodiquement la progression du projet, constatera les progrès réalisés et exprimera ses préoccupations et ses préférences à mesure que le projet avance).
• D'avril 2011 à juin 2012 : Période d'itération (période au cours de laquelle, le gestionnaire de projet, en plus de faire de l'itération en développement, évaluera l'état de préparation de l'environnement de production. L'évaluation de l'environnement de production aura lieu en avril 2012
• De juillet 2012 à septembre 2012 : Déploiement du système.
• Septembre 2012 : Lancement de l'environnement de production du système (mise en œuvre en un seul temps) - le système sera en ligne.
• De septembre 2012 à décembre 2012 : Période de transition suivant l'entrée en service du système (période de stabilisation).
• Décembre 2012 : fin du projet.

Dans le cadre d'une mise en œuvre graduelle ou évolutive, les résultats et « leçons tirées » de l'utilisation de l'environnement de production peuvent orienter les étapes ou mises en production suivantes. À l'opposé, la mise en œuvre en un seul temps présente une solution finale à un même moment à tous les utilisateurs - il s'agit d'une méthode semblable à la solution big bang pour l'implantation de logiciels.

La solution big bang est plus risquée que les autres méthodes, car elle offre moins de possibilités de tirer des apprentissages. En conséquence, il est important de bien se préparer avant la mise en œuvre [Note 7]. En outre, en plus d'offrir des possibilités d'apprentissage, la mise en œuvre graduelle présente habituellement les avantages suivants :

• Tenir compte de la rétroaction des utilisateurs dans la solution finale;
• Permettre la réalisation d'autres mises à l'essai, y compris un test d'intégration du système;
• Faciliter la période de transition des anciens systèmes au nouveau;
• Simplifier le contrôle du lancement;
• Favoriser l'adhésion des intervenants tôt dans le processus;
• Prolonger, de façon générale, l'utilisabilité, du fait de l'entrée en service précoce.

Bien que, dans l'analyse de rentabilité du SIE, on fasse référence à un projet pilote relativement à l'entrée en service de l'environnement de production en 2012, rien n'indique que le projet pilote servira à obtenir les possibilités d'apprentissage et les avantages susmentionnés. Plutôt, selon l'analyse de rentabilité, il semble que les activités de déploiement débuteront en juillet 2012, que le système entrera en service en septembre 2012 et que la stabilisation aura lieu d'ici décembre 2012.

Parce que la mise en œuvre du SIE se déroulera en un seul temps, il est impératif d'assurer une planification et une mise à l'essai adéquates avant l'entrée en service et de repérer et de régler tous les problèmes cruciaux avant cette date. Nous examinons ci-après les domaines de risque suivants, associés au calendrier et à la stratégie de mise en œuvre :

• Dépendances externes;
• Calendrier de l'atteinte des jalons;
• Stratégie d'atténuation.

5.1.1 Dépendances externes

La réussite du projet de SIE est fortement tributaire de plusieurs facteurs sur lesquels l'équipe de projet n'a pas de pouvoir. Nous présentons ici des aspects du projet associés à des dépendances critiques, susceptibles d'influer sur l'atteinte des cibles de mise en œuvre et la réalisation des résultats opérationnels :

• Domaines pour lesquels les livrables du projet de SIE dépendent de systèmes, d'organismes ou de ressources externes, même si le financement provient du budget du projet :
  • Échange de données du Système d'inscription des Indiens (SII);
  • Transition des ressources entre deux phases d'approvisionnement distinctes de la passation de marchés pour des ressources;
  • Échange de données de l'entrepôt de données d'entreprise (EDE);
  • Intégration du système Paiements de transfert aux Premières nations et aux Inuits (PTPNI);
  • Contraintes associées à la protection des renseignements personnels, susceptibles de compliquer l'agrégation des données du SIE entre de multiples systèmes (p. ex. SII, PTPNI et EDE);
  • Alignement sur la stratégie globale de mesure du rendement en matière d'éducation d'AINC;
  • Manque de ressources régionales pour les activités de nettoyage des données.
• Domaines dont les Premières nations sont les principales responsables et assumeront les frais connexes :
  • Matériel informatique et logiciels des Premières nations, y compris le soutien technique sur place;
  • Connectivité des Premières nations.
• Domaines dont AINC (en dehors du projet de SIE) est le principal responsable et assumera les frais connexes :
  • Nettoyage des données de systèmes existants;
  • Négociations en cours avec les Premières nations à l'égard de l'adoption du SIE, y compris le mode d'utilisation (c.-à-d. papier, format de document portable (PDF), saisie de données en ligne, extrait de données électroniques envoyé par la poste à AINC ou téléversements d'un système local);
  • Saisie de données dans le SIE pour les rapports papier;
  • Instruments de collecte de données (ICD) propres à chaque région;
  • Mise hors service des anciens systèmes;
  • Stratégie globale de mesure du rendement en matière d'éducation;
  • Tout problème relatif au système PTPNI qui découle de l'intégration du SIE et augmentation connexe des demandes au centre de dépannage principal;
• Frais pour l'entretien et le soutien permanents dépassant le financement annuel de 450 000 $, qui a été jugé insuffisant lors de la phase d'APP. Les frais portent sur les aspects suivants :
  • Infrastructure et fonctionnement - licences d'utilisation de logiciel, matériel informatique et entretien,
  • Soutien des applications et architecture - entretien du matériel et des logiciels,
  • EDE - entretien du matériel et des logiciels,
  • Formation continue - infrastructure de soutien, processus et ressources,
  • Grands utilisateurs du SIE (Premières nations) - Arrangements annuels (déplacement, hébergement) pour la formation;
• Négociations relatives au partage de données et conclusion d'ententes détaillées sur le partage de données dans le domaine de l'éducation :
  • Provinces,
  • Premières nations.

À l'annexe A, nous présentons nos observations à l'égard des dépendances susmentionnées, accompagnées d'une évaluation du risque connexe établie à partir des plans de projet produits avant l'ADP.

Certaines dépendances externes ont une influence directe sur la satisfaction des exigences impératives (p. ex. la mise hors service d'anciens systèmes), tandis que d'autres jouent un rôle important dans le respect du calendrier et du budget (p. ex. le nettoyage des données de systèmes existants avant la conversion).

Étant donné le recours à la mise en œuvre en un seul temps et la date d'entrée en service en septembre 2012, l'existence de dépendances externes entraîne un risque important. Bien que de telles dépendances soient inévitables dans tout projet, la prise des décisions suivantes à l'égard de la planification et de la portée du projet a accru les risques :

• L'intégration du système PTPNI a été annoncée comme une exigence après l'APP; elle mobilisera une part importante des ressources d'élaboration du projet et dépendra des analystes et des développeurs du système PTPNI.
• Le nettoyage des données de systèmes existants avant la conversion a été exclu de la portée du projet. Il s'agit pourtant d'une tâche essentielle pour faciliter le repérage et la correction des enregistrements erronés [Note 8].
• La mise hors service des anciens systèmes a été exclue de la portée du projet, même si elle figure parmi les exigences impératives du projet.
• L'idée d'une solution autonome en matière de connectivité pour les Premières nations qui n'ont pas accès à Internet a été exclue de la portée du projet après l'APP. Cette décision aura probablement des répercussions sur le taux d'adoption et accroîtra la production de rapports papier.
• Les dépendances sont fortes vis-à-vis des données du SII et de l'EDE, mais rien n'indique que des accords de partage des données ont été conclus avec les responsables de système ni que des plans ont été établis pour tenir compte des projets de développement du SII.
• L'équipe du projet n'a aucun pouvoir sur certaines dépendances critiques à l'égard des accords de partage des données avec les provinces et de l'adoption du système par les Premières nations (voir la section 5.3).

L'équipe du projet a mis sur pied des stratégies d'atténuation des risques associés aux dépendances. En conséquence, une somme de 3,26 M$ a été déposée dans un fonds de prévoyance. Nous manquons cependant de preuves pour conclure que les stratégies et le fonds de prévoyance suffisent pour contrer l'effet cumulatif des nombreux facteurs de risque (p. ex. la combinaison de multiples bureaux régionaux ayant besoin de ressources additionnelles pour nettoyer les données de systèmes existants, de retards dans le calendrier et de l'ampleur de la production de rapports papier après l'entrée en service du SIE). Il s'agit d'un aspect qui revêt une grande importance, compte tenu du nombre de dépendances du projet et du fait que la mise en œuvre d'un système pionnier dans le domaine de la mesure du rendement s'appuie sur les ressources et l'infrastructure du Ministère.

Étant donné le nombre de dépendances externes et leurs incidences, il faut prévoir une marge de sécurité par rapport à la date d'entrée en service en septembre 2012, de manière à faire face à d'éventuels dérapages du calendrier auxquels l'équipe du projet ne pourrait rien. Cela dit, comme il en est question à la section 5.1.2, nous manquons de preuves pour conclure qu'une marge de manœuvre suffisante a été prévue.

5.1.2 Calendrier de l'atteinte des jalons

La figure 2 illustre les jalons clés à atteindre selon l'analyse de rentabilité du SIE (ADP). Les activités à haut risque sont en rouge. Entre juillet et septembre 2012, on prévoit procéder aux activités de déploiement, notamment :

• Conversion de données et transfert de l'information des anciens systèmes au SIE;
• Extraction de données, du SIE à l'EDE, aux fins de rapport;
• Établissement du profil de sécurité des utilisateurs;
• Migration des codes dans l'environnement de production.

Figure 2 – Calendrier de haut niveau mettant en évidence les domaines à haut risque (rouge) [Note 9]

Ce graphique illustre le cycle de développement et la progression du projet du SIE dans le temps en mettant l'accent sur la phase critique du projet (les activités critiques de déploiement et l'entrée en service du SIE) et en indiquant les principaux jalons.

• Septembre 2010 : date de lancement de l'environnement de production du système en un seul temps avec des activités à haut risque comme la conversion, l'extraction des données (EDE), profils d'utilisateur et migration des codes.

Dans ses pratiques exemplaires, l' Office of Government Commerce (OGC) du Royaume-Uni signale que l'une des principales raisons de l'échec des projets de TI des gouvernements est le manque d'importance accordée à la division des étapes du projet en phases de travail gérables. Nous ne disposons pas d'assez de preuves pour montrer que, dans le cadre du projet de SIE, le risque associé à la réalisation d'activités ingérables avant l'entrée en service est atténué efficacement, en particulier pour ce qui est des activités de conversion des données.

Plus précisément, dans les trois mois précédant l'entrée en service, peu de marge de manœuvre est prévue pour la réalisation des tâches clés en cas de retards ou d'événements inattendus liés aux dépendances externes. La situation est particulièrement risquée, car plusieurs aspects de la conversion de données des anciens systèmes dépendent des exploitants de système (voir l'annexe A). Dans son analyse du risque, l'équipe de projet signale d'ailleurs que la conversion des données est un volet exigeant de la mise en œuvre. Toutefois, nous manquons de preuves pour montrer que la probabilité et l'incidence des risques de la conversion de données sont « modérées » comme le prétend l'équipe de projet.

Les projets de conversion et d'unification des données peuvent influer sur l'efficacité et l'efficience de l'organisation, ce qui est particulièrement le cas pour les projets mettant en jeu des bases de données « patrimoniales ». Selon les travaux de recherche et les pratiques exemplaires, la conversion des données dépasse généralement le temps prévu. En conséquence, les conversions sont souvent effectuées à la hâte, ce qui accroît le risque de ne repérer les problèmes qu'une fois le processus terminé et la qualité des données déjà amoindrie. Pour bien établir le calendrier et la liste des attentes de conversion, il est nécessaire de faire un profilage préliminaire des données et d'évaluer leur qualité [Note 10]. Parce que l'intégrité et le nettoyage des données sont hors du champ du projet de SIE, les conversions prévues pour juillet 2012 représentent un risque important. Le tout sera amplifié par le manque de disponibilité des ressources de programme et des ressources opérationnelles, qui est typique durant les mois d'été.

5.1.3 Stratégie d'atténuation

L'information tirée des entrevues avec la direction est contradictoire quant à l'impact du non-respect de l'échéance pour l'entrée en service en septembre 2012 et la stratégie d'atténuation. Ainsi, par suite de la présentation des constatations préliminaires de la vérification lors de l'étape du rapport, on nous a signalé que la date d'entrée en service pourrait être reportée, d'au plus un mois, sans que cela ait de grandes répercussions sur l'exécution du projet. Après ce délai d'un mois, la mise en œuvre pourrait avoir lieu en recourant aux rapports papier et à la saisie manuelle des données. Cette information diffère de celle qui nous a été transmise à l'étape du travail sur place.

En outre, nous manquons de précisions à savoir comment le SIE peut être déployé, après le délai d'un mois, en ayant recours à la saisie manuelle des données à partir de rapports papier. En effet, les bureaux régionaux doivent actuellement consacrer beaucoup de temps aux rapports papier, lesquels représentent un élément moteur de la création du système. Rien n'indique que l'on remédiera à la pénurie de ressources en 2012 pour veiller à ce que la saisie manuelle de données dans le SIE ne nuise pas au respect des objectifs de présentation de rapports en temps opportun établis lors de la planification de projet.

De plus, la stratégie d'atténuation présentée lors de l'étape du rapport prévoit la possibilité de passer à une mise en œuvre graduelle, à mi-chemin de l'élaboration. Ainsi, on procéderait au déploiement de certaines composantes de l'application avant l'entrée en service. Les composantes liées aux propositions/bénéficiaires et à la mesure du rendement feraient l'objet d'itérations subséquentes (par opposition à une mise en œuvre introduite graduellement en fonction des cycles de rapport annuels). Rien n'indique que ce plan potentiel a été mentionné dans les entrevues ou les documents (y compris la documentation de l'analyse des possibilités) durant l'étape du travail sur place. Lors de la vérification, les questions suivantes sont restées sans réponse précise :

• Pourquoi ce type de mise en œuvre graduelle n'a-t-il pas été pris en considération plus tôt lors de la planification du projet?
• Pourquoi les membres de la direction interviewés n'étaient-ils pas au courant de cette possibilité ou de la stratégie d'atténuation relative au calendrier?
• Ce type de mise en œuvre graduelle est-il réalisable? Le cas échéant, pourquoi ne s'agit-il pas de la démarche prévue?
• Comment les Premières nations seraient-elles mises au courant du changement et quelles seraient les répercussions sur la confiance des intervenants?

5.2 Faisabilité de la conception

Comme il en a été question à la section 5.1, il n'est pas évident de savoir si le calendrier et la date d'entrée en service proposés sont réalistes. De même, nous manquons de preuves pour montrer que la conception et la stratégie de mise en œuvre proposées sont celles qui conviennent le mieux aux exigences opérationnelles d'AINC. Comme aucune étude de faisabilité indépendante n'a été menée pour évaluer synchroniquement tous les aspects pertinents du projet (soit les aspects technologique, stratégique (mesure du rendement) et économique), il est difficile de déterminer si le SIE peut remplir les objectifs énoncés et si la stratégie de mise en œuvre proposée est optimale du point de vue de la gestion du risque, de l'efficience des ressources et de l'efficacité de la méthode [Note 11].

L'équipe de projet avait déjà un budget et un calendrier déterminés avant l'établissement définitif des exigences et des objectifs du SIE. En conséquence, après la réalisation d'une analyse pour évaluer le coût et la complexité des exigences, la portée du projet a été rajustée pour tenir compte des contraintes du budget et du calendrier. Comme il en a été question précédemment, de nombreuses dépendances sont hors du champ du projet de SIE, mais entraînent des frais additionnels pour AINC et représentent des domaines de risque stratégique pour le projet. Dans les prochaines sections, nous examinons trois aspects de la faisabilité :

• Faisabilité du point de vue technologique;
• Faisabilité du point de vue stratégique (mesure du rendement);
• Faisabilité du point de vue économique.

5.2.1 Faisabilité du point de vue technologique

L'équipe de projet a opté pour la mise en œuvre en un seul temps par suite d'une analyse des possibilités menée avant l'APP qui portait sur cinq solutions potentielles. À l'étape de l'APP, l'équipe a convenu que la seule solution permettant de remplir les exigences opérationnelles était celle de « formulaires Web sur mesure ». Pour ce faire, deux stratégies de mise en œuvre ont été envisagées :

• Mise en œuvre en un seul temps;
• Mise en œuvre en plusieurs étapes (mise en œuvre graduelle en fonction des cycles de rapport annuels).

À l'étape de l'APP, pour en venir à choisir la mise en œuvre en un seul temps, l'équipe a fait appel à des experts-conseils – décision confirmée par les experts-conseils de l'équipe à l'étape de l'ADP.

Bien que l'analyse de rentabilité indique qu'une mise en œuvre graduelle permettrait de réduire le risque, de tirer des apprentissages et d'apporter des améliorations au système avant le déploiement final, l'équipe de projet a conclu qu'une mise en œuvre en plusieurs étapes n'offrirait aucune valeur ajoutée et entraînerait des frais administratifs additionnels en prolongeant la durée du projet pour implanter les mêmes fonctionnalités. Malheureusement, l'analyse des possibilités que nous avons examinée manque d'information contribuant à justifier la décision de mettre le système en œuvre en un seul temps. Plus précisément :

• L'analyse réalisée à l'étape de l'APP ne tient pas compte des dépenses qui risquent d'être engagées hors du budget du projet si la mise en œuvre en un seul temps se solde par un échec et que des mesures doivent être prises pour corriger la situation.
• Dans les analyses comparatives menées à l'égard de l'APP, on ne fait pas mention des risques élevés associés à la mise en œuvre en un seul temps.
• Dans la comparaison des coûts menée dans le cadre de l'analyse de rentabilité en vue de l'ADP, on n'indique pas d'estimation du coût de la solution en plusieurs étapes puisqu'on ne la considère pas comme viable; en conséquence, la comparaison n'est en fait qu'un aperçu du choix de l'équipe de projet.
• Dans l'analyse des possibilités pour l'ADP, on indique que les engagements publics et les attentes d'exécution des intervenants ne pourront être concrétisés que par le truchement de la solution de mise en œuvre en un seul temps. Cependant, rien n'indique que ces contraintes ont été prises en compte au moment de choisir la solution à l'étape de l'APP.
• La planification du projet fournie en vue de l'examen donne la raison pour laquelle la solution Web personnalisée a été choisie plutôt que le statu quo, un produit commercial prêt à l'emploi (PCPE) ou des services payants, mais on n'explique pas pourquoi la mise en œuvre en un seul temps a été préférée à la mise en œuvre graduelle.

De plus, rien n'explique pourquoi on a choisi de faire appel à une équipe d'experts-conseils (par le truchement de divers mécanismes d'approvisionnement) plutôt qu'à un seul tiers fournisseur de services pour l'élaboration et la mise en œuvre d'un système de formulaires Web conçu sur mesure.

Un autre aspect de la faisabilité du point de vue technologique se rapporte à l'alignement sur la stratégie globale de mesure du rendement en matière d'éducation. Comme il en est question à la section 5.3, si les exigences ou les résultats opérationnels changent, il faudra peut-être retravailler certains aspects techniques, ce qui aura des répercussions sur le calendrier et le budget du projet de SIE.

Compte tenu du manque d'information disponible, combiné avec l'absence d'étude de faisabilité indépendante, il nous a été impossible de nous assurer que la stratégie de mise en œuvre choisie était la meilleure pour AINC. Surtout, l'absence d'étude de faisabilité de haut niveau permettant de vérifier l'adéquation entre la conception du SIE et les objectifs stratégiques de mesure du rendement d'AINC entraîne d'importants risques opérationnels pour le Ministère.

5.2.2 Faisabilité du point de vue stratégique (mesure du rendement)

Comme il en est question à la section 5.3, rien n'indique quand les exigences impératives ou les résultats opérationnels seront atteints, ou s'ils seront atteints.

En outre, nous ne disposons pas d'information à savoir quel est le degré d'adhésion « électronique » requis de la part des établissements pour considérer le projet comme une réussite. Le SIE est conçu pour permettre la production de rapports papier, ce qui exigera la saisie manuelle des données par le personnel des bureaux régionaux d'AINC. Cependant, aucune donnée n'a été fournie à savoir quelle est l'ampleur possible de la saisie manuelle au moyen des ressources et des budgets de fonctionnement actuels des régions et du budget du projet. Bien que la saisie manuelle soit actuellement la façon de gérer de nombreux rapports sur l'éducation, AINC a constaté que la grande quantité de tels rapports donne lieu à des analyses inadéquates du fait de la pénurie de ressources. Nous n'avons pas obtenu suffisamment de preuves pour montrer que les rapports papier du SIE exigeront moins de temps de saisie dans le système que les rapports actuels ni que les taux d'adoption du SIE suffiront à réduirela saisie manuelle.

La qualité et l'intégrité des données, qui sont indispensables à la mesure du rendement, représentent un aspect encore plus important de l'adoption du SIE. On nous a signalé d'importants problèmes d'intégrité des données sur l'éducation au Ministère. Selon les entrevues menées, le SIE incitera les Premières nations et les établissements à fournir des données de qualité accrue et diminuera le nombre d'erreurs de saisie, ce qui permettra de régler certains problèmes de qualité. Cela dit, cette approche dépend fortement de l'adoption du SIE.

Les membres de la direction interviewés n'ont pas proposé de mesure claire de la réussite en ce qui concerne le taux d'adoption. Selon les entrevues, le projet sera considéré comme un succès peu importe le taux d'adoption, parce que le SIE permettra de remédier à l'absence de système ministériel unique réunissant les données sur le rendement en éducation pour la production de rapports. Ainsi, nous ne pouvons pas indiquer quels sont les taux d'adoption prévus à court et à long terme, ni dire si AINC est en bonne voie d'atteindre ses objectifs.

Si l'intégrité des données est compromise par suite de la mise en œuvre du SIE, en raison du faible taux d'adoption, du grand nombre de rapports papier et de l'ampleur des activités de saisie manuelle, les rapports ne seront pas fiables. Si le système n'est pas fiable, les utilisateurs seront moins enclins à fournir des données de haute qualité, ce qui perpétuera le cycle de l'information lacunaire. L'intégrité et l'intégralité des données sont essentielles à la réalisation des objectifs stratégiques d'AINC et à la réussite du projet de SIE. Il en est question à la section 5.3.

5.2.3 Faisabilité du point de vue économique

Plusieurs frais assumés par AINC sont exclus de la portée du projet de SIE (y compris pour le nettoyage des données de systèmes existants, les négociations relatives au partage de données à l'interne et à l'externe et la conclusion d'accords détaillés à cet égard), mais augmenteront le coût total du projet pour le Ministère. Bien que ces coûts puissent être raisonnables et acceptés par les principaux intervenants, rien n'a permis de montrer qu'ils ont été estimés ou pris en compte à l'étape de l'ADP (voir l'annexe A).

D'autres préoccupations liées aux dépenses se rapportent à la qualité et à l'intégrité des données, aspects indispensables de la mesure du rendement dans plusieurs domaines, y compris celui de l'éducation. En particulier, dans une évaluation interne de 2009-2010 et lors des entrevues menées au moment de la vérification [Note 12], d'importants problèmes d'intégrité des données ont été signalés concernant l'état nominatif informatisé et les données sur l'éducation à AINC. Rien n'indique que le coût de la résolution des problèmes d'intégrité, ce qui comprend tant le nettoyage des données que le maintien continu de leur qualité, a été estimé avec suffisamment de précision. De plus, les incertitudes à l'égard du taux d'adoption du système (section 5.2.1) risquent de faire augmenter ces coûts et de rendre obligatoire le nettoyage continu des données.

Comme nous le signalons à la section 5.1, nous ne sommes pas en mesure de conclure que les stratégies d'atténuation actuelles permettent de bien gérer le grand nombre de dépendances et les changements ministériels requis pour assurer que le SIE mène à l'atteinte des résultats opérationnels.

5.2.4 Résumé

En résumé, nous manquons de preuves permettant de conclure que plusieurs aspects de la faisabilité de projet ont été évalués indépendamment, en ayant en tête la stratégie, les coûts indirects et la technologie pour tout le Ministère. Compte tenu de la taille et de la complexité du SIE, la réalisation d'une étude de faisabilité permettrait d'atténuer les risques en validant les indicateurs de réussite suivants, avant d'investir massivement des ressources et des fonds :

• Facteurs de réussite du point de vue technologique :
  • Le calendrier et la stratégie de mise en œuvre en un seul temps sont réalistes et les mieux adaptés aux besoins opérationnels.
• Indicateurs de la réussite de la stratégie de mesure du rendement :
  • Le projet de SIE s'aligne sur la stratégie de mesure du rendement en matière d'éducation d'AINC et des mesures de contrôle adéquates sont en place pour maintenir cette harmonie tout au long des travaux d'élaboration et de mise en œuvre du SIE;
  • Les taux prévus d'adoption du système sont quantifiés, mesurables et réalistes;
  • La fiabilité, l'intégrité et l'intégralité des données peuvent être atteintes, et maintenues pour réaliser les résultats opérationnels prévus.
• Facteurs de réussite du point de vue économique :
  • À l'aide du fonds de prévoyance du projet, il est possible de gérer efficacement les résultats potentiels des dépendances externes et leur effet cumulatif;
  • Tous les coûts indirects du projet sont quantifiés et acceptés par les intervenants.

En nous fondant sur les plans du projet avant l'ADP, nous n'avons pas pu nous assurer de l'existence des indicateurs de réussite susmentionnés. Pour avoir une perspective suffisamment vaste, une étude de faisabilité devrait être menée indépendamment de l'équipe de projet. On éviterait ainsi aussi un éventuel conflit d'intérêts.

5.3 Résultats en matière de mesure du rendement

La réussite du SIE dépend de sa capacité de soutenir les objectifs de mesure du rendement du Ministère. Les principaux éléments de la réussite du projet, au-delà du respect de l'échéancier, du budget et des spécifications techniques, sont présentés à l'annexe B.

Environ 119 000 élèves du primaire et du secondaire habitent dans une réserve au Canada. Parmi eux, environ 60 p. 100 fréquentent une école des réserves, contre 40 p. 100 qui sont inscrits dans une école à l'extérieur des réserves (de telles écoles sont pour la plupart administrées par une province). En plus de mesurer le rendement pour les écoles primaires et secondaires, le SIE vise à évaluer le rendement des étudiants des établissements postsecondaires ainsi que des programmes de subventions salariales et de stage pour les jeunes, des sites de Rescol et des centres culturels financés par le truchement d'AINC. Dans le cadre du projet, on recueillera des données relativement aux 18 indicateurs de rendement établis par le groupe de la stratégie globale de mesure du rendement en matière d'éducation.

Bien que le SIE soit conçu pour remplir les exigences impératives liées à la mesure du rendement, nous manquons d'information pour prouver qu'il est possible de réaliser les aspects de l'atteinte de ces exigences qui sont relatifs aux données. Même si le système offre la technologie nécessaire pour mesurer les paramètres énoncés, on ne pourra pas obtenir les résultats opérationnels si les données ne sont pas disponibles ou si elles ne sont pas assez fiables pour mettre à profit les fonctionnalités. Ce point est particulièrement important du fait que deux des principaux indicateurs de rendement du projet de SIE sont l'intégrité et l'intégralité des données, tel que mentionné dans la planification du projet examinée dans le cadre de la vérification. Dans les prochaines sections du rapport, nous étudions ces aspects de la réussite du projet. Nous présentons ensuite un résumé de l'avancement des travaux en vue de la réalisation des résultats opérationnels.

5.3.1 Intégrité des données

Dans l'ensemble des plans de projet, « l'adoption du système » est considérée comme un facteur crucial de la réussite du projet. On a tenu compte des leçons qu'a tirées le Ministère du projet de système PTPNI. En effet, dans les cas où les cibles d'adoption n'avaient pas été atteintes, l'équipe de projet de SIE a consacré une part importante du financement préliminaire pour corriger la situation. Toutefois, nous n'avons pas d'information à savoir comment est quantifié le « succès » de l'adoption. Plus précisément, nous ne disposons pas de preuves pour montrer que le concept « d'adoption » du système par les Premières nations a été suffisamment défini pour réagir aux degrés d'adoption variables suivants :

• Entente sur l'utilisation du SIE, y compris les investissements connexes dans le matériel et les logiciels;
• Accord de partage des données relatives à chaque indicateur de rendement clé;
• Capacité de suivre les indicateurs de rendement de façon constante;
• Mode de production de rapports (p. ex. « électronique » en ligne ou « papier » par la poste).

Pour assurer la collecte de données qui sont toujours de haute qualité, l'adhésion des utilisateurs est essentielle. Compte tenu des problèmes actuels d'intégrité des données dont il a été question dans les entrevues et les évaluations sur l'éducation précédentes, l'incertitude associée au taux d'adoption entraîne un risque important et influe sur les résultats opérationnels prévus (voir la section 5.3.2 et l'annexe C).

Un autre risque concernant l'adoption du système se rapporte à l'exigence impérative de réduire la charge de travail liée à la saisie de données pour les Premières nations, les bureaux régionaux et l'administration centrale. La réalisation de cette exigence dépend de l'adoption du système et de l'ampleur de la production de rapports papier. En conséquence, si l'on ne dispose pas de cibles d'adoption quantifiées, on n'aura pas de base sur laquelle s'appuyer pour déterminer si l'objectif est atteint. Nous examinons d'autres exigences impératives et leur dépendance envers l'intégralité des données à la section 5.3.2.

Un autre aspect de l'intégrité des données porte sur l'échange de données entre le SIE et le SII. La vérification du numéro de l'élève dans le SII au moment de l'entrée de données figure parmi les exigences impératives, de même que la nécessité de s'assurer que la date de naissance et le nom de famille sont les mêmes dans les deux systèmes. Dans le cadre de la vérification en cours du certificat sécurisé de statut indien (CSSI), plusieurs problèmes d'intégrité des données ont été notés en ce qui concerne le SII. Quoique la validation des données par rapport à celles du SIE offre l'occasion d'améliorer l'uniformité entre les systèmes, il risque d'y avoir d'importantes difficultés à surmonter, en particulier pour ce qui est de l'initiative prévue de développement du SII. Même si cela n'a pas nécessairement de lien direct avec les constatations et recommandations du rapport, nous recommandons la conclusion sans délai d'accords de partage des données avec les exploitants du SII ainsi que l'établissement de protocoles « de signalisation progressive », bien détaillés, pour gérer en temps opportun les différences entre les données.

5.3.2 Intégralité des données

En plus de nuire à l'intégrité des données, le faible taux d'adoption du système risque d'influer sur l'intégralité des données. En particulier, le programme a divisé en trois niveaux les sous-ensembles de données sur lesquels s'appuient les 18 indicateurs de rendement énoncés dans la stratégie globale de mesure du rendement en matière d'éducation :

• Niveau 1 : les données actuellement recueillies par le Ministère;
• Niveau 2 : les données qui seront recueillies et analysées à compter de la mise en œuvre du SIE, en septembre 2012;
• Niveau 3 : les données dont la collecte doit faire l'objet d'une analyse approfondie (selon les entrevues menées, AINC voudrait recueillir les données du niveau 3, mais n'a pas encore déterminé comment procéder ni obtenu l'accord des intervenants qui devront les fournir).

Des 45 sous-ensembles qui viennent à l'appui des indicateurs de rendement, 20 relèvent des niveaux 2 et 3. Nous manquons de preuves pour montrer que les établissements qui n'adopteront pas le SIE feront une collecte efficace des données du niveau 2 une fois le système entré en service, en septembre 2012. Parallèlement, même si AINC établit la façon dont les données du niveau 3 seront recueillies, rien n'indique que les établissements qui n'adopteront pas le SIE seront en mesure de bien les recueillir.

On ne sait pas exactement quel pourcentage d'établissements et d'élèves le SIE doit suivre pour répondre aux exigences et atteindre les objectifs de projet. Les accords de partage des données avec les provinces ne s'inscrivent pas dans la portée du projet de SIE et on ne s'attend pas à ce qu'ils soient en place au moment de la mise en œuvre du système. Les établissements provinciaux comprennent environ 40 p. 100 de la population des élèves du primaire et du secondaire que le Ministère veut suivre. Ainsi, la situation a un effet direct sur la capacité d'AINC de répondre aux exigences impératives exposées dans le document sur les exigences système du SIE.

En plus des enjeux associés à la disponibilité et à la fiabilité des données, notons celui du manque d'information sur le mode de suivi de chaque élève. L'équipe du projet de SIE prévoit utiliser les numéros attribués aux Indiens inscrits dans le SII pour faire le suivi des élèves. Toutefois, les Indiens non inscrits et les Inuits ne sont pas dans le SII. Bien que, dans la documentation du projet, on envisage la possibilité d'utiliser un identifiant unique pour les élèves, nous manquons d'information à savoir comment fonctionnerait un tel mécanisme de suivi (y compris quand et comment les élèves obtiendraient un numéro).

Tandis que les exigences impératives peuvent se rapporter tout spécialement aux fonctionnalités du système, l'atteinte des résultats opérationnels énoncés dans le document sur les exigences système du SIE dépend du respect des exigences tant du point de vue des fonctionnalités du système que de celui de la programmatique. Cela dit, il ne suffit pas que le SIE soit capable de remplir les exigences technologiques; les responsables du programme général d'éducation doivent avoir les moyens nécessaires pour mettre à profit la technologie grâce à des données exhaustives de haute qualité qui permettront de fournir des rapports fiables en temps opportun.

Par exemple, une exigence impérative est de suivre les élèves et les résultats des tests standardisés d'une école à l'autre, dans les réserves comme à l'extérieur de celles-ci. Toutefois, rien ne montre que le tout peut être mesuré (et l'exigence remplie) si les données recueillies ne proviennent pas de tous les établissements, y compris ceux des provinces. Compte tenu que ces données ne sont pas disponibles à l'heure actuelle, rien ne prouve que l'exigence puisse être satisfaite sans accord de partage des données, taux d'adoption suffisant ni capacité de suivre les élèves individuellement. De même, la probabilité est forte qu'il ne sera pas possible de remplir les exigences impératives suivantes si l'intégralité des données est lacunaire :

• Enregistrement relatif à l'obtention du diplôme d'un programme par un élève, tant pour les études secondaires que postsecondaires, et information à savoir si un emploi en a découlé;
• Suivi des élèves dans tous les programmes d'éducation; suivi continu de l'historique : de l'école primaire à l'école secondaire et de l'école secondaire aux études postsecondaires, y compris les besoins en éducation spéciale et la participation à des programmes d'aide d'emploi à la jeunesse ou à tout programme relatif à l'éducation;
• Rapport sur les élèves, y compris l'historique, les programmes d'études, le statut à temps plein ou à temps partiel, le type d'établissement et les programmes menant à un grade (pour les élèves et par élève);
• Obtention de l'information relative aux attestations provinciales pour les programmes d'enseignement.

Les conséquences du non-respect des exigences impératives sur les résultats opérationnels sont exposées dans le tableau 1 et détaillées à l'annexe C.

Tableau 1 - Résultats opérationnels influés par l'intégralité et l'intégrité des données, qui dépendent du partage des données avec les provinces et des taux d'adoption du SIE (voir les détails à l'annexe C)

Résultats opérationnels dont l'atteinte est menacée par le manque
d'intégralité et d'intégrité des données

Très forte probabilité que le résultat ne soit pas atteint (aucune preuve que le résultat peut être atteint)

Forte probabilité que le résultat ne soit pas atteint (atteinte peu probable)

Probabilité modérée que le résultat ne soit pas atteint (probabilité inconnue)

Présenter un tableau d'ensemble des résultats des programmes d'éducation selon l'école et la collectivité (en assurant la protection des renseignements personnels), par région et à l'échelle nationale, ainsi que par zone géographique.
Fournir le contexte nécessaire pour mesurer les résultats des élèves de façon valable (p.ex. conditions socioéconomiques, infrastructure scolaire), ce qui n'est pas possible à l'heure actuelle.
Faire le suivi des élèves et des cohortes au fil du temps, de la maternelle à l'école secondaire et peut-être même aux études postsecondaires, ce qui n'est pas possible à l'heure actuelle.
Mettre en œuvre la stratégie de mesure du rendement en matière d'éducation des Premières nations d'AINC pour fournir plus d'information sur les résultats et contribuer à l'apport d'améliorations éclairées et à la responsabilisation accrue, tant pour AINC que pour les Premières nations.
Améliorer la gestion des programmes d'éducation et accroître la responsabilisation en réduisant les exigences en matière de rapport, en simplifiant le processus de déclaration et en fournissant en temps opportun des rapports sur la gestion de programme et la mesure du rendement.
Améliorer la qualité des données.

La disponibilité et l'intégrité des données revêtent une importance cruciale. Sans l'adhésion des utilisateurs finaux, les rapports du SIE risquent de ne pas être fiables, compte tenu que des populations entières d'élèves seraient omises de l'analyse comparative. Selon les travaux de recherche sur la mesure du rendement, la relation entre les intrants et les extrants est généralement facile à mesurer tandis que celle entre les intrants et les résultats est plus difficile à déterminer[Note 13]. Il n'est pas certain qu'il soit possible de mesurer efficacement le rendement sans faire le suivi d'une population représentative d'élèves. Par exemple, le déplacement des élèves entre les écoles provinciales et les écoles administrées par une bande, entre les réserves et l'extérieur des réserves, risque de fausser les résultats des indicateurs de rendement, puisqu'on ne saurait pas si les élèves ont décroché ou non.

Lors des entrevues, nous avons constaté que la connaissance des objectifs de mesure de rendement était inégale; en particulier, les membres de la direction avaient des attentes différentes quant à l'utilisation du SIE par suite de sa mise en œuvre. Bien que les attentes relatives aux fonctionnalités du système aient été uniformes, l'information sur la capacité nécessaire pour mettre à profit ces fonctionnalités (rapports utilisables) et le calendrier connexe était nébuleuse.

5.3.3 Résumé

S'il est déterminé que les exigences impératives et les résultats opérationnels ne pourront pas être atteints, à n'importe quelle étape du cycle de l'élaboration de projet, nous nous attendons à ce qu'il y ait une réévaluation du projet, des objectifs et de la conception proposée. En particulier, il convient, d'une part, de déterminer s'il est possible d'atteindre les objectifs de mesure du rendement d'AINC au moyen de populations partielles d'élèves et, d'autre part, d'établir le taux d'adoption du système requis pour bien mesurer le rendement en éducation (c.-à-d. pertinence statistique). De même, si le Ministère considère essentiels les résultats opérationnels et exigences impératives fixés à l'origine, nous nous attendons à ce que la réalisation d'autres investissements soit envisagée pour faire face aux dépendances externes. Rien ne prouve que l'analyse a été effectuée ou que les exigences impératives et résultats opérationnels ont été revus pour rendre compte des contraintes relatives aux données.

Au cours des entrevues, nous avons observé que l'évolution des exigences de mesure du rendement et le manque d'uniformité des attentes quant à l'utilisation du SIE formaient un important sujet de préoccupation. La mesure du rendement efficace dépend de la cohérence de la production de rapports; on ne peut définir des tendances que si les données historiques sont fiables et saisies de façon uniforme et périodique. En conséquence, il est important que les données soient la principale priorité; il doit y avoir une bonne compréhension de la disponibilité, de la fiabilité et de l'utilisation prévue des données avant le début de l'élaboration du système. Nous manquons de preuves pour confirmer que les plans du SIE se fondent sur des exigences de mesure du rendement et des résultats attendus stables. Selon l'OGC, un manque de coordination entre les équipes de projet et les objectifs stratégiques ministériels est la première des huit causes profondes de l'échec des projets gouvernementaux de TI, ce qui met en évidence l'importance des risques liés à l'harmonisation stratégique.

En résumé, nous ne savons pas clairement quelles sont les exigences de mesure du rendement susceptibles d'être satisfaites au moyen des plans de projet actuels. Bien que le projet semble en bonne voie d'offrir un système qui regroupe les données, permet la production de rapports électroniques et aide la fonction de TI d'AINC à gagner en expérience et en maturité, sans capacité programmatique de collecte de données fiables et exhaustives, il sera impossible de mettre à profit la fonctionnalité complexe dans laquelle AINC a investi pour mesurer le rendement.

6. Conclusion

Nous ne sommes pas en mesure de conclure que le projet de SIE est en voie d'aboutir à la livraison d'un système, de processus et de contrôles, qui permettront d'administrer de façon sécuritaire et fiable un ensemble complet de ressources informationnelles nationales sur l'éducation.

Compte tenu de l'importance, de la taille et de la complexité du SIE, nous n'avons pas pu recueillir suffisamment de preuves pour montrer que la conception proposée et la stratégie de mise en œuvre du SIE sont réalisables malgré les contraintes et les dépendances externes. Surtout, nous n'avons aucune information à savoir de quelle façon le projet réalisera les exigences impératives et les résultats opérationnels, pour ainsi permettre l'atteinte des objectifs ministériels de mesure du rendement. Sans la conclusion d'accords de partage des données avec les provinces et l'établissement de cibles d'adoption par les établissements des Premières nations, la probabilité est forte que les exigences impératives et les objectifs de mesure du rendement du projet ne seront pas atteints.

Bien que le projet semble en bonne voie d'offrir un système qui regroupe les données, permet la production de rapports électroniques et aide la fonction de TI d'AINC à gagner en expérience et en maturité, sans capacité programmatique de collecte de données fiables et exhaustives, il sera impossible de mettre à profit la fonctionnalité complexe dans laquelle AINC a investi pour mesurer le rendement. Le projet se soldera par un échec si AINC ne dispose pas des outils et de l'information nécessaires pour exploiter la technologie, et ce, même si l'élaboration du système suit les spécifications techniques. En outre, sans une pleine compréhension des besoins et des données à l'égard de la mesure du rendement, les exigences et attentes relatives au SIE pourraient changer en cours de route, ce qui entraînera un risque important pour le projet.

Nous recommandons au Ministère d'examiner ses attentes envers la mesure du rendement et de confirmer qu'il recueillera systématiquement des données fiables et exhaustives pour bien mettre à profit la technologie du SIE, avant d'investir dans les capacités du système. Il faut ensuite produire un calendrier des résultats prévus en matière de mesure du rendement et estimer le coût total de la propriété. Enfin, la stratégie de mise en œuvre du SIE, le calendrier et la stratégie d'atténuation doivent faire l'objet d'un examen indépendant pour valider qu'ils correspondent bien aux attentes d'AINC et du CT et répondent le mieux possible aux exigences opérationnelles.

7. Réponse de la direction aux recommandations de la vérification

Le Secteur de la vérification et de l'évaluation d'AINC a embauché la firme Ernest and Young pour mener une vérification du SIE pendant que le projet en est encore aux étapes d'élaboration préliminaires à l'approbation définitive de projet (ADP). La vérification a eu lieu alors que les documents et les livrables associés à la présentation visant l'ADP étaient en cours d'élaboration. Des progrès en lien avec les conclusions de la vérification ont été accomplis depuis, notamment au niveau de l'approbation par les membres du Conseil du Trésor.

La réponse de la direction tient compte des progrès accomplis dans le cadre du projet depuis l'ébauche des documents ayant fait l'objet de la vérification.

Le rapport de la vérification contient trois (3) recommandations particulières fondées sur les conclusions de celle-ci.

Tableau 2 : Recommandations de la vérification

Annexe A - Sommaire des principales dépendances externes

Dans la présente annexe, nous présentons les dépendances de projet dont il est question aux sections 5.1 et 5.2, comme l'a demandé la partie responsable de la majorité des coûts connexes (c.-à-d. « l'exploitant »). Les observations de la vérification et les risques relatifs à chaque dépendance figurent dans le tableau ci-dessous, de même qu'une évaluation de la probabilité du risque en ce qui a trait aux domaines de contrainte suivants :

• Mise en œuvre du SIE dans le respect du calendrier d'exécution du projet (ci-dessous, « retards dans le calendrier »);
• Respect du budget du projet (ci-dessous, « coûts additionnels » : ces frais comprennent les dépassements du budget de même que les dépenses imputées à AINC et aux Premières nations hors du cadre du projet de SIE);
• Réalisation des exigences impératives et des résultats opérationnels (ci-dessous, « qualité défectueuse »).

En résumé, nous avons repéré 14 dépendances externes, qui créent des risques dans les trois principaux domaines de contrainte du projet, soit le calendrier, le coût et la qualité. Six des dépendances sont la « responsabilité » de l'équipe du projet du SIE, tandis que les huit autres relèvent des exploitants de système d'AINC et des Premières nations. Selon les plans de projet actuels, plusieurs facteurs sur lesquels les équipes de projet n'ont aucun pouvoir risquent d'influer sur la réussite du projet; en outre, les plans supposent d'autres frais pour le Ministère qui ne sont pas inclus dans le budget.

* Nous considérons ces dépendances comme « sans objet » pour le calendrier du projet, car les activités commenceront après la date de livraison prévue.

Annexe B - Principaux éléments de la réussite du projet de Système d'information sur l'éducation

Le succès du SIE non seulement va de pair avec celui du projet de TI (soit la livraison d'un système selon les spécifications), mais dépend aussi de la capacité organisationnelle de mettre à contribution la technologie et d'atteindre les objectifs stratégiques liés à la mesure du rendement. Nous présentons dans le tableau les critères que nous considérons comme des facteurs de réussite essentiels du SIE (au-delà du respect des échéanciers de projet, du budget et des spécifications techniques) selon l'information accessible durant la vérification.

Annexe C - Résultats opérationnels qui dépendent du taux d'adoption du système et du partage des données

Dans le tableau, nous fournissons des détails sur les résultats opérationnels (présentés au tableau 1 de la section 5.3) qui dépendent d'exigences impératives susceptibles de ne pas être remplies. En particulier, sans un partage de données suffisant avec les Premières nations et les écoles provinciales, il n'est pas clair que le SIE parviendra à obtenir les résultats. Bien que le système soit conçu pour offrir les capacités technologiques requises, les résultats opérationnels ne pourront pas être réalisés si on ne dispose pas des données pour mettre à contribution ces capacités

Légende (selon les plans de projet et l'état du projet avant l'ADP) :

Résultats opérationnels dont l'atteinte est menacée par le manque
d'intégralité et d'intégrité des données

Très forte probabilité que le résultat ne soit pas atteint (aucune preuve que le résultat peut être atteint)

Forte probabilité que le résultat ne soit pas atteint (atteinte peu probable)

Probabilité modérée que le résultat ne soit pas atteint (probabilité inconnue)

Résultats opérationnels	Observations et évaluation
Présenter un tableau d'ensemble des résultats des programmes d'éducation selon l'école et la collectivité (en assurant la protection des renseignements personnels), par région et à l'échelle nationale, ainsi que par zone géographique	La réalisation du résultat dépend du partage de données avec tous les établissements d'enseignement,y compris les établissements provinciaux Certaines Premières nations ont négocié des accords spéciaux ou des accords sur l'autonomie gouvernementale. Leurs obligations en matière de rapport peuvent ne pas être les mêmes (niveau de détail ou rapports à fournir) pour certains aspects du programme d'éducation. La situation risque d'empêcher de fournir un tableau « complet », en conformité avec le résultat opérationnel
Fournir le contexte nécessaire pour mesurer les résultats des élèves de façon valable (p. ex. conditions socioéconomiques, infrastructure scolaire), ce qui n'est pas possible à l'heure actuelle	La réalisation du résultat dépend des techniques avancées de mesure du rendement ainsi que de l'intégralité et de la fiabilité des données, influées par les taux d'adoption des Premières nations et le partage de données avec les provinces
Faire le suivi des élèves et des cohortes au fil du temps, de la maternelle à l'école secondaire et peut-être même aux études postsecondaires, ce qui n'est pas possible à l'heure actuelle	La réalisation du résultat dépend de l'intégralité et de la fiabilité des données, influées par les taux d'adoption des Premières nations et le partage de données avec les provinces, ainsi que de la capacité de suivre les élèves (et les cohortes) qui se déplacent entre les réserves et l'extérieur de celles-ci
Mettre en œuvre la stratégie de mesure du rendement en matière d'éducation des Premières nations d'AINC pour fournir plus d'information sur les résultats et contribuer à l'apport d'améliorations éclairées et à la responsabilisation accrue, tant pour AINC que pour les Premières nations	La réalisation du résultat dépend de l'intégralité et de la fiabilité des données, influées par les taux d'adoption des Premières nations et le partage de données avec les provinces
Améliorer la gestion des programmes d'éducation et accroître la responsabilisation en réduisant les exigences en matière de rapport, en simplifiant le processus de déclaration et en fournissant en temps opportun des rapports sur la gestion de programme et la mesure du rendement	La réalisation du résultat dépend des taux d'adoption du système et des méthodes de collecte des données (papier, PDF, saisie de données en ligne, extrait de données électroniques envoyé par la poste à AINC ou téléversements d'un système local)
Améliorer la qualité des données	La réalisation du résultat dépend des taux d'adoption du système et des méthodes de collecte des données (papier, PDF, saisie de données en ligne, extrait de données électroniques envoyé par la poste à AINC ou téléversements d'un système local) ainsi que du nettoyage efficace des données

Notes en bas de page :

1. Dans le rapport, on utilise également l'expression « le Ministère ». (retourner au paragraphe source)
2. La vérification a été menée conformément aux exigences de la Politique sur la vérification interne du Conseil du Trésor et aux Normes pour la pratique professionnelle de l'audit interne de l'Institut des vérificateurs internes. Il ne s'agit pas d'une vérification ou d'un examen selon les normes de vérification généralement reconnues (NVGR). (retourner au paragraphe source)
3. AINC Programmes sociaux (retourner au paragraphe source)
4. AINC Éducation (retourner au paragraphe source)
5. Selon les entrevues menées, cette capacité se rapporte à l'emmagasinage de données permettant aux utilisateurs de générer des rapports sur les résultats de l'année, mais aussi en fonction des tendances historiques constatées pour un échantillon représentatif de la population (p. ex. cohorte d'élèves). (retourner au paragraphe source)
6. Le même calendrier figure dans l'analyse de rentabilité du SIE. (retourner au paragraphe source)
7. EASON, K. Information technology and organisational change, Taylor & Francis, 1998. ARDIS, M. A. et B. L. MARCOLIN. Diffusing Software Product and Process Innovations, Kluwer Academic Publishers, 2001. ORGANISATION DE COOPÉRATION ET DE DÉVELOPPEMENT ÉCONOMIQUES. La budgétisation axée sur la performance dans les pays de l'OCDE, 2007. (retourner au paragraphe source)
8. MAYDANCHIK, A. Data Quality Assessment (from the Data Quality for Practitioners Series), Technics Publications LLC, 1997. (retourner au paragraphe source)
9. Le même calendrier figure dans l'analyse de rentabilité du SIE. (retourner au paragraphe source)
10. MAYDANCHIK, A. Data Quality Assessment (from the Data Quality for Practitioners Series), Technics Publications LLC, 1997.(retourner au paragraphe source)
11. KERZNER, H. Advanced project management: best practices on implementation, John Wiley and Sons, 2004. (retourner au paragraphe source)
12. Évaluation formative du Programme d'enseignement primaire et secondaire dans les réserves (retourner au paragraphe source)
13. Institut d'administration publique du Canada (IAPC), 2008. (retourner au paragraphe source)