Archivée - Étude spéciale sur les CGRR

date : Le 13 août 2008

Format PDF (187 Ko, 37 pages)

Table des matières

• Sommaire
• Chapitre un : Introduction et méthodologie
• Chapitre deux : Qualité et exhaustivité des CGRR
• Chapitre trois : État de la mise en œuvre des CGRR
• Chapitre quatre : Conclusion
• Recommandations
• Domaines de recherche à approfondir
• Annexe A : Mandat de l'étude spéciale sur les CGRR
• Annexe B : Lignes directrices du Conseil du Trésor sur les CGRR
• Annexe C : Modèle d'examen des CGRR
• Annexe D : Sondage réalisé auprès des gestionnaires de programmes concernant l'état de la collecte de donnée
• Annexe E : Inventaire des présentations au Conseil du Trésor (disponible sur demande)
• Annexe F : Inventaire des CGRR groupés par résultats stratégiques (disponible sur demande)
• Annexe G : Réponses au sondage (disponible sur demande)
• Annexe H : Liste complète des indicateurs (selon réponses au sondage) (disponible sur demande)

Sommaire

Après la présentation du document Des résultats pour les Canadiens et les Canadiennes en 2000, les programmes devant être approuvés ou renouvelés par le Conseil du Trésor ont été demandés de soumettre un Cadre de gestion et de responsabilisation axé sur les résultats (CGRR). Ces CGRR ont été conçus comme un outil permettant aux gestionnaires d'envisager leurs programmes dans une perspective fondée sur les résultats et d'établir clairement les plans (et les responsabilités) par rapport à la mesure du rendement, à l'évaluation et à la présentation de rapports.

Jusqu'à maintenant, aucune forme de suivi des CGRR n'a été mise au point pour les programmes d'Affaires indiennes et Nord canadien (AINC). L'objectif de la présente étude est d'établir un portrait de la situation à AINC concernant la gestion axée sur les résultats. Pour ce faire, on examine la qualité, la portée et le degré d'avancement de la mise en œuvre des CGRR au Ministère. Ce projet a été réalisé en quatre étapes. Premièrement, un inventaire a permis de dénombrer 59 CGRR au Ministère. Deuxièmement, chaque CGRR a été évalué et coté selon les critères du modèle du Conseil du Trésor. Troisièmement, les CGRR ont été « cartographié » en fonction de l'architecture des activités de programme (AAP) d'AINC afin de déterminer la couverture des résultats stratégiques du Ministère visée par les CGRR. Quatrièmement, un sondage a été effectué auprès des gestionnaires de programmes pour déterminer dans quelle mesure la mise en œuvre des CGRR étaient respectés, notamment en ce qui à trait à la collecte de données et à la  présentation de rapports de suivi.

L'étude a permis de constater que les CGRR développés à AINC sont généralement de qualité acceptable. Cependant, on a aussi constaté la nécessité d'en améliorer plusieurs éléments clés. Dans l'ensemble, chaque CGRR évalué présentait clairement les objectifs, les résultats attendus et un modèle logique correspondant aux critères du modèle du Conseil du Trésor. Les plans d'évaluation étaient également acceptables, en général, mais un grand nombre n'étayaient pas suffisamment d'information sur une collecte de données solide, robuste et systématique. D'autres lacunes ont aussi été constatées concernant les plans d'évaluation. On pense notamment aux enjeux et aux méthodes proposées pour la collecte de données. Dans bien des cas, un nombre d'indicateurs de rendement écrasant, souvent axés sur les extrants (représentant aussi une lourde charge de travail tant pour les gestionnaires que pour les Premières nations), auraient eu avantage à être remplacés par quelques indicateurs clés permettant d'établir un lien clair entre les activités, et les extrants et les résultats. Enfin, la responsabilité quant à la collecte des données et à la présentation de rapports de suivi doit être plus clairement définie. L'amélioration de ces éléments ferait des CGRR des outils plus utiles pour les gestionnaires de programmes.

On a constaté que ce n'était pas tant la qualité des CGRR qui posait un problème, mais leur application et la collecte de données. Le résultat du sondage auprès des gestionnaires révèle que des données sont collectées pour environ 42% des indicateurs de rendement prévus dans les CGRR. Parmi les enjeux majeurs, notons que l'utilité de certains indicateurs a été remise en cause pendant le déroulement du programme. Problème plus grave, il arrive que les bénéficiaires du programme ou les gestionnaires n'aient pas les ressources et la capacité permettant de collecter les données, de les rapporter et de les analyser. La collecte de données souffre aussi d'un problème déjà mentionné : trop d'indicateurs sont prévus, dont bon nombre sont ciblés sur les extrants. Cette étude révèle aussi qu'aucun chevauchement notable n'a été trouvé dans la collecte de données et, par conséquent, aucune recommandation ne porte sur la nécessité d'éliminer les doubles emplois potentiels.

Chapitre un : Introduction et méthode

Au cours des dernières années, le Conseil du Trésor a exigé qu'un Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) soit soumis pour la plupart des programmes devant être approuvés ou renouvelés par le Conseil du Trésor. Des CGRR ont effectivement été conçus pour les programmes d'Affaires indiennes et Nord canadien (AINC) chaque fois que le financement devait être renouvelé par le Conseil du Trésor, mais aucun mécanisme de contrôle de ces CGRR n'a été mis au point à l'échelle du Ministère pour vérifier leur conception, leur approbation et leur application. C'est pourquoi le Secteur de la vérification et de l'évaluation d'AINC, désireux d'obtenir un portrait complet de la qualité et du respect des CGRR, a réalisé cette étude spéciale au printemps 2008. Le projet a été confié à notre groupe constitué de huit stagiaires.

Le mandat de l'étude spéciale sur les CGRR (annexe A), conçu par notre équipe en collaboration avec la direction du Secteur de la vérification et de l'évaluation, et approuvé par le Comité de la vérification et de l'évaluation le 27 juin 2008, prévoit une étude en quatre étapes. Ces étapes se résument ainsi :

1. Faire l'inventaire de tous les CGRR d'AINC ayant été approuvés par le Conseil du Trésor depuis 2000.
2. Déterminer la position de chaque CGRR dans l'architecture des activités de programme (AAP) d'AINC.
3. Vérifier si les CGRR sont exhaustifs et de qualité.
4. Déterminer dans quelle mesure la mise en œuvre des CGRR a été respectés, en mettant l'accent sur les Plans de mesure du rendement (PMR).

Au cours de la première étape, notre groupe a examiné chacune des quelque 350 présentations au Conseil du Trésor approuvées entre janvier 2000 et avril 2008. Nous y avons d'abord dénombré 62 CGRR et autres documents semblables. L'annexe E présente les détails de cette étape du projet. Nous avons ensuite restreint notre examen à 49 CGRR qui sont directement liés aux programmes d'AINC. Certains des 62 CGRR que nous avons d'abord examinés ont été exclus, par exemple, parce qu'ils avaient d'abord été conçus par un autre ministère et/ou parce qu'ils relevaient d'un autre ministère.

Nous avons réalisé les étapes deux et trois simultanément. Chacun des 49 CGRR a été examiné par deux membres de notre équipe. Les examinateurs ont déterminé quels étaient les résultats stratégiques, les activités de programme et les sous-activités de programme en vertu de l'architecture des activités de programme d'AINC pour 2009-2010 et ils ont vérifié s'ils étaient complets et de qualité.

Lors du processus de notation, notre groupe a mis au point neuf catégories d'évaluation, basées sur les lignes directrices du Secrétariat du Conseil du Trésor concernant les CGRR. Chaque CGRR a reçu une note entre 1 et 3 pour chaque catégorie, selon le degré de conformité aux lignes directrices. Les lignes directrices du Secrétariat du Conseil du Trésor concernant les CGRR sont présentées à l'annexe B, et un modèle de notation des CGRR se trouve à l'annexe C.

Notre équipe a conçu une échelle sur trois points, applicable à chaque catégorie :

• Possibilité d'amélioration (1 sur 3) : La composante est complètement absente ou comporte des lacunes pour plusieurs éléments clés.
• Acceptable (2 sur 3) : Le plan d'évaluation respecte la plupart des exigences minimales mais, il a besoin d'améliorations (par exemple, certains éléments précis sont manquants ou manquent de clarté).
• Fort (3 sur 3) : La composante est claire, logique et répond à toutes les exigences[Note 1].

Les neuf notes ont été ensuite additionnées pour donner une note totale sur 27. Une fois que tous les examinateurs ont terminé leur notation, chaque paire d'examinateurs a comparé ses résultats pour chaque CGRR. Ensemble, les examinateurs ont discuté de leurs différences et se sont entendus sur une seule série finale de notes, d'informations sur l'AAP et de commentaires résultant de l'analyse. Dans le tableau présenté à l'annexe F, la colonne réservée aux numéros du SGGID pour les CGRR combinés par la pair d'examinateurs, intitulée « Merged RMAF Assessment CDIM# », présente les numéros de référence du SGGID contenant les notes de chaque CGRR. L'information finale sur l'AAP pour chaque CGRR se trouve au même tableau.

Enfin, pour mener la quatrième étape, notre équipe a conçu un sondage destiné aux gestionnaires de programmes dans le but de déterminer à quel point les PMR des CGRR étaient utilisés au sein d'AINC. L'aspect le plus important du sondage était un tableau où les gestionnaires de programmes pouvaient indiquer quels indicateurs donnaient lieu à une collecte de données et à quelle fréquence, parmi ceux énumérés dans le CGRR. Par ailleurs, le sondage demandait si les données recueillies étaient utilisées, si elles étaient suffisantes, pourquoi certaines données n'étaient pas recueillies, quels étaient les obstacles à la collecte de données etc. Le questionnaire du sondage se trouve à l'annexe D. Aussi, une colonne du tableau de l'annexe G est réservée au numéro de référence sondage dans le SGGID, pour tous les sondages qui ont été retournés remplis.

Le sondage a été remis à tous les sous-ministres adjoints d'AINC, accompagné d'une lettre leur demandant de voir à ce que les administrateurs de programmes appropriés le remplissent pour chaque CGRR. À mesure que notre groupe recevait les questionnaires remplis, nous comparions les données de sondage qui étaient recueillies pour chaque CGRR à celles qui devraient être recueillies selon le PMR établi.

Les chapitres trois et quatre du présent rapport présentent et expliquent les conclusions que nous avons tirées à la lumière des étapes trois et quatre. La partie trois décrit les résultats de notre analyse des CGRR, et la partie quatre, les résultats des questionnaires de sondage qui nous ont été retournés.

Chapitre deux : Qualité et exhaustivité des CGRR

2.1 Constats selon les notes générales des CGRR

Neuf composantes de chaque CGRR ont été évaluées sur une échelle de 1 à 3. Ainsi, la plus petite note possible était de neuf, la plus haute étant de 27. Le tableau ci-dessous montre la répartition des notes attribuées à chacun des CGRR.

Nos principaux constats concernant la notation des CGRR sont les suivants :

• La note moyenne est de 22 (sur 27).
• La majorité des CGRR ont une note située entre 21 et 26.
• Un seul CGRR a eu la note minimale de neuf.
• Les CGRR qui ont eu une faible note (moins de 20) avaient généralement certaines caractéristiques communes, notamment: des sections manquantes, des composantes manquantes dans les sections, des sections peu développées (peu de détails) et un manque de clarté.

Ces constatations semblent montrer, dans l'ensemble, que les CGRR du Ministère sont, en règle générale, acceptables. Le fait que la plupart des CGRR aient des notes d'entre 21 et 26 signifie qu'ils respectent généralement les lignes directrices minimales du Secrétariat du Conseil du Trésor, même si des améliorations mineures pourraient y être apportées dans des domaines particuliers.

2.2 Constatations générales « objectifs/résultats anticipés/modèle logique »

Les trois premières étapes de la notation des CGRR portaient sur les objectifs établis pour le programme, les résultats anticipés du programme et le modèle logique du CGRR. La partie sur les objectifs du programme constitue une description de ce que le programme souhaite atteindre. La section sur les résultats anticipés décrit les cibles  immédiates, intermédiaires et finales qu'on devrait constater en raison de l'effet du programme. Le modèle logique fait ressortir les liens entre les activités, les extrants, les résultats et les objectifs du programme.

• La notation des objectifs a été faite sur une échelle de 3 points, avec pour critère la nécessité que les objectifs soient exposés clairement.
• La notation des résultats prévus a été divisée en deux sous-catégories, chacune étant évaluée sur une échelle de 3 points. Pour la première sous-catégorie, le critère était que les résultats anticipés soient logiques et liés avec les objectifs; pour la deuxième sous-catégorie, que les résultats anticipés soient réalistes et atteignables.
• La notation du modèle logique a aussi été faite sur une échelle de trois points, et le critère était que le modèle soit clair et bien articulé (enchaînement logique).

Comme toutes ces sections sont intrinsèquement liées, elles ont été regroupées dans cette partie du présent rapport. Les constatations sont décrites dans le graphique ci-dessous, sur une échelle de 12 points (4 sections notées sur une échelle de 3 points). Une note totale de 10 à 12 est considérée « forte », une note de 7 à 9 est « acceptable » et une note de 4 à 6 est considérée sujettes à une « possibilité d'amélioration ».

Les résultats de notre notation des 49 CGRR, pour la catégorie « objectifs/résultats prévus/modèle logique », sont exposés dans le diagramme ci-dessous :

• Près de 80 % des CGRR ont été cotés « Fort » pour les sections « objectifs/résultats prévus/modèle logique ».
• Seulement deux CGRR ont été cotés « Possibilité d'amélioration » pour ces catégories.
• Les problèmes les plus courants, pour les CGRR auxquels on a attribué une note inférieure à « Fort », sont les suivants: utilisation de résultats « directionnels », manque de clarté du modèle logique, manque de clarté quant à la présentation des résultats (pas de section définie), des résultats sans lien direct avec un résultat stratégique et des résultats énumérés étant en réalité des extrants.

Selon nos constatations, ces composantes des CGRR d'AINC sont bien faites dans l'ensemble du Ministère. On le voit du fait que près de 80 % des CGRR ont été jugés « Fort » pour ces catégories. Ceci confirme ce à quoi on s'attendait, c'est-à-dire que les programmes ciblent bien ce qu'ils visent à réaliser (les objectifs), et la manière dont ils permettront d'y arriver (résultats anticipés). Cela peut donc se traduire par un modèle où tout s'enchaîne logiquement (modèle logique). L'incapacité à articuler clairement les objectifs et les résultats anticipés signale peut-être un problème systémique plus grave, associé à un programme particulier.

2.3 Constatations sur les plans de mesure du rendement

L'un des principaux buts des CGRR est de produire un Plan de mesure du rendement (PMR) pour chacun des programmes d'AINC. Ces PMR doivent établir une série d'indicateurs de rendement, servant à évaluer le succès d'un programme. Qui plus est, les PMR doivent prévoir un plan de collecte des données solide afin que l'information recueillie pour mesurer le succès du programme soit utile.

Afin d'évaluer la qualité des PMR associés aux CGRR, notre équipe a évalué chaque PMR sur une échelle de 1 à 9. Cette note était basée sur les notes combinées des trois catégories connexes de critères d'examen déjà mentionnés, une note de 1 à 3 ayant été attribuée pour chaque catégorie. Les résultats de notre notation des PMR contenus dans les CGRR du Ministère sont illustrés dans le graphique ci-dessous.

Le graphique ci-dessus suggère que la majorité des PMR notés comportent une quantité importante d'information utile. Toutefois, on a constaté des lacunes courantes concernant certains éléments.

Afin de rendre compte clairement des constatations de notre équipe quant aux lacunes observées dans certains PMR d'AINC, cette partie analytique de notre rapport est divisée en deux sections. La première section porte sur la qualité des indicateurs de rendement utilisés dans les CGRR et la deuxième section, porte sur la qualité des plans de collecte de données proposés.

2.3.1 Indicateurs de rendement

L'élaboration d'indicateurs de rendement utiles est un moyen vital pour qu'un programme adhère aux principes de la gestion axée sur les résultats. Le CGRR devrait être considéré comme un outil servant à clarifier les objectifs d'un programme et à développer des indicateurs de rendement utiles, précis et mesurables permettant de rendre compte du succès d'un programme. Bien que la majorité des  CGRR prévoient des indicateurs de rendement utiles, nous avons détecté plusieurs enjeux, minant l'utilité des PMR en tant qu'outils de gestion. Les enjeux les plus importants détectés dans les 49 CGRR étudiés sont les suivants :

• Beaucoup de CGRR prévoient beaucoup trop d'indicateurs

Plusieurs CGRR prévoyaient plus de 40 indicateurs de rendement. Dans certains cas, la liste des indicateurs s'étalait sur plusieurs pages. Bien que certains de ces indicateurs soient utiles, ils sont trop souvent enfouis parmi une somme écrasante d'indicateurs moins utiles. Détecter les indicateurs pertinents fut ardu. Les gestionnaires de programme qui tenteraient de les utiliser se buteraient probablement au même problème. Parmi les 49 CGRR étudiés, nous avons constaté que 19 d'entre eux, soit 39 %, prévoyaient trop d'indicateurs de rendement pour assurer une gestion viable de la stratégie de mesure du rendement.

• L'enjeu des indicateurs trop nombreux est plus courant pour les programmes visant plusieurs résultats différents

Les CGRR des programmes ayant plusieurs domaines d'activité distincts, c'est-à-dire visant beaucoup de résultats stratégiques non-reliés, sont plus susceptibles de prévoir un trop grand nombre d'indicateurs de rendement, minant la gestion du PMR. Par exemple, certains CGRR, dont ceux l'initiative de Réinvestissement de la Prestation nationale pour enfants, de la Stratégie globale de guérison des Innus du Labrador et du renouvellement de la Stratégie pour les Autochtones vivant en milieu urbain, touchent différents domaines d'activité. Par conséquent, les indicateurs mesurent le succès de résultats différents et parfois, sans lien entre eux. Il en résulte que plusieurs pages d'indicateurs de rendement sont prévues pour ces programmes qui sont, en général, relativement petits (du point de vue financier). Les PMR de ces programmes sont donc complexes et généralement inutilisables. Nous constatons que les programmes visant des résultats nombreux et des activités distinctes doivent être assortis d'indicateurs de rendement soigneusement choisis. Il est donc recommandé que les indicateurs sélectionnés pour les PMR doivent être utiles afin de jauger le rendement d'un programme, pour un secteur d'activité particulier.

• Trop d'attention est portée aux extrants par rapport aux résultats

Notre analyse des CGRR du Ministère démontre qu'un grand nombre de PMR des programmes ne ciblent pas correctement la mesure des progrès vers les résultats anticipé. En fait, ils favorisent plutôt la mesure des extrants. Dans bien des cas, il y avait trop d'indicateurs de rendement ciblant les extrants. Le grand nombre d'indicateurs liés aux extrants, par exemple le nombre de réunions tenues ou le nombre de documents produits, rend les PMR trop volumineux sans ajouter plus de précision dans la mesure du rendement d'un programme. Selon les constatations de notre équipe, 20 des CGRR analysés, soit 41 % d'entre eux, avaient un PMR principalement axé sur les extrants. Ils seraient donc bénéfiques si les indicateurs visaient précisément à mesurer les résultats anticipés du programme.

• Beaucoup d'indicateurs de rendement sont vagues et difficiles à appliquer

Bien que la majorité des CGRR analysés comportent des indicateurs de rendement utiles et mesurables, plusieurs d'entre eux prévoient aussi des indicateurs très vagues rendant une mesure du rendement fiable extrêmement difficile. Certains CGRR, dont ceux des initiatives réalisées dans le cadre de la Stratégie emploi jeunesse, contiennent beaucoup d'indicateurs s'appuyant sur la perception des participants par rapport à l'atteinte des objectifs du programme. Une telle information peut être utile mais, elle ne devrait pas être à la base de la stratégie de la mesure du rendement. Notre équipe a constaté que 18 plans de mesure du rendement, soit 37 %, mettaient beaucoup l'accent sur des indicateurs de rendement vagues. Il importe aux concepteurs des CGRR de s'assurer que le PMR étaye une série d'indicateurs de rendement solide, précis, mesurables et pour lesquels il sera facile de recueillir et interpréter des données.

Le PMR a tout le potentiel pour être un outil de gestion extrêmement utile. Bien que la plupart des programmes soient appuyés par de solides PMR, il a des possibilités pour une amélioration à ce chapitre.

En mettant l'accent sur l'élaboration de stratégies suffisamment restreintes afin d'assurer une gestion viable visant à mesurer les progrès réalisés quant à l'atteinte des résultats anticipés par le biais d'indicateurs de rendement précis et mesurables, les gestionnaires des programmes d'AINC peuvent contribuer à assurer que leurs CGRR constituent des outils de gestion utiles

2.3.2 Plans proposés pour la collecte des données

Dans le cadre de l'évaluation des PMR, les plans de collecte des données ont aussi été évalués. L'examen s'attardait surtout à la précision quant aux sources de données et à la fréquence de la collecte des données. Les évaluations des CGRR ont permis de détecter un certain nombre de d'enjeux relatifs aux plans de collecte de données des CGRR.

Le tableau ci-dessous décrit les enjeux les plus fréquemment rencontrés.

• Fréquence non indiquée/mal définie

Pour15 des 49 CGRR évalués, les plans de collecte des données n'établissaient pas clairement la fréquence de la collecte ou n'en faisaient pas allusion.

• Responsabilité mal définie/Fardeau de la reddition de compte

Pour 10 CGRR, la responsabilité de la collecte de données n'était pas déterminée clairement. AINC doit porter une attention particulière à cette lacune car, deux scénarios indésirables peuvent en découler. Si la responsabilité de la collecte de données n'est pas établie clairement, il pourrait survenir qu'aucun parti s'en occupe et qu'il soit difficile de gérer le rendement du programme. L'autre scénario serait que plus d'une organisation consacre du temps et des ressources à collecter les mêmes données. Compte tenu de la lourde charge que représente la présentation de rapports pour les Premières nations vivant sur réserve, celles-ci étant responsables d'une part importante de la collecte de données, il importe d'éliminer autant que possible la redondance et l'inefficacité. En établissant clairement la responsabilité de la collecte de données aux fins des CGRR, les gestionnaires peuvent assurer une gestion efficace et efficiente des programmes en aidant à réduire la charge de travail des Premières nations au chapitre de la présentation de rapports.

• Source de données mal définie

Les évaluations des CGRR ont révélé 6 cas où les sources de données à utiliser pour divers éléments prévus dans la stratégie de collecte de données n'étaient pas clairement définies. De toute évidence, la source de données importantes doit être clairement établie.

2.4 Constatations sur les plans d'évaluation

Tous les CGRR doivent comporter un plan d'évaluation, précisant le moment où le programme sera évalué et présentant l'information qui aidera les évaluateurs à déterminer leurs approches. Les plans d'évaluation doivent présenter les éléments clés à évaluer, les sources de données, la stratégie de collecte des données, la méthodologie préliminaire à appliquer et une estimation du coût de l'évaluation. Afin de rendre compte façon exhaustive de la qualité des CGRR existants au sein du Ministère, notre équipe a examiné le plan d'évaluation de chaque CGRR et a attribué à chacun une note sur 3 points, conformément à notre approche décrite précédemment.

Voici nos constatations sur la qualité des plans d'évaluation des CGRR :

• 45 % des CGRR prévoyaient des plans d'évaluation détaillés comportant tous les éléments nécessaires;
• 37 % des CGRR prévoyaient de plans d'évaluation acceptables, comportant beaucoup d'information utile mais, on y notait quelques omissions sur un ou plusieurs éléments;
• 18 % des CGRR ne prévoyaient aucun plan d'évaluation ou prévoyaient un plan d'évaluation sommaire, vague ou donnant très peu de détails.

Les plans d'évaluation étant ainsi regroupés en trois catégories, notre équipe a ensuite analysé ceux qui avaient une note de 1 ou 2, soit étant sujet à « possibilité d'amélioration », afin d'en déterminer les omissions les plus courantes. Voici ce que nous avons constaté :

• Les CGRR jugés comme sujets à une «possibilité d'amélioration »  ne prévoyaient aucun plan d'évaluation ou en présentaient un extrêmement sommaire, ce qui est peu utile pour les évaluateurs.
• L'omission la plus courante dans les CGRR que nous avons jugés « acceptables » était l'absence de méthode détaillée à appliquer lors d'évaluations futures. Parmi les 18 CGRR jugés « acceptables », 9 ne prévoyaient pas de méthode précise ou ne présentaient pas la méthode suffisamment en détail pour permettre des évaluations bien étayées.
• 6 des 18 CGRR qui ont été cotés « acceptables » ne précisaient pas toujours les éléments d'évaluation préliminaire.
• Généralement, un ou plusieurs éléments nécessaires pour documenter précisément l'évaluation planifiée étaient absents des 18 plans d'évaluation qui ont été cotés « acceptables ». 4 d'entre eux ne précisaient pas les sources de données à utiliser, 4 autres ne comportaient pas de stratégie de collecte des données et 6 ne prévoyaient pas d'estimation des coûts des évaluations proposées.

La plupart des plans d'évaluation que nous avons étudiés prévoyaient d'importants éléments d'information utile pour les évaluateurs, mais notre analyse fait ressortir plusieurs aspects où des améliorations seraient souhaitables pour que les CGRR deviennent des outils de gestion du rendement efficaces. Comme nous l'avons déjà souligné, la lacune la plus importante est l'absence, dans un grand nombre de plans d'évaluation, de méthodes suggérées et de questions d'évaluation utiles. Pour que les CGRR puissent constituer des outils facilitant la mesure du rendement des programmes, il importe qu'ils indiquent tous les éléments à évaluer et proposent une méthode d'évaluation préliminaire détaillée.

2.5 Constatations sur les plans de présentation de rapports

La dernière catégorie d'évaluation porte sur les stratégies de présentation de rapports sur le rendement des programmes au Ministère. Les caractéristiques clés d'un bon plan de présentation de rapports sont une description claire de la nature et de la portée du plan, l'établissement des responsabilités pour la présentation du plan, l'établissement de la fréquence des rapports et l'identification des destinataires ou lecteurs des rapports.

Les plans de présentation de rapports ont été notés sur l'échelle de 3 points, conformément à notre approche décrite précédemment. Les résultats de nos observations concernant les plans de présentation de rapports des 49 CGRR sont exposés dans le graphique ci-dessous.

Voici nos constatations générales sur la notation des plans de présentation de rapports.

• Près de 84 % des CGRR ont été cotés « acceptables » ou « forts » au chapitre des plans de présentation de rapports.
• Peu de CGRR ont été cotés « possibilité d'amélioration » à ce chapitre.
• Le problème le plus courant des CGRR, ayant une note de 1 «possibilité d'amélioration » ou 2 « acceptables », était l'absence de certains éléments. Par exemple, le plan n'indiquait pas qui étaient les utilisateurs prévus ou la fréquence voulue pour la présentation de rapports de reddition de compte.

Les résultats montrent que les plans de présentation de rapports sont généralement de qualité acceptable. Certaines améliorations sont nécessaires pour faire en sorte que tous les éléments attendus s'y trouvent. Somme toute, très peu d'entre eux ne respectent pas les exigences minimales.

2.6 Conclusions

Le CGRR peut être un outil très utile afin de faciliter la gestion des programmes efficace, axée sur les résultats. Selon notre analyse, la plupart des CGRR sont de qualité « acceptable » et comportent beaucoup d'information utile. Toutefois, certains éléments sont sujets à des « possibilités d'améliorations ». Pour que les CGRR futurs constituent des outils de gestion utiles, nous recommandons que le Ministère y apporte des corrections principalement sur les éléments suivants :

• Beaucoup de CGRR (38 %) comportent trop d'indicateurs de rendement. En réduisant leur nombre, on obtiendra des PMR plus faciles à utiliser.
• Les indicateurs de rendement sont axés sur les extrants plutôt que sur les résultats. En prévoyant des indicateurs ciblés sur les résultats, les progrès des programmes quant à l'atteinte des résultats visés pourront être mesurés correctement.
• Il faut faire en sorte que les stratégies de collecte des données soient claires et compréhensibles. Pour s'assurer que toutes les données nécessaires soient collectées et pour éviter qu'elles le soient plus d'une fois, les CGRR doivent préciser clairement à qui incombe la responsabilité de la collecte de données. Les CGRR doivent aussi préciser clairement les sources de données à utiliser et la fréquence des collectes si l'on veut assurer l'efficience et l'efficacité de la collecte.
• Les plans d'évaluation prévus dans les CGRR devraient toujours présenter les éléments d'évaluation préliminaire et une méthode d'évaluation proposée.
• Les plans de présentation de rapports sont généralement « acceptables ». Afin d'améliorer ces plans, il faut s'assurer que tous les éléments nécessaires soient toujours pris en compte.

Chapitre trois : État de la mise en oeuvre des CGRR

3.1 Justification

Un des éléments de la présente étude consistait à enquêter sur l'état de la mise en oeuvre des CGRR de l'ensemble des programmes d'AINC. Les engagements concernant la collecte de données prévue dans les PMR de chaque CGRR ont été comparés aux réponses d'un sondage transmis aux programmes. En investiguant la mise en oeuvre des CGRR, nous cherchions aussi à détecter les cas où des données n'auraient pas été collectées ou encore auraient été collectées par plus d'un programme.

3.2 Approche

En juin 2008, nous avons mis au point un sondage (voir Annexe D) afin de déterminer dans quelle mesure les PMR des CGRR étaient appliqués. Les questionnaires de sondage ont été remis aux sous-ministres adjoints qui, à leur tour, les ont distribués aux administrateurs de programmes, qui les ont remplis. Les réponses à ces sondages ont été analysées et notre équipe a fait rapport des principales constatations. Pour exposer les tendances générales, nous avons jugé utile de grouper les réponses aux sondages de la façon suivante :

• « Peu » signifie que la même réponse a été donnée dans 1 à 3 sondages.
• « Quelque » signifie que la même réponse a été donnée dans 4 à 6 sondages.
• « Beaucoup » signifie que la même réponse est revenue dans 7 sondages ou plus.

3.3 Profil des réponses au sondage

À partir de la première semaine du mois d'août 2008, nous avons reçu 44 réponses des administrateurs de programmes. Parmi celles-ci, 26 convenaient aux besoins de l'analyse (voir Annexe G sur les résultats du sondage). Cas particulier: plusieurs réponses au sondage ont été reçues pour un même CGRR. Les 26 réponses portaient donc sur 22 CGRR.

18 autres réponses ne comportaient pas de sondage dûment rempli. On nous donnait plutôt l'une des explications suivantes pour expliquer le fait que le sondage n'a pu être complété:

• « Beaucoup » de CGRR retenus au premier inventaire étaient devenus désuets. Approuvés il y a de cela plusieurs années, ces CGRR avaient été remplacés par un nouveau CGRR ou visaient des programmes qui n'étaient plus en vigueur.
• « Quelque » CGRR étaient tellement récents qu'il était impossible de répondre aux questions les concernant. Parfois, la mise en œuvre du PMR des programmes rattachés à ces CGRR n'était pas encore commencée. Nous trouvons aussi dans cette catégorie des programmes qu'on était en train de mettre à jour ou pour lesquels on attendait l'approbation du CGRR avant de procéder à la réalisation de la stratégie de mesure du rendement.
• Nous n'avons reçu aucune réponse pour « beaucoup » de CGRR. Il est probable que les administrateurs de programmes ne sachent pas toujours qu'un CGRR se rattache aux programmes dont ils ont la charge. Il est aussi probable que « quelque » CGRR pour lesquels nous n'avons pas reçu de réponse se trouve également dans la catégorie des CGRR désuets ou trop récents. Enfin, il se peut que les questionnaires n'aient pas été remis aux autorités compétentes. Les gestionnaires de programmes peuvent avoir été en vacances.
• Nous avons aussi reçu « peu » sondages sur des CGRR qui n'avaient pas été recensés dans notre premier inventaire. Ces CGRR ont été approuvés par le Conseil du Trésor après avril 2008, alors que nous n'avions examiné les présentations au Conseil du Trésor faites avant 2008 seulement. Comme ils ont été reçus bien après la réalisation de notre analyse sur la qualité et l'exhaustivité des CGRR (chapitre deux), nous n'en avons pas tenu compte dans cette portion du projet. Toutefois, les réponses à ces sondages ont été prises en compte dans l'analyse de la collecte de données suivante.

Voici la description graphique de la distribution des sondages.

Des réponses ont été reçues de tous les secteurs mais, dans des proportions légèrement différentes. La répartition des 44 réponses reçues par secteur et par résultat stratégique est représentée ci-dessous :

3.4 Constatations particulières

Nos principales constatations après l'analyse des sondages concernant l'état de la mise en œuvre des CGRR des programmes d'AINC sont les suivantes :

• Des données sont collectées pour 42,9 % de tous les indicateurs de rendement énumérés dans les 22 CGRR examinés dans cette partie de l'étude.

Les 22 CGRR pour lesquels nous avons reçu des réponses au sondage présentaient en tout 492 indicateurs de rendement. Selon le sondage, des données étaient collectées pour 211 d'entre eux, soit 42,9%. Le sondage a aussi révélé que des données étaient collectées pour 27 indicateurs qui n'étaient pas mentionnés dans les CGRR des programmes en question.[Note 2] L'Annexe H présente la liste de tous les indicateurs mentionnés dans le sondage effectué auprès des gestionnaires de programmes.

• De tous les indicateurs pour lesquels des données ont été collectées, 83,6 % sont utilisés selon les répondants aux sondages. Donc, 199 indicateurs sur 238 faisant l'objet de collecte de données.

La raison la plus courante pour la non-utilisation des données était qu'on n'avait pas terminé la collecte des données pour ces indicateurs. Néanmoins, il semble que la plus grande partie des données collectées soit utilisée. En outre, les répondants précisent que les données sont utilisées la plupart du temps pour les rapports annuels ou trimestriels ainsi que pour les rapports ministériels et d'autres rapports sur le rendement.

• Lorsque les sondages et les CGRR correspondants sont groupés par résultats stratégiques, les données sont collectées de la façon suivante aux fins des indicateurs de rendement :

• Quand les sondages et les CGRR correspondants sont groupés par Secteurs, la collecte de données des indicateurs de rendement se présente comme suit :

• « Beaucoup » de répondants ont l'impression que les exigences quant à la collecte de données sont respectées.

À la question « Dans quelle mesure les données dont il est question dans le cadre de mesure du rendement (CMR) du CGRR sont-elles collectées? » (Annexe D, Question no 1), 18 des 26 répondants affirment que la proportion est de 75 à 100 %. Ceci semble démontrer que les gestionnaires de programmes surestiment l'application du cadre de mesure du rendement de leur CGRR.

• « Beaucoup » de répondants ont l'impression que les données collectées démontrent clairement l'efficacité de leurs programmes.

À la question « Les données collectées suffisent-elles pour brosser un tableau précis de l'efficacité du programme? » (Question n^o 3), 82 % des répondants estiment que c'est le cas.

3.5 Constatations générales

Les tendances de notre analyse font ressortir trois constats généraux qui permettent de mieux comprendre la situation quant à la mesure du rendement et à la présentation de rapports à AINC.

• Constat n^o 1 : Dans l'ensemble, la collecte de données en fonction des PMR des CGRR est loin d'être complète.

Selon les réponses des sondages reçus, 42,9 % des indicateurs de rendement énumérés dans les CGRR font réellement l'objet d'une collecte de données. Ceci est une statistique troublante. Si les données ne sont pas recueillies pour les indicateurs prévus, l'information disponible pourrait ne pas suffire à déterminer si un programme est efficient ou non. Paradoxalement, si l'on pense au faible taux de collecte de données, « peu » de répondants croient que les données collectées ne permettaient pas de « brosser un tableau précis de l'efficacité du programme ». Une explication possible serait le fait que seuls les indicateurs de rendement importants font l'objet d'une collecte de données. Tel que présenté au Chapitre 3, beaucoup de CGRR prévoient un trop grand nombre d'indicateurs axés sur les extrants et qui ne sont pas utiles pour déterminer l'efficacité d'un programme. Cependant, dans le cas des CGRR où les indicateurs de mesure du rendement sont répartis en catégories (soit extrant/activité, résultat immédiat, résultat intermédiaire et résultat final) des données étaient recueillies sur un moins grand pourcentage d'indicateurs de résultats intermédiaires et finaux que d'indicateurs d'extrants/activités ou de résultats immédiats.

Il importe de savoir que ces valeurs et pourcentages pourraient être inexacts. Pour beaucoup de programmes, il n'est possible de recueillir des données sur les résultats intermédiaires et finaux, sauf dans les derniers stades de leur mise en oeuvre. Il est donc possible que la proportion des indicateurs pour lesquels des données ont été recueillies soit biaisée. Les données ne montrent pas clairement que les gestionnaires de programmes s'obstinent à collecter des données moins utiles orientées sur les extrants et s'intéressent davantage aux données valables orientées sur les résultats, mais il se pourrait que ce soit tout de même le cas.

Comme nous pouvons le constater par le faible taux de collecte de données, confirmer par plusieurs observations écrites, les plans originaux de PMR sont souvent modifiés par les administrateurs de programmes après un certain temps afin qu'ils correspondent mieux aux activités du programme. D'ailleurs, plusieurs répondants au sondage ont précisé que les PMR établis dans le CGRR de leur programme ont été révisés, ou sont en voie de l'être.

D'une part, il est encourageant d'observer que les programmes sont assez souples pour adapter les CGRR à leurs besoins. L'ajustement du PMR peut démontrer la capacité d'un gestionnaire à reconnaître l'existence de nouvelles circonstances et de modifier le PMR en fonction de mieux servir les résultats visés par le programme. Pour un programme particulier, nous avons recueilli ce commentaire: « Nous travaillons à l'amélioration de la qualité des données afin d'obtenir un meilleur portrait des caractéristiques de notre clientèle, de savoir à quel point nos programmes répondent à ses besoins et de brosser un tableau plus précis de l'efficacité du programme».  Comme les CGRR sont nouveaux au sein des ministères, il ne serait pas surprenant que beaucoup de programmes aient été assortis d'un PMR sans que quiconque ait été pleinement conscient des conséquences de ces plans. Il est donc probable que, maintenant, le besoin de les réviser et les rajuster est pressant.

D'autre part, cet écart entre les engagements et la véritable collecte de données pourrait donc signifier que les programmes révisent les balises établies et pour lesquelles ils sont imputables et ce, sans l'approbation ni du Secteur de la vérification et de l'évaluation ni, du Conseil du Trésor. Ceci enlèverait toute validité à la mesure du rendement de ces programmes.

• Constat n^o 2 : AINC et les Premières nations n'ont pas la capacité nécessaire pour faire la collecte de données prévue.

L'une des observations les plus courantes dans les réponses au sondage était l'insuffisance de moyens pour recueillir toutes les données nécessaires sur les indicateurs de rendement énumérés dans le CGRR. C'est la raison la plus invoquée afin de justifier la lenteur de la collecte de données. La capacité limitée d'AINC et des autres  meneurs d'enjeux est signalée comme un problème. Nous notons, outre l'insuffisance des ressources; d'autres défis, notamment: la difficulté pour certaines Premières nations de remplir les formulaires de collecte de données; les difficultés d'accès à Internet pour faire rapport des données recueillies; le manque de personnel au sein d'AINC pour exécuter l'analyse des données et les lacunes des systèmes d'information pour valider les données. Par exemple, une des réponses nous informait :

« Il y a trois obstacles [à une collecte de données efficace]:

a) Nous n'avons pas les indicateurs les plus pertinents, ni les systèmes de collecte de données nécessaires pour ces indicateurs;

b) Les Premières nations n'ont pas la capacité de collecter les données;

c) Nous n'avons pas la capacité, à l'administration centrale et dans les régions, de recueillir et d'analyser les données fournies par les Premières nations. »

Un autre répondant a écrit : «Les obstacles à une collecte de données plus efficace sont les suivants: nous ne voulons pas ajouter au fardeau des Premières nations en matière de présentation de rapports et de reddition de compte, les données qu'il faut recueillir ne sont pas toujours disponibles et il n'existe pas de système d'information permettant de collecter les données, de les emmagasiner et de les analyser. »

Même si les données sont collectées, ces facteurs peuvent avoir pour effet que les données sont inutilisables et qu'il est ainsi impossible de contrôler le rendement. Ceci peut entraîner des retards dans la présentation de rapports et des lacunes quant à la qualité des rapports sur ces mesures de rendement.

• Constat n^o 3 : Pas de doubles emplois visibles dans la collecte de données

Dans le cadre de cette étude, nous estimions pouvoir détecter des cas de double emploi dans les engagements concernant la collecte de données et les activités s'y rapportant. Si nous avions constaté que les mêmes données étaient recueillies pour plusieurs programmes différents, nous aurions trouvé le moyen de rationaliser ces activités afin d'épargner des ressources et de réduire la charge de travail des Premières nations associée à la présentation de rapports. Malheureusement, notre équipe a été incapable de trouver des cas importants de double emploi dans la collecte de données, surtout parce que la plupart des indicateurs de rendement sont spécifiques pour chaque programme. Par exemple, les CGRR relatifs aux changements climatiques prévoient la mesure de la réduction des gaz à effet de serre attribuable à des améliorations apportées aux centrales électriques dans le cadre d'un programme, et non la mesure de la réduction totale des émissions de gaz à effet de serre. Une autre raison possible est le peu d'indicateurs faisant l'objet d'une véritable collecte de données. Si tous les indicateurs faisaient l'objet d'une collecte, au lieu 42,9%, les doubles emplois pourraient constituer un problème. Enfin, une explication possible par rapport à l'absence de doubles emplois dans la collecte de données, c'est que les gestionnaires de programmes s'abstiennent déjà de collecter des données s'il y a double emploi, afin de réduire la charge de travail que génère l'obligation de produire des rapports pour les Premières nations. D'ailleurs, certains répondants au sondage ont précisé que la charge de travail que constitue la présentation de rapports pour les Premières nations était une des raisons de l'absence de collecte de données dans certains cas.

Chapitre quatre: Conclusion

Le présent rapport a présenté et expliqué les principaux constats du projet d'étude spéciale sur les CGRR d'AINC. L'examen des outils de gestion du Ministère, par rapport aux lignes directrices du Secrétariat du Conseil du Trésor sur les CGRR, nous a permis de constater que, dans l'ensemble, leur qualité est généralement élevée. Nous avons cependant constaté que des améliorations substantielles pourraient y être apportées. À cet égard, les faiblesses les plus sévères recensées sont que les CGRR prévoient beaucoup trop d'indicateurs, mettent trop l'accent sur les extrants et pas assez sur les résultats, prévoient des stratégies de collecte de données qui sont incomplètes ou obscures et fournissent peu d'information sur les éléments à évaluer et les méthodes proposées.

Concernant la réalisation de la collecte des données, nous avons constaté que moins de 50% des indicateurs de rendement énumérés dans les CGRR font vraiment l'objet d'une collecte de données. La capacité insuffisante des partis intéressés et d'AINC est probablement le facteur le plus important expliquant cette situation. D'autres raisons possibles sont la volonté d'éviter de consacrer du temps à des indicateurs qui sont perçus comme inutiles et des efforts pour réduire, pour les Premières nations, la charge de travail que constitue la présentation de rapports. Il ne semble pas y avoir de possibilités notables de réduire davantage le travail de présentation de rapports par l'élimination des doubles emplois dans la collecte de données, puisque nous n'avons pas détecté de doubles emplois.

Les enjeux relatifs à la qualité des CGRR semblent beaucoup moins aigus, comparativement aux lacunes ayant trait à la collecte de données. Celle-ci est extrêmement défaillante. Il faut toutefois admettre que ces problèmes peuvent s'expliquer. Parmi les aspects les plus troublants concernant la qualité des CGRR, on note le très grand nombre d'indicateurs prévus dans beaucoup de CGRR, et le très grand nombre d'entre eux qui permettent de mesurer des extrants et non des résultats. Si les indicateurs étaient moins nombreux et mieux orientés, il pourrait être plus facile de collecter les données voulues sur un plus grand nombre d'indicateurs de performance.

En conclusion, un élément semble certain: les CGRR peuvent réaliser leur plein potentiel s'ils sont utilisés comme l'outil de gestion utile qu'ils représentent. La mise en oeuvre des CGRR n'est qu'une première étape. Il est tout aussi important que le Ministère prenne au sérieux les constatations faites au moyen des CGRR et des stratégies de mesure du rendement qui s'y rattachent. Jusqu'à maintenant, il a été difficile d'y parvenir en raison de la rareté des informations disponibles sur la qualité des CGRR et sur la portée de leur application au sein du Ministère. Ainsi, l'aspect le plus valable de la présente étude ne se trouve pas dans ses conclusions, mais plutôt dans la très grande quantité d'information brute se trouvant dans les annexes. Cette information devrait être gardée à jour et étayée davantage afin que le contrôle du rendement et les évaluations en cours deviennent de plus en plus valables étant donné la richesse des informations que fourniront des CGRR bien conçus et appliqués de la bonne façon.

Recommandations

Le rapport final sur le projet des CGRR, présenté le 13 août, formulait plusieurs conclusions sur la qualité des CGRR et leur application à AINC. Le présent document doit être considéré comme un supplément au rapport final. Il formule quelques recommandations concrètes sur les améliorations qu'il serait possible d'apporter à l'utilisation que fait AINC des CGRR.

1. Les plans de mesure du rendement (PMR) devraient prévoir une courte liste d'indicateurs de rendement qui soient directs, axés sur les résultats, bien définis et exigeant une collecte de données facile à réaliser.

Cette recommandation contient cinq éléments :

• Les PMR devraient prévoir une courte liste d'indicateurs de rendement. Les longs PMR sont mal ciblés et difficiles à réaliser. En réduisant le nombre total d'indicateurs, on encourage les administrateurs de programmes à choisir les indicateurs les plus efficaces afin de brosser un tableau plus précis sur l'efficacité générale du programme.
• Les indicateurs devraient être directs. Les variables substitutives (par exemple la mesure de la perception de résultats plutôt que la mesure de résultats) sont beaucoup moins valables que les indicateurs conçus pour mesurer directement l'atteinte d'un objectif d'une initiative.
• Les indicateurs devraient être axés sur les résultats. Les indicateurs qui ciblent des extrants et des activités ne sont pas pratiques pour montrer l'efficacité d'un programme. Ils ne font que réduire l'utilité globale du PMR.
• Les indicateurs devraient être bien définis. L'unité mesuré par un indicateur  devrait être absolument clair, ainsi que la façon dont les données nécessaires devraient être collectées. Des indicateurs mal définis ne peuvent qu'embêter les responsables de la collecte de données. Il faut alors réviser le PMR.
• Les indicateurs devraient donner lieu à une collecte de données facile à réaliser. La valeur de l'information fournie par les indicateurs devrait être évaluée en fonction du coût des ressources nécessaires à la collecte de données et de la possibilité d'obtenir ces ressources. Tout indicateur pour lequel les données ne seront pas collectées ou ne peuvent pas être collectées devrait être supprimé.

Actuellement, seule une petite proportion des indicateurs de rendement prévus dans les CGRR font l'objet d'une collecte de données. En améliorant l'orientation et la qualité des PMR, notamment en réduisant le nombre d'éléments qu'ils prévoient, nous contribuerons à assurer une évaluation plus précise du rendement global du programme, à augmenter le taux général de collecte de données, à assurer que les indicateurs essentiels fassent effectivement l'objet d'une collecte et à réduire la charge de travail imposée aux responsables de la collecte de données au sein d'AINC et des Premières nations.

2. AINC devrait surveiller la conception et l'application des CGRR.

Les CGRR sont conçus comme des outils de gestion des programmes en cours de réalisation. Pourtant, jusqu'à maintenant, il a été impossible de déterminer quels programmes sont dotés d'un CGRR, de savoir si le CGRR est toujours en vigueur, s'il a été révisé et s'il est appliqué. On constate une absence presque totale d'information sur l'état présent des CGRR, ce qui rend leur utilisation constante presque impossible.

La responsabilité de l'application et de la mise à jour des CGRR relève du Secteur chargé de son application. Toutefois, il n'est pas surprenant d'observer que certains CGRR soient oubliés si beaucoup de gestionnaires, compte tenu qu'ils rendent des comptes sur le CGRR que deux fois – une fois au moment de l'approbation ou du renouvellement du programme, et une fois au moment de l'évaluation du programme. Des mécanismes de contrôle – et de correction au besoin – de l'application des CGRR doivent être créés. La première étape pour ce faire serait simplement de conserver un dossier à jour de la situation de chaque CGRR d'AINC.

3. Il faut amener les gestionnaires de programmes à s'engager.

Les résultats de notre sondage montrent que les gestionnaires de programme ont à cœur la qualité de leurs programmes et tiennent compte de l'expérience de leur clientèle. Toutefois, les limitations qu'ils connaissent (contraintes de temps, manque de ressources, capacité insuffisante) nuisent à leur capacité de planifier soigneusement la mesure du rendement et l'évaluation de leurs programmes, et de contrôler le déroulement des programmes et la collecte de données. En améliorant leur compréhension de l'utilité des CGRR en tant qu'outils de gestion et en développant leurs connaissances de la planification stratégique, on pourrait améliorer la qualité des CGRR et faciliter leur application future.

Domaines de recherche à approfondir

Les participants à l'étude ont constaté que des sources d'informations complémentaires pourraient être découvertes, en approfondissant les domaines de recherche suivants:

1. Maintien continu de l'étude

L'aspect le plus utile de la présente étude est le fait qu'on a recueilli beaucoup d'information sur les CGRR d'AINC et leur application. Cette information devrait être gardée à jour.

• Les CGRR devraient être ajoutés à l'inventaire des CGRR dès qu'ils sont approuvés par le Conseil du Trésor.
• Des vérifications devraient être réalisées quant à l'application, au renouvellement et à l'expiration des dispositions des CGRR pour éviter que l'information figurant à l'inventaire devienne désuète.
• Il faudrait vérifier ce qu'il en est des CGRR dont on ne connaît pas la situation.

2. Rôle des consultants dans la conception des CGRR

Au cours de l'étude, il est devenu clair que bon nombre des CGRR examinés avaient été mis au point par des firmes de consultants et non par les Secteurs, ultimement responsables de leur application. Cela peut signifier que les personnes en charge d'appliquer le CGRR ne connaissent pas cet outil de gestion autant qu'elles le devraient. Il est aussi probable que les concepteurs du CGRR n'aient pas été aussi conscients des conditions et des réalités du programme. Il pourrait donc être possible de retracer les CGRR qui ont été conçus par une firme extérieure et de vérifier leur qualité et l'état d'avancement de leur mise en oeuvre.

3. Classification des CGRR selon les autorisations

La proportion des dépenses globales et des programmes d'AINC visée par des CGRR n'est toujours pas connue. Il faudrait vérifier la place qu'occupent les CGRR dans l'ensemble des autorisations si l'on veut progresser à cet égard.

Par ailleurs, il serait également utile d'établir des liens avec d'autres secteurs d'AINC intéressés (Finances, par exemple), pour la réalisation des prochaines étapes du projet d'étude.

Annexe A : Mandat de l'étude spéciale sur le Cadre de gestion et de responsabilisation axé sur les résultats

Contexte
Le but de cette étude est de contribuer à l'engagement annuel de la Direction générale de l'évaluation, de la mesure du rendement et de l'examen (DGEMRE) à assurer un suivi du rendement et des rapports sur les résultats au sein d'Affaires indiennes et du Nord Canada (AINC). Elle consistera donc à évaluer la qualité et la mise en œuvre des Cadres de gestion et de responsabilisation axés sur les résultats (CGRR) au sein du Ministère. De plus, cette étude aidera à préparer l'examen stratégique de 2009-2010, en faisant état de l'évaluation du rendement au Ministère par le truchement des CGRR. Les conclusions de l'étude seront présentées sous forme de rapport final à l'équipe d'évaluation.

Approche
Quatre étapes seront nécessaires afin de mettre au point le rapport final. Premièrement, tous les CGRR du Ministère disponibles depuis 2000 seront répertoriés, en passant en revue les présentations faites au Conseil du Trésor par le Ministère.

Deuxièmement, les CGRR répertoriés seront mis en parallèle avec l'architecture des activités des programmes (AAP) d'AINC pour 2009-2010. Dans la mesure du possible, il importe de considérer les CGRR qui sont en cours d'élaboration. En examinant les activités et les sous-activités de l'AAP visées par un CGRR, il sera possible d'évaluer la responsabilisation et la mesure du rendement au sein du Ministère. Afin de complémenter cette évaluation, certains participants de l'étude recenseront également les vérifications et les évaluations que le Secteur de la vérification et de l'évaluation (SVE) a effectuées jusqu'à maintenant.

Troisièmement, cette étape consistera à évaluer la qualité des CGRR répertoriés ainsi que les outils de mesure du rendement qu'ils décrivent, afin d'en déterminer l'efficacité. Les CGRR seront évalués à la lumière des exigences fixées par le Secrétariat du Conseil du Trésor. La cohérence et l'utilité des indicateurs de rendement seront également évaluées.

De plus, l'étude permettra de vérifier si les engagements énoncés dans les CGRR sont actuellement respectés. Par conséquent, la quatrième tâche consistera à déterminer, au moyen de sondages, si les responsables des programmes recueillent réellement les données, conformément aux engagements fixés dans les CGRR. Les renseignements recueillis seront comparés aux données des CGRR pertinents. Ces renseignements permettront au Ministère de cerner les lacunes ou les redondances concernant les plans de collecte de données et de continuer à alléger le fardeau en matière de rapports imposé aux Premières nations.

Méthodologie
L'étude consistera des étapes suivantes :

1. Un inventaire des CGRR (terminé le 3 juin; l'équipe a recueilli près de 50 CGRR) comportant les démarches suivantes :
   • Répertorier tous les CGRR actuels et en dresser la liste :
     • examiner la totalité des présentations qu'AINC a faites au Conseil du Trésor depuis 2000;
     • examiner les tables maîtresses des autorisations du Secteur de la vérification et de l'évaluation;
     • Rencontrer les membres de l'équipe d'évaluation.
2. Un répertoire des CGRR : (à effectuer d'ici la fin de juin)
   • Utiliser l'AAP du Ministère afin de déterminer le degré d'harmonisation des CGRR et de l'AAP du Ministère.
3. Un examen : (à effectuer d'ici la fin de juin).
   • Évaluer la qualité des CGRR à l'aide d'un modèle, basé sur les critères du Conseil du Trésor.
   • Prendre note des engagements à l'égard de la collecte de données, énumérés dans chaque CGRR.
4. Déterminer l'état de la mise en œuvre du CGRR : (juillet)
   • Vérifier si les engagements à l'égard de la collecte de données sont respectés;
     • Ceci sera fait au moyen d'un sondage préparé par les membres de l'équipe de cette étude et distribué aux responsables des programmes par les gestionnaires de l'équipe d'évaluation;
   • Déterminer s'il y a des lacunes ou des redondances dans les données recueillies partout au Ministère.
5. Rapport final : (à terminer d'ici le 7 août)
   • Rédiger une ébauche du rapport final et de la documentation exposant les conclusions;
   • Tenir une séance d'information à l'intention des membres de l'équipe d'évaluation le 7 août.

Principaux éléments à livrer

• Un rapport écrit comprenant ce qui suit (à terminer d'ici le 7 août) :
  • un sommaire exécutif;
  • le contexte (description du projet, objectif et exigences du CGRR, etc.);
  • le CGRR et la couverture en matière d'évaluation de programmes à AINC;
  • la collecte de données, les lacunes et les redondances;
  • les observations notables;
  • les orientations futures.
• Des données brutes et des documents de travail utiles (accompagnés, au besoin, de brèves explications pour en faciliter l'interprétation), tels que :
  • une liste des présentations au Conseil du Trésor;
  • le répertoire des CGRR;
  • renseignements concernant l'évaluation dans les CGRR;
  • des tables des indicateurs de données;
  • le sondage sur les résultats des programmes.

Gestion de projet

• Chaque personne est responsable de produire un inventaire des CGRR, associé au résultat stratégique qui la concernent.
• Chaque personne est responsable de répertorier et d'évaluer un nombre fixe de CGRR.
• Les membres de l'équipe de l'étude spéciale situés à Toronto se concentreront sur l'établissement d'une liste des vérifications et des évaluations terminées en lien avec l'AAP, afin de compléter les conclusions de l'examen des CGRR.
• Chaque membre du groupe aura des responsabilités additionnelles (soit d'établir des liens avec les membres de l'équipe d'évaluation, d'agir à titre de président ou de secrétaire des réunions, etc.)

Annexe B : Lignes directrices du Conseil du Trésor sur les CGRR

Élaboration et utilisation des cadres de gestion et de responsabilisation axés sur les résultats

Annexe C : Modèle d'examen des CGRR d'AINC utilisé par les stagiaires, été 2008

Annexe D - Sondage sur la collecte de données réalisé auprès des gestionnaires de programmes pour l'étude spéciale sur les CGRR

Titre CGRR:
Secteur:
Résultat stratégique / Activité / Sous-activité:
Votre nom et votre titre:
Personne-ressource:

1. Quel pourcentage des données dont il est question dans le cadre de mesure du rendement (CMR) du CGRR sont-elles collectées? (Tous les indicateurs de rendement de ce programme sont énumérés dans la partie du CGRR sur le CMR.) (Veuillez cocher une case) :

__ 0-25 %
__ 25-50 %
__ 50-75 %
__ 75-100 %
__ Ne sais pas

2. Dans le tableau ci-dessous, veuilles préciser (et élaborer, au besoin, afin que l'information soit complète) :

1. les indicateurs pour lesquels des données sont collectées actuellement (et seulement ces indicateurs);
2. la fréquence de la collecte des données pour chacun de ces indicateurs;
3. l'utilisation faite des données collectées (p. ex. rapport trimestriel, RMR, etc.)

Questions supplémentaires :

3. Les données collectées suffisent-elles pour donner une image exacte de l'efficacité du programme?

4. Si les données rattachées aux indicateurs énumérés dans le CGRR ne sont pas collectées, pourquoi est-ce le cas?

5. Précisez quelques obstacles à une collecte de données plus efficace?

Observations supplémentaires (facultatif) :

Notes en bas de page

1. Pour faciliter la lecture, le rapport emploie les termes « Fort » pour désigner une note de 3 sur 3, « Acceptable » pour une note de 2 sur 3 et « Possibilité d'amélioration » pour une note de 1 sur 3. (retourner au paragraphe source de la note)
2. Ces chiffres sont approximatifs. Il est parfois difficile de déterminer si un indicateur donné doit être considéré comme un indicateur unique ou multiple. En outre, le libellé des indicateurs de rendement dans le sondage n'était pas exactement le même que celui qui figurait dans les différents CGRR. Ainsi, il est arrivé que nous devions utiliser notre jugement afin de déterminer si un indicateur mentionné dans une réponse au sondage était le même qu'un autre figurant dans le CGRR correspondant.  (retourner au paragraphe source de la note)