Archivée - La mesure du rendement des programmes à l'appui de l'évaluation à Affaires indiennes et du Nord Canada
Renseignements archivés
Cette page a été archivée dans le Web. Les renseignements archivés sont fournis aux fins de référence, de recherche ou de tenue de documents. Ils ne sont pas assujettis aux normes Web du gouvernement du Canada et n'ont pas été modifiés ou mis à jour depuis leur archivage. Pour obtenir ces renseignements sous une autre forme, veuillez communiquer avec nous.
date : Septembre 2009
Format PDF (142 Ko, 31 pages)
Table des matières
- 1. Introduction
- 2. Objet
- 3. Contexte
- 4. Les attributs d'un système de mesure du rendement de qualité
- 5. Où se situe AINC par rapport à ces attributs?
- 6. Questions et constatations transsectorielles
- 7. Conclusions
- 8. Recommandations
- 9. Sources
1. Introduction
Les Canadiens veulent constater que le gouvernement dépense les fonds publics à bon escient, et que les programmes gouvernementaux produisent des résultats à un coût raisonnable. Le gouvernement du Canada, qui se doit de rendre des comptes, s'est engagé à dépenser de façon responsable : dans cette optique, il considère que l'évaluation est l'un des moyens principaux offerts aux Canadiens, aux parlementaires, aux ministres, aux organismes centraux et aux administrateurs généraux pour recevoir des renseignements crédibles, opportuns et neutres sur la pertinence et le rendement des programmes du gouvernement.
Les renseignements recueillis au moyen du processus d'évaluation ont diverses fins. Ils soutiennent la prise de décisions fondées sur les preuves concernant les programmes et les ressources, et sous-tendent l'établissement de priorités. Ils servent aussi à prouver que l'on rend compte des résultats atteints par chaque programme. L'évaluation est d'importance capitale pour veiller à ce que les dépenses appuient des programmes à la fois pertinents, efficaces et utiles. Une évaluation n'est vraiment solide qu'à la condition de disposer de bons renseignements sur le rendement.
La mesure du rendement est « le processus ou les systèmes de sélection, d'élaboration et d'utilisation continue des mesures de rendement pour guider le processus décisionnel »[Note 1]. En termes simples, elle sert à mesurer les résultats. Les mesures du rendement (aussi appelées indicateurs du rendement) fournissent les données fondamentales nécessaires à l'évaluation d'un programme ou d'une politique, afin de déterminer sa pertinence, son efficacité, son utilité et l'économie qu'il représente. La mesure du rendement, qui est un cycle continu, se sert des données de rendement provenant de toutes les sources pour fixer des buts et des objectifs, planifier des activités d'exécution de ces buts et objectifs, affecter des ressources aux programmes, et surveiller et évaluer les résultats en vue d'établir si des progrès sont réalisés vers l'atteinte des buts et objectifs, ainsi que de modifier les plans de programme au besoin pour améliorer le rendement. La mesure du rendement est également utile en cas d'exigences de rapport multiples, lors d'un examen stratégique ou de la planification, et pour rendre des comptes aux collectivités et aux intervenants et attester des résultats véritables.
2. Objet
Ce rapport a pour but de fournir une évaluation de la mesure du rendement des programmes pour étayer l'évaluation à Affaires indiennes et du Nord Canada (AINC). En plus de garantir une mesure du rendement de haute qualité, ce qui constitue sans contredit une valeur ajoutée, il permettra de respecter la directive sur l'évaluation du Secrétariat du Conseil du Trésor (SCT). Cette directive exige que le chef de l'évaluation du Ministère soumette au comité d'évaluation ministériel un rapport annuel sur la mesure du rendement des programmes à l'appui de l'évaluation.
3. Contexte
La politique renouvelée sur l'évaluation du SCT préconise la création d'une assise de preuves d'évaluation complètes et fiables pour soutenir l'amélioration des politiques et des programmes, la gestion des dépenses, les prises de décisions par le Cabinet, et les rapports au public. Les ministères sont tenus de recueillir des renseignements crédibles, opportuns et neutres sur la pertinence et le rendement continus de leurs dépenses de programmes directes, renseignements qui seront mis à la disposition des ministres, des organismes centraux et des administrateurs généraux pour favoriser la prise de décisions fondées sur les preuves. Ils seront finalement transmis au Parlement et aux Canadiens pour favoriser la reddition de comptes gouvernementaux quant aux résultats obtenus par les programmes.
La politique sur l'évaluation oblige le sous-ministre à veiller à ce que la mesure du rendement se fasse en continu dans l'ensemble du Ministère. De plus, comme indiqué ci-dessus, le SCT a établi une autre directive complémentaire sur l'évaluation, dont certains éléments concernent directement la mesure du rendement. Cette directive déclare qu'il incombe aux gestionnaires des programmes de créer, de mettre en œuvre et de surveiller les stratégies de mesure du rendement de leurs programmes.
La mesure du rendement joue un rôle essentiel dans des aspects supplémentaires du cadre des politiques. Elle est le fondement sur lequel reposent les renseignements exigés pour le cadre de mesure du rendement (CMR) et la structure de gestion des ressources et des résultats (SGRR). Un système de mesure du rendement crédible doit être en place au niveau de base, pour permettre au Ministère de prouver que ses programmes atteignent les résultats recherchés et correspondent aux objectifs stratégiques.
En prévision de la réception de ces renseignements de base, la Politique sur les paiements de transfert stipule qu'il faut établir une stratégie de mesure du rendement lors de la conception de programme. Cette stratégie doit être maintenue et mise à jour tout au long du cycle de vie, pour faciliter l'évaluation de chaque programme de paiement de transfert.
D'autres facteurs influent sur l'élaboration des stratégies de mesure du rendement, notamment les suivants :
- Le profil de risque du Ministère : le premier risque ciblé, « Information pour le processus décisionnel », porte sur la possibilité qu'AINC puisse ne pas faire suffisamment de progrès pour disposer en temps utile de données pertinentes, cohérentes et exactes
pour appuyer la surveillance et les décisions portant sur la
planification, l'affectation des ressources et les programmes, et pour
remplir ses obligations redditionnelles.
- « L'écheveau de règles » :
le Plan d'action pour le renouvellement de la fonction publique
du SCT comprend des mesures de réduction de l'écheveau
de règles qui (comme en font état plusieurs examens extérieurs) nuisent à la prestation efficace des programmes et services. À ce
jour, cela a mené à des révisions de l'ensemble
des politiques du SCT, y compris de la Politique sur les paiements
de transfert révisée.
- Les exigences en matière de rapports : le Rapport du Groupe
d'experts indépendant sur les programmes de subventions et
de contributions (Des lourdeurs administratives à des résultats
clairs) propose au gouvernement de simplifier profondément
le régime des rapports et de reddition de comptes de manière à correspondre aux circonstances et capacités des bénéficiaires,
et aux besoins véritables du gouvernement et du Parlement. Cela
a donné lieu, au Ministère, à un effort soutenu de
réduction des rapports exigés des bénéficiaires,
afin de gérer en fonction des résultats et de mesurer ce
qui compte vraiment.
- Le Système de gestion des dépenses renouvelé du
SCT met l'accent sur les résultats – qu'il s'agisse
de prise de décisions, de gestion ou de rapports. Le but est de
veiller à gérer toutes les dépenses de manière à obtenir des résultats transparents pour les Canadiens, de disposer de mesures de la réussite claires, de faire une évaluation systématique
et de prouver que l'on optimise les ressources.
- D'autres politiques globales, entre autres la Politique sur l'analyse comparative entre les sexes du Ministère, et des lois fédérales (Loi sur l'accès à l'information, Loi sur la protection des renseignements personnels, Loi fédérale sur la responsabilité, etc.) influent sur l'approche de la mesure du rendement.
Il est utile, dans les limites de ces paramètres, de définir un cadre de mesure du rendement de bonne qualité, puis tous les ans de mesurer le rendement du Ministère par rapport à cette norme.
4. Les attributs d'un système de mesure du rendement de qualité
Il est utile, pour évaluer la mesure du rendement au Ministère, de cerner les attributs que l'on retrouve dans tout système de mesure du rendement de qualité, et qui sont observés dans les organisations à rendement élevé. On peut trouver ces attributs dans des sources comme le vérificateur général du Canada, les organismes centraux et la documentation actuelle.
4.1 Leadership
La réussite de la mesure du rendement dépend de façon critique du leadership aux échelons supérieurs du Ministère. Il est indispensable que le niveau exécutif participe, qu'on puisse voir qu'il participe, et qu'il apporte un soutien actif à une culture de mesure du rendement dans l'ensemble du Ministère. Les cadres supérieurs doivent s'engager avant qu'on puisse attendre des gestionnaires de programmes qu'ils prennent en charge les résultats de l'évaluation et adoptent la mesure du rendement comme méthode d'amélioration continue.
4.2 Des responsabilités claires
Il faut aussi clairement énoncer et bien comprendre les rôles et responsabilités de chaque participant. À tous les niveaux – bénéficiaires, gestionnaires, bureaux régionaux, services internes, niveau exécutif – chaque personne doit connaître les attentes. Des organisations rattachent des incitatifs, financiers et non financiers, à la mesure du rendement.
4.3 Besoins communautaires
Il faut intégrer au processus de planification les besoins et la capacité de la collectivité ciblée par les programmes et activités. Des programmes conçus en tenant compte de l'apport de la collectivité auront sans doute une forte résonance pour cet auditoire. Cette participation communautaire devrait aussi prendre la forme de mesures et de cibles du rendement réalistes, fixées dès le début, et que chaque partie comprend clairement avant le début des activités de programme. Une collectivité est plus portée à participer à la mesure du rendement si elle observe que les programmes ont une orientation communautaire, et que sa participation aux processus de mesure du rendement et de rapport est valorisée (c.-à-d. mesurer ce qui lui paraît important).
4.4 Correspondance avec l'orientation stratégique
Pour qu'une organisation démontre la mesure dans laquelle elle a atteint ses objectifs stratégiques, ses mesures du rendement doivent correspondre avec son orientation stratégique. Les systèmes de soutien doivent y correspondre eux aussi : ainsi, les systèmes de technologie de l'information et gestion de l'information (TIGI) doivent être orientés à l'appui des résultats stratégiques de l'organisation.
4.5 Les renseignements sur le rendement sont crédibles
Un système de mesure du rendement n'est utile que si l'information qu'il produit inspire la confiance. Les utilisateurs ne feront confiance aux renseignements que s'ils sont crédibles; et pour qu'ils soient crédibles, une planification efficace est nécessaire. La stratégie ou le cadre de mesure du rendement offre un moyen de déterminer et de recueillir les mesures du rendement exigées par la gestion fondée sur les résultats. La stratégie de mesure du rendement doit appuyer la collecte et le suivi continus des renseignements sur le rendement. Elle nécessite la coordination et la collecte d'une information abondante provenant de sources multiples, à l'intérieur aussi bien qu'à l'extérieur d'une organisation. En dernière analyse, la stratégie de mesure du rendement doit apporter un soutien efficace à l'évaluation du programme pour lequel elle est conçue.
La stratégie de mesure du rendement doit comprendre ce qui suit :
- des objectifs clairs, bien définis, réalistes
et déterminables, et qui concordent avec l'objectif
stratégique;
- des mesures du rendement (indicateurs) qui correspondent
aux pouvoirs et responsabilités décisionnels, et
qui sont en nombre suffisant, accessibles, exacts et valables;
- des résultats clairs;
- des cibles de rendement claires et réalistes;
- des mécanismes ou plans de collecte
de données;
- des données de base qui servent à fixer
des cibles de rendement réalistes;
- une approche de la surveillance qui
est adaptée au risque;
- des exigences de rapport qui sont réalistes
et appuyées par des systèmes de rapport déjà établis; et
- des plans de mesure, d'évaluation et de rapport du rendement.
4.6 Mise en œuvre
Pour que les avantages soient pleinement réalisés, les stratégies de mesure du rendement doivent être entièrement mises en œuvre. Il faut recueillir, régulièrement et avec efficacité, les données sur le rendement auprès de toutes les sources trouvées. L'approche doit tenir compte de la cible double : gérer la responsabilité et équilibrer la capacité.
4.7 Capacité
Les employés et les autres intervenants doivent posséder la capacité de satisfaire aux exigences de la mesure du rendement. Voici les questions relatives à la capacité :
- la formation et l'éducation (p. ex. la mesure du
rendement, les rapports et les autres habiletés et compétences
pertinentes);
- les outils et lignes directrices;
- l'infrastructure ou les systèmes de TI-GI en place;
et
- des ressources (financières et humaines) suffisantes.
4.8 L'information sur le rendement est utilisée
L'information sur le rendement recueillie doit servir à répondre aux exigences politiques, à appuyer la prise de décisions fondées sur la preuve et à satisfaire à différentes exigences en matière de rapports. L'information sur le rendement est utilisée, de façon plus directe, pour surveiller les progrès et pour sous-tendre les évaluations. De manière plus générale, l'information sur le rendement est utilisée dans le cadre d'un processus permanent d'amélioration de la gestion de la qualité.
4.9 Communications
Il importe de maintenir les communications entre tous les intéressés, à tous les paliers et dans tous les secteurs de responsabilité, internes et externes. Les renseignements clés sur le rendement doivent être diffusés dans l'organisation afin que les employés comprennent leur importance et leur rôle pour atteindre les résultats escomptés.
4.10 Culture
Pour créer un milieu favorable, il faut établir une culture axée sur les résultats, qui permet de comprendre le but et la valeur de la mesure du rendement et dans laquelle les employés possèdent les compétences voulues.
5. Où se situe AINC par rapport à ces attributs?
5.1 Leadership
Situation
Le sous-ministre est le président du Comité de l'évaluation, de la mesure du rendement et de l'examen (CEMRE) récemment constitué. La participation du sous-ministre devrait garantir que l'importance de la mesure du rendement se communique dans tout le Ministère.
Le CEMRE se compose également de trois sous-ministres adjoints principaux et de trois spécialistes externes, notamment du président du comité de vérification. Un de ses rôles consiste à conseiller le sous-ministre sur les stratégies de mesure du rendement à adopter et de lui présenter des recommandations au sujet des systèmes de mesure du rendement et des responsabilités de gestion. Le CEMRE est relativement nouveau, puisqu'il ne s'est réuni qu'à trois occasions jusqu'à présent. Lorsqu'il sera bien établi et qu'il aura communiqué son rôle de façon plus large, il devrait présenter le profil requis pour assumer un rôle de leadership.
Les récents ateliers sur la « mesure de ce qui compte », auxquels ont assisté la haute direction et des représentants de différents secteurs au Ministère, ont sensibilisé beaucoup de participants et amélioré leur compréhension. Depuis, la Direction générale l'évaluation, la mesure du rendement et de l'examen (DGEMRE) a observé une augmentation dans le nombre de demandes de soutien et d'outils de mesure du rendement qui lui sont adressées.
Activités prévues et mesures ultérieures
- Pour garantir le succès du processus de mesure du rendement, il faudra nommer un « champion de la mesure du rendement » ou peut-être adopter un autre modèle de leadership, par exemple en intégrant ce rôle à un comité comptant des représentants de tout le Ministère. Il est nécessaire que ce champion fasse partie de la haute direction, afin qu'il soit en mesure de soutenir l'engagement concernant la mesure du rendement. Il faudra mettre en place les divers éléments qui forment le processus de mesure du rendement. Diverses initiatives associées à cette activité sont en cours, mais du point de vue de certains gestionnaires de programme, les liens semblent vagues. Les employés ont besoin de connaître la place qu'occupent leur travail et leurs activités au sein des objectifs supérieurs du Ministère et de savoir que la mesure du rendement est importante pour le leadership de celui-ci.
5.2 Responsabilités
Situation
La Politique sur les paiements de transfert et la politique sur l'évaluation énoncent clairement les responsabilités envers la mesure du rendement.
- Il appartient au sous-ministre de veiller à la mise en œuvre
de la mesure du rendement dans l'ensemble du Ministère,
afin que les renseignements sur le rendement soient suffisants pour
apporter un soutien efficace à l'évaluation des
programmes.
- Les chefs de l'évaluation sont chargés d'examiner
les stratégies de mesure du rendement pour toutes les dépenses
de programmes (y compris tous les programmes de subventions et de contributions
en cours) et de fournir des conseils à leur égard; de
veiller à ce que les stratégies apportent un soutien
efficace à l'évaluation de la pertinence et du
rendement; d'examiner les stratégies de mesure du rendement
intégrées à la SGRR de l'organisation et de
fournir des conseils à leur égard; et de remettre au
comité d'évaluation ministériel un rapport
annuel sur la mesure du rendement des programmes, à l'appui
de l'évaluation.
- Les gestionnaires des programmes sont chargés d'élaborer
et de mettre en œuvre des stratégies de mesure du rendement,
de veiller à la collecte de données de rendement crédibles
et fiables afin d'appuyer utilement l'évaluation,
de veiller à la mise en œuvre d'un système
de surveillance efficace, et de consulter le chef de l'évaluation
concernant les stratégies de mesure du rendement.
- Les autres employés, directions générales et
directions (comme celles qui suivent) doivent offrir un soutien, une
orientation et des conseils aux gestionnaires des programmes :
- DGEMRE;
- Direction générale des politiques stratégiques,
de la planification et de la recherche (DGPSPR);
- Direction générale de la gestion de l'information
(DGGI);
- Direction de la planification financière, de l'analyse
et du budget des dépenses;
- Dirigeant principal des finances (DPF);
- Gestionnaires des programmes régionaux; et
- Autres programmes connexes (et potentiellement touchés), aussi bien internes qu'externes à AINC.
- DGEMRE;
Toutefois, un examen des 30 évaluations menées par le Ministère depuis 2005 révèle que sept de ces évaluations recommandaient que les rôles et responsabilités soient énoncés avec plus de clarté.
Le processus d'entrevue démontre également qu'il faut faire preuve de plus de clarté. Par exemple, il semble y avoir des chevauchements ou des délimitations floues dans certains secteurs de responsabilité. Il arrive aussi que des gestionnaires de programme demandent aux directions générales de l'information ou des données sur le rendement dont elles ne disposent pas en croyant, à tort, qu'une autre personne recueille et conserve ces renseignements. Une fois de plus, ceci appuie les constatations selon lesquelles il est essentiel de mieux définir les rôles et responsabilités dans tous les secteurs (politiques, programmes et services internes).
Le Ministère a établi le CEMRE pour surveiller ces redditions de compte, comme il a été mentionné précédemment. Le sous-ministre fait appel au CEMRE pour faire participer la haute direction et les membres extérieurs à la planification et à l'établissement des priorités en matière d'évaluation et d'examen, pour examiner et approuver le cadre de référence des évaluations, des études spéciales et des examens (y compris l'évaluation des mesures de suivi prises) et pour encourager une gestion efficace et la surveillance du rendement des programmes, services et opérations ministériels. Le Comité axe son action sur la détermination de la pertinence des programmes et les questions de rendement, et veille à ce que les secteurs les règlent avec efficacité.
Activités prévues et mesures ultérieures
- Si les rôles et responsabilités sont bien indiqués
dans la documentation précitée, en revanche il convient
de confirmer et de renforcer la sensibilisation à ces rôles
et responsabilités et de transmettre celle-ci par un autre moyen à l'échelle du Ministère.
- Il faut mettre en œuvre et officialiser une collaboration accrue
entre l'administration centrale et les bureaux régionaux
et entre les directions générales ayant une responsabilisation
complémentaire.
- Pour que les gestionnaires de programme puissent s'acquitter de leurs responsabilités en matière de reddition de comptes, il faudra probablement leur fournir une orientation en rapport avec les exigences redditionnelles et les activités prévues visant à répondre aux exigences en matière de rapports.
5.3 Besoins des collectivités
Situation
Le Ministère s'engage dans plusieurs initiatives destinées à tenir compte des besoins des collectivités.
Le Comité de gestion de l'information sur les Autochtones (CGIA) fait fonction de forum de discussion et de partage d'information, dans les ministères et les organismes fédéraux, sur les activités pertinentes de gestion de l'information qui concernent les Premières nations, les Inuits, les Indiens non inscrits et les Métis. Ce Comité sera aussi un moyen de partager avec des représentants d'organisations autochtones nationales des renseignements et des idées sur les questions, stratégies et nouveaux projets de données relatifs à la gestion de l'information sur les Autochtones.
La DGEMRE a créé une politique d'engagement, qui servira de cadre pour garantir la participation des Autochtones aux évaluations et qui prend acte du caractère indispensable de cette participation au processus de planification en vue de l'évaluation de la qualité. La politique prévoit plusieurs méthodes pour obtenir l'apport des Autochtones et pour augmenter les communications. Bien qu'elle porte précisément sur l'évaluation et que sa mise en œuvre ne soit pas encore terminée, les liens qui sont établis dans le cadre de son implantation pourraient contribuer à la mesure du rendement.
De plus, une récente étude a donné lieu au rapport, sur le thème « mesurer ce qui compte : évaluation de la qualité de la vie communautaire autochtone » (2009), qui contenait une réflexion sur le CMR et qui appuyait les efforts du Ministère pour donner une voix plus forte aux collectivités (comme on le prévoyait pour l'utilisation proposée d'un outil d'évaluation de la gouvernance). Le rapport appuie aussi l'énoncé des résultats « durables » dans le CMR, car il exprime l'espoir d'un « changement durable ». Le rapport fait valoir que l'engagement des collectivités dans la mesure du rendement devrait renforcer la reddition de comptes à leur échelle et favoriser l'établissement d'une structure de responsabilisation qu'elles considéreront comme leur étant propre.
Activités prévues et mesures ultérieures
- Le consortium planifié en vue de l'Enquête auprès
des peuples autochtones (EPA) offrira aux Premières nations des
possibilités de collaboration avec le Ministère et avec
Statistique Canada en vue de fixer et de créer des sondages sociaux
généraux dans les réserves (ou des sondages plus
restreints) afin de combler les lacunes dans les données. Tandis
que les parties s'efforcent de créer des indicateurs communautaires,
ce forum offrira des occasions d'augmenter le niveau de participation.
- Les consultations en cours avec les auditoires cibles (surtout à l'égard de l'élaboration des stratégies de mesure du rendement), dans différents forums, devraient faciliter la détermination des besoins. En outre, des participants au processus d'entrevue ont souligné la possibilité de collaborer avec les régions et avec plusieurs Premières nations afin de cerner, au moyen de mesures du rendement raisonnables, les résultats mesurables et constants à l'échelle du pays. Il faudra toutefois tenir compte du fait que les besoins du Ministère et ceux des Premières nations sont souvent différents.
5.4 Correspondance avec l'orientation stratégique
L'architecture des activités de programme (AAP) du Ministère illustre comment les ressources sont gérées et attribuées et comment les activités sont structurées de façon à atteindre les résultats. Elle présente cinq résultats stratégiques qui établissent l'orientation stratégique du Ministère. Les exigences imposées par l'AAP comprennent l'établissement de mesures du rendement, qui ont été élaborées pour la plupart des activités, sous-activités et sous-sous-activités de programme du Ministère. L'outil ministériel d'évaluation des stratégies de mesure du rendement (l'ancien Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) exige qu'on établisse des liens clairs avec les objectifs stratégiques énoncés dans l'AAP. Cette exigence vise à garantir que chaque programme est aligné avec l'orientation stratégique du Ministère.
On s'attend à ce que le CMR ministériel évolutif, avec son mode de création et de gestion, constitue un outil efficace pour veiller à la concordance entre les mesures et objectifs de programme et les objectifs stratégiques du Ministère. Les indicateurs employés dans le CMR devraient aider à guider l'élaboration de mesures ou indicateurs du rendement au niveau du programme. La ronde VI de l'évaluation fondée sur le Cadre de responsabilisation de gestion (CRG) a fait observer que les indicateurs du rendement choisis pour le CMR ne « sont pas clairs et ne peuvent pas être utilisés pour recueillir des données qui offrent un aperçu fiable de l'efficacité d'un programme ». Les répondants avaient indiqué que ce problème était particulièrement sérieux concernant les indicateurs intermédiaires. De plus, les répondants estimaient que les efforts déployés pour préciser les liens entre l'AAP et le CMR n'ont pas atteint leur but.
Outre les exigences stratégiques énoncées ci-dessus, les instructions de la DGEMRE relatives aux stratégies de mesure du rendement à l'intention des gestionnaires de programme obligent entre autres à inclure dans le profil du programme des liens clairs avec l'AAP et à s'en inspirer dans le modèle logique connexe.
Activités prévues et mesures ultérieures
- Le processus du CMR est toujours en cours et son évaluation par
le SCT dans le cadre du processus d'évaluation prévu
par le CRG se poursuit.
- La DGEMRE continuera de donner de l'orientation aux gestionnaires de programme afin de soutenir l'élaboration de stratégies de mesure du rendement solides qui comportent tous les éléments requis.
5.5 L'information sur le rendement est crédible
Situation
Dans le Plan d'évaluation d'AINC pour 2009-2010 à 2013-2014, il a été établi que la disponibilité de l'information sur le rendement posait un risque pour le Ministère. Il est impératif de disposer de renseignements sur la mesure du rendement pour être en mesure de réaliser des analyses. Les éléments qui suivent font état de l'information sur le rendement dont on a besoin pour montrer les résultats. La crédibilité de cette information dépend des méthodes employées pour recueillir les données et de leur exactitude – laquelle dépend des connaissances et de la capacité des personnes qui les obtiennent.
Les cadres de gestion et de responsabilisation axés sur les résultats (CGRR), lancés par le SCT dans sa Politique sur les paiements de transfert (2001), ont été l'outil de planification et de collecte de l'information sur le rendement. En 2008, la DGEMRE a réalisé une étude spéciale des CGRR, qui évaluait la qualité de 59 CGRR ministériels et la mesure dans laquelle ils étaient mis en œuvre. Le plus grand compliment offert aux CGRR du Ministère est que ceux qui ont été examinés étaient globalement de qualité supérieure. Quatre-vingt pour cent ont reçu la cote « excellent » en fonction des critères d'évaluation de projet (l'évaluation des CGRR était en fonction es critères du SCT). Les points forts comprennent des objectifs clairs, des résultats escomptés et des modèles logiques. Les plans d'évaluation, jugés « généralement bons », étaient souvent démunis de solides plans ou méthodes de collecte de données.
Les principales insuffisances du CGRR concernaient surtout la collecte d'information sur le rendement. On peut formuler les observations qui suivent, à la lumière des attributs énoncés à la partie ci-dessus :
5.5.1 Objectifs clairs
Comme indiqué, l'étude sur les CGRR a conclu que les objectifs étaient globalement acceptables sous l'angle de la clarté. Mais il ressort d'un examen des études d'évaluation que huit des trente évaluations recommandaient l'établissement d'objectifs de programme clairs, ou la modification des objectifs existants.
5.5.2 Des mesures du rendement qui concordent, en nombre suffisant, accessibles, exactes et valables
On note plusieurs critiques des indicateurs : ils sont « trop nombreux », « vagues et difficiles à mesurer », trop axés sur les extrants et pas assez sur les résultats (étude sur les CGRR).
D'autres évaluations ont aussi critiqué ces indicateurs, entre autres parce qu'ils « n'ont aucun sens », ne sont pas comparables aux autres mesures (p. ex. aux fins de comparabilité provinciale), ne sont pas « convenables » ou « mesurables », ou n'autorisent pas d'analyses comparatives de l'égalité des sexes (différentes évaluations, 2005 - 2009).
On a aussi observé que la stratégie de mesure du rendement de plusieurs programmes ne comportait aucune mesure du rendement, et que d'autres programmes devaient améliorer les mesures du rendement indiquées.
Les renseignements recueillis au cours du processus d'entrevue ont soulevé diverses questions. On se fie, depuis des années, aux données administratives; on a consacré beaucoup d'énergie à déterminer les mesures du rendement; pourtant, il reste encore à centrer l'attention sur les résultats plutôt que sur les activités. Une vision davantage globale et intégrée pourrait contribuer à concilier l'information sur le rendement, au niveau du programme, avec les mesures du rendement plus vastes de haut niveau sur le plan stratégique.
Certaines personnes se sont également dites préoccupées du fait qu'on détermine parfois des mesures sans les comprendre pleinement ou sans envisager les problèmes liés à l'attribution. Plus précisément, un programme pourrait fonctionner comme prévu, sans toutefois que les mesures choisies connaissent de « succès ». Souvent, les raisons qui expliquent cela n'ont aucun lien avec les activités du programme. D'autres fois, ce genre de situation est entraîné par des influences externes indépendantes de la volonté du programme (voire du Ministère).
Cependant, on a l'impression que des progrès ont été accomplis en ce qui a trait à l'établissement de mesures du rendement davantage pertinentes. On a reçu un appui ferme pour établir de bonnes mesures du rendement mesurables à l'étape de la conception de politiques et de programmes. Ainsi, les gestionnaires de programme sauront que les renseignements requis peuvent être recueillis tout au long du cycle de vie d'un programme.
5.5.3 Résultats clairs
L'étude sur les CGRR note que 80 % des CGRR étaient « excellents » sous l'angle de la clarté des objectifs. Toutefois, des objectifs étaient mal reliés aux résultats stratégiques, tandis que d'autres étaient en fait des résultats. L'Étude, de même que neuf évaluations, ont aussi critiqué des résultats de programme au motif qu'ils sont faibles, peu clairs ou non étayés par les indicateurs indiqués.
5.5.4 Des cibles de rendement claires
Sept des 30 évaluations examinées recommandent une amélioration ou une clarification des cibles de rendement des programmes évalués. Deux des vérifications ont recommandé l'établissement de cibles claires. L'étude spéciale sur les CGRR est muette sur la question des cibles.
5.5.5 Mécanismes ou plans de collecte de données
L'étude sur les CGRR signale que les stratégies de mesure du rendement sont souvent démunies de mécanismes ou de plans de collecte de données. Plus précisément, 15 des 59 CGRR évalués ne définissaient pas clairement les sources de collecte de données, ne précisaient pas (ou précisaient mal) la fréquence de la collecte, et laissaient la responsabilité pour la collecte de données dans le flou. Les résultats des sondages envoyés aux gestionnaires dans le cadre de l'Étude révèlent que des données sont recueillies à l'égard d'environ 42 % des indicateurs du rendement inscrits dans le CGRR. Selon les renseignements fournis par la majorité des répondants, il n'existe pas de données et les sources de données significatives sont rares, ce qui appuie les résultats obtenus sous le risque « Information pour le processus décisionnel » du profil de risque de l'organisation lors de la reconnaissance des risques. Par contre, d'autres répondants ont indiqué qu'on dispose en fait de beaucoup de données, mais que celles‑ci ne conviennent pas parce qu'elles ne sont pas présentées sous une forme utilisable ou qu'elles ne sont pas crédibles.
Les difficultés de collecte de données s'échelonnent depuis une réévaluation de l'utilité des indicateurs au cours du cycle de vie du programme jusqu'à des problèmes plus graves, y compris un manque de capacité de collecte, de rapport et d'analyse de données de la part des bénéficiaires et des gestionnaires des programmes. D'autres difficultés de collecte de données peuvent découler d'un des problèmes ci-dessus : trop d'indicateurs, très axés sur les résultats, sont rattachés aux mesures de ces résultats.
Le manque de données crédibles est une grande faiblesse qui nuit à la capacité du Ministère de faire une évaluation efficace de certains de ses programmes. La ronde VI des évaluations fondées sur le CRG du SCT note que les évaluations examinées abordent rarement les questions de pertinence, de réussite et d'efficacité des programmes, en raison pour l'essentiel d'un manque d'information fiable sur le rendement. Ce manque d'information à jour sur le rendement se répercutera sans doute sur les évaluations à venir, à moins que l'on aborde la question des données de base et des sources de données.
Depuis un an environ, différents ateliers (comme les réunions de planification des résultats stratégiques et les ateliers de « mesure de ce qui compte ») ont facilité les progrès du Ministère tandis qu'il commence à cerner et à tracer des indicateurs valables, qui font état des objectifs et des résultats escomptés des programmes.
Comme nous l'avons déjà dit, le mandat du CGIA comprend une discussion des questions de gestion de l'information qui touchent les Premières nations, les Inuits, les Indiens non inscrits et les Métis. La gestion de l'information, définie de façon très large, inclut des éléments comme les données exigées, les mécanismes de collecte de données, le partage de données, l'analyse, la recherche, la gestion de l'information, etc. Le comité est composé de représentants de ministères et d'organismes fédéraux, et d'organisations autochtones nationales. Le CGIA doit non seulement servir de forum pour le partage de renseignements, mais aussi rechercher des occasions de simplifier la collecte de données et d'éviter les doubles emplois.
En décembre 2008, à l'atelier sur les experts en données, la DGEMRE a dressé et déposé une longue liste (sous le thème « sources externes potentielles pertinentes à la mesure du rendement à AINC ») contenant une variété de sources et différentes méthodologies. L'accès à des renseignements déjà disponibles et recueillis régulièrement est une méthode efficace, qui contribuera sans doute à l'uniformisation de la mesure du rendement.
On a remarqué des progrès au niveau du renforcement des processus internes à l'appui de la mesure du rendement. Le système Paiements de transfert aux Premières nations et aux Inuits a contribué à réduire le nombre de rapports à produire et à simplifier le processus de paiement. Les efforts constants déployés pour relier les activités de recherche, de planification et de prévision semblent préparer le Ministère à l'amélioration des mesures du rendement, étant entendu qu'il devra s'ajuster en cours de route.
5.5.6 Données e base
Le Ministère a observé que certains de ses programmes se ressentent de l'absence de données de base exactes et cohérentes. La plupart des 30 évaluations examinées font état de la nécessité de données de base ou de données sur le rendement. Comme il faut des données de base pour fixer des cibles de rendement, et des données constantes sur le rendement pour mesurer les progrès, le manque de données est une lacune grave. Comme indiqué dans la ronde VI des évaluations fondées sur le CRG, il sera difficile, en raison du manque de données de base, de justifier les évaluations à venir.
5.5.7 Une surveillance adaptée au risque
Le SCT a cessé d'exiger que chaque programme prépare un cadre de vérification axé sur les risques; au lieu de prescrire, il demande désormais que les paiements de transfert soient gérés de manière à tenir compte des risques. Seules trois des 30 évaluations à l'étude ont traité du risque. Cela n'a rien de surprenant, puisque les CGRR destinés à l'étude sur les CGRR ne prévoyaient pas d'évaluation des risques. Il est actuellement difficile d'évaluer cette question, parce que les changements de politiques sont récents.
5.5.8 Exigences en matière de rapports
En 2002, la vérificatrice générale a mis en lumière une première fois le fardeau en matière de rapports qui incombe aux Premières nations dans le cadre de leurs obligations de reddition de comptes envers le gouvernement fédéral, puis elle l'a souligné de nouveau en 2006. La vérificatrice générale a également remarqué que certains de ces rapports n'étaient pas nécessaires. Cette question a également fait l'objet d'une recommandation du groupe d'experts indépendant sur les programmes de subventions et de contributions : ce dernier a proposé un régime de rapports et de reddition de comptes simplifié à l'extrême, qui serait à l'image des circonstances et des capacités des bénéficiaires, ainsi que des besoins véritables du gouvernement. Le Ministère et les bénéficiaires y ont donné leur soutien.
Les 30 évaluations examinées contenaient des recommandations précises (« simplifier les formulaires de rapport de manière à éviter de compter en double ») et beaucoup de recommandations générales, comme « améliorer les méthodes de rapport ». Pour prouver l'atteinte des résultats et satisfaire aux critères de reddition de comptes, il faut disposer de bons processus de rapport, mais on se heurte ici à la question des exigences en matière de rapports.
Dans le cadre de ses efforts en vue de gérer les résultats et de mesurer ce qui compte, le Ministère a lancé en 2007 une stratégie de réduction des exigences en matière de rapports : le projet SMART, afin de réexaminer les renseignements inutiles et de faible utilité. Le Ministère a ainsi réduit ces rapports de près de moitié.
Comme indiqué, la DGEMRE a rédigé une ébauche de guide sur la préparation de stratégies de mesure du rendement, et les exigences connexes, conformément aux prescriptions de la Politique sur les paiements de transfert révisée. On préparera un guide clair sur les rapports exigés, qui sera conforme aux principes du gouvernement du Canada pour la présentation de rapports
Principe 1 : Mettre l'accent sur les avantages pour les Canadiens, expliquer les aspects cruciaux de la planification et du rendement, et les mettre en contexte;
Principe 2 : Présenter une information crédible, fiable et équilibrée;
Principe 3 : Faire le lien entre le rendement et les plans, les priorités et les résultats prévus; expliquer les modifications apportées; mettre en application les leçons tirées de l'expérience; et
Principe 4 : Faire le lien entre les ressources et les résultats.
5.5.9 Mesure du rendement, évaluation et plans de rapport
Douze des 30 évaluations à l'étude recommandaient que le programme se dote d'une stratégie de mesure du rendement, ou encore apporte des améliorations à la stratégie actuelle. La plupart des lacunes ont été notées dans les domaines ci-dessus (exigences en matière de rapports, mesures du rendement, collecte de données), mais des recommandations portaient sur des stratégies davantage axées sur les programmes, une meilleure correspondance avec les stratégies ministérielles et l'établissement de résultats plus clairs pour le programme. Nous avons relevé d'autres cas où les stratégies ne prévoyaient pas, dans les plans d'évaluation, des questions et des méthodes d'évaluation.
La Politique sur les paiements de transfert révisée a cessé d'exiger des CGRR, mais elle continue de prescrire une stratégie de mesure du rendement, qui remplit une fonction très semblable. La DGEMRE a rédigé une ébauche de guide sur la préparation de stratégies de mesure du rendement, et les exigences connexes, pour veiller à ce qu'elles soient conformes aux critères de la Politique révisée.
Activités prévues et mesures ultérieures
- Des personnes interrogées ont fait ressortir la nécessité des
données de base à l'étape de la conception
du programme. Des renseignements seront donc disponibles aux fins de
l'évaluation quinquennale des programmes. Les défis
consistent à assurer que les besoins en matière de TI-GI
et d'entreposage des données sont clairement définis
dès le début et que des ressources sont disponibles pour
concevoir et gérer tous les systèmes supplémentaires
nécessaires à ce support.
- Le Ministère devra offrir une orientation pour aider les gestionnaires
des programmes à effectuer le changement de politique, au vu
du changement dans les exigences, allié à la volonté de
gérer de façon à tenir compte du risque et à s'y
adapter.
- Le Ministère s'est engagé à réduire
de 10 % encore les rapports en 2009-2010.
- Le CT a récemment approuvé la proposition de projet
préliminaire de la Direction générale de l'éducation visant un nouveau système de mesure du rendement. Des ateliers
sont en cours d'organisation pour valider les exigences. La date
cible d'achèvement de ce système est l'année
2011.
- Le projet de recherche sur les indicateurs thématiques a permis
de cerner un certain nombre de sources existantes pouvant être
utilisées afin de fournir des renseignements contribuant à la
mesure du rendement au Ministère (p. ex., le Programme
pancanadien d'évaluation, qui informe la population canadienne
de la santé de ses systèmes d'éducation
et de leur capacité à répondre aux besoins des élèves et de la société).
- Pour combler les lacunes en matière de données sur
les réserves, une nouvelle stratégie de sondages sociaux
dans les réserves utilisant un modèle à trois
piliers a été proposée. Cette stratégie
est examinée plus à fond à la section 6 ci-après.
- De plus, la DGEMRE compte examiner, surveiller et suivre l'élaboration, la qualité et la mise en œuvre des stratégies de mesure du rendement, ce qui peut comporter une vérification de chaque stratégie à l'issue de six ou douze mois pour confirmer (par exemple) que des données sont recueillies. On veillera ainsi à régler dès que possible toute nouvelle difficulté de mise en œuvre de la stratégie de mesure du rendement. Pour exercer cette surveillance continue, on fera appel à un système de suivi spécial.
5.6 Mise en œuvre
L'étude sur les CGRR a constaté que de 40 % à 60 % des CGRR étaient pleinement mis en œuvre. Comme indiqué ci-dessus, la difficulté d'application de l'élément « plan de mesure du rendement » du Cadre a été l'un des grands obstacles à cette mise en œuvre complète. L'étude sur les CGRR a déterminé qu'on recueillait des données pour 43 % des indicateurs du rendement dans 22 des CGRR compris dans un échantillon, en vue d'une enquête sur les gestionnaires des programmes.
Le Ministère a établi (en avril 2009) une méthode d'application des stratégies de mesure du rendement, conçue pour se conformer aux exigences de la Politique sur les paiements de transfert révisée, qui repose sur la participation de la haute direction, la construction d'une capacité, et la compréhension et l'élaboration d'une approche globale plus intégrée.
La DGEMRE a cerné les risques posés par l'élaboration et la mise en œuvre des stratégies de mesure du rendement :
- Comme le SCT cesse d'examiner les stratégies de
mesure du rendement, les programmes risquent de ne pas voir la
nécessité d'élaborer et de mettre en œuvre
les stratégies de mesure du rendement;
- La responsabilité pour l'examen et l'assurance
de la qualité des stratégies de mesure du rendement
pourrait ne pas être claire; et
- Le manque d'information sur le rendement (p. ex. la préparation et la collecte de données) fait obstacle à la réussite.
Activités prévues et mesures ultérieures
- La DGEMRE entend appliquer son approche de mise en œuvre des stratégies de mesure du rendement et s'occuper aussi de ces éléments de risque.
5.7 Capacité
L'étude sur les CGRR a constaté en outre un manque de capacité de recueillir la totalité des indicateurs du rendement inscrits dans le CGRR. On signale que la capacité restreinte aussi bien du Ministère que des Premières nations bénéficiaires fait obstacle à une collecte de données efficace. Ce manque de capacité découle entre autres de ressources insuffisantes, de la faible capacité de certains bénéficiaires de remplir les formulaires de collecte de données, d'un manque d'accès à Internet pour faire rapport des données, d'une pénurie de personnel ministériel pour analyser les données, et de l'absence de systèmes d'information en vue de recueillir, de mémoriser et d'analyser les données.
La ronde VI des évaluations fondées sur le CRG du CT a aussi pris note des répercussions des pénuries de personnel sur les évaluations du Ministère, plus particulièrement sous l'angle de la collecte des données exigées pour fournir des mesures de base et pour faire rapport du rendement. À cause de ces mêmes pénuries, il a fallu mener les évaluations dans des délais plus serrés qu'il ne l'aurait fallu : huit des évaluations menées depuis 2005 recommandent de donner une formation au personnel ministériel afin de renforcer sa capacité.
Dans sa discussion des questions de capacité, la vérificatrice générale a recommandé que le Ministère offre une formation, afin de conférer aux collectivités des Premières nations une capacité d'administration financière adaptée aux difficultés qu'elles rencontrent pour satisfaire aux exigences en matière de rapports.
Les renseignements obtenus au cours du processus d'entrevue sont uniformes, du fait que des employés estiment ne pas posséder les connaissances ou les compétences suffisantes à l'égard de la mesure du rendement. Cela varie de la perception que certains gestionnaires de programme ne savent pas ce que sont les bonnes mesures du rendement, aux Premières nations qui ne possèdent pas la capacité de recueillir de l'information sur le rendement, en passant par les régions n'ayant pas la capacité en matière de conformité.
Pour remédier aux problèmes de capacité, la DGEMRE a appuyé des ateliers et des réunions qui offrent aux employés ministériels des possibilités d'apprentissage sur la mesure du rendement. Elle a également mis au point des outils servant à appuyer les gestionnaires de programme dans divers domaines, notamment l'élaboration de stratégies de mesure du rendement. Le Ministère a de plus augmenté les ressources consacrées à l'évaluation, en vue d'appuyer une mesure du rendement améliorée et de rehausser ainsi la qualité de ses évaluations.
Activités prévues et mesures ultérieures
- La DGEMRE poursuit son travail d'élaboration d'activités visant à renforcer la mesure du rendement. Les activités
actuellement en cours de préparation sont :
- le projet de recherche sur les indicateurs thématiques,
qui doit fournir un outil pour aider les gestionnaires de programme à utiliser
les indicateurs appropriés lorsqu'ils élaborent
des stratégies de mesure du rendement; et
- la mise au point d'une stratégie afin de donner aux organisations représentatives la capacité de participer de façon constructive aux évaluations et aux activités de mesure du rendement d'AINC.
- le projet de recherche sur les indicateurs thématiques,
qui doit fournir un outil pour aider les gestionnaires de programme à utiliser
les indicateurs appropriés lorsqu'ils élaborent
des stratégies de mesure du rendement; et
5.8 On se sert vraiment de l'information sur le rendement
Il semble que l'information sur la mesure du rendement, dans la mesure où elle est disponible, sous-tend toutes les évaluations menées par le Ministère. Le CT a fait savoir que les évaluations ministérielles contiennent des conclusions souvent non étayées par les renseignements sur le rendement qui se trouvent dans le corps du texte. Les appréciations internes des évaluations de programme par le Ministère abondent dans le même sens : les évaluations seraient de meilleure qualité si les renseignements sur la mesure du rendement étaient davantage crédibles.
De plus, le sondage sur la capacité d'évaluation (qui a sous-tendu l'évaluation du CGR du CT) révèle que les évaluations du Ministère sont presque toujours prises en compte dans les mémoires au Cabinet et dans les présentations au Conseil du Trésor, de même, à l'occasion, que dans les Rapports sur les plans et les priorités et les Rapports ministériels sur le rendement.
Lors des entrevues, certains participants ont parlé d'une perception selon laquelle les décisions n'étaient pas fondées sur de l'information sur le rendement. Certaines décisions seraient fondées sur des raisons qui souvent n'ont rien à voir avec le rendement. On estime que ce point de vue pourrait contribuer à l'évaluation généralement faible de la mesure du rendement au Ministère.
Il est indispensable, à la lumière des récents changements dans les politiques, que les évaluations soient menées à bien avant le renouvellement de programme, et que les décisions sur les programmes se fondent sur ces évaluations. Les évaluations serviront aussi de base à l'élaboration de nouveaux programmes, depuis le stade de conception des politiques jusqu'au processus du mémoire au Cabinet. Il est impératif de disposer de solides renseignements sur la mesure du rendement. La Direction générale signale que les gestionnaires des programmes vérifiés s'occupent d'améliorer les méthodes de gestion du rendement dans leurs programmes.
Activités prévues et mesures ultérieures
- L'examen stratégique actuellement en cours se fonde sur les résultats sur le plan du rendement pour appuyer la prise de décisions éclairées au sujet de la poursuite des programmes. Il est nécessaire de communiquer l'utilité des mesures et des résultats sur le rendement afin que les employés comprennent la valeur des renseignements fiables sur le rendement et l'importance d'en disposer.
5.9 Communications
Bon nombre des programmes du Ministère se servent d'un modèle de prestation décentralisé et transféré, utilisé conjointement avec des partenaires multiples et variés. Les communications (internes et externes) devront être efficaces pour qu'elles soient réussies.
Les ateliers et les rencontres appuyés par la DGEMRE sont un moyen de communiquer aux employés ministériels l'importance de la mesure du rendement. Des gens motivés facilitent la collecte d'information sur le rendement et les rapports à leur égard.
D'autres comités serviront de forums de communication à un auditoire large de l'importance de la mesure du rendement et de son rôle capital dans l'évaluation. Les Comités se composent de ceux indiqués ci-dessus, comme le CEMRE, le CGIA et le forum consultatif proposé sur la recherche stratégique et les données.
Activités prévues et mesures ultérieures
- On constate une sensibilisation accrue à l'égard de la nécessité de communiquer plus efficacement, particulièrement sur le plan horizontal à l'échelle du Ministère, avec les organisations des Premières nations et avec les autres ministères.
5.10 Culture
Il faudra évaluer à l'avenir à quel point le Ministère aura réussi à insuffler en son sein une culture axée sur la mesure du rendement et les résultats. Il ressort du processus d'entrevue que le Ministère en est à ces premiers balbutiements en ce qui a trait à l'élaboration d'une culture axée sur la mesure du rendement. Le passage du Ministère de la prestation directe à un organisme de financement aurait encore une incidence sur les activités ministérielles. En outre, on a naturellement tendance à éviter d'évaluer le rendement d'une personne en fonction de résultats sur lesquels elle n'a aucun contrôle. Cependant, on a fait remarquer que la culture axée sur les résultats prend de plus en plus de place au sein du Ministère et que les employés sont de plus en plus nombreux à accepter que cette culture est « là pour y rester ». La conception d'une telle culture exige une approche proactive et claire, mais également l'acceptation de l'échec sur la voie de la réussite en raison de la perception selon laquelle le Ministère n'a pas encore atteint un état de préparation optimal.
Activités prévues et mesures ultérieures
- Le Ministère souhaitera peut-être s'assurer que cette culture crée des incitatifs ou élimine des facteurs tendant à décourager la mesure du rendement afin que les employés prennent en charge les résultats. De tels incitatifs pourront comprendre l'intégration des attentes en matière de mesure du rendement aux contrats d'emploi des cadres.
6. Questions et constatations transsectorielles
6.1 Collaboration et coordination – Données exigées, collecte de données, partage de données
Vu le grand nombre de ministères qui donnent des programmes aux Premières nations, Inuits, Indiens non inscrits et Métis, il est nécessaire de procéder en collaboration et de coordonner les rapports. Le but est de réduire le fardeau et de garantir par ailleurs la rigueur des données recueillies. À titre d'exemple, les programmes donnés par AINC complètent ceux d'autres ministères comme Ressources humaines et Développement des compétences Canada (RHDCC) et Santé Canada : ainsi, le Programme d'aide à la vie autonome (Développement social) complète le programme de soins à domicile et en milieu communautaire de Santé Canada. Ensemble, ces programmes financent et appuient l'élément système des soins à domicile et en milieu communautaire du système de soins prolongés aux Premières nations dans les réserves. Les gestionnaires des programmes en sont maintenant à diverses étapes de l'établissement de groupes de travail conjoints afin de régler les problèmes communs et d'améliorer ainsi l'efficacité des deux programmes. Ces méthodes en collaboration offrent la possibilité de simplifier les rapports et de partager des données.
Plusieurs forums officiels sont prévus ou déjà en place aux fins de la coordination des questions dans l'ensemble du Ministère, notamment le suivant :
- Nouvelle stratégie pour mener les sondages sociaux dans les réserves.
Le Ministère entend prendre part à un « consortium sur l'enquête auprès des peuples autochtones » qui regroupera RHDCC, Santé Canada, la Société canadienne d'hypothèques et de logement et le ministère du Patrimoine canadien. La difficulté d'obtenir des renseignements concernant les réserves a été un obstacle de taille à de solides renseignements sur la mesure du rendement. Statistique Canada détient le mandat pour un système statistique national qui recueille des données de recensement : néanmoins, il y a encore une lacune dans la collecte de données relatives à la population autochtone dans les réserves. La nouvelle stratégie envisage de tenir compte des besoins du Ministère et des autres intervenants, y compris des autres ministères fédéraux et des groupes autochtones. On s'attend à ce que les données recueillies aient de la pertinence pour tous les groupes. Le Ministère envisage aussi un forum consultatif sur la recherche stratégique et les données, qui coordonnera ses priorités et besoins. On prévoit aussi des liens avec l'enquête régionale sur la santé des Premières nations. Le but est de produire des statistiques socioéconomiques fiables et représentatives en temps opportun aux niveaux provincial et national afin de répondre aux besoins d'information à court et à long terme d'AINC et des autres intervenants. Le modèle à trois piliers comprendra :
1) des enquêtes sociales générales fondées sur
un thème;
2) des enquêtes sociales en temps opportun; et
3) le soutien à la gouvernance des Premières nations.
Cette stratégie nécessitera la modification du Mémorandum d'entente existant avec Statistique Canada.
- Comité de gestion de l'information sur les Autochtones
Le comité interministériel existant fait déjà fonction de forum qui, de concert avec les activités précitées, se penche sur les possibilités de partage de données et de renseignements sur les Premières nations, les Inuits, les Indiens non inscrits et les Métis de manière à réduire au minimum les chevauchements et doubles emplois, à ouvrir des possibilités de partenariat sur des projets clés et à examiner avec les groupes autochtones les possibilités de regrouper et de simplifier la collecte de données et de renseignements. Une telle coordination améliorerait sans doute l'efficacité, vu le grand nombre de programmes que le Ministère exploite de concert avec d'autres ministères fédéraux.
À l'interne, il faut s'assurer que toutes les directions générales du Ministère qui ont un rôle à jouer en matière de mesure du rendement soient interreliées de façon à ce que le Ministère profite de l'expertise que chacune peut apporter à ce processus. Tel qu'indiqué précédemment, le Ministère a créé le CEMRE, afin d'assurer une collaboration et une coopération dans tous ses secteurs. L'apport et la participation de chaque secteur permettront de brosser un tableau plus complet du rendement au Ministère.
Un mécanisme interne supplémentaire a été prévu :
- le Forum consultatif sur la recherche stratégique et les données.
Ce forum interne discutera des besoins en données, fixera les priorités et prendra des décisions sur les besoins en données. Son mandat est de coordonner les besoins du Ministère en matière de données. Le forum est un élément de la nouvelle stratégie de sondages sociaux dans les réserves dont il a été question précédemment; il sera présidé par le Directeur générale, Direction générale de la planification, des politiques stratégiques et de la recherche.
6.2 Coûts
Un certain nombre de répondants ont soulevé le problème du coût élevé des activités de mesure du rendement efficaces. De plus, les coûts importants liés à la mise en œuvre d'un système de TI-GI à l'échelle du Ministère sont perçus comme un obstacle par de nombreux répondants, principalement parce que ceux-ci estiment peu probable que les fonds nécessaires seront disponibles. Toutefois, d'autres répondants croient qu'il serait suffisant de mettre en œuvre des systèmes réduits et semblables aux systèmes existants, peut-être en les organisant par secteur. Bien qu'il soit nécessaire d'investir dans des systèmes de mesure du rendement, ces coûts devraient être compensés par les efficiences et les économies obtenues grâce aux facteurs suivants :
- la réduction des exigences en matière de rapports;
- le travail en collaboration avec les autres intervenants;
- l'exploration des sources de données existantes;
- l'amélioration des processus en place; et
- si une approche ministérielle est privilégiée, la réorientation des fonds actuellement consacrés aux divers systèmes datant des années 1960 et 1970 vers un projet d'entrepôt de données central.
7. Conclusions
On ne réussira pas en une nuit à réaliser l'objectif d'établir une culture axée sur les résultats dans l'ensemble du Ministère; on fera des erreurs et on devra sans aucun doute s'ajuster. Certes, la direction devra faire preuve de clarté et de leadership, mais il faudra également régler certaines questions sur le terrain. Cela pourrait vouloir dire d'évaluer tous les volets de la prestation de programme et de s'entendre sur un vocabulaire commun. Quelqu'un a donné comme exemple d'élaborer une définition claire du terme « comparabilité provinciale » utilisé dans plusieurs programmes.
Pour améliorer la mesure du rendement, la plus grosse difficulté est de communiquer l'importance de la mesure du rendement comme assise de la gestion fondée sur les résultats et comme clé d'une évaluation efficace au Ministère. Il faut communiquer les rôles et les responsabilités de tous les employés, pour veiller à ce qu'ils comprennent le processus et s'y engagent. Les intervenants, tant internes et externes, ne s'engagent dans le processus que s'ils comprennent l'importance de la mesure du rendement.
Le Ministère a commencé à s'attaquer aux grands défis : les mesures et indicateurs du rendement, le processus de collecte de données et les exigences en matière de rapports. Vu l'ampleur des problèmes concernant la collecte de données et la capacité, une coordination s'impose au sein du Ministère, aux échelles nationale et régionale, avec les partenaires extérieurs et avec les Premières nations. Ainsi, les progrès dans la détermination et le suivi de mesures (indicateurs) du rendement moins nombreuses, mais meilleures, entraîneront une amélioration du processus pour la totalité des intervenants. Les évaluations seront vraisemblablement plus robustes grâce à la méthode axée sur quelques résultats clés ou communs, appuyés par de solides données sur la mesure du rendement. La réussite dépend d'investissements dans la capacité du Ministère d'intégrer dans tous les secteurs un système de mesure du rendement complet. Cet investissement devra régler la question de l'entreposage des données et de l'entretien continu des données.
8. Recommandations
Un certain nombre de recommandations pourraient être intégrées à un plan d'action officiel visant à faire progresser le dossier de la mesure du rendement en s'appuyant sur ce qui a été accompli à ce jour, notamment dans les domaines suivants :
8.1 Leadership
Pour parvenir à implanter une culture axée sur les résultats dans l'ensemble du Ministère, il faut pouvoir compter sur un leadership solide qui doit provenir des échelons supérieurs de l'organisation. Les employés doivent prendre en charge leur propre contribution à la mesure du rendement, et ils seront plus susceptibles de le faire s'ils constatent que la haute direction est à la barre. Par conséquent, il est recommandé que chaque sous-ministre adjoint soit personnellement tenu responsable de la mesure du rendement dans son secteur.
8.2 Harmonisation des activités
Il est nécessaire d'harmoniser les activités en cours afin de garantir une approche uniforme en matière de mesure du rendement et de répondre aux critiques sur le manque d'intégration dans l'ensemble du Ministère. La Direction de la recherche stratégique et de l'analyse propose un modèle à trois piliers pour les sondages sociaux et élabore un indice du bien-être des collectivités afin de mesurer les conditions socioéconomiques. La Direction de la planification stratégique et des priorités a été le chef de file concernant la Politique sur la SGRR, l'AAP et le CGP, et a assumé d'importantes responsabilités en matière de planification et de rapports. La Direction de la gestion, de l'examen et de l'analyse stratégiques a récemment mené un examen stratégique afin d'évaluer les résultats relatifs au rendement de tous les programmes d'AINC. La DGEMRE travaille à accroître la sensibilisation à la mesure du rendement et à mettre au point des outils permettant de renforcer la capacité au sein du Ministère. Il existe également d'autres connexions qui doivent être établies, notamment dans d'autres domaines de connaissance tels que la représentation régionale, la TI-GI et les fonctions relatives à la politique. Il reste à déterminer s'il faut mettre sur pied un comité de travail afin de faciliter le processus ou si ce travail relève du CEMRE. Il faudra un effort coordonné pour traiter les questions soulevées dans ce rapport d'étape.
Les premières étapes pour traiter ce sujet devraient inclure les activités suivantes :
- Continuer le travail de rassemblement des données fondamentales
qui est entamé;
- S'entendre en tant que groupe pour cibler certains domaines prioritaires.
L'éducation et le développement social devraient notamment
en faire partie. La réalisation de progrès concernant l'élaboration
d'un système de mesure du rendement par la Direction générale
de l'éducation pourrait fournir l'occasion de faire
un suivi de l'avancement et de tirer des leçons qui serviront
lors de l'établissement des futurs systèmes sectoriels.
Les programmes de développement social sont ceux qui semblent être
les plus faciles à comparer à l'externe aux niveaux
local, régional ou provincial. De plus, le bien-être social
des peuples autochtones constitue un élément clé du
mandat du Ministère;
- Entretenir des communications continues avec les employés, les Premières nations, les organisations représentatives et les autres ministères afin de souligner l'importance de la mesure du rendement pour l'atteinte de résultats positifs.
8.3 Collaboration avec les bureaux régionaux
Une lacune semble exister dans la détermination, l'accès et l'utilisation des données provenant des régions. En outre, il faut collaborer plus étroitement avec les bureaux régionaux pour ce qui est d'élaborer des mesures de rendement qui peuvent être perçus dans les régions. Ces renseignements semblent aussi avoir le potentiel d'ajouter des précisions au tableau d'ensemble sur le rendement du Ministère. Il faudrait entreprendre une évaluation des données recueillies à l'heure actuelle dans les régions et s'en servir pour combler les besoins en données.
8.4 Amélioration de la conception du programme
Le Ministère pourrait vouloir que chaque programme fasse état de ses résultats escomptés et de ses indicateurs alors qu'il en est encore au stade de la conception et du développement. Il faudrait aussi obliger les concepteurs de programme à indiquer dans leur analyse de rentabilisation comment ils comptent mesurer la réussite, en précisant la provenance des renseignements sur le rendement. Les principes théoriques devraient être décrits dans un modèle logique clair et concis dont l'élaboration forcerait les gestionnaires du programme à énoncer les résultats attendus avec précision. On a déjà demandé ce genre de détails par le passé, mais il semble y avoir un manque de rigueur quant à l'inclusion de toutes ces données dans les CGRR. De la sorte, les problèmes peuvent être réglés, et les données de base saisies, dès le début de la prestation des programmes. Parmi les ajustements additionnels que l'on pourrait devoir apporter, on compte la création du rôle d'analyse critique au sein du Ministère afin d'assurer la résolution de toutes les questions éventuelles.
8.5 Formation/Orientation
La capacité s'est révélé un problème, sur les plans aussi bien des compétences des individus que de la suffisance des ressources. Il est indispensable de former les employés en place et d'orienter les nouveaux employés pour qu'ils comprennent parfaitement la culture du Ministère, qui repose sur la gestion fondée sur les résultats et sur la mesure du rendement. On aidera ainsi à préciser les rôles et les responsabilités des employés et ce qu'on attend d'eux, ce qui garantira une compréhension commune de la mesure du rendement.
À la lumière de la demande accrue d'information liée au rendement, qui a fait suite aux ateliers sur la mesure du rendement, le Ministère pourrait songer à créer un cours ou des outils communs sur la mesure du rendement, qui seraient d'accès facile au personnel à tous les échelons, aussi bien à l'administration centrale que dans les régions.
De plus, puisque le gouvernement a l'obligation de consulter les peuples et les organisations autochtones, d'obtenir leur participation et d'embaucher leurs membres lors des évaluations, cela offre une occasion d'élaborer, de partager ou de fournir les outils d'établissement de la capacité à l'appui de la mesure du rendement qui contribueront à établir une compréhension commune des modalités et des attentes. Puisque le travail se déroule à l'intérieur d'un même cadre de référence, on peut s'attendre à obtenir de meilleures données sur la mesure du rendement et des évaluations plus rigoureuses.
8.6 Intégration
Une meilleure intégration des activités de mesure du rendement est réalisable à plusieurs points. Ainsi, le cycle de mesure du rendement et celui de planification, distincts, offrent une possibilité de rationaliser la collecte d'information sur le rendement par les différentes directions et directions générales qui ont besoin d'information : elles devront collaborer à la recherche des besoins communs en information et à la simplification du processus au profit des gestionnaires des programmes. Une meilleure intégration de la planification, l'échange d'information et des rapports entre toutes les directions générales et les directions qui ont un rôle à jouer pour améliorer la mesure du rendement ou qui sont touchées par cette question, appuyée par les systèmes d'information du Ministère, entraîneront sans nul doute une gestion plus efficace au sein du Ministère.
8.7 Normes
Dans la mesure du possible et du pratique, on pourrait élaborer des normes et les communiquer dans tout le Ministère, et dresser dans ce cadre la liste des indicateurs et des sources de données actuelles « approuvés », que les gestionnaires des programmes pourraient intégrer à leurs stratégies de mesure du rendement. La liste de contrôle pourrait comporter un point pour veiller à ce qu'on planifie le formulaire qui convient, de même que le contenu qui convient. La DGEMRE a amorcé ce processus avec le projet de recherche sur les indicateurs thématiques.
8.8 Orientation et outils
Des stratégies de mesure du rendement sont exigées pour chaque programme. La DGEMRE compte créer des guides et des outils qui aideraient les gestionnaires des programmes et qui veilleraient à satisfaire aux exigences du Ministère. Le personnel de la DGEMRE pourrait aussi se servir de listes de contrôle pour veiller à ce que la stratégie de mesure du rendement contienne tous les éléments voulus.
8.9 Stratégie de communication
Une stratégie de communication qui répond aux exigences de la politique révisée du SCT, alliée aux prochaines étapes prévues par la DGEMRE, garantira une meilleure mise en pratique de l'information. La communication aux employés de l'importance de la gestion fondée sur les résultats et de la mesure du rendement aidera à ancrer ces concepts dans la culture ministérielle. Les employés doivent saisir comment toutes ces questions sont reliées et s'appuient entre elles.
8.10 Surveillance de la mise en œuvre des stratégies de mesure du rendement
Il est nécessaire de faire une mise en œuvre complète des stratégies de mesure du rendement. À la lumière du nombre de stratégies qui sont préparées, mais (à ce qu'on nous dit) jamais entièrement appliquées, il faut créer une méthode de surveillance de la mise en œuvre et d'aide à l'élimination des obstacles rencontrés. La disponibilité d'une aide à la mise en œuvre de stratégies mettra en relief l'importance de la mesure du rendement. De même, veiller à la mise en application complète des stratégies améliorera la qualité des évaluations.
8.11 Planification des rapports annuels futurs
On pourrait préparer des plans d'aide à la collecte d'information qui sous‑tendraient les rapports annuels futurs destinés à apprécier la mesure du rendement des programmes, à l'appui de l'évaluation par AINC. La mise en place d'outils de collecte de cette information garantirait la cohérence de l'apport. Voici des méthodes possibles :
- Des auto-évaluations par les gestionnaires des programmes
de leurs progrès et difficultés de mise en œuvre
de leurs stratégies de mesure du rendement;
- Des examens continus des vérifications et évaluations,
afin d'obtenir des renseignements précis sur la mesure du
rendement qui correspondent aux attributs recherchés; et
- Un gabarit générique, affiché en ligne, qui demanderait une rétroaction sur les progrès de la mesure du rendement.
9. Sources
Rapports d'évaluation ministériels, 2005 à aujourd'hui
Rapports de vérification ministériels, 2005 à aujourd'hui
Measuring What Matters (mesurer ce qui compte) : lignes directrices sur la mesure du rendement
Rédigées pour la Division de l'évaluation et
de la vérification interne du ministère des Affaires indiennes
et du Nord Canada, préparées par Kishk Anaquot Health Research (2009)
Performance Measurement, Reporting and Accountability: Recent Trends and Future Directions, SIPP Public Policy Paper No. 23 (2004)
Paul G. Thomas, Ph.D., professeur en études gouvernementales Duff Roblin
Collège St John, Université du Manitoba
Rapports du vérificateur général, 2005 à aujourd'hui
Étude spéciale sur les CGRR
Affaires indiennes et du Nord Canada, Vérification et Évaluation,
(2008)
Banting, J., et al.
Ronde VI des évaluations fondées sur le CRG du Conseil du Trésor (2009)
Analyse des tendances des vérifications du BVG, et des recommandations
sur les vérifications et évaluations, et les plans d'action,
de la Direction générale de l'évaluation et de
la vérification interne (DGEVI), depuis 2000
Préparé pour AINC, DGEVI
Préparé par Conseils et Vérification Canada, projet
numéro 572-0335 (2005)
- Lexique de la gestion axée sur les résultats, Secrétariat du Conseil du Trésor (retourner au paragraphe source)