Évaluation neutre de la fonction d'évaluation
Date : Janvier 2014
Format PDF (368 Ko, 32 pages)
Table des matières
Le présent rapport présente les résultats de l’évaluation neutre de la fonction d’évaluation d’Affaires autochtones et Développement du Nord Canada (AADNC, ou le Ministère).
1.0 Contexte
La fonction d’évaluation figure au nombre de plusieurs fonctions de gouvernance de haut niveau à AADNC. Elle vise à fournir une appréciation neutre et basée sur des faits de la pertinence et du rendement de ses programmes. Le Conseil du Trésor énonce les attentes à l’égard de la fonction d’évaluation d’un ministère ou d’un organisme fédéral dans sa Politique sur l’évaluation (1er avril 2009). Entre autres exigences de la Politique, les administrateurs généraux doivent veiller à ce qu'une évaluation neutre de la fonction d'évaluation de leur ministère soit effectuée au moins tous les cinq ans. Il s’agit de la première évaluation neutre de la fonction d’évaluation d’AADNC.
Le Conseil du Trésor (CT) n’a pas normalisé l’exécution ni le contenu d’une évaluation neutre. Pour réaliser la présente évaluation neutre, la chef de l’évaluation d’AADNCNote de bas de page 1 a retenu les services d’un expert-conseil chevronné en évaluation qui n’avait pas exécuté de travaux d’évaluation pour AADNC au cours des dernières années. Ils ont convenu que l’évaluation neutre aurait pour objectif de répondre aux questions ci-dessous :
- La fonction d’évaluation est-elle conforme aux attentes du Conseil du Trésor?
- L’organisation de la fonction d’évaluation est-elle bien gérée?
- La fonction ajoute-t-elle de la valeur à AADNC?
2.0 Portée et approche
L’évaluation neutre a été réalisée sur une période de trois mois, de novembre 2013 à janvier 2014. Elle fournit des constatations et des conclusions sur l’état de la fonction au moment de l’évaluation. Les constatations et les conclusions relatives à la fonction d’évaluation se rapportent aux pratiques à l’échelon du Ministère. Les constations et les conclusions relatives à l’organisation de la fonction d’évaluation se rapportent aux pratiques mises en œuvre au sein de l’organisation de la chef de l’évaluation, c’est-à-dire la Direction générale de l'évaluation, de la mesure du rendement et de l'examen (DGEMRE).
Pour tirer des conclusions sur des éléments liés aux projets, l’expert-conseil a examiné la documentation portant sur six projets d’évaluation exécutés entre le 1er avril 2009 et le 31 mars 2013. Pour tirer des conclusions sur des éléments liés à l’organisation et à la fonction, l’expert-conseil a examiné les pratiques en vigueur au moment de l’évaluation.
Le cadre utilisé aux fins de la présente évaluation neutre comporte trois volets distincts, axés sur :
- la gouvernance de la fonction d’évaluation;
- la pratique professionnelle de l’organisation chargée de la fonction d’évaluation au niveau organisationnel et au niveau des projets; et
- la surveillance et l’établissement de rapports de rendement se rapportant à la fonction d’évaluation.
Le cadre renferme des critères inspirés de la Politique, de normes et de directives régissant la pratique de l’évaluation. Les normes internationales en matière d’évaluation ont aussi été prises en compte lors de l’élaboration du cadre. D’autres critères révélateurs de saines pratiques de gestion applicables à une fonction d’évaluation ont été inclus. La chef de l’évaluation a examiné et approuvé les critères du cadre, lesquels sont présentés en annexe.
L’évaluation neutre était fondée sur une analyse de la documentation et sur des entretiens menés avec des membres de la haute direction et du comité d’évaluation ministériel d’AADNC.
À la demande de la chef de l’évaluation, l’analyse a été exécutée de manière à fournir le niveau d’assurance procuré par une vérification. En plus de son expérience de l’évaluation au sein de l’administration fédérale canadienne, l’expert-conseil chargé de l’exercice est un vérificateur interne agréé.
3.0 Conclusions issues de l'évaluation neutre
Les conclusions portent sur les trois domaines de l’évaluation : gouvernance; pratique professionnelle; et surveillance et établissement de rapports sur le rendement. Les constatations à l’appui de ces conclusions sont présentées dans la section 4.0 du présent rapport.
L’évaluation neutre a permis d’établir que la fonction d’évaluation d’AADNC :
- est conforme aux attentes du Conseil du Trésor à l’égard de la gouvernance;
- est conforme aux attentes de la pratique professionnelle au niveau de la fonction;
- est conforme aux attentes de la pratique professionnelle au niveau du projet;
- est conforme aux attentes à l’égard de la surveillance et de l’établissement de rapports sur le rendement.
Les constatations montrent que la fonction d’évaluation d’AADNC est conforme aux attentes. Elles montrent aussi que la fonction d’évaluation ajoute de la valeur au Ministère et que l’organisation chargée de la fonction d’évaluation est bien gérée.
L’évaluation neutre a révélé des possibilités d’améliorer la planification de l’évaluation. Aucune autre mesure n’est recommandée pour améliorer la conformité.
Les constatations à l’appui de ces conclusions sont présentées ci-dessous.
_____________________________
Phil Carr, vérificateur interne agréé
4.0 Constatations issues de l'évaluation neutre
Les constatations présentées ici guident les conclusions selon lesquelles la fonction d’évaluation est conforme aux attentes ou si sa conformité aux attentes est à risque.
Un constat de conformité indique que les processus et pratiques en place sont jugés conformes aux attentes énoncées dans la Politique, les normes et les directives. Un constat de conformité à risque indique que nous avons jugé que les processus et les pratiques en place ne sont pas à la hauteur des attentes et qu’ils ont une incidence négative sur la capacité de la fonction d’évaluation de s’acquitter de ses responsabilités de façon rentable.
Les résultats sommaires sont présentés ci-dessous, selon la structure du cadre de l’évaluation neutre convenu au début du projet.
4.1 Gouvernance de la fonction d’évaluation
Les critères de l’évaluation neutre relatifs à la gouvernance concernent les valeurs et l’éthique ainsi que les responsabilités du sous-ministre à l’égard de la fonction d’évaluation, du comité d’évaluation ministériel et de la chef de l’évaluation.
4.1.1 Responsabilités de l’administrateur général : conformes aux attentes
L’administrateur général s’acquitte de ses responsabilités à l’égard de la gouvernance. Le sous-ministre a établi une fonction d’évaluation, formé un comité d’évaluation ministériel et désigné un chef de l’évaluation au niveau EX-03, en plus d’approuver un plan d’évaluation quinquennal. Le sous-ministre a approuvé en temps opportun les rapports des évaluations, y compris les plans d’action de la direction connexes.
4.1.2 Responsabilités du comité d’évaluation : conformes aux attentes
Le comité d’évaluation ministériel s’acquitte des responsabilités décrites dans la Politique sur l’évaluation. Il examine et approuve les questions d’évaluation; il satisfait aux attentes de la Politique en ce qui concerne sa composition; et la définition de ses rôles et responsabilités satisfait aux attentes du CT.
4.1.3 Responsabilités de la chef de l’évaluation : conformes aux attentes
La chef de l’évaluation s’acquitte de ses responsabilités à l’égard de la gouvernance. La DGEMRE exécute son travail d’une façon neutre et rentable; elle seconde le comité d’évaluation ministériel; et les évaluateurs respectent le train de politiques sur l’évaluation du CT.
4.1.4 Valeurs et éthique : conformité aux attentes
Les évaluateurs participent à un vaste éventail d’activités qui les obligent à agir de façon professionnelle et éthique. Par exemple, ils interagissent avec des groupes de tous les secteurs du Ministère et avec des intervenants de l’extérieur d’AADNC; ils lancent et gèrent des marchés de services et ils ont accès à des renseignements confidentiels.
Les entretiens et les documents examinés révèlent que le personnel de la DGEMRE se comporte avec professionnalisme et d’une façon compatible avec les valeurs et l’éthique du gouvernement du Canada.
4.2 La pratique professionnelle de la fonction d’évaluation
Les critères de l’évaluation neutre relatifs à la pratique professionnelle portent sur : la planification et l’exécution du travail au niveau de la fonction; la planification, l’exécution et le compte rendu du travail au niveau du projet; et la gestion de la fonction d’évaluation. Les résultats sommaires sont présentés ci-dessous.
4.2.1 Planification et exécution du travail au niveau de la fonction
4.2.1.1 Planification des évaluations au niveau de la fonction : conformité aux attentes
Des mesures sont mises en œuvre par rapport au plan d’évaluation. La documentation révèle que :
- des mesures convenables sont mises en œuvre aux fins de l’élaboration du plan d’évaluation quinquennal du Ministère;
- le plan d’évaluation quinquennal est approuvé et communiqué;
- le plus récent plan d’évaluation présente une stratégie quinquennale visant à assurer une couverture de 88 % au cours des cinq prochaines années. Les décisions relatives à la couverture sont bien expliquées; et
- il serait utile que le plan précise comment les évaluations réalisées au cours des dernières années ont contribué à la couverture. Cette perspective permettrait au sous-ministre de connaître la probabilité d’assurer une couverture intégrale sur une période quinquennale.
4.2.1.2 Rôles relatifs à l’évaluation et à l’établissement de rapports sur le rendement : conformité aux attentes
L’évaluation a permis de conclure que la fonction d’évaluation satisfait aux attentes à l’égard de la réalisation d’évaluations. Les projets d’évaluation abordent des problèmes fondamentaux et ils contribuent à la satisfaction des exigences en matière de couverture. L’information sur la couverture est fournie au Secrétariat du Conseil du Trésor (SCT) dans le cadre de l’exercice annuel relatif au Cadre de responsabilisation de gestion (CRG). Le Centre d’excellence en évaluation (CEE) du SCT examine les rapports des projets d’évaluation et d’autres produits et il a fait savoir à la DGEMRE que les rapports qu’il a examinés satisfont aux attentes. Le CEE surveille aussi la mesure dans laquelle les évaluations réalisées contribuent à la couverture. Cela donne une assurance de la qualité des évaluations et de la mesure dans laquelle la couverture est assurée.
L’évaluation a permis d’établir que l’organisation chargée de la fonction d’évaluation satisfait aux attentes à l’égard de la mesure du rendement du Ministère. La DGEMRE participe activement à une initiative ministérielle visant à améliorer les pratiques et les processus d’AADNC en matière de mesure du rendement et d’établissement de rapports à ce sujet. Tel qu’il est prévu dans les attentes du CT, la chef de l’évaluation fait des observations sur les stratégies de mesure du rendement, examine les documents du Cabinet et donne des avis sur les stratégies et les cadres de mesure du rendement du Ministère. Un mécanisme établi permet au chef de l’évaluation de recevoir l’ensemble des présentations au CT et des documents du Cabinet aux fins de son examen.
En ce qui concerne la mesure du rendement au niveau de la fonction, les administrateurs généraux doivent veiller à ce que des mesures permanentes du rendement soient en place dans l’ensemble du Ministère afin de recueillir suffisamment d'information pour appuyer efficacement l'évaluation des programmes. Les projets d’évaluation examinés montrent que des renseignements sur le rendement étaient disponibles pour appuyer la plupart de ces projets. En outre, la DGEMRE dirige un plan d’action relatif à la Stratégie de mesure du rendement qui vise, entre autres objectifs, à cerner et à combler les lacunes relatives aux renseignements sur le rendement nécessaires pour appuyer les évaluations, et ce, dans l’ensemble du Ministère.
4.2.2 Planification, réalisation et établissement de rapports au niveau du projet
Aux fins de cette sous-section de l’évaluation neutre, nous avons demandé à l’organisation chargée de la fonction d’évaluation de dresser une liste des projets d’évaluation qu’elle considère comme les mieux réussis depuis l’entrée en vigueur de la Politique sur l’évaluation en 2009. L’évaluation ci-dessous est fondée sur l’analyse des documents fournis sur six projets : quatre ont été sélectionnés parmi les meilleurs projets proposés par la DGEMRE et deux autres projets ont été sélectionnés au hasard. Les projets sont :
- Évaluation de l’incidence de la mise en œuvre du programme écoÉNERGIE pour les collectivités autochtones et nordiques
- Évaluation de l’incidence des mesures liées aux traités en Colombie-Britannique
- Évaluation du Programme pour la prévention de la violence familiale (PPVF)
- Évaluation sommative du Programme d’éducation primaire et secondaire dans les réserves
- Évaluation de l’incidence de la Stratégie pour les Autochtones vivant en milieu urbain
- Évaluation du Programme du gouvernement du Canada pour l’Année polaire internationale
L’évaluation neutre au niveau du projet porte sur les éléments suivants : consultation, planification du projet, réalisation, établissement de rapports et utilisation des résultats.
4.2.2.1 Consultations sur les projets d’évaluation : conformité aux attentes
Des consultations ont eu lieu au cours de la conception et de la mise en œuvre des projets d’évaluation. Ces consultations mettaient à contribution le personnel des programmes aux étapes de la planification et de la détermination de la portée des évaluations, de même que de l’élaboration des méthodologies à utiliser aux fins de la recherche.
4.2.2.2 Planification du projet d’évaluation : conformité générale aux attentes
Selon les Normes d’évaluation pour le gouvernement du Canada établies par le CT, les plans devraient traiter des approches, des méthodologies, des rôles et des responsabilités ainsi que des coûts des projets.
L’analyse des renseignements relatifs aux projets a permis d’établir que des plans de projets formels (p. ex. des cadres d’évaluation) ont été préparés pour chaque projet et que des renseignements importants sur les approches et les méthodologies y figuraient. Cependant, les renseignements sur la budgétisation du projet et sur les rôles et les responsabilités de l’équipe pourraient être plus complets et plus homogènes dans les plans de projets.
4.2.2.3 Réalisation des projets d’évaluation : conformité aux attentes
La réalisation des projets d’évaluation fait entrer en jeu le leadership du projet, la consultation des intervenants, la gestion et le contrôle du projet, l’utilisation des données probantes et le contrôle de l’information.
Les projets d’évaluation sont dirigés par la chef de l’évaluation d’AADNC et les intervenants sont consultés au cours de l’élaboration des méthodologies de recherche. Les rapports d’évaluation montrent que les conclusions sont fondées sur des données probantes.
Des pratiques de gestion et de contrôle du projet et de contrôle de l’information sont mises en œuvre.
4.2.2.4 Établissement de rapports sur les projets d’évaluation : conformité aux attentes
L’établissement de rapports sur les projets comprend le caractère complet et la communication des rapports d’évaluation et leur accessibilité pour le grand public.
Les rapports examinés sont clairs, satisfont aux exigences des Normes d’évaluation, renferment les réponses et les plans d’action de la direction et ont été soumis au SCT.
Les rapports d’évaluation sont versés sur le site Web d’AADNC.
4.2.2.5 Utilisation des résultats d’évaluations : conformité aux attentes
Cette exigence comprend l’utilisation des constatations issues des évaluations par l’administrateur général et le Ministère ainsi que la disponibilité des résultats des évaluations pour les principaux intéressés, notamment le ministre, le Parlement et les Canadiens.
Les rapports d’évaluation sont versés sur le site Web d’AADNC et, en conséquence, ils sont accessibles à tous.
Au cours de nos entretiens, nous avons appris que le sous-ministre et plusieurs sous-ministres adjoints (SMA) ont utilisé les résultats d’évaluation aux fins de la prise de décisions sur les programmes. Des SMA pouvaient citer des exemples précis d’utilisation de constatations issues d’évaluations. En outre, des SMA qui étaient moins au fait des évaluations ont aussi dit croire que la fonction ajoute une valeur importante au Ministère. Des cadres supérieurs se sont dit d’avis que les analyses des évaluations « auraient pu être plus poussées », laissant entendre qu’ils apprécient l’évaluation, mais que certains de leurs besoins en matière d’analyse n’étaient pas comblés. Ils prennent des mesures pour les combler au sein de leur propre organisation.
Les SMA qui ont travaillé avec la chef de l’évaluation ont souligné la valeur ajoutée considérable qu’elle a apportée à la fonction d’évaluation. Ils ont souligné que la relation positive qu’ils entretiennent avec elle a grandement contribué à l’utilité des études d’évaluation.
Dans l’ensemble, les personnes interviewées ont dit apprécier la fonction d’évaluation (y compris les personnes qui continuent de la découvrir) et elles prévoient que les études d’évaluation seront utiles.
4.2.3 Compétences en matière d’évaluation : conformité aux attentes
Les projets d’évaluation examinés ont été réalisés par des spécialistes de l’évaluation de la DGEMRE et des cabinets d’experts-conseils qui ont fait la preuve de leurs compétences dans le domaine de l’évaluation. Par conséquent, les projets ont été exécutés par un personnel compétent.
4.2.4 Amélioration des produits et des services : conformité aux attentes
Les projets examinés montrent que la DGEMRE a des pratiques de gestion bien établies. Dans nos entretiens avec des SMA, nous avons appris que des représentants de la DGEMRE les ont rencontrés afin de les consulter au sujet du plan d’évaluation, de discuter du rôle de l’évaluation et de parler des domaines dans lesquels ils pourraient ajouter de la valeur pour les cadres supérieurs du Ministère et leur organisation.
4.3 Surveillance et établissement de rapports sur le rendement de la fonction d’évaluation
Les critères de l’évaluation neutre portant sur la surveillance et l’établissement de rapports sur le rendement prennent en compte les obligations relatives à l’établissement de rapports annuels et réguliers.
4.3.1 Rapport annuel sur l’état de la mesure du rendement : conformité aux attentes
Ces rapports ont été produits pour les exercices 2009-2010, 2010-2011 et 2012-2013.
4.3.2 Surveillance et établissement de rapports sur le rendement par les administrateurs généraux : conformité aux attentes
Le sous-ministre s’est dit très bien servi par la fonction d’évaluation et il estime qu’elle exerce une influence considérable au sein du Ministère. La présente évaluation neutre est un volet de l’activité d’établissement de rapports sur le rendement. En outre, la chef de l’évaluation fournit annuellement des renseignements au SCT au nom de l’administrateur général.
5.0 Mesures recommandées
L’évaluation neutre a révélé des possibilités d’améliorer les processus relatifs à la planification des évaluations. Il n’y a pas d’autres mesures recommandées pour améliorer la conformité.
Les personnes interviewées ont dit que le plus grand défi auquel leur organisation est confrontée consiste à trouver le temps nécessaire pour appuyer une étude d’évaluation. À leur avis, vu les récentes ponctions de ressources, il est encore plus important que les études d’évaluation se concentrent sur les sujets et les enjeux offrant la plus grande valeur ajoutée afin d’obtenir le meilleur rendement pour le temps et les efforts investis dans une évaluation.
Par ailleurs, au cours de nos entretiens, nous avons appris que les analyses seraient encore plus complètes et utiles si elles reposaient sur un plus large éventail de sources d’information. Par exemple, la pratique de longue date d’AADNC en matière d’évaluation, qui s’appuie essentiellement sur des études de cas, pourrait être complétée par des examens approfondis de la documentation. Ces méthodes, entre autres, aideraient à approfondir la discussion relative aux problèmes techniques et conceptuels qui influent sur les constatations et les conclusions issues d’évaluations.
Annexe
Affaires autochtones et Développement du Nord Canada
Cadre pour l'évaluation neutre de la fonction d'évaluation
Objectifs de l'évaluation neutre
Répondre aux questions ci-dessous :
- La fonction d'évaluation est-elle conforme aux attentes du Conseil du Trésor?
- L'organisation de la fonction d'évaluation est-elle bien gérée?
- La fonction ajoute-t-elle de la valeur à AADNC?
| A | Gouvernance Il y a conformité avec les exigences de la Politique sur l’évaluation du Conseil du Trésor à l’égard de la gouvernance |
|
| A.1 | Valeurs et éthique Il y a conformité avec les exigences des Normes d’évaluation pour le gouvernement du Canada du Conseil du Trésor à l’égard des valeurs et de l’éthique |
|
| A.1.a | Le chef de l’évaluation veille à ce que les évaluations soient réalisées avec professionnalisme et dans le respect de l'éthique | |
| 1 | Les évaluateurs se comportent d'une manière conforme au Code de valeurs et d'éthique de la fonction publique. | S 6.3.1.1 |
| 2 | Tout contrat avec un évaluateur externe (c’est-à-dire un consultant) relatif à des services d’évaluation doit inclure une exigence de conformité au Code de valeurs et d’éthique de la fonction publique. | S 6.3.1.1 |
| 3 | Les personnes qui effectuent le travail d’évaluation se comportent de manière neutre et intègre dans leurs relations avec les intervenants. | S 6.3.1.2 |
| 4 | Tout conflit d’intérêts est traité avec franchise, honnêteté et rapidité pour que les processus ou les résultats de l’évaluation ne soient pas compromis. | S 6.3.1.3 |
| A.2 | Administrateur général Il y a conformité avec les exigences de la Politique sur l’éva luation du Conseil du Trésor à l’égard des responsabilités de l’administrateur général |
|
| A.2.a | L’administrateur général s’est acquitté de ses responsabilités à l’égard de la fonction d’évaluation | |
| 1 | Les administrateurs généraux ont la responsabilité d'instaurer une fonction d'évaluation neutre et solide dans leur ministère et de veiller à ce que leur ministère respecte la présente politique ainsi que la directive et les normes connexes. | P 6.1 |
| A.2.b | L’administrateur général s’est acquitté de ses responsabilités à l’égard du comité d’évaluation ministériel | |
| 1 | Les administrateurs généraux veillent à ce qu'un comité de hauts fonctionnaires ministériels (désigné comité d'évaluation ministériel) ait la responsabilité de les conseiller à l'égard de toutes les activités d'évaluation et toutes les activités d'évaluation connexes du ministère. | P 6.1.3 |
| 2 | Les administrateurs généraux veillent à ce que le comité d’évaluation ministériel ait entièrement accès aux renseignements et à la documentation qui sont nécessaires ou requis pour s'acquitter de ses responsabilités. | P 6.1.9 |
| A.2.c | L’administrateur général s’est acquitté de ses responsabilités à l’égard du chef de l’évaluation | |
| 1 | Les administrateurs généraux nomment un chef de l'évaluation à un niveau approprié pour diriger la fonction d'évaluation au ministère. | P 6.1.1 |
| 2 | Les chefs de l'évaluation doivent posséder les compétences exigées par le Secrétariat du Conseil du Trésor. | D 6.1.1.1 |
| 3 | Les administrateurs généraux veillent à ce que le chef de l'évaluation puisse au besoin avoir accès à eux directement et sans entrave. | P 6.1.2 |
| 4 | Les administrateurs généraux veillent à ce que (le comité d’évaluation ministériel – traité en A.2.b 2 ci-dessus) et le chef de l'évaluation aient entièrement accès aux renseignements et à la documentation qui sont nécessaires ou demandés pour s'acquitter de leurs responsabilités. | P 6.1.9 |
| A.2.d | L’administrateur général s’est acquitté de ses responsabilités à l’égard des activités de la fonction d’évaluation | |
| 1 | Les administrateurs généraux approuvent la prés entation annuelle au Secrétariat du Conseil du Trésor d'un plan d'évaluation ministériel quinquennal continu. | P 6.1.7 |
| 2 | Les administrateurs généraux confirment que le plan :
|
P 6.1.7 |
| 3 | Les administrateurs généraux approuvent les r apports d'évaluation, les réponses de la direction et les plans d'action, en temps opportun. | P 6.1.4 |
| A.3 | Comité d’évaluation ministériel Il y a conformité avec les exigences de la Politique sur l’éva luation du Conseil du Trésor à l’égard du comité d’évaluation ministériel |
|
| A.3.a | Le comité d’évaluation ministériel s’est acquitté de ses responsabilités structurelles | |
| 1 | L’administrateur général veille à ce que le comité d’évaluation ministériel soit :
|
P 6.1.3 |
| A.3.b | Le comité d’évaluation ministériel s’est acquitté de son rôle et de ses responsabilités | |
| 1 | Rôle du comité d’évaluation ministériel Le comité donne à l'administrateur général des conseils relatifs au plan d'évaluation ministériel, à l'affectation des ressources et aux rapports d'évaluation finaux, et il peut également prendre les décisions ultimes concernant toutes les autres activités d'évaluation du ministère et les activités connexes. |
P Annexe B |
| 2 | Responsabilités du comité d’évaluation ministériel
|
P Annexe B |
| A.4 | Chef de l’évaluation Il y a conformité avec les exigences de la Politique sur l’éva luation du Conseil du Trésor à l’égard du chef de l’évaluation |
|
| A.4.a | Le chef de l’évaluation s’est acquitté de ses responsabilités à l’égard de la gouvernance | |
| 1 | Le chef de l’évaluation doit gérer une unité d'évaluation efficiente et efficace. | D 6.1.2.1 |
| 2 | Le chef de l’évaluation doit veiller à ce que l’unité d'évaluation exécute des évaluations neutres et d'un bon rapport coût-efficacité. | D 6.1.2.1 |
| 3 | Le chef de l’évaluation doit soutenir le comité d'évaluation ministériel chargé d'orienter et de superviser la fonction d'évaluation. | D 6.1.2.4 |
| 4 | Le chef de l’évaluation doit s'assurer que le travail d'évaluation et les personnes qui participent à la conception, la réalisation et la gestion des évaluations connaissent et respectent la Politique sur l'évaluation, la Directive sur la fonction d'évaluation et les Normes d'évaluation pour le gouvernement du Canada. | D 6.1.2.2 |
| B | Pratique professionnelle Il y a conformité avec les exigences de la Politique sur l’évaluation du Conseil du Trésor à l’égard de la pratique professionnelle |
|
| B.1 | Plan d’évaluation ministériel Il y a conformité avec les exigences de la Politique sur l’é valuation du Conseil du Trésor à l’égard du Plan d’évaluation ministériel |
|
| B.1.1 | Plan d’évaluation Il y a conformité avec les exigences de la Politique sur l’é valuation du Conseil du Trésor à l’égard du plan d’évaluation |
|
| B.1.1.a | Des mesures appropriées sont mises en œuvre aux fins de l’élaboration du plan d’évaluation en attendant la mise en œuvre intégrale de la Politique sur l’évaluation au Ministère | |
| 1 | En attendant la mise en œuvre intégrale de l'article 6.1.8 (a)Note de bas de page 2, qui se fera au plus tard le 31 mars 2013, il incombera aux administrateurs généraux de s'assurer que les plans d'évaluation ministériels approuvés font état des progrès réalisés en vue d'élargir la portée des évaluations à toutes les dépenses de progr ammes directes des ministères (sauf les programmes permanents de subventions et de contributions) sur une période de cinq ans. | P 1.3.1.a |
| 2 | En attendant la mise en œuvre intégrale de l'article 6.1.8 (a), qui se fera au plus tard le 31 mars 2013, il incombera aux administrateurs généraux de s'assurer que les plans d'évaluation ministériels qu'ils approuvent en vue de leur présentation au Secrétariat du Conseil du Trésor conformément au paragraphe 6.1.7Note de bas de page 3 de la présente politique et qui ne démontrent pas que la portée des évaluations couvre toutes les dépenses de programmes directes pendant la période consécutive de cinq ans, font appel à une approche fondée sur les risques pour planifier la couverture des dépenses de programmes directes (sauf les programmes permanents de subventions et de contributions). | P 1.3.1.b |
| 3 | En attendant la mise en œuvre intégrale de l'article 6.1.8 (a), qui se fera au plus tard le 31 mars 2013, il incombera aux administrateurs généraux de s'assurer que [...] les plans d'évaluation ministériels utilisant une approche fondée sur les risques pour planifier la couverture des dépenses de programmes directes comporteront une justification écrite en fonction des risques afin d'expliquer les choix du ministère en ce qui concerne ce qui est couvert et ce qui n'est pas couvert dans les évaluations. | P 1.3.1.b |
| B.1.1.b | Des mesures appropriées sont mises en œuvre aux fins de l’élaboration du plan d’évaluation | |
| 1 | L’administrateur général veille à ce que les exigences suivantes concernant la portée de
l'évaluation soient prises en compte dans le plan d'évaluation ministériel :
|
P 6.1.8 |
| 2 | Le chef de l’évaluation doit élaborer et mettre à jour tous les ans un plan d'évaluation ministériel quinquennal continu (ci-après appelé le plan d'évaluation ministériel). | D 6.1.3.a |
| 3 | Le chef de l’évaluation doit s'assurer que ses plans d'évaluation ministériels :
|
D 6.1.3.b |
| 4 | Le chef de l’évaluation doit déterminer et recommander à l'administrateur général et au comité d'évaluation ministériel une approche fondée sur les risques pour déterminer l'approche d'évaluation et le niveau d'effort devant s'appliquer aux évaluations individuelles comprises dans le plan d'évaluation ministériel quinquennal, ainsi que le niveau de ressources nécessaires pour réaliser chacune des évaluations prévues dans le plan. | D 6.1.3.c |
| B.1.1.c | Le plan d’évaluation est approuvé et communiqué | |
| 1 | Le chef de l’évaluation doit soumettre le plan d'évaluation ministériel, tel qu'approuvé par l'administrateur général, au Secrétariat du Conseil du Trésor du Canada au début de chaque exercice. | D 6.1.3.d |
| 2 | Le chef de l’évaluation doit soumettre [...] une confirmation de l'administrateur général, comme l'exige le paragraphe 6.1.7 de la Politique sur l'évaluation. | D 6.1.3.d |
| B.2 | Nature de l’évaluation Il y a conformité avec les exigences de la Politique sur l’évaluation du Conseil du Trésor à l’égard de la nature de l’évaluation |
|
| B.2.1 | Rôle et responsabilités de la fonction d’évaluation Il y a conformité avec les exigences de la Politique sur l’évaluation du Conseil du Trésor à l’égard du rôle et des responsabilités de la fonction d’évaluation |
|
| B.2.1.a | La fonction d’évaluation s’est acquittée de ses responsabilités à l’égard de la réalisation d’évaluations | |
| 1 | Le chef de l’évaluation doit mettre en œuvre le plan d'évaluation ministériel approuvé tout en s'assurant que chaque évaluation est terminée en temps opportun, conformément aux Normes d'évaluation pour le gouvernement du Canada. | D 6.1.3.e |
| 2 | Afin d’optimiser les ressources financières, les évaluations devront aborder toutes les questions fondamentales ci-dessous :
|
D Annexe A |
| 3 | Le chef de l’évaluation doit veiller à ce que toutes les évaluations qui sont censées compter aux fins des exigences des alinéas a, b et c du paragraphe 6.1.8 de la Politique sur l'évaluation , tirent des conclusions claires et valables sur la pertinence et le rendement des programmes en tenant compte de toutes les questions fondamentales mentionnées à l'Annexe A. | D 6.1.3.f |
| B.2.1.b | La fonction d’évaluation s’est acquittée de ses responsabilités à l’égard de la mesure du rendement du Ministère | |
| 1 | L’administrateur général doit s'assurer que le ch ef de l'évaluation est consulté au sujet des stratégies de mesure du rendement intégrées à la Structure de gestion, des ressources et des résultats du ministère. | P 6.1.11 |
| 2 | Le chef de l’évaluation doit examiner les stra tégies de mesure du rendement pour toutes les dépenses de programmes directes nouvelles et en cours, y compris tous les programmes de subventions et de contributions permanents, pour s'assurer que ces stratégies appuient efficacement l'évaluation de la pertinence et du rendement, et fournir des conseils à ce sujet. | D 6.1.4 |
| 3 | Le chef de l’évaluation doit examiner les disposit ions sur la responsabilisation et le rendement devant être inclus dans les documents du Cabi net (mémoires au Cabinet, présentations au Conseil du Trésor) et fournir des conseils à cet égard. | D 6.1.4 |
| 4 | Le chef de l’évaluation doit examiner les c adres de mesure du rendement associés à la Structure de gestion, des ressources et des résultats de l'organisation et fournir des conseils à cet égard. | D 6.1.4 |
| B.3 | Déroulement du projet d’évaluation Il y a conformité avec les exigences de la Politique sur l’évaluation du Conseil du Trésor à l’égard du processus des projets d’évaluation |
|
| B.3.1 | Gestion de la fonction d’évaluation Il y a conformité avec les exigences de la Politique sur l’é valuation du Conseil du Trésor à l’égard de la gestion de la fonction d’évaluation |
|
| B.3.1.a | Des consultations appropriées ont lieu | |
| 1 | Dans le cadre de la gestion de la fonction d’évaluation des ministères, les chefs de l'évaluation des ministères procèdent à des consultations appropriées avec les gestionnaires de programmes, les intervenants et les comités d'examen par des pairs ou comités consultatifs à l'étape de la conception et de la mise en œuvre des projets d'évaluation. | D 6.2.1 |
| 2 | Des groupes d'examen par les pairs, des groupes c onsultatifs ou des comités directeurs sont formés, le cas échéant, et contribuent à la planification et aux procédés d'évaluation de même qu'à l'examen des produits d'éval uation afin d'en améliorer la qualité. Le chef de l'évaluation ou le gestionnaire de l'évaluation dirige ces groupes ou comités. | S 6.1.2.2 |
| B.3.1.b | Respect de la Politique, de la Directive et des Normes | |
| 1 | Le chef de l'évaluation doit s'assurer que le travail d'évaluation et les personnes qui participent à la conception, la réalisation et la gestion des évaluations connaissent et respectent la Politique sur l'évaluation, la Directive sur la fonction d'évaluation et les Normes d'évaluation pour le gouvernement du Canada. | D 6.1.2.2 |
| B.3.2 | Phase de la planificati
on des projets d’évaluation Il y a conformité avec les exigences de la Politique sur l’é valuation du Conseil du Trésor à l’égard de la phase de la planification |
|
| B.3.2.a | Les plans de projets d’évaluation sont élaborés et conservés | |
| 1 | Les exigences de planification et de concept ion des évaluations garantissent que les éléments fondamentaux d'une bonne évaluation ont été instaurés tout au début de l'évaluation. | S 6.2 |
| Les procédures d’évaluation devraient être pratiques et adaptées au mode de fonctionnement du programme. | JCSEE F2Note de bas de page 4 | |
| 2 | Évaluations rentables et fondées sur les risques :
|
S 6.2.1 |
| 3 | Norme de mesure et d'analyse :
|
S 6.2.2 |
| Les évaluations devraient employer des mé thodes et des analyses adéquates du point de vue technique et adaptées aux fins de l’évaluation. | JCSEE A6 | |
| 4 | Les rôles et les responsabilités des membres de l’équipe du projet qui participent à des évaluations spécifiques sont formulés par écrit et convenus dès le début de l’évaluation. | S 6.1.1.2 |
| 5 | Au moment de planifier et de réaliser l'évaluation, ceux qui participent au processus d'évaluation se conforment aux politiques du gouvernement qui ont trait à la collecte, à l'utilisation, à la préservation et à la diffusion de l'information. | S 6.3.4.1 |
| Les évaluations devraient employer des méthodes de collecte, d’examen, de vérification et de stockage systématiques de l’information. | JCSEE A5 | |
| B.3.2.b | Les projets d’évaluation sont conformes à la Politique de communication du gouvernement du Canada | |
| 1 | Le chef de l'évaluation doit consulter le chef des communications ministérielles au sujet des travaux d'évaluation qui pourraient être considérés comme des « recherches sur l'opinion publique », selon la définition de la Politique de communication du gouvernement du Canada. | D 6.1.2.3 |
| B.3.3 | Phase de la réalisation
des projets d’évaluation Il y a conformité avec les exigences de la Politique sur l’éva luation du Conseil du Trésor à l’égard de la réalisation des évaluations |
|
| B.3.3.a | Direction des projets d’évaluation | |
| 1 | Les chefs de l'évaluation sont responsables de diriger les projets d'évaluation. | S 6.1.1.1 |
| B.3.3.b | Participation d’intervenants aux projets d’évaluation | |
| 1 | Les évaluations s'articulent autour de cons ultations suffisantes et appropriées, ce qui comprend celles auprès des principaux interven ants et, le cas échéant, elles appliquent les conseils et les directives fournis par des spécialistes et d'autres personnes avisées. | S 6.1.2 |
| B.3.3.c | Les projets d’évaluation sont gérés et contrôlés | |
| Des techniques solides de prise de décisions financières sont utilisées lors de la gestion des produits d'évaluation de manière à comptabiliser les dépenses et à permettre l'optimisation des ressources pour le gouvernement du Canada. | S 6.3.3.1 | |
| Les évaluations devraient utiliser des stratégies de gestion de projet efficaces. | JCSEE F1 | |
| Les évaluations devraient utiliser les ressources de façon efficace et efficiente. | JCSEE F4 | |
| Les évaluations devraient prendre en compte toutes les ressources dépensées et utiliser des procédures et des processus financiers sains. | JCSEE P7 | |
| Les ressources de l'extérieur engagées dans le cadre de projets d'évaluation se conforment aux politiques du Conseil du Trésor en matière de marchés et d'approvisionnement. | S 6.3.3.2 | |
| Lorsqu'on utilise des ressources externes, les c ontrats pour lesquels un évaluateur externe est engagé pour fournir des services d'évaluat ion doivent contenir une clause exigeant que les normes soient respectées. | S 6.3.3.3 | |
| B.3.3.d | Les données probantes sont suffisantes et pertinentes pour réaliser les objectifs du projet d’évaluation et étayer les conclusions et les résultats de la mission | |
| 1 | L’administrateur général doit veiller à ce que des mesures permanentes du rendement soient en place à l'échelle du ministère afin de recueillir suffisamment d'information pour appuyer efficacement l'évaluation des programmes. | P 6.1.10 |
| 2 | Les évaluateurs doivent recenser, analyser , évaluer et consigner par écrit des renseignements suffisants pour réal iser les objectifs du projet. | Inspiré de la
norme IIANote de bas de page 5 2300 |
| 3 | Les évaluateurs doivent recenser des renseigne ments suffisants, fiables, pertinents et utiles pour réaliser les objectifs de la mission. | Inspiré de la
norme IIA 2310 |
| 4 | Les évaluateurs doivent fonder les conclusions et les résultats du projet sur des analyses pertinentes. | Inspiré de la
norme IIA 2320 |
| B.3.3.e | Les renseignements pertinents sont consignés par écrit, conservés et contrôlés | |
| 1 | Les intervenants et les participants à un processus d'évaluation sont informés du niveau de confidentialité et de protection des renseignements personnels que leur procure la Loi sur la protection des renseignements personnels . | S 6.3.4.2 |
| 2 | Les évaluateurs doivent consigner par écrit les renseignements pertinents à l’appui des conclusions et des résultats de la mission. | Inspiré de la
norme IIA 2330 |
| 3 | Le chef de l’évaluation doit établir des exigences relatives à la conservation des documents de la mission, peu importe le support sur lequel chaque document est stocké. Ces exigences relatives à la conservation doivent être conformes aux lignes directrices de l’organisation et à toutes autres exigences réglementaires ou d’autres natures pertinentes. | Inspiré de la
norme IIA 2330.A2 |
| B.3.4 | Phase de la production de rapports Il y a conformité avec les exigences de la Politique sur l’é valuation du Conseil du Trésor à l’égard de la production de rapports |
|
| B.3.4.a | Les rapports d’évaluation sont complets et bien communiqués | |
| 1 | Le chef de l’évaluation doit remettre les rapports d'évaluation (et autres produits d'évaluation, s'il y a lieu) directement à l'administrateur général et au comité d'évaluation ministériel en temps opportun. | D 1.2.5.6 |
| 2 | Les exigences en matière de présentation de rapports d'évaluation garantissent que les rapports présentent les constatations, les conclusions et les recommandations d'une manière claire et neutre. | S 6.4 |
| Les évaluations devraient décrire les program mes et leurs contextes avec un degré de détail et de profondeur suffisant aux fins de l’évaluation. | JCSEE A4 | |
| 3 | Le libellé des rapports d'évaluation fait en sorte que les cadres supérieurs et les lecteurs de
l'extérieur peuvent facilement se concentre
r sur les points importants signalés et les
comprendre. Rapports d'évaluation :
|
S 6.4.1 |
| 4 | Le chef de l'évaluation doit soumettre l'intégra lité des rapports d'évaluation, des réponses de la direction et des plans d'action (en format électronique) au Secrétariat du Conseil du Trésor du Canada, dès que ces rapports sont approuvés par l'administrateur général. | D 6.1.5.1 |
| B.3.4.b | Les rapports d’évaluation sont faci les d’accès pour le grand public | |
| 1 | L’administrateur général doit s'assurer que les Canadiens peuvent accéder facilement et en temps opportun aux versions complètes et approuvées des rapports d'évaluation, des réponses de la direction et des plans d'action, tout en veillant à ce que le partage des rapports se conforme à la Loi sur l'accès à l'information , à la Loi sur la protection des renseignements personnels et à la Politique du gouvernement sur la sécurité. | P 6.1.6D |
| Le chef de l'évaluation doit mettre les rapports d'évaluation approuvés par l'administrateur général, ainsi que les réponses de la direction et les plans d'action, à la disposition du public avec un minimum de formalité, et les afficher en temps opportun sur les sites Web des ministères dans les deux langues officielles. | 6.1.5.2 | |
| Le chef de l'évaluation doit s'assurer que les rapports d'évaluation affichés sur les sites Web ministériels se conforment à la Loi sur l'accès à l'information , à la Loi sur la protection des renseignements personnels et à la Politique du gouvernement sur la sécurité . | D 6.1.5.3 | |
| B.3.5 | Utilisation des résultats des évaluations Il y a conformité avec les exigences de la Politique sur l’é valuation du Conseil du Trésor à l’égard de l’utilisation des résultats des évaluations |
|
| B.3.5.a | Les administrateurs généraux utilisent les résultats des évaluations | |
| 1 | L’administrateur général doit utiliser les résultat s des évaluations pour éclairer les décisions relatives aux programmes et politiques ainsi qu'à l'affectation et la réaffectation des ressources. | D 6.1.1.7 |
| 2 | L'incidence des évaluations, ce qui comprend les économies et les améliorations obtenues, est communiquée à l'administrateur général. | S 6.1.3.1 |
| B.3.5.b | Les données des évaluations sont accessibles à d’autres utilisateurs | |
| 1 | Les ministres, ministères et organismes centraux ont accès à l'information provenant des évaluations en ce qui concerne la pertinence et le rendement continus des dépenses de programmes directes afin d'éclairer la prise des décisions fondées sur des preuves qui visent les politiques, la gestion des dépenses et l'amélioration des programmes. | S 6.4.2.1 |
| 2 | Le Parlement et la population canadienne ont accès à l'information provenant des évaluations en ce qui concerne la pertinence et le rendement continus des dépenses de programmes directes afin d'aider le gouvernement à rendre compte des résultats des politiques et des programmes. | S 6.4.2.2 |
| B.4 | Compétences en matière d’évaluation Il y a conformité avec les exigences de la Politique sur l’éval uation du Conseil du Trésor à l’égard de la compétence et du professionnalisme |
|
| B.4.a | Le chef de l’évaluation veille à ce que les ressources affectées à l’évaluation possèdent la formation, les compétences et l’expérience nécessaires pour s’acquitter de leurs responsabilités | |
| 1 | Le chef de l'évaluation doit s'assurer que la ou les personnes qui participent à la conception, l'exécution ou la gestion des évaluations possèd ent collectivement la formation, l'expérience et les compétences voulues en matière d'évaluation. | D 6.1.1.2 |
| La ou les personnes qui réalisent l'évaluation ou les travaux liés à l'évaluation possèdent, individuellement ou collectivement, les connai ssances et les compétences voulues pour s'acquitter des exigences de l'évaluation. | S 6.3.2.1 | |
| Les évaluations devraient être réalisées par des personnes qualifiées qui établissent et maintiennent leur crédibilité dans le contexte de l’évaluation. | JCSEE U1 | |
| B.5 | Assurance et améliorati
on de la qualité Il y a conformité avec les exigences de la Politique sur l’é valuation du Conseil du Trésor à l’égard de l’assurance et de l’amélioration de la qualité |
|
| B.5.a | Le chef de l’évaluation veille à l’élaboration et à l’exécution du programme d’assurance et d’amélioration de la qualité | |
| 1 | Les enquêtes permanentes et systématiques servent à recenser les améliorations futures à apporter aux produits et services d'évaluation. | D 6.1.3.2 |
| Il incombe aux chefs de l’évaluation d’élaborer et de maintenir un programme d’assurance et d’amélioration de la qualité qui couvre tous les aspects de la fonction de l’évaluation et qui contrôle continuellement son efficacité. | Inspiré de la
norme IIA 1300 |
|
| Des examens périodiques sont exécutés au moyen d’autoévaluations ou par d’autres personnes de l’organisation possédant une connaissance suffisante des pratiques d’évaluation. | Inspiré de la
norme IIA 1311 |
|
| Les évaluateurs devraient utiliser ces normes et d’autres normes applicables pour examiner la responsabilisation à l’égard de la conception de l’évaluation, des procédures employées, des renseignements recueillis et des résultats. | JCSEE E2 | |
| C | Surveillance et établissement de rapports sur le rendement Il y a conformité avec les exigences de la Politique sur l’éval uation du Conseil du Trésor à l’égard de la surveillance et de l’établissement de rapports sur le rendement |
|
| C.1 | Rapport annuel du chef de l’évaluation | |
| C.1.a | Le chef de l’évaluation a soumis ses rapports annuels au comité d’évaluation ministériel | |
| 1 | Le chef de l’évaluation doit présenter au comité d'évaluation ministériel un rapport annuel sur l'état de la mesure du rendement des programmes à l'appui de l'évaluation. | D 6.1.4.4 |
| C2 | Administrateur général Il y a conformité avec les exigences de la Politique sur l’éval uation du Conseil du Trésor à l’égard de la surveillance et de l’établissement de rapports sur le rendement |
|
| C.2.a | L’administrateur général s’est acquitté de ses responsabilités à l’égard de la surveillance et de l’établissement de rapports sur le rendement | |
| 1 | L’administrateur général doit surveiller, au sein de son ministère, la conformité à la présente politique pour veiller à sa mise en œuvre efficace. | P 7.1 |
| 2 | L’administrateur général doit veiller à ce qu'une évaluation neutre de la fonction d'évaluation de son ministère soit effectuée au moins tous les cinq ans. | P 7.1 |
| 3 | L’administrateur général doit examiner les pr oblèmes qui surgissent en rapport avec la conformité à la présente politique ainsi qu'à la directive et aux normes associées et veiller à prendre les mesures correctrices nécessaires pour remédier à ces problèmes. | P 7.2 |
| C.2.b | L’administrateur général possède l’information nécessair e pour répondre au secrétaire du Conseil du Trésor | |
| 1 | Le secrétaire du Conseil du Trésor [...] peut exiger des administrateurs généraux qu'ils
fournissent des renseignements sur les aspects suivants :
|
P 7.3 |