Archivée - Évaluation de l'incidence du Programme écoÉNERGIE pour les collectivités autochtones et nordiques

Date : Novembre 2010
Numéro de projet : 1570-7/09065

Format PDF (391 Ko, 71 pages)

Table des matières

• Liste des sigles et abbres
• Définitions des termes couramment utilisés
• Sommaire
• Réponse de la direction et plan d'action
• 1. Introduction
• 2. Méthodologie de l'évaluation
• 3. Constatations de l'évaluation - Pertinence
• 4. Constatations de l'évaluation - Rendement (Efficacité/réussite)
• 5. Constatations de l'évaluation - Rendement (Leçons retenues et pratiques exemplaires)
• 6. Constatations de l'évaluation - Rendement (Économie et rendement)
• 7. Constatations de l'évaluation - Rendement (Solutions de rechange)
• 8. Conclusions et recommandations
• Annexe A - Modèle logique d'ECAN
• Annexe B - Grille d'évaluation
• Annexe C - Stratégie de mesure du rendement d'ECAN
• Annexe D - Cadre de référence

Liste des sigles et abbres

Définitions des termes couramment utilisés

Carburant fossile. Les carburants fossiles proviennent du charbon, du pétrole et du gaz naturel. La combustion des carburants fossiles génère des gaz à effet de serre, essentiellement le monoxyde de carbone. Les carburants fossiles sont une source d'énergie non renouvelable.

Émission des gaz à effet de serre (GES). Les gaz à effet de serre sont des composants gazeux de l'atmosphère, aussi bien naturels qu'anthropogéniques, qui absorbent et émettent le rayonnement sur des longueurs d'ondes particulières dans la gamme du rayonnement infrarouge émis par la surface terrestre, l'atmosphère et les nuages. Cette propriété cause l'effet de serre. La vapeur d'eau (H2O), le dioxyde de carbone (CO2), le protoxyde d'azote (N2O), le méthane (CH4) et l'ozone (O3) sont les principaux gaz à effet de serre dans l'atmosphère terrestre. En outre, il y des gaz à effet de serre produits uniquement par l'homme dans l'atmosphère, comme l'hexafluore de soufre (SF6), les hydrofluorocarbures (HFC) et les perfluorurocarbones (PFC).

Mégawatt. Le mégawatt est l'unité de puissance électrique correspondant à un million de watts.

Mise en service. Les projets d'énergies renouvelables et d'efficacité énergétique sont considérés mis en service lorsqu'ils sont passés par une série de tests à la suite de leur construction. Une fois mis en service, les projets sont prêts à être entièrement opérationnels.

Plan énergétique communautaire. Ces plans sont créés au niveau municipal ou communautaire pour répondre aux besoins en énergie. De nombreux plans énergétiques communautaires comprennent des énergies durables et des stratégies de réduction des GES.

Principaux contaminants atmosphériques (PCA). Il s'agit d'un groupe de polluants qui, selon Environnement Canada (EC), cause le smog et les pluies acides. En 2002, EC a ajouté les gaz à l'Inventaire national des rejets de polluants (INRP) pour promouvoir l'air propre au Canada. Les PCA sont essentiellement générés par la combustion des carburants fossiles (EC 2006; EC, 2009b). Ces polluants ont un effet néfaste sur la santé des êtres humains et l'environnement. Les PCA sont essentiellement des oxydes de soufre, des oxydes d'azote, des particules, des composés organiques volatils, du monoxyde de carbone, de l'ammoniaque, de l'ozone de la basse atmosphère et des particules secondaires (EC, 2006).

Production d'énergie « hors réseau ». Ce terme fait référence à l'autosuffisance en production d'énergie sans dépendance au réseau de distribution d'énergie du service public.

Programme d'action pour les collectivités autochtones et nordiques (PACAN). Prédécesseur d'écoÉNERGIE, le PACAN a fourni des fonds aux bénéficiaires pour entreprendre des projets de planification en vue de s'adapter aux changements climatiques, des évaluations de la vulnérabilité des infrastructures et des évaluations du risque; s'engager dans le secteur des ressources renouvelables et non renouvelables; augmenter la sensibilisation à l'impact du changement climatique ainsi qu'à l'utilisation et à la production d'énergie au sein des collectivités autochtones et nordiques.

RETScreen. Ce logiciel d'analyse de l'énergie propre permet aux utilisateurs d'évaluer la production d'énergie et les économies de coût, les réductions des émissions, la viabilité et le risque financier pour divers types de technologies d'énergies renouvelables et d'efficacité énergétique. Ce logiciel est disponible gratuitement.

Sources d'énergies renouvelables / durables. Contrairement aux carburants fossiles, ces sources d'énergie se renouvellent continuellement par des moyens naturels. Des exemples incluent les installations hydroélectriques, les éoliennes, les systèmes d'électricité solaire et les centrales alimentées par la biomasse.

Tonnes/mégatonnes. Unité de mesure des GES, essentiellement pour le dioxyde de carbone dans l'atmosphère. Une mégatonne correspond à un million de tonnes.

Sommaire

L'évaluation du Programme écoÉNERGIE pour les collectivités autochtones et nordiques (ECAN) devrait fournir des conclusions concernant la pertinence et le rendement de ce programme. La Direction générale de l'évaluation, de la mesure du rendement et de l'examen (qui fait partie du Secteur de la vérification et de l'évaluation) a commencé cette évaluation en mai 2010. À cette fin, la Direction générale a fait appel aux services de PRA Inc. pour l'aider à chacune des étapes du processus d'évaluation. Les résultats de l'évaluation seront compilés dans un rapport sous le thème de l'énergie propre. Ressources naturelles Canada (RNCan) est responsable de ce thème et, à ce titre, est chargé de l'évaluation thématique durant l'exercice 2010-2011. L'évaluation du programme ECAN étayera aussi le renouvellement des autorisations de contribution pour 2010-2011.

Le programme ECAN est une initiative de subventions et contributions, représentant un financement de 15 millions de dollars, qui a débuté le 1er avril 2007 et dont le déroulement est prévu sur quatre ans. Le programme accorde un soutien à des projets concernant les énergies renouvelables, l'efficacité énergétique et la planification énergétique communautaire dans les collectivités autochtones et nordiques. En date du 31 mars 2010, ECAN avait permis le financement de 76 projets, parmi lesquels 55 projets d'énergies renouvelables, huit projets d'efficacité énergétique et treize projets de planification énergétique communautaire, pour un investissement total de 11,2 M$.

Principaux résultats et principales conclusions tirées de l'évaluation :

Pertinence

ECAN est un programme du gouvernement fédéral et d'Affaires indiennes et du Nord Canada (AINC) pertinent qui vise à réduire les émissions des gaz à effet de serre (GES) et des principaux contaminants atmosphériques (PCA). ECAN contribue à la réalisation des priorités fédérales (Programme de l'air pur) en favorisant l'utilisation de sources d'énergies renouvelables et de technologies efficaces en matière d'énergie. Le programme s'aligne aussi bien sur les priorités du gouvernement fédéral concernant l'énergie propre que sur les objectifs stratégiques d'AINC relatifs au « bien-être social et à la prospérité économique » des Autochtones. Il vient également compléter les activités des autres intervenants (p. ex. les provinces et les territoires).

Compte tenu de ses responsabilités et de son expérience à l'égard des collectivités autochtones et nordiques, AINC assume, dans le cadre d'ECAN, un rôle clair dans les projets d'énergie propre se rapportant aux Autochtones. Bien que la production d'énergie soit du ressort des provinces et des territoires, le financement des projets du programme ECAN est pertinent, car les ressources pour ce type de projet sont limitées dans les collectivités autochtones et nordiques. De plus, ECAN répond à un besoin permanent, dans la mesure où ses résultats contribuent à des retombées positives pour le développement social, environnemental et économique des collectivités qui y participent.

Rendement

Efficacité (c.-à-d. réussite)

Le programme ECAN se déclinait d'emblée en quatre activités planifiées :

1. Activités de communication, de réseautage et de mobilisation, visant le personnel des programmes d'immobilisation du Ministère dans les régions et les intervenants externes;
2. Soutien dans les procédures d'acceptation, d'examen et d'approbation des projets;
3. Apport de conseils techniques et financiers sur l'application des technologies en matière d'énergies renouvelables et d'efficacité énergétique dans les collectivités autochtones et nordiques;
4. Examen technique, évaluation et approbation des projets.

L'évaluation a déterminé que la plupart des activités planifiées pour ECAN avaient été mises en œuvre à un niveau ou à un autre. Dès le début, le programme a mis au point des processus de suivi, de rapports et de sélection de projets, ainsi que des mesures du rendement. Les renseignements recueillis par le programme ne permettent pas d'effectuer une évaluation approfondie de certains résultats. Par exemple, toutes les mesures de rendement comprenaient des indicateurs, et presque toutes faisaient l'objet de mesures quantitatives. Cependant, beaucoup de ces mesures de rendement étaient dépourvues de cibles, par conséquent il s'est avéré difficile d'évaluer le degré de réussite correspondant; à cela s'ajoutait le fait que le programme avait développé un trop grand nombre d'indicateurs, sans fournir les renseignements nécessaires au niveau adéquat.

Une autre difficulté de taille est que ce programme ne s'est pas concentré sur l'un des ses objectif essentiels, à savoir accomplir ou mesurer la réduction des émissions de PCA. Par conséquent, les données relatives aux principaux résultats en termes d'émissions de PCA n'ont pas été recueillies. Cela illustre la nécessité de mieux formuler les priorités et de bien lier les parties du programme en vue d'atteindre le but de ce dernier.

En ce qui concerne les extrants, les données quantitatives et qualitatives disponibles ont démontré que le programme ECAN contribuait bien aux extrants souhaités et progressait vers la réalisation des résultats attendus. Par exemple, là où les cibles étaient disponibles, les observations indiquent que le programme ECAN parvenait à obtenir ses extrants et ses résultats, à l'exception du soutien attendu pour les projets de planification énergétique communautaire, pour lequel les résultats n'ont pas été à la hauteur. La collaboration entre les services publics et les collectivités autochtones et nordiques, et le développement de ces partenariats, s'ils n'ont pas été signalés parmi les résultats attendus au début du programme, se sont avérés être l'une des principales retombées positives d'ECAN.

Un aspect essentiel du programme ECAN était sa capacité de fournir du financement à un stade précoce, de manière à ce que les projets démarrent rapidement. En ayant recours au levier financier, 26 dollars ont été obtenus d'autres sources pour chaque dollar investi par ECAN, ce qui a contribué à l'accomplissement des projets financés par ECAN. Les résultats ont cependant été mitigés, car certains projets étaient financés à 100 % par AINC tandis que d'autres n'ont pu progresser que jusqu'au stade de l'exécution, en raison de ressources limitées (c.-à-d. incapacité d'obtenir la totalité des fonds nécessaires grâce au levier financier).

Leçons retenues et pratiques exemplaires

Les intervenants clés et les bénéficiaires du programme qui ont été interrogés ont fourni des suggestions quant aux leçons à retenir et aux pratiques exemplaires. Ces suggestions concernaient l'importance d'avoir du personnel dédié au programme à l'échelon régional, des relations suivies avec le personnel d'AINC et d'élaborer des plans énergétiques communautaires avant de se lancer dans de grands projets d'énergies renouvelables et d'efficacité énergétique.

Économie et efficience

L'aspect économique du programme ECAN n'a pas été abordé, étant donné qu'il fallait des informations financières pour chaque résultat des projets et des coûts de fonctionnement afin d'estimer l'économie des ressources utilisées. Ces données n'ont pas été recueillies par le programme et ne sont pas disponibles ailleurs.

L'efficience du programme et le coût-efficacité ont été difficiles à déterminer. Bien qu'il soit possible de comparer ECAN avec des programmes similaires, il arrive souvent que les informations relatives à d'autres programmes ne soient pas disponibles. Cependant, les programmes étant fondamentalement différents les uns des autres, il est difficile de les comparer.

Bien que de nombreux intervenants clés ne sachent pas avec certitude si le programme ECAN est rentable en matière de réduction des émissions de GES et de PCA, les bénéficiaires du programme interrogés estimaient le programme rentable vu les bons retours obtenus sur leurs petits investissements dans des projets de plusieurs millions de dollars.

Solutions de rechange

À défaut d'une solution de rechange en harmonie avec la capacité des collectivités autochtones, les principales solutions notées dans la documentation et les études de cas sous-tendent une coopération étroite et un financement conjoint des projets et des initiatives avec d'autres ministères fédéraux et d'autres ordres de gouvernement. Certains intervenants clés pensaient que la décentralisation de la prestation du programme à l'échelon régional serait bénéfique pour le programme lui-même.

Il est recommandé que AINC :

1. S'oriente vers une meilleure intégration des considérations relatives aux énergies renouvelables et à l'efficacité énergétique avec d'autres administrations et avec les programmes d'AINC, tels que le Programme d'opportunités économiques pour les communautés, les grands projets d'exploitation des ressources et de développement économique et l'Initiative sur les partenariats stratégiques dans le domaine du développement économique, avec l'infrastructure communautaire et avec d'autres initiatives de développement communautaire connexes.
2. Clarifie l'orientation générale du programme, pour déterminer s'il est destiné à fonctionner comme un programme visant à offrir des incitatifs pour le lancement de projets dans les collectivités autochtones et nordiques (p. ex. préparer le terrain) ou à contribuer à la réalisation des objectifs de l'écoÉNERGIE.
3. 1. Recentre la stratégie de mesure du rendement afin de renforcer la capacité de recueillir les données appropriées portant sur les résultats des projets financés et du programme.
   2. Aligne les exigences en matière d'administration et de rapports sur les sommes investies et le niveau de risque (programme et bénéficiaire).

Réponse de la direction et plan d'action

Titre du projet : Évaluation du Programme écoÉNERGIE pour les collectivités autochtones et nordiques
Project nº : 1570-7/09065

Le Comité de l'évaluation, de la mesure du rendement et de l'examen a approuvé la réponse de la direction et le plan d'action au sujet de l'Évaluation du Programme écoÉNERGIE pour les collectivités autochtones et nordiques, le 18 novembre 2010.

1. Introduction

1.1 Aperçu

Ceci est le rapport final d'une évaluation de l'impact du Programme écoÉNERGIE pour les collectivités autochtones et nordiques (ECAN). Le programme offre une aide financière pour soutenir les collectivités autochtones et nordiques qui cherchent à investir dans des projets « propres », y compris la production d'énergies renouvelables, l'efficacité énergétique et les plans énergétiques communautaires. La Direction générale de l'évaluation, de la mesure du rendement et de l'examen (DGEMRE), qui fait partie du Secteur de la vérification et de l'évaluation d'Affaires indiennes et du Nord Canada (AINC), a initié cette évaluation en mai 2010. À cette fin, la Direction générale a fait appel aux services de PRA Inc. pour l'aider à chacune des étapes du processus d'évaluation.

ECAN s'inscrit dans la logique du thème de l'énergie propre du Programme de l'air pur (PAP). AINC est responsable de l'évaluation d'ECAN. Les résultats de l'évaluation seront compilés dans un rapport sous le thème de l'énergie propre. Puisque Ressources naturelles Canada (RNCan) est responsable de ce thème, il sera chargé de l'évaluation thématique durant l'exercice 2010-2011. L'évaluation d'ECAN soutiendra aussi le renouvellement des autorisations de contribution en 2010–2011.

L'évaluation devait mener à des conclusions fondées sur des données probantes concernant la pertinence; la conception et la mise en œuvre; les résultats et la réussite et le rapport coût-efficacité et les solutions de rechange de l'approche employée par AINC pour aider les Autochtones et les résidants du Nord dans le cadre du Programme ECAN.

Ce rapport comporte huit sections. La présente introduction décrit le programme et les processus d'évaluation. La deuxième section porte sur la méthodologie et comporte une description de la portée et du moment de l'évaluation, un résumé des aspects et des questions de l'évaluation traités dans ce rapport, de même qu'une description des diverses méthodes utilisées pour recueillir les données d'évaluation et les constatations. Elle traite aussi des limitations de la méthodologie, des stratégies d'atténuation et de l'assurance de la qualité utilisées pour soutenir cette étude. Les parties 3 à 7 comprennent les renseignements essentiels se rattachant à l'évaluation d'ECAN, étant donné qu'elles résument l'ensemble des constatations dégagées au cours du processus de collecte des données. La section 3 traite tout particulièrement de la pertinence d'ECAN, alors que les sections 4, 5, 6, et 7 se concentrent sur le rendement (résultats/réussite, leçons retenues et pratiques exemplaires, efficiente, et économies et solutions de rechange) du programme. Finalement, la section 8 présente les conclusions et recommandations.

1.2 Profil du programme

1.2.1 Contexte et description

ECAN est un des huit programmes sous le thème de l'énergie propre du PAP [Note 1]. Le PAP est le plan d'action du gouvernement du Canada pour atteindre des résultats et une durabilité pour l'environnement au Canada. Lancé en avril 2007, le PAP est une initiative interministérielle sur quatre ans, de 1,9 $ milliard qui traite de problèmes environnementaux multiples pour garantir un environnement propre et sain à tous les Canadiens [Note 2]. Les ministères qui font parties du PAP sont soutenus par le Cadre horizontal de gestion, de responsabilisation et de rapport (CHGRR), qui définit la structure de gouvernance et les rôles et responsabilités des ministères et des divers comités interministériels, et qui cerne les problèmes clés opérationnels pour la mise en œuvre horizontale [Note 3].

Les initiatives écoÉNERGIE sous le thème de l'énergie propre forment un ensemble de mesures pour promouvoir une utilisation plus intelligente de l'énergie, augmenter l'approvisionnement en énergie propre, et soutenir le développement et le déploiement des technologies d'énergie propre [Note 4]. Ces mesures ont été conçues pour faciliter la transition vers la baisse des réductions d'émission qui sera exigée en vertu des aspects réglementaires du PAP à long terme [Note 5].

ECAN est une initiative de subventions et contributions de quatre ans, de 15 millions de dollars, amorcée le 1er avril 2007 [Note 6]. Le programme vise les collectivités autochtones et nordiques et comprend plus de 700 collectivités admissibles, y compris 140 communautés « hors réseau » (dépendant du diesel/gaz/gaz naturel pour leur production d'électricité) [Note 7] et approximativement 700 000 Canadiens [Note 8]. Le programme finance des projets d'énergie propre dans les collectivités autochtones et nordiques, qui se rangent dans les trois catégories ci-dessous :

• L'intégration des technologies écoénergétiques ou durables dans l'infrastructure communautaire nouvelle ou existante, y compris l'amélioration de l'efficacité de la production d'énergie à partir du diesel dans les collectivités hors réseau; l'installation de systèmes de récupération de chaleur; l'installation de systèmes de chauffage centralisés, des systèmes de thermie solaire, des systèmes solaires d'eau chaude et des systèmes améliorés de production d'énergie et de chauffage. Chaque projet peut disposer de 100 000 $ au maximum.
• Élaboration d'importants projets d'énergies renouvelables, y compris petites ou micro centrales hydroélectriques, éoliennes, systèmes d'énergie solaire ou centrales alimentées à la biomasse. Ces projets se situent souvent au-delà de l'étape de faisabilité et peuvent inclure un nombre de partenaires qui aident au financement. Ces projets doivent réduire les émissions des gaz à effet de serre (GES) bien au-delà de 4 000 tonnes pendant la durée de vie du projet estimée à environ 20 ans [Note 9]. Chaque projet dispose d'un montant maximum de 250 000 $.
• Les seuils énergétiques communautaires et les plans énergétiques communautaires, qui vont fournir un soutien technique et financier aux organisations admissibles pour développer les études de faisabilité et les plans d'action qui concernent l'énergie propre dans leurs collectivités. Chaque collectivité peut disposer de 5 000 $ à 15 000 $ [Note 10], [Note 11].

Autre que le montant maximum en dollars, ECAN dispose aussi d'un pourcentage maximum de financement de projets. Le programme ne financera pas plus de 30 % des frais de développement et des dépenses en immobilisations dans les collectivités sur le réseau alors que les collectivités hors réseau peuvent percevoir jusqu'à 50 % des coûts du projet [Note 12]. Il est prévu que le programme permette le développement de plus de 200 mégawatts (MW) de capacité de production d'électricité installée, ce qui devrait mener à une réduction de 1,3 mégatonne (Mt) de GES grâce au remplacement de la production d'électricité par le gaz naturel, le charbon et le diesel [Note 13].

ECAN a été conçu sur le modèle du Programme d'action pour les collectivités autochtones et nordiques (PACAN), programme similaire offert par AINC entre 2003 et 2007. Le PACAN faisait la promotion des projets d'énergie propre en fournissant des systèmes de soutien, le développement des capacités et la sensibilisation dans les collectivités autochtones et nordiques et en faisant intervenir des partenaires intéressés. Il a permis d'assurer la prestation de plus de 100 projets [Note 14].

Au départ, il était prévu qu'ECAN finance de 22 à 35 projets par an, y compris de 6 à 15 projets d'énergies renouvelables et d'efficacité énergétique et de 16 à 20 projets de plans énergétiques communautaires [Note 15]. En date du 31 mars 2010, 76 projets, dans 64 collectivités autochtones et nordiques, ont été financés dans le cadre d'ECAN avec une moyenne annuelle d'un peu plus de 25 projets par an et une somme totale de financement de 7,6 millions de dollars (voir tableau 2, section 1.2.3). Les projets financés comprennent 55 projets d'énergies renouvelables, huit projets d'efficacité énergétique et treize projets de plans énergétiques communautaires [Note 16]. Sur ces projets, six projets d'énergies renouvelables et quatre projets d'efficacité énergétique avaient été mis en œuvre au 31 mars 2010, et il est estimé que huit autres projets d'énergies renouvelables et cinq projets d'efficacité énergétique seront mis en œuvre d'ici la fin du programme, le 31 mars 2011 [Note 17].

1.2.2 Objectifs du programme et résultats prévus

En juin 2007, un cadre intégré de gestion et de responsabilisation axées sur les résultats et de vérification fondée sur le risque (CGRR/CVFR) a été mis au point pour ECAN. Dans ce cadre, ECAN avait deux objectifs qui étaient de faciliter les projets d'énergies renouvelables et les projets d'efficacité énergétique qui pourraient :

• réduire les émissions de GES par un volume estimé à 1,3 Mt pendant la durée de vie des projets soutenus par cette initiative [Note 18]; et
• diminuer les émissions des principaux contaminants atmosphériques (PCA), pour améliorer la qualité de l'air [Note 19].

On prévoit d'atteindre ces objectifs en finançant des projets qui visent à réduire ou à déplacer la production d'électricité au gaz naturel, au charbon ou au diesel et à faire davantage usage d'énergies renouvelables et de technologies plus efficaces sur le plan énergétique. On prévoit aussi qu'ECAN ait d'autres retombées en matière d'avantages sociaux et environnementaux, et de développement économique pour les collectivités qui participent au programme [Note 20].

Les conditions de financement doivent être élaborées pour chaque catégorie de projet. Une des conditions est que le financement d'ECAN peut être alloué à une ou plusieurs des activités suivantes liées directement à un projet :

• Le développement de la capacité communautaire à l'égard du changement climatique;
• L'estimation des émissions de GES;
• Les réductions des émissions de GES, la surveillance et la vérification ou les échanges de droits d'émission;
• L'application des technologies d'efficacité énergétique et d'énergies renouvelables;
• Le développement des ressources humaines liées aux technologies d'efficacité énergétique et d'énergies renouvelables;
• Les éléments de gestion de projet liés à l'estimation et à la gestion des GES; et
• Les études de préfaisabilité/faisabilité, les évaluations environnementales et les analyses de ressources [Note 21].

Les activités suivantes d'ECAN avaient aussi été définies comme étant essentielles pour atteindre les objectifs :

• Les communications, le réseautage et les activités de sensibilisation, ciblant d'une part le personnel ministériel des programmes d'immobilisations dans les régions pour aider à reconnaître et élaborer des projets viables, d'autre part les parties intéressées externes destinées à être des partenaires importants dans le soutien et la prestation du projet;
• Le soutien procédural pour l'acceptation, l'examen et l'approbation des projets;
• Les conseils technologiques et financiers sur la mise en place de l'énergie renouvelable et de la technologie de rendement énergétique dans les collectivités nordiques et autochtones; et
• L'examen technique, l'évaluation et l'approbation des projets [Note 22].

Résultats attendus

La mise en œuvre des activités indiquées ci-dessus est censée contribuer à atteindre une série de résultats immédiats, intermédiaires et à long terme. Voici les résultats prévus d'ECAN :

Résultats immédiats

• Collectivités autochtones et nordiques participant au Programme écoÉNERGIE;
• Améliorations des compétences techniques et de gestion des collectivités autochtones et nordiques pour l'énergie propre; et
• Mise en œuvre réussie des projets d'énergies renouvelables et d'efficacité énergétique.

Résultats intermédiaires

• Les collectivités autochtones et nordiques ont les connaissances et les outils nécessaires pour accroître l'efficacité énergétique de leur infrastructure communautaire.
• Diminution des émissions de GES et des PCA dans les collectivités autochtones et nordiques;
• Augmentation de l'efficacité énergétique et de l'utilisation d'énergies renouvelables dans les collectivités nordiques et autochtones;
• Infrastructure énergétique plus fiable dans les collectivités nordiques et autochtones; et
• économies de coûts d'énergie dans les collectivités nordiques et autochtones.

Résultats à long terme

• Réduction des émissions de GES et des PCA dans les collectivités nordiques et autochtones (réduction des GES de 1,3 mégatonne pendant la durée de vie des projets soutenus par cette initiative); et
• Collectivités nordiques et autochtones durables et saines [Note 23].

Le modèle logique (annexe A) décrit comment les activités s'alignent sur les résultats attendus d'ECAN. La section 3 (constatations de l'évaluation) discute des activités et des résultats obtenus.

1.2.3 Gestion de programme

Le processus de sélection de projet pour ECAN comprend les étapes clés de prise de décisions à l'égard du financement. Le Comité d'examen des projets (c.-à-d. le Groupe de travail sur les grands projets énergétiques (GTGPE) est responsable de la révision des projets proposés, et doit s'assurer que les projets conseillés sont réalisables et répondent aux critères d'admissibilité et finalement fournissent les recommandations d'approbation de projet au directeur. Le GTGPE, qui inclut des représentants du développement économique, des programmes d'immobilisations, des secteurs des affaires du Nord au sein du Ministère et un entrepreneur technique (c.-à-d. un tiers) [Note 24] se réunissent plusieurs fois par an.

1.2.4 Ressources du programme

Le financement sous forme de subventions et de contributions provient de deux autorisations :

1. Autorisation de contribution 334 – contribution pour promouvoir l'utilisation sécuritaire, le développement, la conservation et la protection des ressources naturelles du Nord (8 millions de dollars), qui est liée au résultat stratégique « Les gens » (Des collectivités nordiques saines);
2. Autorisation de contribution 377 – paiements pour soutenir les Indiens, les Inuits et les Innus dans le but de fournir des services publics dans les domaines comme : les immobilisations et l'entretien, 2 millions de dollars, qui est lié au résultat stratégique « L'économie » (infrastructure communautaire).

Au départ d'ECAN, les ressources devaient être allouées d'après le Tableau 1.

ETP = équivalent temps plein; F et E = fonctionnement et entretien; RASE = régime des avantages sociaux des employés; S et C = subventions et contributions; TPSGC = frais de locaux de Travaux publics et Services gouvernementaux Canada.
Source : AINC. EcoEnergy for Aboriginal and Northern Communities Initiative Results-based Management and Accountability Framework and Risk Based Audit Framework, 2007.

Les dépenses réelles du programme jusqu'en 2009-2010 se trouvent dans le Tableau 2.

F et E = fonctionnement et entretien; ETP = équivalent temps plein; S et C = subventions et contributions; TPSGC = frais de locaux de Travaux publics et Services gouvernementaux Canada.
Source : AINC. HMARF Reporting Template 2008-09, 2009 (fourni par le programme 12 mai 2010; AINC. Program: ecoENERGY for Aboriginal and Northern Communities, 2009 (fourni par le programme 12 mai 2010); AINC/Division du changement climatique. Rapport annuel 2007-2008, 2010 (fourni par le programme 10 août 2010).

Les dépenses globales de programme par exercice financier correspondent assez bien aux prévisions. Alors que les dépenses du programme sont inférieures aux prévisions dans la première année suite à son démarrage, elles sont légèrement plus élevées dans les deux exercices financiers suivants. Les subventions et contributions du programme ont suivi un schéma comparable à celui des dépenses totales. Le programme dispose de 3 782 471 $ à dépenser en 2010-2011, ce qui représente environ 30 000 $ de plus que prévu au début du programme.

2. Méthodologie de l'évaluation

2.1 Portée et moment de l'évaluation

L'évaluation a étudié les activités d'ECAN entreprises entre le 1er avril 2007 et le 31 mars 2010. Le Comité de l'évaluation, de la mesure du rendement et de l'examen (CEMRE) d'AINC a approuvé les termes de référence le 14 mai 2010. Le travail sur le terrain a été mené entre mai et septembre 2010.

2.2 Enjeux et questions de l'évaluation

Conformément aux termes de référence, l'évaluation a porté sur les enjeux suivants :

Pertinence

• Besoin continu
  • A1.1 Quel est le besoin environnemental auquel le programme tente de répondre?
• Conformité aux priorités du gouvernement
  • A2.1 Le programme est-il conforme aux priorités du gouvernement et aux objectifs stratégiques d'AINC?
• Harmonisation avec le rôle et les responsabilités du gouvernement fédéral
  
  • A3.1 Existe-t-il un rôle légitime, approprié et nécessaire pour AINC dans des projets d'énergie propre pour les collectivités autochtones et nordiques?

Rendement

• Efficacité (conception et prestation, résultats/réussite)
  • B1.1 Dans quelle mesure les activités d'ECAN ont-elles été mises en œuvre comme prévu?
  • B1.2 Dans quelle mesure la direction du programme détermine-t-elle les leçons retenues, les pratiques exemplaires et les améliorations exigées dans la conception et la prestation des programmes et prend-elle les dispositions requises à cet égard?
  • B1.3 Dans quelle mesure des mesures du rendement réalistes ont-elles été établies au début du programme?
  • B1.4 Le processus de sélection des projets est-il efficace?
  • B1.5 Des mesures de surveillance et de reddition de comptes sont-elles en place? Si oui, sont-elles appropriées? L'information fournie est-elle opportune et utile?
  • B1.6 Dans quelle mesure le programme a-t-il fourni les extrants prévus?
  • B1.7 Dans quelle mesure le programme a-t-il réalisé ses résultats immédiats, intermédiaires et à long terme?
  • B1.8 Dans quelle mesure le programme a-t-il pu servir de levier financier pour assurer la mise en œuvre efficace des projets?
  • B1.9 Dans quelle mesure le programme a-t-il contribué à une interaction et une collaboration constructives entre les services publiques et les collectivités autochtones et nordiques?
  • B1.10 Quels résultat inattendus (positifs ou négatifs) ont été obtenus suite à la mise en œuvre du programme?
  • B1.11 Avez-vous appris des pratiques exemplaires ou retenu des leçons par suite de ce programme?
• Démonstration de l'efficacité et de l'économie (rapport coût-efficacité/solutions de rechange)
  • B2.1 Le programme est-il dans les limites du budget? Si non, comment expliquer les écarts (positifs ou négatifs)?
  • B2.2 Est-ce que le programme ECAN fournit une méthode ayant un bon rapport coût-efficacité pour réduire les GES et les PCA?
  • B2.3 Existe-t-il d'autres méthodes qui soient aussi efficientes ou efficaces, ou plus, pour réduire les GES et les PCA dans les collectivités autochtones et nordiques que le programme ECAN?

2.3 Méthodologie de l'évaluation

Les constatations et conclusions de l'évaluation sont basées sur l'analyse et la validation des diverses sources de données suivantes (voir aussi l'annexe B, Grille d'évaluation). Cette sous-section décrit les diverses méthodes.

2.3.1 Sources de données

Quatre sources de données ont été utilisées pour soutenir l'évaluation d'ECAN.

Étude des documents et examen des données

L'étude des documents incluait un examen des fichiers du programme, des documents d'information, des accords, des outils de mesure du rendement et d'autres documents provenant du site Web d'AINC. L'examen des données incluait l'évaluation et l'analyse des données financières et de mesure du rendement d'ECAN.

Revue littéraire

La revue littéraire a été faite à partir des renseignements fournis par AINC, une recherche des documents universitaires et techniques sur Google Scholar  [Note 25], une étude des périodiques clés dans le domaine et un examen des études conduites par d'autres administrations à l'échelle nationale ou internationale. La recension citait des études majeures et représentatives, au lieu d'offrir un exposé et une énumération exhaustifs de la recherche dans le domaine.

Entrevues d'intervenants clés

Le personnel d'AINC a fourni à PRA Inc. une liste de personnes susceptibles de participer aux entrevues. Grâce à cette liste, PRA Inc. a réalisé des entrevues avec 10 représentants :

• Personnel d'AINC (cinq); et
• Intervenants de l'extérieur (deux bénéficiaires, un représentant d'un organisme fédéral et deux conseillers qui avaient fourni une orientation aux promoteurs dans l'établissement des propositions et la gestion des projets), soit un total de cinq.

PRA Inc. a mené huit des entrevues par téléphone dans la langue de prédilection des intervenants. Une autre entrevue a été conduite avec deux représentants du personnel d'AINC. Chaque entrevue a duré de 45 à 60 minutes. Avec la permission des personnes interrogées, les entrevues ont fait l'objet d'un enregistrement sonore pour assurer l'exactitude des informations.

Avant que PRA Inc. communique avec les intervenants, ces derniers ont été informés de l'évaluation par la DGEMRE d'AINC, par courriel, et du fait qu'ils allaient être invités à participer à une entrevue. Avant l'entrevue, PRA Inc. a fourni aux représentants une copie d'un guide d'entrevue pertinent, pour les aider à préparer leurs réponses. Des guides séparés ont été conçus pour les gestionnaires d'AINC et les intervenants de l'extérieur, afin de capturer les opinions des représentants sur divers sujets relatifs à ECAN.

Une fois les notes des entrevues tapées, elles ont été envoyées aux intervenants pour vérification. Soit les intervenants déclaraient que les notes étaient justes et exactes, soit ils fournissaient d'autres renseignements et éclaircissements.

Tout au long du rapport, l'échelle fournie dans le tableau 3 ci-dessous sera utilisée pour décrire la proportion de personnes interrogées et la fréquence des réponses offrant une perspective particulière, et pour analyser les données des entrevues.

Études de cas :

Le personnel d'ECAN a fourni une liste de projets potentiels d'étude de cas à PRA Inc. Grâce à cette liste, PRA Inc. a complété les huit études de cas décrites dans le tableau 4.

Les études de cas permettaient de recueillir des informations sur un sous-ensemble d'activités financées par ECAN pour illustrer les activités et les résultats. Les études de cas ont été sélectionnées en fonction de l'importance, de l'emplacement et du genre de projet. En fonction de ces critères, cinq projets d'énergies renouvelables ont été sélectionnés, deux projets d'efficacité énergétique et un plan énergétique communautaire.

PRA Inc. a mené huit entrevues d'études de cas par téléphone, avec les bénéficiaires de programme dans leur langue officielle de prédilection. Chaque entrevue a duré de 45 à 60 minutes. Avec la permission des personnes interrogées, les entrevues ont fait l'objet d'un enregistrement sonore pour assurer l'exactitude de l'information. La conduite de chaque étude de cas a compris un examen des dossiers/de la documentation du projet et des données connexes.

Le processus est le même que celui utilisé pour l'entrevue des intervenants clés. Après les entrevues des bénéficiaires, les informations des promoteurs ont été ajoutées à celles des dossiers de projet des études de cas pour établir un résumé des études de cas. Les bénéficiaires du programme interrogés ont reçu un exemplaire préliminaire du rapport d'étude de cas pour vérification et révision, si nécessaire. [Note 26].

2.3.2 Limites de la méthodologie et des données

1. Qualité des données relatives aux projets. L'information du projet, y compris l'analyse de RETScreen, la nature des combustibles fossiles remplacés et les bénéfices nets des projets d'énergies renouvelables et d'efficacité énergétique, indique clairement la contribution d'ECAN au thème de l'air propre et au PAP. Toutefois, ces informations n'ont pas encore été recueillies pour tous les projets avant 2009-2010.
   
   Atténuation : L'évaluation comprenait un examen documentaire et des entrevues avec les intervenants clés et des études de cas pour étayer les analyses quantitatives. Les données quantitatives recueillies dans la base de données du projet par ECAN sont plus complètes qu'au cours des deux exercices financiers précédents et ont été exploitées dans toute la mesure du possible.
   
   Impact sur l'évaluation : Les lacunes dans les données empêchent une analyse complète de l'impact quantitatif du programme, puisque le rapport ne peut pas retracer la contribution totale des projets. Toutefois, l'impact est limité car l'enquête comprenait plus d'une source, créant une base d'information suffisante pour évaluer les résultats du programme. Les lacunes dans les données sont discutées tout au long des constatations pour montrer clairement quelles sont les limites dans l'analyse.
2. Données sur le rendement. Une limitation majeure de cette étude a été le manque de données sur les résultats socioéconomiques et les PCA. Certaines mesures du rendement ne peuvent pas être évaluées quantitativement. Aussi, de nombreuses mesures du rendement n'avaient pas de cibles.
   
   Atténuation : L'information qualitative a été recueillie en plus des données quantitatives disponibles pour évaluer les résultats dans toute la mesure du possible.
   
   Impact sur l'évaluation : L'impact principal de cette limitation est que, dans certains cas, les données qualitatives ont été utilisées là où des données quantitatives auraient été plus significatives. Le succès de la réduction des PCA – résultat clé du programme – n'a pas été évalué par la stratégie de mesure du rendement et les données n'étaient pas disponibles pour cette évaluation.
3. Nombre total d'entrevues avec des bénéficiaires. À cause de la distribution géographique des bénéficiaires (l'Ontario et la Colombie-Britannique perçoivent la majeure partie du financement d'ECAN) et de la taille des fonds alloués à ECAN, par rapport à la nature du programme, seulement dix entrevues (huit bénéficiaires et deux intervenants clés) ont été conduites sur un total de 64 bénéficiaires.
   
   Atténuation : L'évaluation a triangulé les réponses des personnes interrogées avec les données disponibles du programme et du projet recueillies par l'examen des fichiers et de la documentation. En s'appuyant plus sur les preuves documentaires et les données administratives, cela a renforcé la capacité de répondre à toutes les questions et augmenté la validité du rapport. Des efforts ont été faits pour s'assurer que les études de cas choisies représentaient bien les catégories de projets financés par le programme et que les entrevues ciblaient des intervenants bien informés, qui pouvaient s'exprimer sur des questions clés.
   
   Impact sur l'évaluation : Le risque principal était que les perspectives des bénéficiaires ne soient pas adéquatement représentées, ce qui pourrait mener à une perception erronée de l'impact véritable du programme au niveau de la collectivité. Néanmoins, de nombreux résultats principaux du programme reposent sur des données quantitatives (c.-à-d. réduction des GES). Suffisamment d'information avait été recueillie pour confirmer les conclusions des résultats représentés de façon plus appropriée par les données qualitatives (c.-à-d. le développement de compétences de gestion et de compétences techniques). En outre, nous ne nous sommes pas fondés de façon disproportionnée sur un groupe d'entrevue, pour éviter de fausser les résultats.
4. Attribution des résultats
   
   4.1 Rôle des gouvernements provinciaux/territoriaux (P/T) et des services publics. Les initiatives P/T (du gouvernement et des services publics) en matière d'efficacité énergétique et d'énergie durable augmentent rapidement et vont éclipser la politique et le programme fédéral. La plupart des services publics provinciaux ont des programmes relatifs à la demande (incitations à limiter la consommation d'énergie) et des mécanismes pour augmenter la proportion d'énergies renouvelables qui peut être vendue à l'entreprise de services publics pour réduire la consommation énergétique. Les services publics P/T d'électricité, et surtout ceux qui disposent des capacités hydroélectriques importantes comme la Colombie-Britannique ou le Yukon, sont bien placés pour fournir des contributions importantes afin de soutenir les initiatives locales de production électrique.
   
   Atténuation : PRA Inc. a recueilli beaucoup d'informations des provinces et des services publics grâce à ce projet et aux projets antérieurs. Ce contexte est essentiel pour comprendre complètement ECAN. La portée de l'activité P/T est indiquée dans le rapport, mais n'est pas quantifiée d'une façon qui permet une analyse détaillée.
   
   Impact sur l'évaluation : Parce que de nombreux ordres de gouvernement fournissent des programmes dans ce domaine, il est difficile de discerner si les résultats proviennent des activités d'ECAN ou d'autres organismes de financement. La question du double emploi est soulevée ci-dessous dans la section A.3.1 des résultats par rapport aux rôles et aux responsabilités.
   
   4.2 Stade précoce du programme. La plupart des projets viennent juste d'être terminés ou sont en train de l'être.
   
   Atténuation : L'information sur les projet a fourni une bonne indication afin de savoir si les résultats étaient en voie de réalisation. Les études de cas ont offert offraient des perspectives plus détaillées et complètes sur les projets étudiés.
   
   Impact sur l'évaluation : L'impact sur l'évaluation est limité. De nombreux résultats immédiats et intermédiaires sont bien étayés par les données disponibles. Grâce à la modélisation et aux prévisions, il existe des preuves pour étayer le résultat à long terme de réduction des GES.
5. Mesure des émissions de GES.
   
   5.1 Méthode utilisée pour mesurer les émissions de GES. Un objectif principal de ce programme est de réduire les émissions de GES. La réduction des GES découlant d'un projet d'énergie propre est rarement mesurée directement. Les résultats sont plutôt estimés en fonction d'une série d'hypothèses techniques (modélisées ou simulées) sur la façon dont le nouveau projet va réduire les GES. Ces hypothèses techniques reposent sur les conditions de réalisation « en laboratoire » qui peuvent ne pas refléter l'expérience de la mise en œuvre réelle.
   
   La projection quant à savoir comment les projets d'ECAN contribuent aux résultats du thème de l'énergie propre et du PAP reflète cette stratégie de modélisation, par opposition à la mesure directe de la réduction des GES. Il n'existe pas de solutions de rechange pour ces résultats « simulés », et c'est donc une restriction importante quant aux résultats d'évaluation de toute politique cherchant à atténuer l'augmentation des GES.
   
   Il est aussi vrai que les résultats reflètent les impacts prévus des propositions de projet et non pas les mesures réelles une fois le projet complété. Donc, toutes les différences qui se produisent pendant l'étape de mise en œuvre ne sont pas capturées dans les estimations de réduction des GES.
   
   Atténuation : On a effectué un examen de la méthode utilisée par ECAN pour calculer ses estimations de réduction de GES pour s'assurer qu'il s'agit d'une pratique exemplaire. La seule atténuation serait de remplacer les mesures prévues par des mesures réelles, en utilisant des vérifications de l'efficacité énergétique avant et après le lancement du projet. Bien que cela soit clair en principe, aucun programme d'écoENERGIE sous le thème de l'énergie propre n'a financé de telles activités de suivi.
   
   Impact sur l'évaluation : L'utilisation des réductions prévues de GES pour mesurer les résultats est une pratique courante au sein du gouvernement fédéral pour des programmes similaires. Ainsi, le fait d'utiliser cette méthode permet d'effectuer des comparaisons entre les programmes.

2.4 Rôles, responsabilités et contrôle de la qualité

La DGEMRE et PRA Inc. ont travaillé ensemble pendant les étapes de conception, de collecte des données et d'analyse de cette évaluation. Chaque méthodologie décrite dans la section 2.3 fut supportée par un rapport technique. La DGEMRE, en tant qu'autorité du projet, a révisé chaque rapport technique et soumis des commentaires à PRA Inc. avant la finalisation des rapports. Les rapports techniques sont utilisés pour développer le présent rapport.

Le rapport a été validé par le programme et révisé par les pairs au sein de la DGEMRE pour en assurer la qualité.

3. Constatations de l'évaluation - Pertinence

ECAN est un programme fédéral pertinent dans le cadre du PAP. Il se concentre sur la réduction des GES et des émissions de PCA par une utilisation réduite des carburants fossiles, en mettant en œuvre des sources renouvelables de production d'électricité, et par la baisse de la consommation d'énergie grâce à l'augmentation de l'efficacité.

Le rôle d'AINC est approprié dans les projets d'énergie propre, en raison de sa responsabilité et de son expérience avec les collectivités autochtones et nordiques, et ECAN appuie les objectifs stratégiques d'AINC. Bien que les provinces et territoires aient compétence à l'égard de la production d'énergie, la contribution d'ECAN est reconnue par de nombreux bénéficiaires comme étant critique pour les projets d'énergies renouvelables et d'efficacité énergétique.

A1.1 Quel est le besoin environnemental auquel le programme tente de répondre?

Il existe un consensus scientifique selon lequel les changements climatiques récents sont pour beaucoup le résultat d'une utilisation accrue des carburants fossiles, ce qui entraîne une augmentation des GES et des PCA, qui à leur tour contribuent à faire monter les températures à cause de l'effet de serre. L'éloignement augmente également « l'empreinte carbone », à cause des exigences de transport, par exemple pour apporter le diesel aux collectivités.

Le programme a pour objectif de réduire la quantité des GES et des PCA émis par les collectivités autochtones et nordiques en favorisant les technologies d'énergies renouvelables et d'efficacité énergétique et en développant des plans énergétiques communautaires. Cependant, les preuves scientifiques indiquent que le changement climatique aura sans doute un impact néfaste plus important sur les collectivités autochtones et nordiques que sur d'autres collectivités au Canada, les émissions des GES produites dans les collectivités autochtones et nordiques ne représentent pas plus de 1 % de la production nationale (d'après les données d'EC de 2005 sur les émissions des GES par province). Ainsi, l'atténuation des émissions des GES/PCA pour les collectivités nordiques et autochtones ne peut avoir qu'un petit effet global sur la réduction des émissions de GES au Canada.

A2.1 Le programme est-il conforme aux priorités du gouvernement et aux objectifs stratégiques d'AINC?

ECAN est conforme aux priorités du gouvernement et aux objectifs stratégiques d'AINC.

Conformité aux priorités du gouvernement

Les objectifs d'ECAN sont de réduire les émissions des GES et des PCA. Toutefois, ECAN n'a pas recueilli de données sur les émissions des PCA. Les points suivant montrent en quoi les activités d'ECAN sont conformes aux priorités du gouvernement :

• Dans les discours du Trône de 2007 et 2008 des engagements ont été pris pour réduire les émissions des GES. Plus précisément, dans le discours du Trône de 2008, le gouvernement fédéral s'est engagé à réduire les émissions totales de GES du Canada de 20 % d'ici 2020 [Note 27]. Le discours du Trône de 2009 parlait d'aborder la question du changement climatique et de continuer à appliquer une méthode équilibrée pour réduire les émissions. Le discours spécifiait que le Canada allait tenter d'atténuer le changement climatique et d'« agir comme chef de file mondial dans le secteur de la production d'énergie propre » [Note 28]. Un des résultats et des objectifs à long terme d'ECAN est de réduire les émissions de GES, et une de ses fonctions principales est de soutenir la mise en œuvre de projets d'énergies renouvelables dans les collectivités autochtones et nordiques;
• En soutien aux engagements pris dans les discours du Trône, plusieurs budgets fédéraux ont alloué des fonds pour réduire les émissions de GES et renforcer le développement économique des collectivités nordiques et autochtones [Note 29]; et
• ECAN fait partie du thème de l'énergie propre dans le cadre du PAP.

Conformité avec les objectifs stratégiques d'AINC

D'après le Rapport sur le plan et les priorités de 2007-2008, les objectifs d'énergies renouvelables/d'efficacité énergétique s'alignent sur les objectifs stratégiques des collectivités nordiques saines, car ils portent sur les émissions de PCA et de GES, qui sont néfastes pour la santé humaine. Aussi, le CGRR/CVFR indique que les objectifs du programme sont en conformité avec les objectifs ministériels d'AINC et y contribuent :

• Offrir un soutien aux collectivités autochtones et nordiques en termes d'investissement dans les biens matériels en vue de contribuer à réduire les risques pour la santé et la sécurité;
• Veiller à ce que les activités soient effectuées de façon saine et durable sur le plan environnemental; et
• Permettre aux résidants du Nord, à leurs gouvernements, à certains organismes et intervenants ainsi qu'aux collectivités et organisations des Premières nations et inuites de mener des activités qui complètent les efforts ministériels relatifs à l'utilisation sans risque, au développement, à la conservation et à la préservation des ressources naturelles du Nord et à la mise en œuvre d'initiatives stratégiques concernant les contaminants dans le Nord, le changement climatique et le développement durable [Note 30].

A3.1 Existe-t-il un rôle légitime, approprié et nécessaire pour AINC dans les projets d'énergie propre pour les collectivités autochtones et nordiques?

AINC couvre un secteur unique avec son mandat fédéral et sa responsabilité des collectivités autochtones et nordiques. De nombreux intervenants clés s'accordaient à dire qu'ECAN devait être mis en œuvre par AINC à cause de la relation de ce dernier avec les collectivités autochtones et nordiques.

Compte tenu du vaste champ d'application des questions d'énergie, les organismes d'État provinciaux et territoriaux du secteur de l'énergie et les services publics réglementés y trouvent un rôle à jouer, puisque ceux-ci proposent des instruments politiques puissants. Le gouvernement fédéral/ECAN doit surveiller le rôle des gouvernements provinciaux et territoriaux et des services publics pour s'assurer que ses activités ne recoupent pas ni ne fassent double emploi avec celles d'autres ordres de gouvernement.

Il faut aussi noter que là où le gouvernement fédéral n'intervient pas, par le truchement du Programme ECAN, les provinces et territoires ne peuvent pas intervenir pour promouvoir les énergies renouvelables et l'efficacité énergétique dans les collectivités autochtones. De plus, à cause du coût des projets d'énergies renouvelables et d'efficacité énergétique, les intervenants clés indiquent que tous les fonds qui peuvent être disponibles sont importants pour progresser dans l'utilisation accrue des énergies renouvelables. Presque tous les intervenants clés et presque la moitié des bénéficiaires ont aussi noté que le financement d'ECAN représente souvent l'engagement initial reçu par le projet. Compte tenu de cela, de nombreux projets n'auraient sans doute pas été poursuivis ou l'auraient été sur une échelle moindre sans le financement d'ECAN pour initier le financement public. Ce levier financier accompli par ECAN renforce encore plus sa valeur et l'importance de la participation d'AINC.

4. Constatations de l'évaluation - Rendement (Efficacité / réussite)

4.1 Activités

La plupart des activités planifiées d'ECAN ont été mises en œuvre à un niveau ou un autre. Dès son commencement, le programme a élaboré les processus de surveillance, de rapports et de sélection des projets, ainsi que la mise en œuvre des mesures de rendement. Les informations recueillies dans le cadre de la stratégie de mesure du rendement ne permettent pas de faire une évaluation exhaustive de certains résultats.

Les preuves indiquent que la gestion détermine les améliorations principales à apporter et agissent en conséquence.

B1.1 Dans quelle mesure les activités d'ECAN ont-elles été mises en œuvre comme prévu?

La plupart des activités planifiées d'ECAN ont été mises en œuvre dans une certaine mesure. Lors de l'initialisation du programme, AINC avait planifié les quatre activités suivantes :

1. Des activités de communication, de réseautage et de sensibilisation - destinées au personnel ministériel des programmes d'immobilisations dans les régions et aux intervenants de l'extérieur;
2. Un soutien procédural pour l'acceptation, l'examen et l'approbation des projets;
3. Des conseils technologiques et financiers sur la mise en œuvre des technologies d'énergies renouvelables et de l'efficacité énergétique dans les collectivités nordiques et autochtones; et
4. L'examen technique, l'évaluation et l'approbation des projets.

La direction du programme a développé des indicateurs pour démontrer comment AINC avait planifié de mesurer la mise en œuvre des activités; toutefois, aucun objectif n'a été établi. Bien que certaines informations quantitatives sur les activités soient disponibles, elles ne s'alignent pas toujours directement avec les indicateurs. Les autres données sont qualitatives. À cause de ces facteurs, il est difficile de mesurer complètement « l'étendue » de la mise en œuvre de chaque activité.

Presque tous les intervenants clés d'AINC ont indiqué que la communication a généralement été efficace à l'administration centrale et à l'échelon régional, alors que les autres ont indiqué qu'elle n'avait été efficace qu'à l'échelon régional. Pour ce qui est de l'administration centrale, les intervenants clés ont noté qu'une brochure pertinente avait été développée et que le personnel avait participé à plusieurs événements au pays. À l'échelon régional, les intervenants clés ont indiqué que le matériel professionnel avait été élaboré et que le personnel régional avait participé à plusieurs séances d'information et à des réunions intergouvernementales.

Tous les intervenants clés d'AINC et presque tous les bénéficiaires interrogés ont dit que le personnel d'AINC avait été serviable et rapide pour répondre aux questions pendant la durée du processus de demande. Ils ont indiqué que le personnel était toujours prêt à aider les collectivités à remplir une demande de projet et était capable de le faire efficacement. Les bénéficiaires du programme ont aussi confirmé qu'ils avaient bénéficié d'une bonne relation de travail avec le personnel d'AINC pendant le processus de demande.

En 2009-2010, AINC a reçu et répondu à 88 demandes concernant ECAN. Toutefois, certains intervenants clés d'AINC ont signalé que des experts fournissaient les conseils techniques et financiers et menaient des examens techniques généraux lorsque c'était nécessaire.

Au cours des trois premières années d'ECAN (2007-2008 à 2009-2010), AINC a reçu et examiné 111 demandes de financement d'ECAN. Au total, 76 (68,5 %) de ces demandes ont été approuvées pour recevoir un financement.

Au niveau du projet, d'après le CGRR, le personnel du programme est responsable de la surveillance des bénéficiaires au moyen d'un ensemble d'activités. Ces activités ont lieu en fonction des ressources disponibles.

B1.2 Dans quelle mesure la direction du programme identifie-t-elle les leçons retenues et les pratiques exemplaires et prend-elle les dispositions requises à cet égard?

Les « leçons retenues et les pratiques exemplaires » ont été couvert au point B1.11. En référence à « des améliorations exigées dans la conception et la prestation des programmes », un examen de gestion conduit en 2009 avait fourni des recommandations. D'après les documents, l'examen des dossiers et les entrevues avec des intervenants clés, l'administration avait répondu aux améliorations principales listées dans l'examen de gestion de 2009, comme des rapports trimestriels fournissant des données concernant la progression vers les objectifs et les activités clés du programme, des données quantitatives recueillies dans le cadre de la base de données d'ECAN, qui sont plus complètes pour 2009-2010 que pour les deux exercices financiers précédents, et le guide de gestion des opérations, qui a été finalisé et mis à jour pour la dernière fois le 19 août 2009.

B1.3 Dans quelle mesure des mesures du rendement réalistes ont-elles été établies au début du programme?

De nombreuses mesures du rendement ont été établies au début du programme, les indicateurs ont été définis et des données ont été recueillies dans le cadre du programme (annexe C). Toutefois, il n'a pas été question des résultats principaux, comme les PCA, et il existe trop d'indicateurs, qui sont souvent répétitifs et ne fournissent pas le bon niveau d'information.

Les réponses aux questions de l'évaluation B1.1, B1.6 et B1.7 fournissent la preuve que presque tous les résultats prévus ont été atteints et peuvent se mesurer quantitativement. Seules les activités de communication, de réseautage et de sensibilisation… et le résultat intermédiaire des infrastructures d'énergie plus fiables dans les collectivités nordiques et autochtones n'ont pas été mesurés quantitativement par le programme.

Beaucoup d'intervenants clés d'AINC ne connaissaient pas bien les mesures de rendement du programme.

B1.4 Le processus de sélection des projets est-il efficace?

Le processus de sélection des projets ECAN semble se dérouler de manière efficace et en temps utile. Le délai normal pour obtenir l'approbation des projets d'études de cas a été d'environ 1 mois et demi, ce que les bénéficiaires du programme ont considéré comme acceptable.

Tous les projets d'études de cas ont été achevés avec succès, d'après l'examen des fichiers, le rapport de clôture et les bénéficiaires interrogés. Tous les intervenants clés d'AINC se sont accordés à dire que de bons critères avaient été établis pour sélectionner les projets. Toutefois, deux projets ont reçu un financement d'ECAN pour des étapes préliminaires, et n'ont pas été en mesure d'assurer le financement pour commencer la construction réelle. Même si l'existence d'autres financements (réels ou potentiels) est un critère de financement examiné dans le processus de sélection de projet d'ECAN, ces deux projets n'ont pas réussi à obtenir les fonds nécessaires grâce au levier du financement d'ECAN.

De nombreux intervenants clés d'AINC ont aussi indiqué que le programme aurait pu faire plus pour sensibiliser les collectivités en vue d'accroître le nombre de propositions soumises et créer une stratégie pour mieux se concentrer sur les efforts d'ensemble du programme. Toutefois, les données indiquent que 24 propositions de projet ont été reçues en 2007-2008, 34 en 2008-2009 et 56 en 2009-2010. Cela représente une augmentation de 133 %.

B1.5 Des mesures de surveillance et de reddition de comptes sont-elles en place? Si oui, sont-elles appropriées? L'information fournie est-elle opportune et utile?

Les mesures de surveillance et d'établissement de rapports pour les projets d'ECAN ont été clairement établies au début du programme, et d'après presque tous les bénéficiaires du programme interrogés et les intervenants clés, elles sont appropriées. Toutefois, certains intervenants clés d'AINC ont dit que l'information tirée des projets ne permettait pas vraiment d'en mesurer la réussite. Il faut également indiquer que les rapports annuels étaient produits plus d'un an après la fin de l'exercice financier alors que les rapports trimestriels étaient produits en temps.

Rapports d'activité intermédiaires et rapports de clôture du projet :

Pour sept des huit études de cas, des rapports intermédiaires ont été produits. Toutes les études de cas ont donné lieu à un rapport de clôture de projet. De nombreux bénéficiaires du programme ont dit que le processus de rapports et les exigences d'ECAN étaient simples et il n'y a pas eu de bénéficiaires pour soulever des questions ou des difficultés concernant le processus de rapports.

Presque tous les intervenants clés ont dit que l'élaboration de rapports et la surveillance étaient appropriées et ont permis de recueillir toute l'information nécessaire pour remplir les exigences des accords de contribution. Toutefois, certains intervenants clés d'AINC ont indiqué que les accords de contribution ne donnaient pas de directive quant à la collecte de renseignements importants sur l'impact économique, l'impact financier, la réduction réelle des GES et les résultats de la collectivité en question, alors que ces renseignements permettent de cerner certaines des véritables réussites des projets. De plus, ECAN ne mesure pas les résultats d'émission de GES après la fin du projet, et il n'existe pas d'indice concernant la baisse des émissions de PCA. Cela est essentiel pour une analyse adéquate des incidences nettes, parce que les estimations effectuées pendant l'étape de mise en œuvre peuvent ne pas représenter les vraies réductions en GES résultant du projet.

Mesure du rendement et évaluation des résultats

Le personnel d'AINC produit un rapport annuel qui combine la mesure du rendement d'ECAN et du Programme d'adaptation aux changements climatiques d'AINC. Ces deux programmes s'inscrivent dans le cadre du PAP. Le premier rapport annuel (2007-2008) a été finalisé en juillet 2010. Le rapport annuel de 2008-2009 n'a pas encore été diffusé, car on attend son approbation finale.

Le rapport annuel comprend une description des programmes, de leurs objectifs, de leur rendement au cours de l'année en question et de ce qui est attendu des programmes pour l'année à venir. Comme il ne porte que sur les activités de la première année, les données concernant les résultats sont limitées.

Rapports sommaires et rapports d'étape 

Le personnel du programme d'AINC produit des rapports trimestriels, effectués en temps utile et sous forme de tableaux, qui fournissent les renseignements suivants sur les objectifs d'ECAN et les activités clés : des indicateurs et des cibles d'étape/de rendement, les résultats atteints à la date du rapport et ceux prévus pour le trimestre suivant, les stratégies concernant le risque, les difficultés et les mesures d'atténuation, les attributions de responsabilité et la progression.

AINC doit aussi satisfaire aux exigences internes en matière d'élaboration de rapports pour ECAN, ce qui comprend le fait de fournir des mises à jour pour le rapport annuel sur les plans et les priorités, le rapport ministériel sur le rendement, le rapport trimestriel de l'Organisation des affaires du Nord et la Stratégie de développement durable du Ministère [Note 31].

4.2 Extrants

Des preuves quantitatives montrent qu'ECAN produit ses extrants. Toutefois, compte tenu que des cibles n'avaient pas été établies pour de nombreux extrants et que la collecte de certaines données n'a débuté que récemment, il est difficile de mesurer à quel degré ces extrants ont été obtenus.

Les cibles avaient été établies quant au nombre de projets par an d'énergies renouvelables, d'efficacité énergétique et de plan énergétique communautaire à financer dans le cadre du programme. Le programme a atteint et dépassé ses objectifs annuelles de financement pour les projets d'énergies renouvelables et d'efficacité énergétique, mais il est resté en deçà de ses attentes pour les plans énergétiques communautaires.

B1.6 Dans quelle mesure le programme a-t-il fourni les extrants prévus?

La plupart des extrants prévus ont été livrés.

Produits de communication et matériel de promotion

Un site Web permettant au personnel d'ECAN et aux intervenants extérieurs de communiquer a été mis en place et est maintenu à jour. Toutefois, les opinions des intervenants clés sur la qualité et l'utilité de ce site Web sont variables. Alors que certains intervenants clés trouvent le site Web pertinent et les informations facilement accessibles, certains autres ont déclaré que le site était difficile à trouver et pas si pertinent.

Un total de 763 brochures ont été distribuées lors d'événements entre septembre 2008 et aujourd'hui [Note 32]. Presque tous les intervenants clés confirment qu'ils avaient vu le matériel promotionnel et beaucoup avaient tout spécialement remarqué la brochure d'ECAN. Quelques intervenants clés ont aussi mentionné avoir vu le document Partageons nos connaissances pour un avenir meilleur, qui publie les réussites d'ECAN. Ils ont noté que ce document était très utile pour les intervenants extérieurs. Seuls quelques intervenants clés ont indiqué qu'ils n'avaient pas vu le matériel promotionnel d'ECAN autre que celui se trouvant sur le site Web.

« Réseau sur l'énergie propre » établi

Depuis septembre 2008, le personnel du programme d'AINC conserve des données sur les activités au sujet de l'énergie propre auxquelles il peut participer et ceux qu'il a participé. Trois en 2007-2008, deux en 2008-2009 et 13 en 2009-2010. En 2008-2009 et 2009-2010, le personnel a pris part à 15 activités sur un total possible de 48. Les activités auxquelles le personnel a participé pendant ces deux exercices financiers comprennent des conférences (n=6), des partenariats (n=1), des forums (n=4), des ateliers (n=1) et des réunions (n=3), incluant des organisations comme Arctic Energy Alliance, les gouvernements territoriaux-provinciaux, l'Institut Canadien, Ontario Waterpower Association, le secrétariat du Congrès des chefs des Premières nations de l'Atlantique et beaucoup d'autres [Note 33].

Presque tous les intervenants clés s'accordaient à dire qu'ils avaient vu le personnel du programme d'AINC aux activités sur l'énergie propre. La participation du personnel d'ECAN est un bon moyen de promouvoir le programme auprès des intervenants de l'extérieur. La distribution des 763 brochures a eu lieu lors de ces activités. Toutefois, il n'est pas possible d'évaluer si le « réseau sur l'énergie propre » est/était établi et de déterminer son efficacité.

Le rapport horizontal sur cette initiative fournit des données sur les résultats. Bien que la manière dont ces résultats ont été mesurés ne soit pas claire, pendant la période 2007-2008, les points suivants ont été indiqués :

• Des personnes-ressources régionales et externes ont été nommées et engagées dans le « réseau sur l'énergie propre »;
• Plus de 200 intervenants ont été informés des possibilités offertes par le programme [Note 34].

Conseils sur la faisabilité technique et les compétences en gestion de projet pour les promoteurs

Les seules données disponibles concernent l'exercice 2007-2008. Le personnel du programme d'AINC a examiné 20 projets de collectivités autochtones et nordiques et donné des conseils à cet égard. Bien que ces mesures quantitatives indiquent qu'il s'agit d'activités d'ECAN, elles ne précisent pas la nature des conseils fournis. Presque tous les intervenants clés s'accordent à dire que le programme n'a pas donné de conseils en matière de faisabilité technique et de compétences en gestion de projet. Certains intervenants clés ont expliqué que cela venait du fait que le Ministère n'a pas les connaissances techniques nécessaires pour fournir des conseils aux promoteurs dans ce domaine.

Les projets d'énergies renouvelables sont financés conformément aux objectifs du programme

Au total, 55 projets d'énergies renouvelables ont utilisé 84 % des fonds de subventions et contributions d'ECAN au cours trois premières années du programme.

Presque tous les intervenants clés s'accordent à dire qu'à ce jour le programme est une réussite pour le financement de projets d'énergies renouvelables.

Les projets d'efficacité énergétique sont financés conformément aux objectifs du programme

Au total, les huit projets d'efficacité énergétique ont utilisé 13 % des fonds de subventions et contributions d'ECAN au cours des trois premières années du programme. Le programme a atteint ou dépassé ses objectifs en ce qui concerne le nombre de projets d'énergies renouvelables et d'efficacité énergétique financés chaque année.

De nombreux intervenants clés ont indiqué qu'ils avaient connaissance des projets d'efficacité énergétique financés par ECAN. Plusieurs répondants ont toutefois signalé qu'ils aimeraient voir plus de ces projets dans les collectivités.

Les plans énergétiques communautaires sont financés conformément aux objectifs du programme

Au total, les treize plans énergétiques communautaires ont utilisé 3 % des fonds de subventions et contributions d'ECAN au cours des trois premières années du programme. Ce faible pourcentage de financement n'est pas surprenant puisque l'affectation maximum pour un tel plan est de 15 000 $, alors que pour les projets d'efficacité énergétique et d'énergies renouvelables, elle est d'un maximum de 100 000 ou 250 000 $.

De nombreux intervenants clés ont indiqué qu'ils étaient au courant des plans énergétiques communautaires financés par ECAN. Certains intervenants clés ont indiqué qu'ils n'avaient pas vu de plan énergétique communautaire financé dans leur région.

Le programme n'a pas atteint les prévisions pour le financement de plans énergétiques communautaires, avec moins de 20 projets financés pour les trois premières années.

4.3 Résultats immédiats, intermédiaires et à long terme

On s'attend à obtenir beaucoup des résultats prévus pour les projets d'ECAN. Même si la collaboration entre les secteurs de services publics et les collectivités autochtones et nordiques et la formation de ces partenariats ne faisaient pas partie des résultats prévus indiqués au début d'ECAN, ces retombées se sont avérées être l'un des avantages principaux du programme.

Une caractéristique clé d'ECAN est sa « volonté » de fournir du financement à un stade précoce afin de faire démarrer les projets. Chaque dollar d'ECAN a permis d'obtenir 26 $ d'autres sources. Toutefois, les études de cas montrent la réussite comme l'échec de ce levier financier dans la mise en œuvre des projets.

B1.7 Dans quelle mesure le programme a-t-il réalisé ses résultats immédiats, intermédiaires et à long terme?

Les données quantitatives montrent, comme beaucoup d'intervenants clés s'accordent à le dire, que les résultats immédiats, intermédiaires et à long terme du programme sont ou seront atteints. Pour certains résultats, les cibles n'ont pas été indiquées, il est donc difficile de mesurer à quel moment le résultat est atteint. L'objectif des résultats à long terme, la réduction prévue des émissions de GES de 1,3 Mt au cours de la durée de vie des projets, devrait être atteint pour les projets financés par ECAN.

Au début du programme, AINC avait souligné trois résultats immédiats, cinq résultats intermédiaires et deux résultats à long terme.

Résultats immédiats

De nombreux résultats immédiats ont été atteints.

Les collectivités autochtones et nordiques sont engagées et participent au Programme écoÉNERGIE.

Au cours des trois premières années du programme, AINC a reçu 111 demandes de financement par ECAN. Le nombre de demandes reçues par AINC a augmenté chaque année, avec 24 demandes en 2007-2008, 34 demandes en 2008-2009 et 53 demandes en 2009-2010. La progression du nombre demandes pour ECAN indique une tendance à la hausse de la sensibilisation au programme parmi les collectivités autochtones et nordiques. AINC s'attend à recevoir encore 50 demandes en 2010-2011.

De façon plus générale, presque tous les intervenants clés et les bénéficiaires du programme interrogés s'accordaient à dire qu'ils avaient vu les collectivités autochtones et nordiques s'engager dans le programme et y participer dans leur région. Des intervenants clés ont toutefois signalé que cela ne faisait que commencer pour ECAN. Quelques intervenants ont dit qu'ils aimeraient voir plus de cohérence dans la participation des collectivités autochtones et nordiques à l'échelle nationale, et ce, plutôt que seulement dans une région particulière.

Des compétences techniques et de gestion améliorées pour les collectivités autochtones et nordiques en matière d'énergie propre

Après les trois premières années du programme, 64 collectivités autochtones et nordiques avaient reçu des fonds. Cela signifie que l'objectif, plus de 50 collectivités avant mars 2011, a été dépassé. Sur les 76 projets qui ont reçu un financement d'ECAN entre 2007-2008 et 2009‑2010, une collectivité a reçu un financement pour six projets et une autre pour trois projets, huit collectivités ont reçu du financement pour deux projets, un projet financé mettait en jeu quatre collectivités et les 50 autres collectivités ont reçu du financement pour un projet. L'Ontario et la Colombie-Britannique ont reçu presque 80 % du financement d'ECAN, pour plus de 75 % des projets, et ce, en raison des capacités des Premières nations et du nombre de collectivités ayant proposé des projets.

Sur les 76 projets financés par ECAN dans les trois premières années du programme, 44 (58 %) étaient gérés par des collectivités autochtones et nordiques. Ainsi, l'objectif de dix projets par an a été atteint et dépassé. Le pourcentage de projets gérés par les collectivités autochtones et nordiques au début du programme a augmenté de façon significative en 2009-2010, passant de 48 % en 2007-2008 et en 2008-2009 à 73 % en 2009-2010.

De nombreux intervenants clés étaient d'avis qu'ECAN a amélioré les compétences techniques et en matière de gestion des Autochtones et des résidants du Nord en ce qui concerne l'énergie propre. Presque tous les bénéficiaires interrogés ont confirmé les déclarations des intervenants clés selon lesquelles les projets ont eu pour résultat d'éduquer et de former des personnes au sein de la collectivité, de manière à développer les compétences néessaires pour exploiter et entretenir des installations utilisant des technologies d'énergie propre. Cela inclut la capacité d'exploiter et d'entretenir des petites installations hydroélectriques et des systèmes de chauffage centralisés, la surveillance et l'analyse des systèmes de gestion d'énergie en fonction de la demande et le développement de compétences pour une utilisation écoénergétique appropriée. Ces études de cas ont indiqué que la formation provenait directement du travail fourni sur le projet, de l'instruction par des tiers ou de la participation à des conférences sur l'énergie propre. Certains intervenants clés ont noté que les améliorations des compétences techniques et de gestion pour l'énergie propre ne se réalisent que lentement et progressivement, et que plusieurs collectivités n'en sont pas encore là.

Certains intervenants clés ne pensent pas que le programme améliore les compétences techniques et de gestion des collectivités autochtones et nordiques en énergie propre et déclarent que de tels résultats dépassent les compétences du gouvernement. Ainsi, bien qu'ECAN puisse contribuer à l'amélioration des compétences techniques de gestion, ces intervenants sont sceptiques quant à savoir si c'est le programme qui encourage ce processus. Il n'est pas possible d'évaluer ce point de façon rigoureuse sans enquête systématique sur le leadership des collectivités autochtones.

Mise en œuvre réussie des projets d'énergies renouvelables et d'efficacité énergétique

Après les trois premières années du programme, 55 projets d'énergies renouvelables et huit projets d'efficacité énergétique ont été financés. Sur ceux-ci, six projets d'énergies renouvelables et quatre d'efficacité énergétique ont été mis en œuvre en date du 31 mars 2010, et il est attendu que huit autres projets d'énergies renouvelables et cinq d'efficacité énergétique seront mis en œuvre d'ici la fin du programme, le 31 mars 2011. [Note 35]

Sur les cinq projets d'énergies renouvelables examinés dans les études de cas, deux ont été mis en œuvre avec succès et trois n'ont pas encore amorcé les travaux de construction. Pour les trois projets d'énergies renouvelables qui n'ont pas encore commencé, le financement d'ECAN a été utilisé pour soutenir les évaluations environnementales et d'autres étapes préliminaires. Sur ces trois projets, deux doivent encore trouver des fonds importants pour pouvoir passer à l'étape de construction.

Les deux études de cas sur l'efficacité énergétique ont été mises en œuvre avec succès et sont terminées. L'étude de cas sur le plan énergétique communautaire a déjà mené à l'installation d'un système photovoltaïque de 10 kilowatt (kW).

Presque tous les intervenants clés s'accordaient à dire que le programme a mis en œuvre avec succès des projets d'énergies renouvelables et environ la moitié d'entre eux s'accordaient à dire que le programme avait mis en œuvre avec succès des projets d'efficacité énergétique. Seuls quelques intervenants ont indiqué qu'aucun projet d'énergies renouvelables ou d'efficacité énergétique n'avait été lancé dans leur région.

Résultats intermédiaires

De nombreux résultats escomptés ont été atteints.

Les collectivités autochtones et nordiques ont les connaissances et les outils nécessaires pour accroître l'efficacité énergétique de leur infrastructure communautaire

L'indicateur pour ce résultat intermédiaire est le même que pour le résultat immédiat. Afin de mieux évaluer ce résultat, des données qualitatives ont été recueillies par des études de cas et des entrevues avec les intervenants clés.

De nombreux intervenants clés et tous les bénéficiaires du programme interrogés s'accordaient à dire que les collectivités autochtones et nordiques possèdent maintenant les connaissances et les outils pour augmenter l'efficacité énergétique de l'infrastructure communautaire. Certains intervenants ont attribué ces résultats aux plans énergétiques communautaires; toutefois, quelques-uns ont indiqué que les plans avaient été financés dans le cadre du PACAN et non pas d'ECAN. Quelques intervenants clés ont déclaré que les résultats n'avaient pas encore été atteints.

Les bénéficiaires du programme interrogés ont dit que, grâce au programme, la sensibilisation à l'énergie propre avait augmenté dans leur collectivité et les collectivités environnantes; qu'il y avait une prise de conscience à l'échelle nationale du fait que les collectivités mettent en place des projets et que l'augmentation de cette sensibilisation engendrait un changement de comportement de la part des résidants dans l'utilisation de l'énergie.

Le plan énergétique communautaire et les études de cas sur l'efficacité énergétique ont fourni des preuves directes de ce résultat.

• L'étude de cas du plan énergétique communautaire a fourni de l'information à la collectivité pour améliorer l'efficacité énergétique des infrastructures communautaires, et dans certains cas, d'autres projets provenant eux-mêmes du plan sont presque arrivés à l'étape de mise en œuvre.
• Les collectivités qui ont installé les compteurs intelligents ont développé les compétences nécessaires pour surveiller leur utilisation d'énergie et l'abaisser si nécessaire.
• Les clients recevant la chaleur résiduelle des systèmes de chauffage centralisés ont été formés pour utiliser et administrer correctement cette chaleur résiduelle.

Diminution des émissions de GES et des PCA dans les collectivités nordiques et autochtones

Le résultat escompté pour la réduction des émissions de GES découlant d'ECAN est de 1,3 Mt sur la durée de vie du programme [Note 36]. Les réductions estimées sont calculées à partir des propositions de projet soumises par les demandeurs. Dans les propositions, les demandeurs doivent indiquer les réductions estimées des émissions de GES pour les projets et il leur est aussi conseillé de présenter des analyses RETScreen. Pendant les trois premières années du programme, les économies escomptées d'après les demandeurs sont de 0,655 Mt/an et de 13,04 Mt pendant la durée de vie du projet financé par ECAN. Sur les 63 projets d'énergies renouvelables et d'efficacité énergétique [Note 37], sept n'ont pas fourni d'estimation d'économie de GES. Si ces sept projets avaient fourni leurs estimations d'économie de GES, l'estimation globale d'économie des GES pendant la durée de vie aurait sans doute été supérieure à 13,04 Mt.

Toutes les propositions sont assujetties à un examen technique par un tiers, qui analyse les données soumises par le demandeur selon les normes techniques et industrielles pour voir s'il y a lieu d'ajuster les hypothèses fournies par ce dernier. Ces estimations révisées sont utilisées pour calculer la réduction globale des émissions de GES du programme. Le tiers a examiné 45 des 63 projets d'énergies renouvelables et d'efficacité énergétique financés par ECAN. Le tiers estime les économies de GES à 0,271 Mt/an et 5,41 Mt pendant la durée de vie des projets. Un représentant d'ECAN a noté qu'à cause des fonds limités pour le fonctionnement et l'entretien, les examens des tiers ne sont pas effectués sur tous les projets. Les estimations faites par les tiers sur les projets examinés sont en moyenne inférieures de plus de 50 % aux estimations des demandeurs et la médiane se situe à 78. Dans 64,5 % des cas, les estimations du tiers sont inférieures aux projections des promoteurs, 13,3 % sont équivalentes et 22,2 % sont plus élevées.

Les estimations de réduction des GES des promoteurs et du tiers sur les 20 projets sont au-dessus des réductions escomptées pour le programme, à savoir de réduire les émissions des GES de 1,3 Mt.

ECAN ne calcule les réductions des émissions de GES qu'enfonction des données escomptées, et non des données contrôlées [Note 38], puisque peu de projets sont terminés.

Les réductions des émissions de GES découlant des projets d'énergies renouvelables et d'efficacité énergétique financés par ECAN qui ont été mis en service au 31 mars 2010, apparaissent dans le Tableau 5.

Source : AINC. Regulatory and ecoACTION Program Analysis - Report in Response to the Kyoto Protocol Implementation Act 2010, s.d.

Il n'y avait pas d'indicateur ni de cible pour les PCA. Toutefois, il faut dire que la situation des PCA au Canada est bien meilleure que pour les GES. À l'échelle nationale, les émissions de PCA ont été réduites au cours de la période 1990-2007 (EC, 2007).

Augmentation de l'efficacité énergétique et utilisation des énergies renouvelables dans les collectivités nordiques et autochtones

Au total, pour 33 des 55 projets d'énergies renouvelables qui ont été financés par ECAN au cours des trois premières années du programme, des estimations ont été fournies sur la quantité d'énergie propre qu'ils allaient générer par an. Il a été prévu que les 33 projets allaient générer 1 012 289,8 mégawattheure (MWh)/an d'énergie propre. Étant donné qu'il s'agit de l'unique mesure quantitative du système de mesure du rendement d'ECAN, l'évaluation ne peut pas valider ce résultat intermédiaire.

Infrastructure énergétique plus fiable dans les collectivités nordiques et autochtones

L'évaluation ne peut pas évaluer correctement ce résultat intermédiaire, car le programme n'a pas effectué les mesures; des données qualitatives sont toutefois utilisées pour fournir les observations. Presque tous les bénéficiaires interrogés et de nombreux intervenants clés ont dit que le programme avait atteint ses résultats ou allait les atteindre. Ils ont indiqué que la construction ou la construction planifiée de structures d'énergies renouvelables et d'efficacité énergétique allait fournir une infrastructure plus fiable dans la collectivité.

Toutefois, selon quelques intervenants clés, la fiabilité accrue de l'infrastructure dans les collectivités nordiques et autochtones ne découlait pas d'ECAN. Ils ont dit que les collectivités hors réseau comptaient encore sur l'énergie diesel et que les fonds fournis par ECAN n'étaient pas suffisants pour faire une différence globale dans l'utilisation des carburants fossiles.

Économies de coûts de l'énergie dans les collectivités nordiques et autochtones

Les économies de coûts de l'énergie prévues n'ont été fournies que pour neuf projets en 2009‑2010 dans le système de mesure du rendement d'ECAN. Le montant total des économies pour les neuf projets est de 842 343 $/an. Aucune donnée sur les économies de coûts de l'énergie prévues n'avait été fournie pour les deux premières années du programme, qui comprenaient sept projets d'efficacité énergétique. Tous les projets d'efficacité énergétique soutenus par ECAN sont censés fournir des économies de dépenses d'énergie.

Certaines études de cas ont prouvé l'existence d'économies de coûts de l'énergie résultant de la mise en œuvre des projets :

• Les deux études de cas de projets d'efficacité énergétique ont directement conduit à des économies de coûts de l'énergie pour les collectivités autochtones et nordiques. Le programme du compteur intelligent a offert des économies aux résidants grâce à une moindre consommation de diesel dans la production d'énergie, et le système de chauffage centralisé a abaissé le coût de chauffage de 10 % pour ceux qui y ont participé;
• Même si quatre projets d'énergies renouvelables n'engendreront pas directement d'économies de coûts de l'énergie pour les collectivités, les installations d'énergie solaire communautaires entraîneront des économies en réduisant la dépendance de bâtiments à l'énergie du réseau. Le calcul des économies d'énergies annuelles pour un tel projet communautaire serait de 10 652,69 $ par an, en comparant la production actuelle de d'énergie avec celle des années passées selon les relevés d'électricité.
• Bien que le projet d'étude de cas sur le plan énergétique communautaire n'engendre pas directement d'économies de coûts de l'énergie à la collectivité, les projets découlant du plan, comme l'installation photovoltaïque de 10 KW, produiront des économies de coûts de l'énergie.

Selon de nombreux intervenants clés, ECAN engendrait des économies de coûts de l'énergie pour les collectivités nordiques et autochtones, ou tendait vers ce résultat. Alors que certains intervenants étaient d'avis que de telles économies constituaient les principales retombées positives de la mise en œuvre des projets d'efficacité énergétique, d'autres n'étaient pas persuadés que le programme fournirait de tels résultats.

Résultats à long terme

Les activités d'ECAN mènent vers la réalisation de la plupart des résultats à long terme.

Réduction des émissions de GES et des PCA dans les collectivités autochtones et nordiques (1,3 mégatonne de réduction de GES au cours de la durée de vie des projets soutenus par l'initiative)

Comme on l'a indiqué dans le deuxième résultat intermédiaire, au cours des trois premières années du programme, les réductions d'émissions de GES pendant la durée de vie des projets financés par ECAN devaient être de 13,04 Mt, selon les estimations des demandeurs, et de 5,41 Mt, d'après les estimations du tiers. Étant donné qu'ils comprennent de nombreuses études et travaux d'évaluation et de conception, ces projets ne contribueront à la réduction qu'au moment où les étapes ou phases suivantes seront mises en œuvre. Toutefois, d'après les estimations, les réductions de GES projetées seront plus élevées que l'objectif du programme qui était de 1,3 Mt.

Presque tous les intervenants clés s'accordaient à dire que le programme ECAN réduit et réduira les émissions des GES et des PCA en vendant de l'énergie directement au réseau, faisant ainsi diminuer les besoins de la région en production ou importation d'énergie « sale », et en réduisant la dépendance des collectivités hors réseau au carburant diesel. Toutefois, quelques intervenants clés ont indiqué que le programme ECAN ne constituait pas un fonds suffisant pour réduire la dépendance des collectivités au diesel, et donc que le programme n'avait pas un effet aussi important que ce que l'on aurait souhaité sur les émissions des GES et des PCA.

Le programme n'a pas recueilli de données sur les PCA.

Des collectivités nordiques et autochtones durables et saines

De nombreux intervenants clés et tous les bénéficiaires du programme interrogés s'accordaient à dire que le programme mène vers ce résultat. Ils ont mentionné qu'il s'agit là du but majeur de la mise en œuvre des projets dans les collectivités autochtones et nordiques. Les bénéficiaires du programme interrogés ont indiqué que leurs projets allaient dans ce sens, en augmentant la création d'emploi dans la collectivité pendant la construction et l'exploitation des technologies d'énergie propre, en injectant des millions de dollars dans la collectivité grâce à la vente d'énergies renouvelables au réseau, et dans les cas d'efficacité énergétique, en mettant à disposition plus d'argent directement dans les mains des résidants et en augmentant le développement et l'expansion d'entreprises. Ils ont aussi indiqué que la baisse d'utilisation de l'énergie diesel dans la collectivité grâce aux projets financés par ECAN allait réduire la pollution dans les collectivités et ainsi diminuer les problèmes de santé qui y sont liés. À l'heure actuelle, il n'existe pas d'inventaire à jour de l'utilisation d'énergie qui pourrait servir de données de référence à l'échelon national.

Une des études de cas fournissait un exemple direct de la façon dont l'écotourisme, retombée économique de leur projet d'énergies renouvelables, est en train de soutenir la viabilité communautaire. Des personnes sont venues de partout au Canada et dans le monde pour voir le projet, ce qui a apporté des retombées financières.

De plus, de nombreuses collectivités sont hors réseau et dépendent de groupes électrogènes fonctionnant au diesel pour leur production d'électricité. Un des principaux avantages environnementaux des investissements en énergie renouvelable pour ces collectivités hors réseau sera la diminution de la dépendance à l'égard du diesel. Un autre avantage sera de réduire l'exposition aux fluctuations des prix du pétrole et d'éviter le risque d'avoir à faire face dans l'avenir à des prix en constance augmentation. Réduire la dépendance des collectivités à l'égard du diesel contribuera à leur viabilité financière et à la réduction des émissions. Cependant, certains intervenants clés ont signalé que le programme ECAN n'offre pas un soutien financier suffisant pour permettre à ces collectivités de ne plus dépendre du diesel. Les technologies d'énergies renouvelables et d'efficacité énergétique mises en place grâce au programme ne servent que de complément à l'approvisionnement en énergie fourni par les groupes électrogènes au diesel, et donc, puisque ces collectivités continuent d'avoir besoin d'électricité à base de diesel, elles sont toujours touchées par les fluctuations des prix du pétrole et les émissions de PCA.

B1.8 Dans quelle mesure le programme a-t-il pu servir de levier financier pour assurer la mise en œuvre efficace des projets?

ECAN fournit un financement des projets à un stade précoce. Presque tous les intervenants clés et les bénéficiaires du programme interrogés ont tout spécialement indiqué que l'aspect le plus important du financement d'ECAN avait été le moment plutôt que le montant. Les répondants ont dit que le programme ECAN fournit souvent des fonds pour les étapes précoces du projet et aide ensuite à trouver des leviers financiers pour obtenir d'autres fonds. Ils ont indiqué que cela était particulièrement vrai pour les grands projets d'énergies renouvelables, pour lesquels 250 000 $ était un montant en dollars minimum par rapport aux coûts globaux des projets.

En d'autres termes, d'après les preuves quantitatives disponibles, ECAN a connu une réussite mitigée dans son rôle de levier pour obtenir des fonds de financement supplémentaires des projets. Pendant les trois premières années du programme, ECAN a fourni un peu moins de 7,5 millions de dollars en contributions de projets. Le coût total estimé pour tous les projets est de plus de 200 millions de dollars. Ainsi, c'est plus de 26 fois le montant des contributions d'ECAN qui a été versé dans ces projets en provenance d'autres sources de financements ou de collectivités qui ont investi leurs propres dollars.

Les études de cas ont fourni des exemples de réussite et d'échec dans l'obtention d'un effet de levier financier pour les projets. Certaines études de cas montraient qu'ECAN avait entraîné un effet de levier financier supplémentaire pour leurs projets. Beaucoup d'études de cas n'ont été financées que par ECAN et n'ont pas eu besoin de fonds supplémentaires pour leur projet; toutefois, certains projets sont en train de rechercher d'autre source de financement pour commencer la construction et certains n'y sont pas encore parvenus à ce jour. Dans ces derniers cas, le financement d'ECAN n'a pas permis de créer un levier financier.

B1.9 Dans quelle mesure le programme a-t-il contribué à une interaction et une collaboration constructives entre les services publics et les collectivités autochtones et nordiques?

ECAN a engendré une interaction et une collaboration constructives entre le secteur des services publics et les collectivités autochtones et nordiques, d'après presque tous les intervenants clés et les bénéficiaires du programme interrogés. Grâce au programme ECAN, les fondations ont été établies pour des partenariats futurs, ce qui a émergé comme l'un des avantages principaux du programme.

D'après les personnes interrogées, ECAN fournit aux collectivités la capacité et les compétences pour se rapprocher du secteur des services publics. Par exemple, les collectivités qui sont sur le réseau et cherchent à vendre de l'énergie renouvelable au réseau ont besoin d'établir un accord pour vendre de l'énergie aux sociétés de services publics. Les intervenants ont aussi indiqué que cela a encouragé le secteur des services publics à se rapprocher des collectivités. Le secteur primaire des services publics régionaux interagit avec les collectivités dans les régions éloignées surtout dans l'intérêt de vendre de l'énergie à ces collectivités utilisant le diesel. Toutefois, peu d'intervenants clés ont signalé que les politiques et programmes d'énergie P/T avaient joué un rôle important lors de la création de cette interaction constructive.

4.4 Résultats inattendus

Les résultats inattendus mentionnés par les intervenants clés et les bénéficiaires des programmes interrogés étaient presque tous positifs. Le résultat inattendu le plus souvent mentionné était le développement de relations et partenariats avec le secteur des services publics et d'autres groupes importants.

B1.10 Quels résultats inattendus (positifs ou négatifs) ont été obtenus suite à la mise en œuvre du programme?

Le résultat mentionné le plus souvent était le développement de relations et de partenariats. Voici certains commentaires :

• Développement de relations avec les collectivités et les municipalités voisines grâce au partage d'information et des bénéfices, et la création de relations avec les sociétés de services publics et les gouvernements provinciaux et territoriaux.

D'autres commentaires provenant d'intervenants clés et bénéficiaires des programmes interrogés incluaient, par ordre de fréquence :

• La transformation des collectivités en acteurs « réels » dans l'industrie de l'énergie et le rassemblement des collectivités autour d'un projet commun. Aussi, d'autres projets se sont greffés aux projets soutenus par ECAN.

Un résultat inattendu mentionné par certains intervenants clés d'AINC était que le programme ECAN avait engendré une augmentation de la demande de financement provincial. Toutefois, les collectivités ne font pas de demande de fonds provinciaux puisque ces programmes provinciaux dépensent tous leurs fonds.

Quelques résultats négatifs inattendus mentionnés par les bénéficiaires du programme comprennent :

• La difficulté de démarrer des projets avec le secteur des services publics et la difficulté de travailler avec des institutions financières de l'extérieur.

5. Constatations de l'évaluation - Rendement (Leçons retenues et pratiques exemplaires)

Les leçons retenues de l'évaluation tournent essentiellement autour de l'importance du personnel régional et des plans énergétiques communautaires pour atteindre les objectifs établis par ECAN.

B1.11 Avez-vous appris des pratiques exemplaires ou retenu des leçons provenant du programme? (remarque : cela répond aussi à la question B1.2)

Les intervenants clés et les bénéficiaires du programme ont abordé la question des leçons retenues d'ECAN. Celles-ci, ainsi que les pratiques exemplaires mentionnées par les répondants, comprennent par ordre de fréquence :

• Les régions qui ont du personnel pouvant affecter des ressources au programme ont mieux réussi, semble-t-il, à financer et à lancer les projets.
• Les collectivités qui ont élaboré un plan d'économie d'énergie avant de mettre en œuvre un important projet d'énergies renouvelables ont réduit leur consommation d'énergie et favorisé l'efficacité énergétique à petit coût. Ces mesures ont eu tendance à avoir une incidence directe immédiate sur la réduction des GES et des PCA.
• Le fait d'être constamment en relation avec AINC a facilité le processus de demande et a permis de cerner les solutions pouvant être adoptées par la collectivité afin de régler les problèmes énergétiques dans la région.
• Il faut souvent beaucoup de temps pour établir la collaboration avec les dirigeants des Premières nations et obtenir leur autorisation d'aller de l'avant avec le projet, d'où les retards de mise en œuvre.

6. Constatations de l'évaluation - Rendement (Économie et rendement)

L'aspect économique d'ECAN n'a pas été abordé, puisqu'il aurait fallu avoir des informations financières pour chaque extrant des projets et les coûts d'exploitation afin d'estimer l'efficacité économique des ressources utilisées. Ces données ne sont pas disponibles. L'efficacité et le rapport coût-efficacité du programme ont été difficiles à déterminer. Bien qu'on puisse faire des comparaisons avec des programmes similaires, les informations des autres programmes ne sont souvent pas disponibles et essentiellement les programmes sont intrinsèquement différents les uns des autres.

De nombreux intervenants clés n'étaient pas certains si ECAN avait un bon rapport coût-efficacité pour réduire les GES et les PCA. Toutefois, les bénéficiaires du programme interrogés ont signalé que le programme avait un bon rapport coût-efficacité parce que le retour sur leurs petits investissements était bon pour des projets de plusieurs millions de dollars.

B2.1 Le programme est-il dans les limites du budget? Si non, comment expliquer les écarts (positifs ou négatifs)?

Les dépenses totales réelles sont dans les limites du budget. Les dépenses globales de programme par exercice financier correspondent assez bien aux prévisions. Alors que le programme a dépensé moins que prévu pendant sa première année, lors de son démarrage, il a un peu dépassé les dépenses prévues lors des deux exercices financiers suivants. Les subventions et contributions du programme ont suivi un schéma similaire aux dépenses totales. Le programme a un montant de 3 782 471 $ à dépenser en 2010-2011, ce qui représente environ 30 000 $ de plus que prévu au démarrage du programme (voir le Tableau 1 et le Tableau 2 à la section 1.2.3).

B2.2 Est-ce que le programme ECAN fournit une méthode ayant un bon rapport coût-efficacité pour réduire les GES et les PCA?

Les preuves fournies par cette évaluation ne permettent pas de formuler des conclusions à savoir si ce programme représente une méthode ayant un bon rapport coût-efficacité pour réduire les GES et les PCA. En théorie, il aurait été possible d'effectuer des comparaisons du rapport coût-efficacité entre ce programme et d'autres programmes; toutefois, il est souvent difficile de retrouver les informations de ces autres programmes et, de plus, ces comparaisons sont dangereuses puisqu'il s'agit de programmes intrinsèquement différents.

Le programme ne recueille pas d'information sur les économies de coûts à partir des rapports de clôture de projet d'efficacité énergétique. Les modèles ascendants comme RETScreen offrent la possibilité de comparer la réduction projetée des GES. En divisant celle-ci par le capital et les coûts d'exploitation d'une technologie, on obtient une base pour analyser le rapport coût-efficacité du programme. Toutefois, les informations sur les coûts d'exploitation ne sont pas disponibles. Le Tableau 6 montre les économies projetées de GES par dollar provenant d'ECAN dépensé sur le projet. Puisque tous les projets ne fournissaient pas les économies projetées de GES, les calculs ont été faits en divisant le total projeté d'économies de GES par le total financé par ECAN pour ces projets uniquement. Le Tableau 6 montre aussi que les économies projetées de GES par dollar dépensé financé par ECAN décroît année après année depuis 2007-2008 [Note 39], ce qui indique que les bénéfices sont plus importants dans les premières années.

Il sera théoriquement possible de comparer le coût par tonne de GES réduite grâce à ECAN avec d'autres méthodes fédérales comme écoéNERGIE pour l'équipement, écoéNERGIE pour les véhicules personnels, écoéNERGIE pour les parcs de véhicules et écoéNERGIE pour les transports (tous de RNCan) lorsque des évaluations récentes seront publiées [Note40]. Toutefois, des comparaisons ne peuvent pas être faites actuellement puisque les informations nécessaires ne sont pas disponibles.

Généralement, les différentes énergies renouvelables comme la géothermie, le vent et le soleil évoluent, de même que leur rapport coût-efficacité. Ces différentes énergies renouvelables nécessitent actuellement de garder la production d'énergie traditionnelle pour compléter la ressource, ce qui en réduit le rapport coût-efficacité. Toutefois, d'après les études de cas, une autre option consiste à augmenter la sensibilisation à la consommation d'énergie dans les collectivités nordiques et autochtones, pour provoquer une diminution de la quantité d'énergie produite à partir de sources nocives comme les usines de diesel. De nombreux intervenants clés n'étaient pas certains du rapport coût-efficacité d'ECAN dans la réduction des GES et des PCA.

Beaucoup de bénéficiaires interrogés ont dit que le programme avait un bon rapport coût-efficacité parce qu'il fournissait un financement pour l'étape initiale, phase à risque du projet, ce qui aide les projets à démarrer et sert de levier pour obtenir d'autres financements (voir B1.8). Toutefois, certains projets n'ont pas pu utiliser ce moyen pour accéder à l'étape de mise en œuvre.

7. Constatations de l'évaluation - Rendement (Solutions de rechange)

À défaut de solution de rechange compatible avec la capacité des collectivités autochtones, il est important de réitérer les préoccupations majeures exprimées par les personnes interrogées : une coopération étroite et un cofinancement de projets et d'initiatives avec d'autres ministères fédéraux et d'autres ordres de gouvernement et la décentralisation du programme dont la prestation doit se faire à l'échelon régional.

B2.3 : Existe-t-il d'autres méthodes qui soient aussi efficientes ou efficaces, ou plus, pour réduire les GES et les PCA dans les collectivités autochtones et nordiques que le programme ECAN?

À défaut de solution de rechange compatible avec la capacité des collectivités autochtones, la solution principale, remarquée dans la documentation, met en jeu une coopération étroite et un cofinancement de projets et d'initiatives par d'autres ministères fédéraux et d'autres ordres de gouvernement. Par exemple, il est possible de moduler la demande en carburants fossiles grâce à une meilleure isolation thermique et cela peut donner de bons résultats dans le Nord, mais il est nécessaire de coopérer avec la Société canadienne d'hypothèques et de logement (SCHL) et les gouvernements P/T pour y arriver. Les études de cas démontrent que d'autres ministères fédéraux et d'autres ordres de gouvernement participent au financement.

Les gouvernements P/T sont actifs dans un grand éventail de projets « verts ». Par exemple, les initiatives menées par le gouvernement du Yukon pour étendre le réseau électrique et créer des projets hydroélectriques à petite échelle peuvent avoir un meilleur rapport coût-efficacité que l'investissement dans des technologies d'énergies renouvelables (solaire, géothermie). De telles analyses sont au-delà de la portée de l'évaluation, mais constitueraient une étude valable.

Quelques intervenants clés ont suggéré des solutions de rechange pour la mise en œuvre du programme, y compris la méthode très souvent mentionnée, qui consiste à décentraliser le programme et sa prestation à l'échelon régional. Certains intervenants clés avaient indiqué que le personnel régional connaissait mieux les collectivités et qu'il serait plus efficace qu'il fournisse directement les fonds plutôt que d'avoir à demander l'approbation de la proposition à l'administration centrale. Dans ce genre de solution de rechange, l'administration centrale serait toujours responsable de la direction de la politique, mais l'administration du programme relèverait de la région.

8. Conclusions et recommandations

8.1 Conclusions

Le but de la présente évaluation était de fournir des indices et des conclusions quant à la pertinence et au rendement de la prestation et de la mise en œuvre d'ECAN par AINC. L'évaluation a examiné les activités d'ECAN entreprises entre le 1er avril 2007 et le 31 mars 2010.

L'évaluation étaye les conclusions suivantes en matière de pertinence et de rendement :

Pertinence

ECAN est un programme fédéral pertinent en vertu de son objectif principal actuel de réduire les émissions des GES et des PCA. Il soutient aussi bien les priorités du gouvernement fédéral que les objectifs stratégiques d'AINC. Ce dernier a un rôle approprié dans les projets d'énergie propre à cause de ses responsabilités et de son expérience à l'égard des collectivités autochtones et nordiques. Les provinces et territoires ont compétence sur la production d'énergie. Toutefois, le financement d'ECAN pour ces projets est toujours pertinent parce qu'il y a peu d'autres sources de financement disponibles pour ce type de projets dans les collectivités autochtones et nordiques.

Rendement

Efficacité (c.-à-d. réussite)

Bien que presque toutes les activités d'ECAN aient été mises en œuvre jusqu'à un certain degré, toutes les mesures du rendement qui pourraient être effectuées quantitativement l'ont été, mais beaucoup n'avaient pas de cible. En conséquence, il s'est avéré difficile de mesurer l'étendue de leur réussite. De plus, les données n'avaient pas été recueillies sur les résultats principaux des PCA. Trop d'indicateurs étaient répétitifs, particulièrement au niveau des extrants, et ne fournissaient pas le niveau d'information voulu.

Les données quantitatives et qualitatives disponibles ont montré que le programme ECAN fournit des extrants, qui permettront d'atteindre les résultats escomptés. Dans le cas où des cibles étaient disponibles, ECAN semblait avoir atteint ses extrants et résultats, à l'exception du soutien prévu pour les projets de plans énergétiques communautaires, où il est resté en-deçà. La collaboration entre le secteur des services publics et les collectivités autochtones et nordiques et le développement de partenariats entre eux, qui n'étaient pas un résultat attendu défini au début du programme ECAN, sont devenus l'un des avantages principaux du programme.

Le fait de fournir des fonds très tôt pour faire démarrer les projets est un élément clé d'ECAN. Ceci a permis de créer un levier financier et ainsi d'obtenir de la part d'autres sources, vingt‑six dollars pour chaque dollar investi par ECAN, ce qui a favorisé la réussite des projets. Toutefois, le levier financier pour obtenir des fonds afin de terminer les projets a eu un succès mitigé, tous les projets n'ayant pas réussi à progresser vers la mise en œuvre par manque de financement. D'autres projets ont été financés uniquement par AINC, sans aucun autre levier de financement.

Leçons retenues et pratiques exemplaires

Les intervenants clés et les bénéficiaires du programme ont fourni des suggestions liées aux leçons retenues et aux pratiques exemplaires. Ces suggestions tournent autour de l'importance de dédier du personnel régional au programme, d'avoir des relations de travail continues avec le personnel d'AINC et d'établir des plans énergétiques communautaires avant de se lancer dans des projets plus importants d'énergies renouvelables et d'efficacité énergétique.

Économie et rendement

L'aspect économique d'ECAN n'a pas été abordé, car il nécessitait des informations financières pour chaque extrant et coût d'exploitation du projet afin d'estimer l'économie des ressources utilisées. Ces données ne sont pas disponibles puisque le programme ne les recueille pas.

Il a été difficile de déterminer l'efficacité et le rapport coût-qualité du programme. Même si des comparaisons sont possibles avec des programmes similaires, les informations des autres programmes n'étaient pas disponibles. De plus, les programmes sont intrinsèquement différents, ce qui rend les comparaisons moins significatives. Bien que de nombreux intervenants clés se soient montrés incertains quant à savoir si ECAN présentait un bon rapport coût-efficacité pour réduire les GES et les PCA, les bénéficiaires du programme interrogés ont signalé que le programme présentait un bon rapport coût-efficacité parce que le retour sur leurs petits investissements était bon pour des projets de plusieurs millions de dollars.

Solutions de rechange

À défaut de solutions de rechange qui soient compatibles avec la capacité des collectivités autochtones, les principales solutions de rechange, remarquées dans la documentation et présentées dans les études de cas, mettent en jeu une coopération étroite et un cofinancement des projets et des initiatives avec dans d'autres ministères fédéraux et d'autres ordres de gouvernement. Certains intervenants clés ont fait remarquer que la décentralisation de la mise en œuvre du programme à l'échelon régional pourrait être avantageuse pour le programme.

8.2 Recommandations

Il est recommandé que le Ministère :

1. S'oriente vers une meilleure intégration des considérations relatives aux énergies renouvelables et à l'efficacité énergétique avec d'autres administrations et avec les programmes d'AINC, tels que le Programme d'opportunités économiques pour les communautés, les grands projets d'exploitation des ressources et de développement économique et l'Initiative sur les partenariats stratégiques dans le domaine du développement économique, avec l'infrastructure communautaire et avec d'autres initiatives de développement communautaire connexes.
2. Clarifie l'orientation générale du programme, pour déterminer s'il est destiné à fonctionner comme un programme visant à offrir des incitatifs pour le lancement de projets dans les collectivités autochtones et nordiques (p. ex. préparer le terrain) ou à contribuer à la réalisation des objectifs de l'écoÉNERGIE.
   1. Recentre la stratégie de mesure du rendement afin de renforcer la capacité de recueillir les données appropriées portant sur les résultats des projets financés et du programme.
   2. Aligne les exigences en matière d'administration et de rapports sur les sommes investies et le niveau de risque (programme et bénéficiaire).

Annexe A - Modèle logique d'ECAN

Le modèle logique présente la façon dont les activités correspondent aux extrants et résultats attendus du programme écoÉNERGIE pour les collectivités autochtones et nordiques. Le tableau suivant présente un modèle logique pour ce programme, qui comporte les quatre secteurs d'activitésuivants :

1. Activités de communication, de réseautage et de sensibilisation destinées au personnel du Programme d'immobilisations du Ministère dans les régions et aux intervenants extérieurs;
2. Appui procédural relativement à l'acceptation, à l'examen et à l'approbation des projets;
3. Conseils financiers et techniques sur l'utilisation des technologies liées à l'énergie renouvelable et à l'efficacité énergétique dans les collectivités autochtones et nordiques;
4. Examens techniques, évaluation et approbation de projets.

Ces quatre secteurs d'activités sont liés par des flèches aux six extrants suivants associés à ces activités :

1. Produits de communication et matériel de promotion
2. Mise en place d'un « réseau d'énergie propre »
3. Conseils aux proposants sur la faisabilité technique et les compétences en gestion de projets
4. Projets d'énergie renouvelable financés conformément aux objectifs du programme
5. Projets d'efficacité énergétique financés conformément aux objectifs du programme
6. Plans énergétiques communautaires financés conformément aux objectifs du programme

Les extrants sont liés par des flèches aux trois résultats immédiats (trois ans) suivants :

1. Les collectivités autochtones et nordiques participant au programme écoÉNERGIE
2. De meilleures compétences techniques et administratives en matière d'énergie propre chez les résidants du Nord et les Autochtones
3. Réussite de la mise en œuvre des projets d'énergie renouvelable et d'efficacité énergétique

Ces résultats immédiats en matière d'extrants sont, en retour, liés par des flèches vers les cinq résultats intermédiaires (de trois à cinq ans) suivants :

1. Les collectivités autochtones et nordiques ont les connaissances et les outils nécessaires pour améliorer l'efficacité énergétique des infrastructures communautaires
2. Diminution des gaz à effet de serre (GES) et des contaminants atmosphériques dans les collectivités autochtones et nordiques
3. Meilleure efficience énergétique et utilisation accrue des énergies renouvelables dans les collectivités autochtones et nordiques
4. Des infrastructures énergétiques plus fiables dans les collectivités autochtones et nordiques
5. Économie des coûts en énergie dans les collectivités autochtones et nordiques

Ces résultats intermédiaires sont ensuite liés par des flèches aux deux résultats à long terme (cinq ans et plus) suivants :

1. Réduction des GES et des contaminants atmosphériques dans les collectivités autochtones et nordiques (réduction de 1,3 mégatonne de GES au cours du cycle de vie des projets soutenus dans le cadre de cette initiative)
2. Des collectivités autochtones et nordiques durables et en santé

Annexe B - Grille d'évaluation

Annexe C - Stratégie de mesure du rendement d'ECAN

Annexe D - Cadre de référence - Mars 2010

1.0 Aperçu

Affaires indiennes et du Nord Canada (AINC) procédera à une évaluation de la mise en œuvre du Programme écoÉNERGIE pour les collectivités autochtones et nordiques. L'évaluation débouchera sur des conclusions fondées sur des données probantes quant à la pertinence, la conception et la mise en œuvre, les résultats à ce jour, le rapport coût-efficacité et les solutions de rechange de l'approche employée par AINC pour aider les Autochtones et les résidants du Nord relativement au Programme écoÉNERGIE pour les collectivités autochtones et nordiques. L'évaluation appuiera aussi le renouvellement des autorisations de contribution en 2010-2011.

1.1 Justification de l'évaluation

Le Cadre horizontal de gestion, de responsabilisation et de rapport (CHGRR) du Programme de l'air pur (PAP) est un programme horizontal dirigé par Environnement Canada (EC) qui vise huit ministères et organismes fédéraux et compte quarante-trois (43) programmes, organisés sous huit thèmes en fonction des objectifs de programme :

• Règlements sur la qualité de l'air (9 programmes);
• Énergie propre (7 programmes);
• Transport propre (12 programmes);
• Qualité de l'air intérieur (2 programmes);
• Mesures internationales (4 programmes);
• Adaptation (7 programmes);
• Partenariats (1 programme);
• Gestion et responsabilisation (1 programme).

Les ministères et organismes partenaires sont chargés d'évaluer leurs programmes respectifs. Les résultats seront ensuite compilés dans un rapport sous le thème de l'énergie propre. Puisque Ressources naturelles Canada (RNCan) est responsable de ce thème, il sera chargé de l'évaluation thématique durant l'exercice 2010-2011.

Dans les faits, les résultats de l'évaluation d'AINC concernant le thème de l'énergie propre seront compilés à deux niveaux, soit de l'évaluation de l'initiative aux rapports d'évaluation thématiques et des rapports d'évaluation thématiques à l'évaluation horizontale globale du PAP.

2.0 Description du programme

2.1 Contexte

Dans le discours du Trône d'avril 2006, le gouvernement du Canada s'est engagé à « prendre des mesures concrètes pour protéger l'environnement, notamment des mesures pour réduire la pollution et les émissions de gaz à effet de serre (GES) ». En novembre 2006, par suite de cet engagement, une présentation au Conseil du Trésor (CT) sur le PAP a mené à l'approbation d'un investissement de 2 061 000 000 $ pour la période de 2007-2008 à 2020-2021 afin d'augmenter l'énergie renouvelable et l'efficacité énergétique. Le PAP se compose d'un ensemble d'initiatives et de programmes environnementaux coordonnés et offerts par les huit ministères et organismes, sous la supervision d'EC. Les neuf ministères et organismes (incluant EC) qui prennent part au PAP sont les suivants :

• Environnement Canada
• Ressources naturelles Canada
• Conseil national de recherches
• Transports Canada
• Industrie Canada
• Santé Canada
• Affaires étrangères et Commerce international
• Agence de la santé publique du Canada
• Affaires indiennes et du Nord Canada

L'énergie propre est l'un des huit thèmes du PAP; il comprend une stratégie exhaustive qui vise à réduire les émissions découlant de la production et de l'utilisation d'énergie et qui a pour objectif de compléter les aspects réglementaires du PAP. Le PAP comprend les deux initiatives suivantes au titre de l'examen des questions liées à l'air pur et au changement climatique pour la période de quatre ans.

1. Programme réglementaire sur la qualité de l'air (0,35 milliard de dollars);
2. Mesures du programme de l'air pur (MPAP) en soutien au PAP (1,35 milliard de dollars).

En ce qui concerne la seconde initiative (MPAP), le rôle d'AINC est de concrétiser l'engagement du gouvernement à aider les collectivités autochtones et nordiques à accroître leur autosuffisance. Ainsi, le programme soutient les collectivités des Premières nations et du Nord en leur octroyant des ressources financières supplémentaires pour évaluer, planifier et mettre au point des projets et des technologies qui misent sur l'énergie renouvelable et l'efficacité énergétique.

2.2 Objectifs du programme et résultats prévus

Le programme contribue au résultat stratégique d'AINC « L'économie ». Il a pour objectif (voir le Modèle logique, Annexe A) de faciliter les projets associés à l'énergie renouvelable et à l'efficacité énergétique qui permettront de :

• Réduire les émissions de gaz à effet de serre de 1,3 mégatonne durant le cycle de vie des projets (établi à 20 ans) soutenus dans le cadre du programme;
• Diminuer les émissions des principaux contaminants atmosphériques (PCA) pour contribuer à améliorer la qualité de l'air.

On prévoit atteindre ces objectifs en finançant des projets qui visent à réduire ou à déplacer la production d'électricité au gaz naturel, au charbon ou au diesel et à faire davantage usage d'énergies renouvelables et de technologies plus efficaces sur le plan énergétique. On s'attend à ce que les projets fructueux engendrent d'autres avantages en termes de développement social, environnemental et économique pour les collectivités prenant part au programme.

En outre, ce programme permettra aux collectivités autochtones et nordiques de se doter des outils et de l'expertise nécessaires pour améliorer l'efficacité énergétique de leurs infrastructures communautaires, de profiter des possibilités en matière d'énergies renouvelables et de mettre en œuvre des projets d'énergies renouvelables rentables. Le programme permet à AINC (et au gouvernement fédéral) d'assumer un rôle légitime et utile pour aider les collectivités autochtones et nordiques à faire face aux exigences des projets énergétiques lorsque la capacité pour ce type de projets est limitée.

Les objectifs du programme sont conformes à certains objectifs ministériels et on s'attend à ce qu'ils contribuent également à ces derniers, dont voici un aperçu :

• Offrir un soutien aux collectivités autochtones et nordiques en termes d'investissement dans les biens matériels en vue de contribuer à réduire les risques pour la santé et la sécurité;
• Veiller à ce que les activités soient effectuées de façon saine et durable sur le plan environnemental;
• Permettre aux résidants du Nord, à leurs gouvernements, à certains organismes et intervenants ainsi qu'aux collectivités et organisations des Premières nations et inuites de mener des activités qui complètent les efforts ministériels relatifs à l'utilisation sans risque, au développement, à la conservation et à la préservation des ressources naturelles du Nord et à la mise en œuvre d'initiatives stratégiques concernant les contaminants dans le Nord, le changement climatique et le développement durable.

Le programme procure aux collectivités autochtones et nordiques un soutien financier direct au titre des projets admissibles d'énergie propre réalisables sur le plan technologique et financier. L'objectif est l'obtention de résultats concrets pour l'investissement fédéral stratégique dans les projets d'énergie propre. Ces projets énergétiques relèvent de trois catégories conçues pour soutenir les technologies énergétiques démontrées (à l'exclusion des technologies ou des projets pilotes et de démonstration) :

• Énergie renouvelable : petites centrales ou microcentrales hydroélectriques, éoliennes, énergie solaire, biomasse, etc.
• Efficacité énergétique : meilleure efficacité de la production au diesel (dans les collectivités hors réseau), applications de chauffage centralisé, énergie héliothermique, systèmes énergétiques et de chauffage améliorés dans les immeubles communautaires, etc.
• Plans énergétiques communautaires : le programme fournira un soutien financier et technologique aux organismes admissibles en vue d'élaborer des plans d'action pour l'énergie propre dans leur collectivité.

Le programme soutiendra de 32 à 55 projets par année, répartis comme suit :

• Énergie renouvelable et efficacité énergétique – de 6 à 15 projets par année bénéficiant d'un financement direct;
• Efficacité énergétique – de 10 à 20 projets d'infrastructure couverts par le Plan d'immobilisations à long terme d'AINC;
• Plans énergétiques communautaires – de 16 à 20 plans par année.

2.3 Gestion du programme, principaux intervenants et bénéficiaires

Le concept et l'approche utilisés au titre de la prestation du programme s'inspirent du succès obtenu avec d'autres programmes de niveau et de complexité similaires, tel le Plan d'action pour les collectivités autochtones et nordiques (PACAN) 2003-2007. Ce dernier a été le premier programme fédéral entièrement consacré à mobiliser les collectivités autonomes dans la lutte contre le changement climatique. Le PACAN est conçu pour aider les collectivités autochtones et nordiques à mettre en place des initiatives relatives à la planification énergétique communautaire, à l'énergie renouvelable et aux nouvelles technologies au diesel. Les rôles et les responsabilités qui suivent s'appliquant au programme ont été établis en fonction de l'expérience antérieure et des enseignements tirés de la prestation du PACAN .

Prestation à l'administration centrale (AC) : Le personnel de la Direction de l'environnement et des ressources renouvelables (DERR) des Affaires du Nord assure la prestation du programme selon une approche centrale, examine les demandes, veille à l'admissibilité du promoteur et approuve les projets admissibles.

Le programme est administré conjointement par le directeur de la DERR et le personnel de l'AC qui offrent des conseils techniques aux demandeurs, soutiennent le Comité d'examen des projets (qui est chargé, entre autres choses, de faire l'étude des projets proposés, de veiller à ce que les projets recommandés soient réalisables et satisfassent aux critères d'admissibilité et de fournir au directeur une recommandation concernant l'approbation du projet), contrôlent la mise en œuvre du projet, fournissent du soutien aux bénéficiaires et travaillent indirectement avec les intervenants externes (p. ex. les ministères de l'Énergie des gouvernements provinciaux et territoriaux) afin d'assurer la mise en œuvre efficace du projet.

Comités d'examen des projets : Les comités comprennent des représentants des principaux secteurs d'AINC (Développement économique, Programmes d'immobilisations et Affaires du Nord) et un entrepreneur technique (tierce partie) qui fait l'étude de tous les projets admissibles et recommande, aux fins de l'approbation du directeur, ceux qui lui semblent les plus appropriés pour recevoir un financement. Au moment d'octroyer le financement aux bénéficiaires des projets approuvés, les accords de contribution doivent être modifiés afin de faire apparaître le financement du programme. Si ce n'est pas le cas, quand arrive le temps d'octroyer aux bénéficiaires le financement au moyen d'un accord de contribution, un nouvel accord doit alors être négocié afin de fournir le financement du programme. Les agents de projet de l'administration centrale (AC) contrôlent la mise en œuvre des accords; ceux-ci doivent toutefois être gérés dans la région d'AINC où ils ont été établis.

Intervenants externes : On s'attend également à ce que le personnel du programme (AC) travaille indirectement avec les intervenants externes (p. ex. services publics) pour assurer la mise en œuvre efficace du projet. Les intervenants externes contribuent de façon essentielle à la réussite du programme, pour les raisons énumérées ci-après :

• L'initiative écoÉNERGIE ne finance qu'en partie les projets; c'est pourquoi leur exécution efficace nécessite la participation de partenaires de financement supplémentaires;
• Le succès de bon nombre de projets reposera sur la vente d'énergies renouvelables aux services publics d'électricité provinciaux par le raccord aux réseaux, ce qui engendrera d'importants revenus grâce auxquels bon nombre de ces projets peuvent être réalisés.

Bénéficiaires : Les bénéficiaires sont responsables de la mise en œuvre du projet, conformément aux plans de projet approuvés présentés (avec les demandes) et aux modalités de l'accord de contribution.

2.4 Ressources du programme

Le Conseil du Trésor a approuvé un financement total de 15 millions de dollars sur une période de quatre ans s'étalant de 2007-2008 à 2010-2011. Le tableau ci-dessous décrit la répartition des ressources annuelles et les dépenses au titre du programme (en millions de dollars).

Tableau 7 : Besoins en ressources pour le programme ($)
Budget (planifié) et dépenses (réelles)

Les coûts associés aux activités de contrôle et de suivi sont compris dans le crédit de fonctionnement (salaires et Fet E) et se répartissent comme suit :

Les ressources seront affectées aux projets approuvés au moyen des accords de contribution à l'échelle de la collectivité. Tous les projets financés dans le cadre du programme feront partie des accords existants que AINC a conclus avec les collectivités autochtones. Un accord de contribution sera établi pour financer le programme d'un bénéficiaire qui n'est pas déjà signataire d'un tel accord.

Le programme vise à financer les trois principaux types de projets d'énergie propre qui suivent [Note 41] :

• Projets d'énergies renouvelables – jusqu'à 250 000 $ par projet;
• Projets d'efficacité énergétique – jusqu'à 250 000 $ par projet;
• Plans énergétiques communautaires – de 5 000 à 15 000 $, selon la taille de la collectivité.

3.0 Méthode d'évaluation

3.1 Objectifs et portée de l'évaluation

L'évaluation vise à examiner les éléments suivants :

• Planification, conception, gestion et prestation du programme
• Processus de mesure du rendement et établissement de rapports
• Efficacité du programme en termes de financement de projets pertinents
• Mesure dans laquelle le programme est en voie d'atteindre les résultats planifiés
• Contributions du programme au thème de l'énergie propre et aux résultats du PAP

Un certain nombre de questions d'évaluation ont été posées dans le cadre du plan d'évaluation du thème sur l'énergie propre (voir l'annexe B) afin de faciliter la synthèse des évaluations qui mettront exclusivement l'accent sur les éléments de preuve qui soutiennent les questions d'évaluation horizontale du PAP. Le plan comprendra les questions d'évaluation propres au programme.

L'évaluation fera l'étude des activités entreprises dans le cadre du programme, du 1er avril 2007 au 31 mars 2010. On contrôlera notamment l'examen de gestion entrepris en 2009 portant exclusivement sur la mise en œuvre de l'initiative, de l'exercice 2007-2008 (date de mise en route du programme) à la fin de l'exercice 2008-2009, ainsi que toute vérification terminée ou en cours.

3.2 Questions liées à l'évaluation

Pertinence

Il s'agit d'évaluer la pertinence constante du programme et de déterminer s'il est conforme ou pas aux priorités du Ministère et de l'ensemble du gouvernement. L'étude menée déterminera si le programme répond de façon réaliste à un besoin réel et si le rôle du gouvernement fédéral est approprié.

Plus précisément, l'évaluation déterminera si le programme a été conçu de façon appropriée pour faciliter les projets d'énergies renouvelables et d'efficacité énergétique qui visent à aider les collectivités autochtones et nordiques à se doter des capacités nécessaires pour réduire les GES au cours du cycle de vie des projets soutenus par le programme et diminuer les émissions des PCA pour contribuer à améliorer la qualité de l'air.

Conception et prestation

On évaluera la mesure dans laquelle chaque activité du programme a été mise en œuvre ou est en voie de l'être, selon les prévisions. Il s'agit plus précisément d'évaluer les extrants et de définir si l'on a joint les bénéficiaires ciblés.

L'évaluation permettra également de définir dans quelle mesure on a atteint les objectifs du programme, en termes de conception et de prestation (p. ex. pertinence de la conception et de la prestation du programme) et si ce dernier est parvenu à prendre en compte les résultats stratégiques tout en offrant une prestation efficace. On vérifiera si les enseignements tirés, les pratiques exemplaires et les résultats des évaluations antérieures ont servi à la conception et à la prestation du programme.

Succès/résultats

L'évaluation portera sur l'efficacité des activités du programme et l'utilité des ressources dans l'atteinte des résultats et des extrants, à ce jour. On déterminera également si le programme est conforme au budget alloué. Les résultats inattendus (positifs ou négatifs) constatés à ce jour seront examinés.

Lors de l'évaluation des progrès du programme en regard de la réalisation des résultats escomptés, on se penchera sur des domaines fondamentaux tels que la collecte de données, la validité de l'information sur le rendement, l'établissement de rapports et la responsabilisation, tous des éléments clés du succès du programme.

Rapport coût-efficacité/solutions de rechange

Ce volet de l'évaluation comprendra la mise en évidence des coûts du programme et la recherche de mesures de rechange susceptibles de faire en sorte que le programme engendre des avantages comparables. Il s'agira de déterminer si l'on a utilisé les moyens les plus appropriés et les plus économiques pour obtenir les résultats par rapport à d'autres méthodes de conception et de prestation.

Facteurs à examiner, points forts et limites

Le plan d'évaluation du thème sur l'énergie propre élaboré par RNCan, en collaboration avec la Direction générale de l'évaluation, de la mesure du rendement et de l'examen (DGEMRE) d'AINC et les gestionnaires du programme, servira de guide tout au long de l'évaluation.

Il s'agit d'une évaluation de la mise en œuvre. Le programme est en vigueur depuis 2007; il est le dernier à être évalué dans le cadre du thème sur l'énergie propre. Par conséquent, nous devrons obtenir les constatations préliminaires pour faire l'évaluation du thème en fin d'année 2010.

De surcroît, un certain nombre de collectivités et de bénéficiaires visés par le programme sont les mêmes que ceux ciblés par le Programme de l'énergie propre de RNCan. À ce titre, nous nous efforcerons dans la mesure du possible de simplifier les méthodes d'évaluation afin de réduire les exigences en matière de rapport et d'améliorer l'efficience et l'efficacité du processus.

Il est à noter que la nouveauté du programme constitue un inconvénient majeur. En effet, si le programme peut être mis en place en s'inspirant d'un programme similaire antérieur tel le PACAN , sa nouveauté peut représenter une contrainte.

3.3 Méthodes d'évaluation

Sources de données

Sous réserve de l'évolution à venir de la méthodologie et du plan de travail détaillés, les constatations et conclusions de l'évaluation seront fondées sur l'analyse et la validation des sources de données suivantes :

• Examen des dossiers et de la documentation à l'échelle de l'AC et des régions, y compris des vérifications, des évaluations, des rapports d'examen, des sondages, etc.
• Examen des documents publiés et des travaux, études et recherches effectués à l'échelle internationale.
• Examen du rendement et des données financières d'AINC : systèmes de gestion/systèmes financiers, bases de données, mise en place des cadres de mesure du rendement (CMR) et tout autre rapport pertinent qui fourniront de l'information permettant d'évaluer l'impact du programme.
• Les entrevues avec les répondants clés et les groupes de discussion vont cibler des intervenants de premier plan comme les gestionnaires d'AINC et les représentants d'autres ministères fédéraux (p. ex. RNCan), des gouvernements territoriaux, des organisations autochtones nationales, des organisations du Nord, des collectivités autochtones et nordiques et, le cas échéant, des organisations professionnelles et des universités.
  
  On demandera aux répondants clés de décrire leurs pratiques de gestion, y compris le processus, la mise en œuvre et le suivi de la planification, en vue de faire ressortir les améliorations, réussites et contraintes éventuelles. Ils fourniront de l'information sur les impacts des éléments du programme.
• Les études de cas fourniront des analyses approfondies des pratiques exemplaires et des enseignements tirés à ce jour.
• Examen par les pairs des documents préliminaires : les principaux rapports produits durant l'évaluation, incluant les ébauches de questionnaires et de rapports, seront révisés par des professionnels.

4.0 Gestion de projet et contrôle de la qualité

La DGEMRE dirigera et gérera l'évaluation et coordonnera, en collaboration avec RNCan, le travail d'évaluation du thème. L'évaluation sera confiée à des sous-traitants, et la DGEMRE transmettra périodiquement des rapports d'étape à la Direction de l'environnement et des ressources renouvelables du Secteur des affaires du Nord.

Des mesures de contrôle de la qualité permettront de valider les produits d'évaluation (p. ex. rapports techniques et rapports préliminaires) tout au long de l'évaluation. On pourra créer un groupe de travail composé de gestionnaires de la DGEMRE et du programme.

5.0 Ressources allouées à l'évaluation et échéancier prévu

Budget et échéancier
On estime que le budget nécessaire à cette évaluation est de 100 000 $; les coûts seront imputés au programme dès le début des travaux. Le présent budget pourrait être révisé (p. ex. les coûts estimatifs pourraient être réaffectés d'après les dépenses par catégorie) à mesure que la méthodologie et le plan de travail se préciseront. Voici les postes budgétaires projetés :

Échéancier

On prévoit achever l'évaluation en octobre 2010, mais cette date est subordonnée à la vérification du plan de travail et du rapport sur la méthodologie détaillée.

Le cadre de référence pour l'évaluation du Programme écoÉNERGIE pour les collectivités autochtones et nordiques a été approuvé par le Comité de l'évaluation, de la mesure du rendement et de l'examen, le14 mai 2010.

Annexe A - Modèle logique

Le modèle logique présente la façon dont les activités correspondent aux extrants et résultats attendus du programme écoÉNERGIE pour les collectivités autochtones et nordiques. Le tableau suivant présente un modèle logique pour ce programme, qui comporte les quatre secteurs d'activitésuivants :

1. Activités de communication, de réseautage et de sensibilisation destinées au personnel du Programme d'immobilisations du Ministère dans les régions et aux intervenants extérieurs;
2. Appui procédural relativement à l'acceptation, à l'examen et à l'approbation des projets;
3. Conseils financiers et techniques sur l'utilisation des technologies liées à l'énergie renouvelable et à l'efficacité énergétique dans les collectivités autochtones et nordiques;
4. Examens techniques, évaluation et approbation de projets.

Ces quatre secteurs d'activités sont liés par des flèches aux six extrants suivants associés à ces activités :

1. Produits de communication et matériel de promotion
2. Mise en place d'un « réseau d'énergie propre »
3. Conseils aux proposants sur la faisabilité technique et les compétences en gestion de projets
4. Projets d'énergie renouvelable financés conformément aux objectifs du programme
5. Projets d'efficacité énergétique financés conformément aux objectifs du programme
6. Plans énergétiques communautaires financés conformément aux objectifs du programme

Les extrants sont liés par des flèches aux trois résultats immédiats (trois ans) suivants :

1. Les collectivités autochtones et nordiques participant au programme écoÉNERGIE
2. De meilleures compétences techniques et administratives en matière d'énergie propre chez les résidants du Nord et les Autochtones
3. Réussite de la mise en œuvre des projets d'énergie renouvelable et d'efficacité énergétique

Ces résultats immédiats en matière d'extrants sont, en retour, liés par des flèches vers les cinq résultats intermédiaires (de trois à cinq ans) suivants :

1. Les collectivités autochtones et nordiques ont les connaissances et les outils nécessaires pour améliorer l'efficacité énergétique des infrastructures communautaires
2. Diminution des gaz à effet de serre (GES) et des contaminants atmosphériques dans les collectivités autochtones et nordiques
3. Meilleure efficience énergétique et utilisation accrue des énergies renouvelables dans les collectivités autochtones et nordiques
4. Des infrastructures énergétiques plus fiables dans les collectivités autochtones et nordiques
5. Économie des coûts en énergie dans les collectivités autochtones et nordiques

Ces résultats intermédiaires sont ensuite liés par des flèches aux deux résultats à long terme (cinq ans et plus) suivants :

1. Réduction des GES et des contaminants atmosphériques dans les collectivités autochtones et nordiques (réduction de 1,3 mégatonne de GES au cours du cycle de vie des projets soutenus dans le cadre de cette initiative)
2. Des collectivités autochtones et nordiques durables et en santé

Le mandat d'AINC est d'appuyer les Autochtones et les résidants du Nord dans leurs efforts visant à :

• consolider leur bien-être social et leur prospérité économique;
• constituer des collectivités plus saines et plus durables;
• participer davantage au développement politique, social et économique du Canada, au profit de tous les Canadiens.

À cette fin, les programmes d'AINC se rattachent à six résultats stratégiques clés, soit « Le gouvernement », « Les gens », « Les terres », « L'économie », « Le Nord » et « Le Bureau de l'interlocuteur fédéral ».

L'initiative écoÉNERGIE pour les collectivités autochtones et nordiques a été conçue à l'origine pour contribuer à l'objectif stratégique ministériel relatif à l'économie (infrastructure communautaire).

À l'heure actuelle, les résultats planifiés du programme contribuent à la concrétisation du résultat stratégique « L'économie » de l'architecture des activités de programme (AAP), et ce, en appuyant directement la sous-activité « Installations publiques » de l'activité de programme « L'infrastructure communautaire ».

Annexe B – Plan d'évaluation du thème sur l'énergie propre

Plan d'évaluation du thème sur l'énergie propre
(Élaboré par RNCan en collaboration avec AINC)

Pertinence

• Les activités relatives à L'ÉNERGIE PROPRE sont-elles en lien avec les principaux besoins environnementaux?
• Les activités relatives à L'ÉNERGIE PROPRE sont-elles conformes aux priorités du gouvernement fédéral?

Conception et prestation

• Le thème sur L'ÉNERGIE PROPRE est-il conçu et offert de manière à atteindre du mieux possible les objectifs du programme?

Succès/résultats

• Dans quelle mesure sommes-nous parvenus à atteindre les résultats escomptés en matière D'ÉNERGIE PROPRE?
• Y a-t-il eu des résultats inattendus (positifs ou négatifs)? Des mesures ont-elles été prises en réaction à ces résultats?

Rapport coût-efficacité

• Existe-t-il des moyens plus efficaces et rentables d'atteindre les objectifs en matière D'ÉNERGIE PROPRE?
• Comment pourrait-on améliorer l'efficacité des activités associées à L'ÉNERGIE PROPRE?

Notes en bas de page :

1. AINC. Operational Management Guide - ecoENERGY for Aboriginal and Northern Communities Program - 2007-2008 to 2010-2011, 2009. (retourner au paragraphe source)
2. Secrétariat du Conseil du Trésor. Programme sur la qualité de l'air, 2008. (25 août 2009). (retourner au paragraphe source)
3. AINC. Operational Management Guide - ecoENERGY for Aboriginal and Northern Communities Program - 2007-2008 to 2010-2011, 2009. (retourner au paragraphe source)
4. Gouvernement du Canada. Theme: Clean Energy, 2009. Document fourni par l'équipe du programme le 12 mai 2010. (retourner au paragraphe source)
5. Gouvernement du Canada. Theme: Clean Energy, 2009. Document fourni par l'équipe du programme le 12 mai 2010. (retourner au paragraphe source)
6. Gouvernement du Canada. ÉcoÉNERGIE - écoÉNERGIE pour les collectivités autochtones et nordiques, 2010. (4 mai 2010). (retourner au paragraphe source)
7. Une collectivité hors réseau est une collectivité qui n'est pas branchée au réseau électrique et, en conséquence, doit générer sa propre énergie. Souvent, l'énergie est produite par des génératrices diesel dans ses collectivités. (retourner au paragraphe source)
8. AINC. Operational Management Guide - ecoENERGY for Aboriginal and Northern Communities Program - 2007-2008 to 2010-2011, 2009. (retourner au paragraphe source)
9. AINC. Operational Management Guide - ecoENERGY for Aboriginal and Northern Communities Program - 2007-2008 to 2010-2011, 2009. (retourner au paragraphe source)
10. AINC. Eligible Projects & Funding [présentation PowerPoint], s.d.; AINC. EcoEnergy for Aboriginal and Northern Communities Initiative Results-based Management and Accountability Framework and Risk Based Audit Framework, 2007. (retourner au paragraphe source)
11. Les montants de financement pour les trois catégories respectent les limites permises en vertu des deux autorisations de financement : 334 (« Les gens » - Des collectivités nordiques saines) et 377 (« L'économie » - Infrastructure communautaire). (retourner au paragraphe source)
12. AINC. EcoEnergy for Aboriginal and Northern Communities Initiative Results-based Management and Accountability Framework and Risk Based Audit Framework, 2007. (retourner au paragraphe source)
13. AINC. Operational Management Guide - ecoENERGY for Aboriginal and Northern Communities Program - 2007-2008 to 2010-2011, 2009. (retourner au paragraphe source)
14. AINC. Operational Management Guide - ecoENERGY for Aboriginal and Northern Communities Program - 2007-2008 to 2010-2011, 2009. (retourner au paragraphe source)
15. AINC. EcoEnergy for Aboriginal and Northern Communities Initiative Results-based Management and Accountability Framework and Risk Based Audit Framework, 2007. (retourner au paragraphe source)
16. AINC. Regulatory and ecoACTION Program Analysis - Report in Response to the Kyoto Protocol Implementation Act 2010, s.d. (retourner au paragraphe source)
17. AINC. Regulatory and ecoACTION Program Analysis - Report in Response to the Kyoto Protocol Implementation Act 2010, s.d. (retourner au paragraphe source)
18. On s'attend à ce qu'un projet ait un cycle de vie de vingt ans (retourner au paragraphe source)
19. AINC. EcoEnergy for Aboriginal and Northern Communities Initiative Results-based Management and Accountability Framework and Risk Based Audit Framework, 2007. (retourner au paragraphe source)
20. AINC. Operational Management Guide - ecoENERGY for Aboriginal and Northern Communities Program - 2007-2008 to 2010-2011, 2009. (retourner au paragraphe source)
21. AINC. EcoEnergy for Aboriginal and Northern Communities Initiative Results-based Management and Accountability Framework and Risk Based Audit Framework, 2007. (retourner au paragraphe source)
22. AINC. EcoEnergy for Aboriginal and Northern Communities Initiative Results-based Management and Accountability Framework and Risk Based Audit Framework, 2007. (retourner au paragraphe source)
23. AINC. EcoEnergy for Aboriginal and Northern Communities Initiative Results-based Management and Accountability Framework and Risk Based Audit Framework, 2007. (retourner au paragraphe source)
24. AINC. Operational Management Guide - ecoENERGY for Aboriginal and Northern Communities Program - 2007-2008 to 2010-2011, 2009. (retourner au paragraphe source)
25. Google Scholar est un moteur de recherche spécialisé grâce auquel il est possible de rechercher des documents universitaires ou techniques à l'aide de mots clés. (retourner au paragraphe source)
26. Sept des huit promoteurs ayant participé à l'étude de cas ont examiné la transcription et fourni de la rétroaction à PRA Inc.(retourner au paragraphe source)
27. Gouvernement du Canada. Discours du Trône, 2008. (10 novembre 2009); Gouvernement du Canada/BUREAU DU CONSEIL PRIVÉ. Discours du Trône, 2007. (10 novembre 2009). (retourner au paragraphe source)
28. Gouvernement du Canada. Discours du Trône, 2009. (29 juillet 2010). (retourner au paragraphe source)
29. Ministère des Finances Canada. Budget 2007. (10 novembre 2009). MINISTÈRE DES FINANCES CANADA. Budget 2008. (10 novembre 2009); MINISTÈRE DES FINANCES CANADA. Budget 2009. (10 novembre 2009); MINISTÈRE DES FINANCES CANADA. Budget 2010. (29 juillet 2010). (retourner au paragraphe source)
30. AINC. EcoEnergy for Aboriginal and Northern Communities Initiative Results-based Management and Accountability Framework and Risk Based Audit Framework, 2007. (retourner au paragraphe source)
31. AINC. Operational Management Guide - ecoENERGY for Aboriginal and Northern Communities Program - 2007-2008 to 2010-2011, 2009. (retourner au paragraphe source)
32. AINC. Performance Measurement Summary - Excel Spreadsheet, 2010. Document fourni par le programme le 13 août 2010. (retourner au paragraphe source)
33. AINC. Performance Measurement Summary - Excel Spreadsheet, 2010. Document fourni par le programme le 13 août 2010. (retourner au paragraphe source)
34. Secrétariat du Conseil du Trésor du Canada. Initiatives horizontales, 2009. (30 juillet 2010). (retourner au paragraphe source)
35. AINC. Regulatory and ecoACTION Program Analysis - Report in Response to the Kyoto Protocol Implementation Act 2010, s.d. (retourner au paragraphe source)
36. On s'attend généralement à ce qu'un projet ait un cycle de vie de vingt ans. (retourner au paragraphe source)
37. Les plans énergétiques communautaires ne fournissent pas d'estimation de la réduction des GES. (retourner au paragraphe source)
38. AINC. Regulatory and ecoACTION Program Analysis - Report in Response to the Kyoto Protocol Implementation Act 2010, s.d. Document fourni par le programme le 12 mai 2010. (retourner au paragraphe source)
39. Lorsque seront publiées d'autres évaluations d'écoENERGIE, il sera possible de comparer le coût par tonne de la réduction des GES par un éventail de moyens. (retourner au paragraphe source)
40. RNCan est responsable du dossier en ce qui concerne les véhicules personnels, la flotte (autobus et camions) et le transport (véhicules fédéraux). Transports Canada se concentre sur l'avancement de la technologie de réduction de la consommation de carburant. (retourner au paragraphe source)
41. Si des fonds supplémentaires sont accordés pour des projets énergétiques dans le plan d'immobilisations quinquennal du Ministère, le financement s'élèvera à un maximum de 100 000 $ (plutôt que de 250 000 $). Il s'agirait de projets qui tireraient parti du financement supplémentaire pour incorporer les technologies d'efficacité énergétique ou d'énergies renouvelables. (retourner au paragraphe source)