ARCHIVÉE - À notre sujet

Évaluations et vérifications

Évaluation du Réseau canadien d'information archivistique (RCIA)

Bibliothèque et Archives du Canada

Rapport final

Préparé par la Division de la vérification et de l'évaluation
Bibliothèque et Archives Canada
Mars 2004

Table des matières

• 1.0 Introduction

• 2.0 Résultats de l'évaluation

• 3.0 Conclusions

• 4.0 Réponse de la gestion

1.0 Introduction

1.1 Historique

Tel que mentionné dans les documents précédents,¹ la vision évoquée était « to enhance the knowledge and appreciation of our past by providing access to the nation's archival record via the information highway. »/[traduction non officielle : « améliorer la connaissance et l'appréciation de notre passé en donnant l'accès aux dossiers d'archives de la nation par l'autoroute de l'information »]. Le Réseau canadien d'information archivistique (RCIA) était décrit comme « a distributed, searchable network of networks which will link Canadians on the internet with every Canadian archives » / traduction non officielle : [« un réseau répandu et ouvert de réseaux qui reliera les Canadiens par Internet avec chacune des archives canadiennes. » Les principales caractéristiques de ce réseau pourraient être la flexibilité, l'utilisation facile et globale. Les éléments principaux du cadre de travail stratégique étaient :

1. Accès au contenu archivistique canadien
2. Élaboration de normes
3. Formation des créateurs et des utilisateurs
4. Financement du Réseau canadien d'information archivistique (RCIA)
5. Communication, consultation, coordination et coopération

En ce qui concerne l'implantation du réseau, trois phases avaient été prévues étant donné le développement inégal des réseaux d'information et des bases de données parmi les différentes archives (incluant les archives provinciales et territoriales) qui deviendraient des partenaires majeurs.² Les trois étapes comprenaient :

1. les principales descriptions de toutes les collections archivistiques canadiennes  -  avant la fin de l'année 2000;
2. des instruments de recherche précis et des descriptions de chacune des collections; et,
3. finalement, la disponibilité d'articles significatifs, soit des photographies, de l'art documentaire et des cartes.³

Le groupe visé (p. ex., les communautés d'intérêt ou les utilisateurs finaux) a été identifié dans les étapes de planification est formé de :⁴

• enseignants, chercheurs et étudiants
• archivistes
• public canadien
• industries culturelles
• généalogistes
• employés du gouvernement
• communautés et
• entité sociale.

Au début, les efforts portaient principalement sur la promotion du concept du RCIA et l'assurance d'une source stable de financement. Les premières évaluations de coûts relatifs au RCIA avoisinaient les 16 millions de dollars sur une période de quatre ans. Le gouvernement a été sollicité pour la moitié du financement requis.⁵ Après avoir considéré plusieurs possibilités, le Ministère du Patrimoine canadien semblait être un choix logique et les présentations ont débuté dès décembre 1998.⁶

Du travail a été également fait afin d'établir les conditions du programme. En mars 1999, les conditions étaient définies par le CCA et cinq secteurs de financement ont été identifiés :⁷

1. préparation des Règles pour la description des documents d'archives (RDDA) conforme et des descriptions de base;
2. appui à l'infrastructure technique du RCIA;
3. choix du repérage et de la numérisation;
4. formation et éducation connexes au RCIA; et
5. gestion de programme.

Par la suite, des efforts ont été faits pour développer une infrastructure technique pour appuyer le RCIA. En janvier 2000, un important progrès a été réalisé dans ce domaine lorsque les Archives nationales ont offert au CCA l'infrastructure nécessaire au serveur Web, un moteur de recherche et un branchement Internet.

Bien que des efforts aient été faits par le CCA pour assurer la participation du secteur privé en ce qui a trait à l'initiative, ceux-ci n'ont pas été couronnés de succès. Pendant la période de développement, un effort important a été fait au Canada par les archives afin que le RCIA devienne une réalité. Le CCA a dépensé plus de 200 000 $ de son propre budget pour obtenir le RCIA et pour le faire fonctionner. ⁸

En février 2000, afin d'augmenter le contenu culturel canadien en ligne, le budget fédéral allouait 20 millions de dollars pour l'exercice 2000-01 et 30 millions de dollars l'année suivante. ⁹ En octobre 2000, le Patrimoine canadien octroyait finalement un montant de 700 000 $ pour ce qui restait de l'exercice de 2000-01, afin d'effectuer le travail relatif au RCIA (20 projets ont été montés). Entre-temps, le travail s'est poursuivi sur le prototype du site Web qui a été lancé en octobre 2001. Le financement de l'exercice 2001-02, de 2,3 millions de dollars, visait un total de 134 projets; toutefois, il y a eu des délais pour l'approbation de ce financement et des ajustements ont été nécessaires pour certains de ces projets. Le financement de 1,7 million de dollars pour 2002-03 était inférieur au montant anticipé et a demandé davantage d'ajustement, dont une contribution du CCA à partir de son propre budget régulier afin d'atténuer l'effet de la réduction.

Pendant les trois années au cours desquelles le financement provenait du Patrimoine canadien, les lignes directrices, en vertu desquelles le financement était attribué, portaient de plus en plus sur la nécessité de rendre le contenu numérique accessible en ligne. De plus en plus, Patrimoine canadien est devenu de plus en plus réticent à financer des projets qui impliquaient d'autres activités (infrastructure, description, formation, etc.) Bien que la vision du RCIA comprenait le contenu numérique, on le considérait comme une étape de dernière phase, et non le coeur du projet, particulièrement dans les premières années, on ne lui a pas attribué une grande importance. Bien qu'il y ait eu des ajustements dans l'ensemble des projets proposés, afin de répondre à l'exigence d'augmenter le contenu numérique, il a été nécessaire d'ajuster certains projets et d'abandonner certains autres; de plus, les niveaux de financement ont été inférieurs aux attentes puisque le RCIA est directement lié au financement du PCCE.

1.2 Objectif de l'évaluation

Depuis le début, le financement du RCIA, fourni par le Patrimoine canadien par le biais du Programme de culture canadienne en ligne (PCCE) et de ses prédécesseurs, n'a pas répondu aux attentes en raison d'objectifs divergents. Une évaluation du RCIA, à ce moment, permettrait d'établir si l'approche actuelle est adéquate et les leçons à en tirer. Le 31 octobre 2003, le comité sur la vérification et sur l'évaluation de Bibliothèque et Archives Canada (BAC) approuvait les conditions de l'évaluation telles que présentées à l'Annexe 1.

1.3 Méthodologie

L'évaluation, menée par la division de la vérification et de l'évaluation de BAC avec l'aide de Conseil et vérification Canada, a permis d'étudier le programme tel qu'il existait le 30 septembre 2003. Un comité consultatif a participé au développement de la méthodologie utilisée lors de l'évaluation et a aidé l'équipe d'évaluation au plan de la documentation, a facilité le contact avec les participants au programme et a révisé l'ébauche du rapport (voir l'Annexe 2 pour les conditions du Comité consultatif).

L'évaluation en elle-même utilisait plusieurs méthodes, incluant une révision de la documentation à BAC et au Conseil canadien des archives. Les entrevues ont été effectuées auprès du personnel de BAC, du Conseil canadien des archives et des Conseils nationaux/ Archives provinciales/territoriales. Des entrevues téléphoniques ont également eu lieu auprès d'un échantillon significatif de bénéficiaires du programme représentatifs des composantes de programme et des catégories de participants. Un sondage client en ligne a également été effectué en utilisant différentes listes de diffusion dans lesquelles on croyait que se trouveraient des utilisateurs du RCIA (voir les annexes 3A à 3D pour obtenir davantage de détails).

Cinq études de cas parmi toutes les composantes de programmes et toutes les catégories de participants ont également été effectuées. Ces études de cas impliquaient un examen des dossiers ainsi que des entrevues avec les bénéficiaires du programme.

2.0 Résultats de l'évaluation ¹⁰

2.1 Atteinte des objectifs du programme

2.1.1 Buts et objectifs de départ du RCIA

Les objectifs du RCIA n'allaient pas dans la même direction que ceux du programme de financement PCCE.

L'évaluation a établi que la version originale du RCIA comprenait des descriptions en ligne et un contenu numérisé, dans le cadre d'une séquence. Le catalogue national des descriptions en ligne était la principale priorité et, après un progrès substantiel, et l'établissement d'une infrastructure technique / réseau, le contenu choisi devait être numérisé et rendu disponible en ligne.

Toutes les personnes ressources conviennent que l'objectif premier du RCIA était de créer un catalogue national en ligne des descriptions des fonds des archives canadiennes. Sur le plan d'objectifs véritables, il semble que le but était d'obtenir toutes les descriptions de niveau des fonds d'archives au Canada (jusqu'à 800 institutions) en ligne et que le RDDA soit conforme sur une période de trois ans.

Bien que des efforts aient été faits pour assurer le financement de cette vision du RCIA, l'unique source de financement qui s'est matérialisée était le Programme de culture canadienne en ligne -- PCCE. Au fil du temps, le PCCE s'est davantage concentré sur la numérisation et sur les expositions virtuelles, ce qui a incité les projets du RCIA à faire de même. Le milieu des archives a perçu cette orientation comme un changement de la direction du RCIA, ce qui a nécessité un changement de la version originale.

2.1.2 Mesure de la réussite des objectifs du RCIA

Des progrès ont été faits dans l'atteinte de l'objectif du catalogue national en ligne.

En fonction d'objectif d'un catalogue national de descriptions, il semble que le RCIA soit complété à 20 %, après trois ans de financement. La principale raison est que jusqu'à présent environ 250 des 800 archives y ont participé (ceux qui y ont participé ont terminé environ 50 %, mais seulement 37 % de ce groupe estime que toutes les descriptions pourraient être terminées en moins de deux ans).

Bien que le financement consacré à la préparation des descriptions ait diminué au cours des trois années, il représente encore 44 % des dépenses. Un 24 % supplémentaire a été dépensé pour l'infrastructure technique et 12 % pour la formation et la gestion.

Seulement 20% a été dépensé pour la numérisation et les expositions virtuelles (voir l'annexe 5 pour plus de détails). Au total, le RCIA a reçu et utilisé environ 45 % du financement demandé au départ (8 millions de dollars) pour le développement d'un catalogue national en ligne et l'infrastructure associée.

Les personnes ressources croient qu'un important progrès a été fait pour établir un réseau et un modeste progrès a été fait pour augmenter le profil des archives par le biais d'une présence améliorée sur le Web. Ceux qui ont participé au programme croient que le financement a atteint son objectif (60 à 90 % d'accord) et que le financement PCCE pour le RCIA était important pour atteindre les objectifs du programme (70 à 100 %).

L'utilisation du site Web d'Archives Canada/RCIA n'a pas atteint un niveau où l'on pourrait dire que les Canadiens y sont intéressés, mais il semble être utilisé principalement par le milieu des archives. Il ne semble pas que le RCIA ait amélioré l'accès au site pour les Canadiens. Une des raisons avancées pour expliquer ce résultat est que le RCIA n'a pas fait activement de promotion auprès des usagers potentiels. Le trafic sur le RCIA ne reflète pas le réseau entier dont le RCIA ne constitue qu'une partie. Les données et les limites de temps ne permettent pas de réunir les statistiques relatives aux réseaux provinciaux.

2.2 Résultats et impacts des programmes

2.2.1 Impact du RCIA sur le milieu des archives

Les bénéfices pour le milieu des archives ont été apparents.

Les personnes ressources croient que l'impact du RCIA sur le milieu des archives a été positif, particulièrement dans le domaine des descriptions normalisées et l'amélioration des communications dans le milieu des archives. Les personnes sondées lors de l'étude de cas croient que des améliorations de la gestion physique des documents et de l'espace ont été réalisées.

En ce qui concerne l'augmentation dans les demandes de la part du public, les participants ont répondu que les plus importantes augmentations se sont manifestées par des visites en ligne et des courriers électroniques. Ceux-ci dénotent une présence en ligne plus importante que l'on doit au RCIA.

Bien que 44 % des participants aient indiqué que le RCIA a amélioré leur capacité de recherche de financement, le profil de financement des institutions dans l'échantillon démontrait que leurs sources de financement ne sont pas plus diversifiées qu'auparavant.

2.2.2 Satisfaction des clients face aux produits du RCIA

Les demandes du public semblent être différentes de celles du milieu des archives.

Les participants, les personnes sondées à l'étude de cas et les personnes ressources clés du milieu des archives croyaient que les clients étaient satisfaits des produits du RCIA, mais admettaient que peu de mécanismes étaient en place pour recueillir les commentaires des clients de façon systématique.

Le résultat du sondage au sujet du site Web d'Archives Canada/RCIA représente une partie de l'évaluation qui donne des indications importantes de ce résultat. Premièrement, il semblerait que la grande majorité de ceux qui visitent le site Web sont déjà des utilisateurs assidus de ressources archivistiques (Annexe 4 B). Les utilisateurs qui avaient moins d'expérience avec les ressources archivistiques étaient moins enthousiastes au sujet du site Web et de son contenu. Lorsqu'on les a questionnés relativement aux priorités futures, ils accordaient davantage d'importance à la numérisation et aux ressources généalogiques. Des différences apparaissent entre les demandes et les souhaits du milieu des archives (p. ex. les utilisateurs traditionnels) et certains segments du public qu'ils aimeraient desservir (p. ex., les usagers non traditionnels). Un catalogue des descriptions en ligne est un outil de recherche utile et permet aux archivistes d'aider les utilisateurs traditionnels ou non à trouver ce qu'ils cherchent. Le fait de savoir où quelque chose se trouve (p. ex. avoir un catalogue des descriptions en ligne) pourrait être un objectif des archivistes et de ceux qui sont familiers et favorables à la profession, mais ceci n'est qu'une priorité parmi plusieurs priorités pour le public.

2.2.3 Satisfaction des participants face aux impacts du programme

Les participants sont satisfaits des résultats du programme.

Les participants étaient généralement satisfaits des impacts du programme et considèrent que le financement était adéquat pour atteindre les objectifs des projets entrepris. 70% ont indiqué qu'ils feraient une demande de financement PCCE de nouveau dans l'avenir.

2.3 Leçons apprises

2.3.1 Les réussites / échecs de la conception et la mise en application du RCIA

Points de vue sur les réussites et les échecs qui étaient autrement considérés uniquement de la perspective des besoins du milieu des archives.

Les personnes ressources conviennent de façon générale que les concepts sous-jacents au RCIA sont solides (réseau national, descriptions normalisées, descriptions et contenu offerts en ligne) et qu'il y a eu des impacts positifs pour ceux qui y ont participé.

Les problèmes les plus souvent cités à l'égard des échecs concernaient le processus d'attribution et la façon dont étaient perçus les changements d'objectifs du PCCE, les changements de critères du programme et le financement instable d'année en année et finalement, le financement inadéquat à chaque année. Les efforts de promotion n'ont pas eu de succès et l'intérêt du public ne s'est pas encore manifesté.

Certains membres du milieu des archives considèrent que la numérisation de contenu et les expositions virtuelles ne font pas partie du travail archivistique fondamental. On en conclut que la communauté aurait peut-être dû laisser passer le financement du PCCE et attendre une autre source de financement. Les autres, toutefois, ont fait ressortir ce qui a été accompli par le RCIA et considèrent que l'effort avait été digne d'intérêt.

2.3.2 Quelles leçons du RCIA pourraient être appliquées à des initiatives similaires ?

L'entente et la compréhension des objectifs du programme de la part de l'autorisation de financement, l'administrateur du programme et les participants est crucial.

Concernant l'expérience du RCIA et du PCCE, il apparaît que des malentendus sont survenus de la part des deux parties. Les personnes ressources considèrent que le CCA n'était pas efficace pour expliquer à Patrimoine Canadien ce que sont les archives et pourquoi les descriptions du catalogue national étaient une importante étape vers une présence en ligne pour le milieu des archives. Ils considéraient également que Patrimoine canadien n'a pas, au départ, exigé que le PCCE réponde aux critères des programmes de financement de culture canadienne en ligne; donnant ainsi au milieu des archives l'impression que sa vision a été acceptée.

En ce qui concerne les leçons apprises du RCIA/PCCE, il était clair que des consultations plus attentives entre le CCE et Patrimoine canadien au sujet des objectifs et des résultats attendus des deux initiatives sont nécessaires pour constater, si, en fait, il y avait concordance avant de décider d'aller de l'avant. Il serait avisé de mener un projet pilote ou une série de projets pilotes pour tester d'abord le concept. Une fois que le programme sera au point, des consultations devraient avoir lieu avec le milieu des archives, si des changements sont nécessaires.

3.0 Conclusions

1. Les données recueillies pendant l'évaluation suggèrent que le RCIA n'est pas sur la bonne voie pour atteindre son objectif d'un catalogue complet des descriptions archivistiques à l'intérieur du budget ou des délais estimés à l'origine. En tenant compte de cette expérience, on conclut que le milieu des archives doit effectuer un meilleur travail pour établir des objectifs, des jalons et des indicateurs de performance lorsque, à l'avenir, il cherchera du financement.
2. Les résultats de l'évaluation démontrent que le RCIA et le PCCE n'avaient pas la même perspective, mais ceci ne signifie pas que la relation ne pourrait pas mieux fonctionner pour atteindre les objectifs des deux initiatives. Le facteur critique aurait pu être l'incapacité du CCE de rendre nécessaire le catalogue en ligne dans l'infrastructure permettant de soutenir la présence en ligne.
3. L'évaluation démontre que les usagers non traditionnels sont davantage intéressés par l'accès direct à la source de documents et aux expositions virtuelles par le biais du Web que par l'accès aux descriptions de ces documents. Le milieu des archives devrait consulter les usagers non traditionnels afin de déterminer ce qui pourrait répondre à leurs besoins. Une partie de cet exercice devrait impliquer des recherches dans la façon dont le public effectue ses recherches, la façon dont il utilise cette information et comment ça évolue dans le temps. Des efforts devraient également être faits pour mettre en place des mécanismes adéquats pour recueillir les commentaires des clients et utiliser ces commentaires pour continuellement améliorer la qualité des produits et des services offerts au public.
4. Le milieu des archives tel que représenté par le CCE percevait le financement du PCCE comme une possibilité de développer un catalogue en ligne complet du fonds canadien d'archives (l'objectif premier du RCIA) plutôt qu'une possibilité de rendre le contenu archivistique disponible à grande échelle au client non traditionnel (l'objectif premier du PCCE). Les changements technologiques ont présenté au milieu des archives, une occasion sans précédent de rendre les descriptions archivistiques et les documents disponibles à l'ensemble du public. Des considérations futures devraient tenir compte de l'ensemble du programme du Gouvernement du Canada en permettant l'accès centré sur le citoyen aux Canadiens et comment les archives peuvent atteindre ce but.

4.0 Réponse de la gestion

1. Dans le projet de loi C-8 qui constitue Bibliothèque et Archives Canada, le paragraphe 7(f) énonce que l'un des objectifs de l'institution est « d'appuyer les milieux des archives et des bibliothèques ». L'article 8 énonce également que l'administrateur général et l'archiviste peuvent aussi prendre toute mesure qui concourt à la réalisation de la mission de BAC, incluant (f) « conclure des accords avec d'autres bibliothèques, archives ou institutions au Canada ou à l'étranger »; et (i) « apporter un appui professionnel, technique et financier aux milieux chargés de promouvoir et de préserver le patrimoine documentaire et d'assurer l'accès à celuici. »
2. BAC est d'accord avec les conclusions du rapport. À l'avenir, des initiatives qui aident à faire connaître les collections archivistiques à un vaste segment de la population du Canada constitueront l'un des principaux objectifs de BAC. BAC mettra l'accent sur l'appui de produits et d'activités qui vont dans le sens de cet objectif premier.
3. Plusieurs des conclusions du rapport s'adressent au Conseil canadien des archives et(ou) à la collectivité archivistique. Nous comptons aborder ces enjeux avec nos principaux partenaires. Également, BAC, en collaboration avec le Conseil canadien des archives (CCA) et les archivistes nationaux, provinciaux et territoriaux (ANPT) ont mis sur pied un comité qui se penchera sur l'avenir du RCIA, maintenant Archives Canada. Le concept du RCIA avait été élaboré en 1997 et ses objectifs reflétaient les priorités du moment. Ils se sont depuis substitués à des développements technologiques qui ont amélioré les outils d'accès et ont rendu possibles la numérisation de documents et ce, à un prix abordable. BAC s'assurera que le comité reçoive une copie de cette évaluation de sorte qu'il puisse tenir compte de ces résultats.
4. En réponse à la conclusion voulant que le RCIA et le PCCE ne soient pas alignés, BAC et Patrimoine canadien (PC) ont convenu d'une nouvelle approche pour administrer le programme de numérisation pour la collectivité archivistique financée par le Programme de culture canadienne en ligne (PCCE). Le CCA et les ANPT ont convenu de travailler en étroite collaboration avec BAC pour l'administration de ce programme, qui met l'accent sur la numérisation, la présentation et la promotion de collections archivistiques ayant une signification nationale particulière. Bien que le financement du PCCE soit présentement axé sur la numérisation du contenu, des liens étroits et une étroite collaboration avec Archives Canada sont nécessaires. Un membre du personnel de BAC assure maintenant la coordination de ce projet.
5. En réponse à la conclusion 4, qui met en évidence les possibilités offertes par la technologie, BAC compte également échanger ses récents développements technologiques, notamment la création d'un dépôt en langage XML, avec la collectivité archivistique et travaillera en étroite collaboration avec cette dernière afin de poursuivre le développement d'un système d'archives canadien.
6. BAC et la collectivité archivistique doivent encourager la tenue de discussions plus approfondies avec les utilisateurs. BAC travaille présentement à développer des outils et des mécanismes de développement destinés à recueillir les commentaires des clients et à les appliquer dans le développement de produits et services améliorés. Nous avons pris l'engagement de partager ces outils avec le CCA et la collectivité archivistique.

---

Notes

1. Raising CAIN: Building Canada's Archival Information Network, November, 1997.

2. Raising CAIN: Exploring the Collective Memory of our Nation, October, 1998.

3. Les échéanciers présentés étaient basés sur un travail débutant immédiatement (1998). Il n'y a pas eu de description sur le travail entrepris à ce moment, toutefois, le CCA était en voie d'établir une infrastructure nécessaire afin que le RCIA devienne une réalité, soit par le Comité directeur du RCIA et un sous-comité technique.

4. Canadian Archival Information Network, Business Case Framework, May 1999.

5. CCA Annual Report 1998-99, p. 19.

6. Ibid., p. 19.

7. Ibid., p. 20.

8. Ceci comprend 71 111 $ en 1998-1999, 115 521 $ en 1999-2000 et approximativement 45 000 $ en 2000-2001, comme l'indique les rapports annuels de ces années respectives.

9. Budget 2000: Making Canada's Economy More Innovative, Department of Finance, February 2000, p. 13.

10. Une version plus complète des résultats est présentée à l'Annexe 4.