Expérimentation du processus d’évaluation des résultats

Expérimentation du processus d’évaluation des résultats

L’expérimentation du processus d’évaluation des résultats repose sur une analyse des données qui se veut plus difficile qu’il ne paraît de prime abord. D’ailleurs, deux cercles de qualité (U3 et U5) ont commenté la difficulté de procéder à l’évaluation des résultats: «Les deux personnes chargées de cours associées au cercle de qualité ont perçu les résultats comme étant difficiles à interpréter» (U5); «il y a trop de critères pour aisément identifier l’excellence» (U3) et «Certains critères se ressemblent trop» (U3).

 

L’évaluation fait appel à un processus complexe qui conduit à poser un jugement subjectif sur les résultats obtenus. Ce jugement doit prendre en compte plusieurs facteurs, tels que la confiance accordée aux résultats obtenus, le nombre de mesures obtenues, le type de répondants, le contexte organisationnel, les contraintes et les ressources du milieu, l’objet précis mesuré par un critère, et finalement, les commentaires des répondants. Ce processus est d’autant plus complexe que le jugement apporté peut reposer soit sur un critère particulier, soit sur un regroupement de critères associés à une catégorie. Sans oublier que l’évaluation doit prendre en compte ce que Saucier et Brunelle (1995) appellent la «quête du possible». Un chiffre ne signifie donc rien lorsqu’il est considéré isolément. Cela dit, le comité de travail était bien au fait de la complexité de l’exercice, c’est pourquoi tant d’efforts ont été consacrés à la préparation des membres de cercles de qualité.

 

Les commentaires du cercle de qualité U3 concernant le nombre trop élevé de critères pour «identifier l’excellence» et la ressemblance entre les critères dénotent que l’analyse à la base de l’évaluation peut s’avérer très fine. En effet, le processus de validation des critères de qualité avait précisément pour but d’identifier les critères permettant d’assurer l’exhaustivité, la spécificité et la représentativité du domaine à l’étude, une démarche qui s’est traduite par la génération d’une multiplicité de critères. Le comité de travail a été longuement interpelé sur ces aspects, particulièrement en ce qui concerne l’évaluation de la clarté d’un énoncé de critère, qui se doit de préciser exactement ce que le critère mesure effectivement. Conjugué au fait qu’un critère ne doit mesurer qu’un seul aspect, il s’ensuit nécessairement qu’un nombre important de critères devient nécessaire pour préciser «ce qui devrait être».

 

Un autre commentaire relatif au processus d’évaluation a été émis par le cercle de qualité U3 selon lequel «le document de référence pourrait être plus clair dans la façon de déterminer l’excellence». Bien qu’aucun indice permettant d’observer que ce fut le cas au sein des cercles de qualité recrutés dans le cadre de la présente étude, ce commentaire rappelle néanmoins qu’il serait rassurant de disposer d’une règle décisionnelle précise permettant de distinguer le bon grain de l’ivraie. Or, ce n’est malheureusement pas le cas en ce qui concerne l’évaluation de la qualité d’un service, et ce, parce qu’un résultat considéré isolément ne peut pas être analysé s’il n’est pas mis en relation avec des facteurs contextuels permettant de déterminer si le résultat obtenu constitue effectivement une force ou un point faible. C’est précisément la mise en relation de ces résultats avec des facteurs contextuels qui permet de donner un sens aux résultats observés. Il s’agit alors d’un exercice relevant du paradigme interprétativiste au sens de Perret et Séville (2007). Le processus d’évaluation effectué par les cercles de qualité ne devait porter que sur les résultats obtenus en matière de pratiques de formation documentaire. Or, il s’est avéré au regard des rapports remis et plus particulièrement des commentaires émis, que les membres des cercles de qualité ont procédé à une évaluation plus poussée de la qualité de l’ensemble de leurs pratiques de manière à englober également la qualité des pratiques de développement des compétences informationnelles adoptées au sein de leur établissement et ne se sont pas limités à l’évaluation de la qualité des pratiques de formation documentaire.

 

Au terme de l’exercice menée par les cercles de qualité, le comité de travail a reçu des commentaires positifs concernant la démarche, jugée pertinente et enrichissante. Une étudiante au baccalauréat en enseignement au secondaire a communiqué avec le chercheur principal pour faire part de son expérience: «D'une part, j'ai trouvé cette expérience fort enrichissante, car elle m’a permis d’avoir une prise de conscience, entre autres, sur ce qui était attendu chez le formateur par rapport aux compétences à développer […]». Par ailleurs, une bibliothécaire a partagé sa réaction: «Notre participation à votre projet de recherche nous a permis d’identifier plusieurs pistes de solution permettant d’améliorer la qualité de nos formations documentaires. Très certainement que nous mettrons en place un plan local d’amélioration continue en ce sens». Finalement, le cercle de qualité U1 a partagé le commentaire suivant: «Un des professeurs souligne que cet exercice d’évaluation est à l’image du lien de collaboration qu’il développe avec le bibliothécaire. Il se désole de constater que ce n’est pas le cas pour tous, en espérant que cet exercice contribuera à améliorer cet aspect».

 

Dans l’ensemble, cette expérimentation du processus d'évaluation de la qualité des pratiques de développement des compétences informationnelles aura permis aux participants de prendre conscience des retombées que pourrait procurer l’instauration d’un tel processus sur une base continue. Malheureusement, dans le cadre de cette étude, le processus d’évaluation des résultats se limitait à relever les forces, les faiblesses et leurs causes. Nous avions préalablement informé les directeurs de Services de bibliothèques ainsi que les membres composant les cercles de qualité que la détermination et la mise en œuvre d’un plan d’action donnant suite à ce processus d’évaluation relevaient de la discrétion des directions locales. Or, les commentaires des cercles de qualité démontrent qu’ils auraient souhaité compléter l’exercice: « Au terme de la rencontre, il est évident qu’un plan d’action spécifique aux activités de notre institution devra être mis en place» (U1); «Nous aurions aimé que l’accent soit mis davantage sur les solutions et les recommandations à apporter aux problèmes dans cette rencontre» (U2).

 

Selon certains auteurs, l’implantation d’un processus d’évaluation continue de la qualité aurait permis de générer d’autres retombées. Par exemple, le fait de participer activement à la détermination des objectifs ainsi qu’à l’élaboration d’un plan d’action en équipe constitue un premier pas vers un exercice de gestion partagée favorisant une meilleure collaboration (Piquet, 2009), une motivation accrue ainsi qu’un plus grand sentiment d’imputabilité chez les acteurs concernés (Brault, Roy et Denis, 2008). De plus, c’est dans le cadre de ce type d’exercices que les divers acteurs sont appelés à préciser la portée et les limites de leurs interventions respectives, ce qui devrait permettre un premier pas vers l’établissement d’une véritable relation d’interdépendance entre les acteurs participant à la poursuite d’une mission commune (Little, 1990).