Les résultats du processus de validation

Les résultats du processus de validation

Les trois attributs qui ont été mesurés dans le cadre du processus de validation des critères sont la clarté, la pertinence et l’importance. L’évaluation des résultats obtenus en matière de pertinence et d’importance repose en premier lieu sur l’établissement de la clarté des énoncés. En effet, comment peut-on évaluer les résultats obtenus en matière de pertinence et d’importance lorsque la clarté n’est pas préalablement établie? Le nombre d’heures consacrées à l’épuration et à la normalisation du vocabulaire utilisé dans la formulation des énoncés de critères aura donc permis de limiter à deux le nombre de consultations des experts. Cette expérience démontre l’importance d’assurer la clarté des critères à soumettre aux experts afin d’en favoriser un processus de validation efficient. Dans le cadre de la présente étude, la clarté de chacun des critères a fait l’objet d’une évaluation par les cinq membres composant le comité de travail avant d’être soumis aux experts. Rappelons que les membres du comité de travail étaient représentatifs des experts consultés. Conséquemment, le soin apporté à la formulation des énoncés afin qu’ils soient aussi clairs que possible a généré des répercussions grandement positives sur l’évaluation de la clarté par les experts. En effet, sur les 339 énoncés soumis lors de la première consultation, seulement 9 n’ont pas été jugés suffisamment clairs par les 18 bibliothécaires et 12 par les professeurs. D’ailleurs, aucun critère ne présentait un problème de clarté au terme des deux consultations des experts. Le fait de soumettre aux experts des énoncés de critères aussi clairs que possible aura grandement facilité le jugement des experts dans l’analyse de leur pertinence et de leur importance.

 

L’expérience du processus de validation effectué dans le cadre de cette recherche démontre que l’on doit également accorder une grande attention aux directives données aux experts pour les guider dans leur évaluation. Dans le cas présent, il était pertinent d’indiquer aux experts que leur évaluation devait porter spécifiquement sur les attributs mesurés, à savoir la clarté, la pertinence et l’importance des énoncés de critères qui leur avaient été soumis. Or, malgré que ces directives étaient précisées dans les questionnaires soumis aux experts, les commentaires des experts bibliothécaires à la suite de l’évaluation du critère 1 505: «Les objectifs de la formation documentaire sont établis en fonction des besoins d'apprentissage des étudiants», démontrent que les bibliothécaires ont été davantage préoccupés par leur capacité à opérationnaliser le critère dans le cadre de leur pratique plutôt que d’en évaluer la clarté, la pertinence et l’importance. Voici quelques exemples de commentaires:

«Définir des objectifs est parfois difficile considérant les classes souvent très hétérogènes». Bibliothécaire no 2

«Les objectifs de la formation devraient être établis en fonction des travaux académiques demandés par le prof dans le cadre du cours, à mon avis.» Bibliothécaire no 3

«Dans le cas d'un groupe ayant des besoins différents ou des niveaux variables de connaissances, cet énoncé peut devenir ambigu.» Bibliothécaire no 9

«La formation est préparée en fonction des besoins (cycle d'étude, programme, niveau des connaissances), mais aussi selon les demandes spécifiques des enseignants. Les formations peuvent conséquemment varier d’un professeur à l’autre, même à l’intérieur du même programme et du même cycle. » Bibliothécaire no 13

 

De ce fait, il importe de préciser aux experts qu’un énoncé de critère se réfère à «ce qui devrait être» (souhaitable), et non à «ce qui est» observé dans les pratiques actuelles. Cette précision devait permettre aux experts de comprendre que leur tâche consistait à évaluer la clarté, la pertinence et l’importance d’un énoncé sans être influencés par des considérations ou des contraintes de type opérationnel.

 

Il s’avère important de prétester les questionnaires auprès de répondants représentatifs de la population cible visée par la recherche. Ce prétest permet d’évaluer à la fois les directives ainsi que la clarté des critères avant de soumettre les questionnaires aux experts.

 

En ce qui concerne l’évaluation de la pertinence et de l’importance des énoncés de critères de qualité, les résultats obtenus démontrent une importante divergence d’opinion entre les bibliothécaires et les professeurs lors de la première consultation portant sur 10547 énoncés. Cette divergence a principalement été observée au regard des catégories suivantes: Conception de la formation documentaire; Prestation de la formation documentaire; Collaboration; Compétences informationnelles. Cette divergence de perspectives sera discutée sur la base de ces catégories.