Résultats obtenus lors de la première consultation des experts

Résultats obtenus lors de la première consultation des experts

La figure 8 illustre la répartition des critères soumis aux bibliothécaires et aux professeurs lors de la première consultation. Parmi les 339 critères soumis, six d’entre eux s’adressaient exclusivement aux bibliothécaires.

 

Répartition critères soumis première consultation

Figure 8: Répartition des critères soumis aux bibliothécaires et aux professeurs lors de la première consultation des experts

 

Le rôle des experts consistait à évaluer la clarté, la pertinence et l’importance des énoncés de critères qui leur ont été soumis. Comme précisé dans le devis de recherche, un énoncé de critère, pour être retenu, devait se voir attribuer un I-CVI d’au moins 0,8 simultanément pour la mesure de la clarté, de la pertinence et de l’importance par au moins un groupe d’experts. Cette valeur représentait un niveau de consensus minimal de 80 % pour chacun des deux groupes d’experts consultés, soit les bibliothécaires et les professeurs recrutés à titre d’experts.

 

Au terme de la première consultation des experts, 296 critères ont été retenus. La figure 9 précise la répartition des critères retenus selon le type d’experts consultés.

 

Répartition critères retenus première consultation

Figure 9: Répartition des critères retenus par les bibliothécaires et les professeurs lors de la première consultation des experts

 

Les bibliothécaires ont retenu 218 critères tandis que les professeurs en ont retenu 285. Lorsque l’on additionne le nombre de critères retenus uniquement par un seul type d’experts on observe que la perspective de chacun des groupes d’experts démontre une divergence de 30 % au regard des critères soumis à la validation lors de la première consultation, comme le démontre le calcul suivant:

 

Équation 5: Calcul de la proportion de critères exprimant une divergence d'opinion entre les professeurs et les bibliothécaires:

Équation 5

 

Au terme de la première consultation des experts, 129 critères n’ont pas été retenus. La figure 10 précise la répartition des critères non retenus selon le type d’experts consultés.

 

Répartition critères non retenus première consultation

Figure 10: Répartition des critères non retenus par les bibliothécaires et les professeurs lors de la première consultation des experts

 

Parmi les critères soumis à la consultation, 121 critères n’ont pas été retenus par les bibliothécaires tandis que 48 ne l’ont pas été par les professeurs. Parmi ces critères non retenus, 40 n’ont pas été retenus par les professeurs ni par les bibliothécaires. Au total, 129 critères n’ont pas été retenus lors de la première consultation des experts.

 

Le tableau 26 présente la distribution des critères retenus et non retenus par chacun des groupes d’experts lors de la première consultation.

 

Tableau 26: Nombre de critères retenus et non retenus18 par les bibliothécaires et par les professeurs lors de la première consultation des experts

Critères retenus et non retenus première consultation

 

Ce tableau précise que près de 50 % des critères soumis à la première consultation des experts n’ont pas été retenus par l’un ou l’autre des deux groupes d’experts [((121 + 48)/339) = 0,498], soit 169 critères19. La proportion de critères non retenus par les bibliothécaires s’élève à 71 % (121/ (121+48)) de l’ensemble des critères non retenus, alors qu’elle n’est que de 28 % (48/(121+48)) pour les professeurs. Cette observation souligne une fois de plus la nécessité d’analyser ces résultats plus en profondeur.

 

Afin de procéder à une analyse plus fine de cette observation, un tableau précisant le nombre de critères non retenus par chacun des types d’experts pour chaque attribut évalué a été construit. Le tableau 27 présente la répartition des critères non retenus selon le type d’experts consultés et selon les attributs mesurés (clarté, pertinence, importance).

 

Tableau 27: Répartition des critères non retenus lors de la première consultation selon le type d’experts consultés et selon les attributs mesurés (clarté, pertinence, importance)

Répartition critères non retenus première consultation-Gros tableau

 

Le tableau 27 exploite les opérateurs U (union) et Ⴖ (intersection) inspirés de la théorie des ensembles. Ces opérateurs s’avèrent très utiles pour mieux documenter la divergence et la convergence des perspectives des bibliothécaires et des professeurs lors du processus d’évaluation des énoncés de critères soumis pour validation. Par exemple, sur la ligne identifiée «Bibliothécaires Ⴖ Professeurs» se retrouvent les critères non retenus à la fois par les bibliothécaires et par les professeurs (l’intersection correspond à l’opérateur booléen «et»). Sur la ligne identifiée «Bibliothécaires U Professeurs» se retrouvent les critères non retenus par les bibliothécaires ou par les professeurs (l’union correspond à l’opérateur booléen «ou»). Sur les lignes identifiées «Bibliothécaires seuls» et «Professeurs seuls» se retrouvent les critères qui n’ont pas été retenus par un type d’experts alors qu’ils ont été acceptés par l’autre type d’experts.

 

La même logique est exploitée dans les titres de colonnes qui permettent d’indiquer le nombre de critères non retenus sur la base d’un seul, de deux ou des trois attributs évalués par les experts (la clarté, la pertinence et l’importance). Les cellules précisant une intersection particulière entre une ligne et une colonne permettent de présenter des résultats significatifs très spécifiques. À titre d’exemple, dans la colonne identifiée «Pertinence Ⴖ importance» (qui précise le nombre de critères non retenus simultanément pour la pertinence et pour l’importance), il est indiqué que 50 critères n’ont pas été retenus par les bibliothécaires seuls (ces critères ayant été acceptés par les professeurs) alors que 21 critères n’ont pas été retenus à la fois par les bibliothécaires et par les professeurs, que 6 critères n’ont pas été retenus par les professeurs seuls (ces critères ayant été acceptés par les bibliothécaires) et finalement, que 77 critères n’ont pas été retenus par les bibliothécaires ou par les professeurs.

 

Le lecteur qui désire établir une correspondance entre les données présentées aux tableaux 26 et 27 est invité à considérer le fait que, dans le tableau 27, un même critère peut être pris en compte dans deux cellules différentes (c’est le cas du critère 2152 qui n’a pas été retenu pour l’importance par les bibliothécaires seulement et qui n’a pas été retenu pour la clarté par les professeurs seulement). Par ailleurs, un critère non retenu par les deux types d’experts simultanément pour un seul attribut ne sera comptabilisé que dans une seule cellule. La correspondance entre les valeurs présentées aux tableaux 26 et 27 concernant le nombre de critères non retenus peut cependant être établie comme suit: pour les bibliothécaires, il suffit d’additionner la valeur de la cellule située à l’intersection de la colonne «Clarté U Pertinence U Importance» et de la ligne identifiée «Bibliothécaires seuls» et la valeur de la cellule située à l’intersection de la colonne «Clarté U Pertinence U Importance» et de la ligne identifiée «Bibliothécaires Ⴖ Professeurs» [(97 + 24) = 121 critères non retenus par les bibliothécaires]. Pour les professeurs, il suffit d’additionner la valeur de la cellule située à l’intersection de la colonne «Clarté U Pertinence U Importance» et de la ligne identifiée «Professeurs seuls» et la valeur de la cellule située à l’intersection de la colonne «Clarté U Pertinence U Importance» et de la ligne identifiée «Bibliothécaires U Professeurs» [(24 + 24) = 48 critères non retenus par les professeurs].

 

Le lecteur averti aura remarqué que dans le tableau 27, la cellule située à l’intersection de la ligne identifiée «Bibliothécaires Ⴖ Professeurs» et de la colonne titrée «Clarté U Pertinence U Importance» précise que 24 critères n’ont pas été retenus à la fois par les bibliothécaires et par les professeurs pour les mêmes attributs, alors que la figure 10 montre que 40 critères n’ont pas été retenus par les bibliothécaires et les professeurs. Cette différence s’explique par le fait que dans le tableau 27 les attributs pour lesquels les critères ont été rejetés sont pris en compte alors que ce n’est pas le cas pour la figure 10. En effet, dans le cas de la figure 10 s’additionnent 16 critères non retenus20 par un type d’experts pour un attribut et qui n’ont pas été retenus par l’autre type d’experts pour un autre attribut.

 

Le tableau 27 démontre une nette divergence d’opinion entre les bibliothécaires et les professeurs, particulièrement dans l’évaluation de la pertinence et de l’importance des énoncés de critères soumis. En effet, en comparant les données précisées sur les lignes identifiées «Bibliothécaires seulement» et «Professeurs seulement» on observe des écarts importants d’opinion. Par exemple, on remarque que dans la colonne titrée «Pertinence Ⴖ Importance», les bibliothécaires n’ont pas retenus 50 critères simultanément pour leur pertinence et leur importance alors que les professeurs ont accepté ces critères. D’un autre côté, six critères n’ont pas été retenus par les professeurs simultanément pour leur pertinence et leur importance alors qu’ils ont été retenus par les bibliothécaires. Il importe de rappeler que tous les critères soumis aux experts ont été préalablement recensés dans les écrits. De ce fait, ces critères sont issus de recommandations émises par les auteurs susceptibles d’améliorer la qualité des pratiques de formation documentaire. Pour cette raison, le fait qu’un nombre important de critères (121) n’ait pas été retenu par les bibliothécaires donne lieu à un questionnement qui fera l’objet d’une discussion dans le chapitre suivant.

 

C’est en comparant la somme des critères non retenus par l’un ou l’autre de ces deux types d’experts que l’on peut considérer l’ampleur de leur divergence d’opinion (voir les données dans la colonne «Clarté U Pertinence U Importance»). Dans l’ensemble, les bibliothécaires n’ont pas retenu 97 critères que les professeurs ont acceptés alors que 24 critères n’ont pas été retenus par les professeurs bien qu’ils l’aient été par les bibliothécaires. Il importe de rappeler qu’il s’agit ici de critères différents. Pour 121 critères, des opinions contraires ont donc été émises par chacun des types d’experts consultés, et ce, pour l’un ou l’autre des attributs mesurés (clarté, pertinence, importance). Quant à la convergence des opinions des experts, elle n’est observée que pour 24 critères non retenus.

 

Les tableaux suivants précisent les numéros d’identification unique (NIU) des critères n’ayant pas été retenus repectivement soit les bibliothécaires (tableau 28), soit par les professeurs (tableau 29), et ce, en raison d’un problème de clarté, de pertinence ou d’importance.

 

Tableau 28: Numéros d’identification unique des critères non retenus par les bibliothécaires lors de la première consultation des experts en raison d’un problème lié à l’un ou l’autre des attributs mesurés (clarté, pertinence, importance)

NIU Crit Non retenus clarté pertinence importance première consultation

 

Note: Les numéros suivis d’un astérisque représentent les numéros de critères qui n’ont pas été retenus par les professeurs également. Les critères 2198, 2137 et 2202 n’ont été soumis qu’aux bibliothécaires.

 

Tableau 29: Numéros d’identification unique des critères non retenus par les professeurs lors de la première consultation des experts en raison d’un problème lié à l’un ou l’autre des attributs mesurés (clarté, pertinence, importance)

NIU Crit Non retenus bibliothécaires première consultation

Note: Les numéros suivis d’un astérisque représentent les numéros de critères qui n’ont pas été retenus par les bibliothécaires également.

 

Afin d’analyser encore plus en profondeur la nature de la divergence d’opinion observée entre les types d’experts consultés, des tableaux précisant les énoncés de critères non retenus par un type d’experts mais acceptés par l’autre ont été construits. Ces tableaux précisent le NIU, les résultats obtenus en matière de consensus pour chacun des types d’experts en ce qui concerne la clarté, la pertinence et l’importance, la catégorie à laquelle un énoncé a été associé ainsi que l’énoncé du critère évalué. Le tableau 30 précise les critères jugés non clairs par les bibliothécaires seulement lors de la première consultation des experts.

 

Tableau 30: Critères jugés non clairs par les bibliothécaires seulement lors de la première consultation des experts (n = 7)

Critères jugés non clairs par biblio première consultation

C = Niveau de consensus obtenu pour la clarté

P = Niveau de consensus obtenu pour la pertinence

I = Niveau de consensus obtenu pour l’importance

 

Il est à noter que sur les sept critères non retenus pour la clarté par les bibliothécaires, trois critères (1505, 2165 et 2185) ont été unanimement reconnus clairs par les professeurs, trois autres (1202, 1628 et 2099) ayant obtenu un niveau de consensus de 90 % et plus chez les professeurs. Les niveaux de consensus obtenus pour la pertinence et pour l’importance sont présentés ici à titre indicatif, ce tableau s’intéressant spécifiquement au niveau de consensus obtenu pour la clarté.

 

Le tableau 31 précise les critères jugés non pertinents par les bibliothécaires seulement lors de la première consultation des experts.

 

Tableau 31: Critères jugés non pertinents par les bibliothécaires seulement lors de la première consultation des experts (n = 20)

Critères jugés non pertinents par biblio première consultation

 

Le tableau 31 identifie 20 critères n’ayant pas été retenus par les bibliothécaires seuls pour la pertinence (il est à noter que le critère 1886 apparaît dans ce tableau même s’il n’a pas été retenu par les bibliothécaires et par les professeurs pour son importance). De ce nombre, quatre critères (1905, 2141, 2143 et 2182) ont été unanimement jugés pertinents par les professeurs alors que sept critères (25, 70, 312, 1653, 2015, 3012 et 3017) ont été jugés pertinents par 90 % et plus des professeurs consultés. Sept critères (135, 1432, 1608, 1652, 1886, 1892 et 4001) ont cependant obtenu un niveau de consensus se situant près de la règle d’acceptation de 80 % de la part des professeurs. Il se dégage principalement de ce tableau que, parmi les 20 critères non retenus par les bibliothécaires seuls, sept se réfèrent aux compétences informationnelles des étudiants, six concernent la conception de la formation documentaire et trois ont trait à la collaboration interprofessionnelle.

 

Le tableau 32 présente les critères jugés non importants par les bibliothécaires seulement lors de la première consultation des experts.

 

Tableau 32: Critères jugés non importants par les bibliothécaires seulement lors de la première consultation des experts (n = 18)

Critères jugés non importants par biblio première consultation

 

Le tableau 32 identifie 18 critères n’ayant pas été retenus par les bibliothécaires seuls pour l'importance. De ce nombre, sept critères (1007, 1575, 1580, 1633, 1930, 2003 et 4002) ont été jugés importants unanimement par les professeurs alors que quatre critères (21, 1175, 2150 et 2195) ont été jugés pertinents et importants par plus de 90 % des professeurs consultés. Cinq critères (1001, 1161, 1248, 1368 et 2017) ont cependant obtenu un niveau de consensus se situant près de la règle d’acceptation de 80 % de la part des professeurs. Il se dégage principalement de ce tableau que, parmi les 18 critères rejetés par les bibliothécaires seuls, huit critères concernent la prestation du formateur lors de la formation documentaire et quatre critères se réfèrent à la conception de la formation documentaire.

 

Le tableau 33 identifie les critères jugés non pertinents ni importants par les bibliothécaires seulement lors de la première consultation des experts.

 

Tableau 33: Critères jugés non pertinents ni importants par les bibliothécaires seulement lors de la première consultation des experts (n = 44)

tableau33-1

Tableau 33: Critères jugés non pertinents ni importants par les bibliothécaires seulement lors de la première consultation des experts (suite)

tableau33-1de3

 

Le tableau 33 présente une liste de 4421 critères qui n’ont pas été retenus par les bibliothécaires simultanément pour la pertinence et l’importance. Il importe de souligner que ces 44 critères ont cependant été jugés pertinents et importants par les professeurs consultés. Les professeurs ont été unanimes à reconnaître la pertinence et l’importance de sept de ces critères (1561, 1578, 1592, 1665, 2108, 2177 et 2201) et ont aussi été unanimes à reconnaître la pertinence de six autres critères (1520, 2014, 2090, 2136, 2186 et 2200). Pour 17 autres critères (28, 87, 1092, 1094, 1209, 1389, 1552, 1581, 1636, 1668, 1877, 1883, 2144, 2169, 2171, 2172 et 2178), les niveaux de consensus obtenus simultanément pour la pertinence et l’importance s’élèvent à plus de 90 % chez les professeurs. Par ailleurs, huit critères (130, 1876, 1880, 1927, 1939, 2160, 2167 et 2189) ont obtenu simultanément des niveaux de consensus pour la pertinence et l’importance se situant près du seuil d’acceptation de 80 % chez les professeurs. Pour six critères (117, 144, 1520, 1584, 2186 et 3001), ces niveaux de consensus se situent près du seuil d’acceptation pour l’importance seulement alors que c’est le cas pour un seul critère (2193) en ce qui a trait à la pertinence.

 

Dans l’ensemble, en catégorisant les critères de qualité à partir des catégories auxquelles ils ont été associées et telles qu’elles apparaissent dans le tableau 33, cette perspective divergente entre les bibliothécaires et les professeurs s’observe chez les bibliothécaires pour:

dix critères portant sur la collaboration;

neuf critères portant sur la conception des formations documentaires;

huit critères portant sur la prestation lors des formations documentaires;

cinq critères portant sur les compétences informationnelles;

quatre critères portant sur l’accès aux formations;

trois critères portant sur l’évaluation des apprentissages.

 

Les tableaux 34 à 37 présentent les critères non retenus par les professeurs alors qu’ils ont été acceptés par les bibliothécaires pour l’un ou l’autre des attributs évalués (clarté, pertinence, importance).

 

Le tableau 34 identifie les critères jugés non clairs par les professeurs seulement lors de la première consultation des experts.

 

Tableau 34: Critères jugés non clairs par les professeurs seulement lors de la première consultation des experts (n = 7)

Critères jugés non clairs par profs première consultation

 

Sur les sept critères présentés au tableau 34, trois critères (1526, 2017 et 2160) présentent un niveau de consensus de 94,1 % chez les bibliothécaires pour la clarté alors que pour les quatre autres critères, le niveau de consensus pour cet attribut avoisine le seuil minimal de 80 %. Quatre de ces critères ont trait à la conception de la formation documentaire alors que deux sont relatifs à la prestation lors d’une formation documentaire.

 

Le tableau 35 précise les critères jugés non pertinents par les professeurs seulement lors de la première consultation des experts.

 

Tableau 35: Critères jugés non pertinents par les professeurs seulement lors de la première consultation des experts (n = 2)

Critères jugés non pertinents par profs première consultation

 

Deux critères seulement n’ont pas été retenus par les professeurs seuls pour la pertinence alors qu’ils ont été acceptés par les bibliothécaires. Le niveau de consensus obtenu chez les bibliothécaires se situe cependant en deçà des 90 %.

 

Le tableau 36 présente les critères jugés non importants par les professeurs seulement lors de la première consultation des experts.

 

Tableau 36: Critères jugés non importants par les professeurs seulement lors de la première consultation des experts (n = 6)

Critères jugés non importants par profs première consultation

 

Pour les six critères présentés au tableau 36, il est à noter que le niveau de consensus obtenu auprès des bibliothécaires se situe en deçà des 90 %. La divergence notée ici en raison de l’application de la règle d’acceptation de 80 % n’apparaît pas si grande lorsque les niveaux de consensus obtenus par l’un ou l’autre des types d’experts sont comparés individuellement.

 

Le tableau 37 précise les critères jugés non pertinents ni importants par les professeurs seulement lors de la première consultation.

Tableau 37: Critères jugés non pertinents ni importants par les professeurs seulement lors de la première consultation (n = 2)

Critères jugés non importants et non pertinents par profs première consultation

 

Seulement deux critères n’ont pas été retenus par les professeurs simultanément pour la pertinence et pour l’importance alors qu’ils ont été acceptés par les bibliothécaires. En ce qui concerne le critère 1179, les bibliothécaires ont été unanimes à en reconnaître l’importance alors que pour le second critère (2036), les niveaux de consensus obtenus chez les bibliothécaires pour la pertinence et l’importance simultanément se situent très près du seuil d’acceptation de 80 %.

 

Afin de mieux décrire la divergence de perspectives, le tableau 38 a été construit à partir des résultats présentés dans les tableaux 31-32-33 (pour les bibliothécaires) et 35-36-37 (pour les professeurs) afin d’en dégager une synthèse. Ce tableau précise, pour chacune des catégories, le nombre de critères ayant fait l’objet de divergence en ce qui a trait à l’évaluation de la pertinence et de l’importance des critères.

 

Tableau 38: Nombre de critères par catégorie ayant fait l'objet d'une divergence d'opinion entre les bibliothécaires et les professeurs en ce qui a trait à l'évaluation de la pertinence et de l'importance des critères

n critères divergence entre profs et biblio première consultation

 

Au terme de l’analyse des résultats obtenus lors de la première consultation des experts, le comité de travail devait retenir l’une des trois actions à entreprendre pour chacun des critères:

soit le critère était retenu, ayant atteint le taux de consensus requis (80 %) pour chacun des attributs pour au moins un des deux types d’experts consultés;

soit le critère était rejeté, ayant atteint un faible taux de consensus (moins de 60 %) pour l’un ou l’autre des attributs chez les deux types d’experts consultés;

soit le critère était soumis à nouveau aux experts dans le cadre d’une seconde consultation.

 

Ainsi, les critères n’ayant pas atteint le seuil de consensus requis pour un problème lié à la clarté ont tous été resoumis aux experts lors de la seconde consultation après reformulation22, tout comme les critères ayant obtenu un taux de consensus se situant entre 61 et 79 % pour la pertinence ou l’importance des énoncés. Dans ce dernier cas, il importe de préciser que la technique DELPHI recommande de soumettre ces critères à nouveau en informant les experts du résultat obtenu lors de la consultation précédente, et ce, afin de vérifier si des experts n’auraient pas tendance à se rallier aux opinions de la majorité et ainsi favoriser une orientation plus franche du niveau de consensus vers l’acceptation ou le rejet du critère.

 

Dans le cadre de la première consultation, les commentaires émis par les experts ont également été pris en compte dans le choix des actions entreprises à la suite de l’analyse des données. Le tableau 39 résume les actions retenues à ce sujet.

 

Tableau 39: Synthèse des actions retenues à la suite de la première consultation des experts

Actions retenus après première consultation

C = Clarté

P = Pertinence

I = Importance

 

 

Parmi les 339 critères soumis à la validation auprès des bibliothécaires lors de la première consultation, 218 ont été acceptés et 20 ont été rejetés23 définitivement (ces critères ayant également été rejetés par les professeurs). Vingt-et-un autres critères ont obtenu un niveau de consensus de 60 % et moins pour l’un ou l’autre des attributs mesurés chez les bibliothécaires, alors que c’est le cas pour un seul critère chez les professeurs.

 

Chez les bibliothécaires, 80 critères ont obtenu un niveau de consensus se situant entre 61 et 79 % pour l’un ou l’autre des attributs mesurés. Ces critères ont donc été soumis à nouveau aux bibliothécaires en leur précisant les résultats obtenus à la fois chez les professeurs et les bibliothécaires, et ce, dans le but explicite de vérifier si le fait de prendre connaissance des résultats pouvait influencer leur opinion.

 

Chez les professeurs, 285 critères ont été acceptés et 20 ont été rejetés définitivement (critères ayant été également rejetés par les bibliothécaires). Vingt-sept critères ont obtenu un niveau de consensus se situant entre 61 et 79 % pour l’un ou l’autre des attributs mesurés. Ces critères ont donc été soumis à nouveau aux professeurs en leur précisant les résultats obtenus à la fois chez les professeurs et chez les bibliothécaires, et ce, dans le but explicite de vérifier si le fait de prendre connaissance des résultats pouvait influencer leur opinion.

 

Les tableaux 40 et 41 précisent, pour les attributs mesurés, les NIU des critères resoumis aux bibliothécaires et aux professeurs lors de la seconde consultation des experts.

 

Tableau 40: Numéros d’identification unique des critères resoumis aux bibliothécaires lors de la seconde consultation des experts

NIU crit resoumis biblio

 

Tableau 41: Numéros d’identification unique des critères resoumis aux professeurs lors de la seconde consultation des experts

NIU crit resoumis profs

 

Au terme de la première consultation des experts, huit nouveaux critères ont été proposés. Le tableau 42 présente ces critères.

 

Tableau 42: Nouveaux critères proposés par les experts lors de la première consultation (n = 8)

Nouveaux critères proposés par experts

 

Ces énoncés de critères ont été intégrés aux questionnaires de validation utilisés lors de la seconde consultation des experts.