Introduction
Nous avons interviewé deux enseignantes du département de Lettres de LLSH, Frédérique Le Nan et Mathilde Bataillé, et deux étudiantes, Jeanne et Pauline, ayant participé à une évaluation en ligne en présentiel qui s’est déroulée en octobre 2022 à la fin de la P1 (première période de 6 semaines de la nouvelle maquette des licences mise en place dans le cadre du projet Thélème).
L’évaluation concernait une centaine d’étudiants de L1 Lettres et L1 Lettres-Histoire. Elle portait sur 7 disciplines d’une UE d’initiation et découverte. Elle concluait 6 heures de CM pour chaque discipline, donc 42 heures de cours sur une même période, et s’est déroulée hors temps de cours.
L’évaluation en amphithéâtre était accessible pendant 2 heures, elle était composée de 7 tests différents, un pour chaque discipline et chacun était composé de 6 questions tirées aléatoirement dans la discipline. Une fois un test commencé, l’étudiant avait 10 minutes pour le terminer.
1. Le point de vue des enseignantes
Pour les deux enseignantes l’expérience a été très positive. Selon elles l’évaluation se prêtait bien à l’objectif : évaluer des connaissances de base. En effet, comme nous l’a dit Mathilde « on ne peut pas à l’issue des 6 heures, attendre des étudiants qu’ils nous fassent une dissertation et il fallait surtout évaluer leur implication dans le cours, évaluer leurs connaissances, les connaissances considérées comme requises pour la suite de la formation. »
Frédérique pense également que la nouveauté fait du bien, que c’est stimulant. Elle nous a dit trouver ça « amusant » qu’en Lettres ils testent cela alors que, selon elle, d’habitude c’est un département plutôt réticent à l’utilisation du numérique pour les évaluations.
En effet c’était une première pour ce département. Il a fallu que chaque enseignant concerné (10 enseignants) prépare un nombre de questions assez important pour pouvoir faire un tirage aléatoire. Le but était également de proposer pour chaque discipline des questions de niveaux de complexité différents. Cela leur a permis de découvrir qu’il était possible de créer d’autres types de question que le QCM. Toutes deux sont contentes « que les types de question sur Moodle puissent être variés, pas simplement des QCM, mais plus élaborés ». Et selon Mathilde le format des réponses possibles conditionne les questions que l’on pose, « ça nous oblige à penser autrement nos rapports aux questions, à envisager différents types de réponses, différentes formes d’évaluation, donc sur le plan didactique, c’est formateur pour nous aussi ».
Un point positif également pour l’alignement pédagogique. En effet selon Mathilde une évaluation prévue longtemps en avance « nous oblige à questionner en amont la structuration de notre enseignement ». Pour Frédérique, il s’agit d’une étape préalable exigeante et certainement délicate, car « il fallait préparer des questions sur des cours non faits » et cela allait aussi à l’encontre de ce que les enseignants avaient l’habitude d’organiser selon elle : « on prépare une question un peu en fonction de ce qu’on a traité et du ressenti sur la difficulté. On ajuste donc la question, elle n’est pas gravée dans le marbre en amont ». Une préparation finalement ressentie comme plus longue et plus stressante que pour une évaluation papier normale pour Frédérique, qui reconnait aussi que c’était la première fois qu’elle le faisait.
Le jour même de l’évaluation tout s’est bien déroulé. Il y a eu très peu de problème de matériel et pas de soucis techniques majeurs. Toutes deux ont évoqué la facilité du prêt des tablettes à l’accueil de l’UFR qui a fortement contribué à ce que l’épreuve se passe bien. Les deux enseignantes se disent également contentes des résultats des étudiants qui « correspondent à l’implication » et qui « collent avec ce que les étudiants ont pu produire ailleurs ». Frédérique a parlé d’ “une franche satisfaction” d’avoir une correction automatisée et immédiate car, outre le gain de temps considérable, cela permet selon elle d’avoir plus de temps pour réfléchir sur des modalités pédagogiques, et pour Mathilde « de consacrer davantage de temps au contenu, aux échanges avec les étudiants pendant les séances de cours et d’optimiser ce temps-là ».
Une expérience concluante donc pour ces deux enseignantes qui, avec le recul, voient des axes d’amélioration sur lesquels travailler pour préparer l’épreuve de l’année prochaine. Toutes deux évoquent le nombre de questions par discipline qui pourrait être augmenté pour que chaque test soit plus représentatif de la discipline et de ce qui a été vu en cours. En ce sens le tirage aléatoire ne convient pas forcément et pour Frédérique il ne permet pas non plus « d’avoir une vue très précise de ce que les étudiants ont fait ».
2. Le point de vue des étudiantes
Les étudiantes quant à elles ont apprécié certains aspects du dispositif d’évaluation en ligne. Par exemple le fait d’obtenir les résultats dans la journée leur a permis de choisir rapidement vers quelle discipline s’orienter, « se dire si on peut choisir des matières où on a bien réussi c’est toujours un stress en moins ».
L’une d’elle a aussi mis en avant la flexibilité du dispositif qui permet de passer l’examen à un autre moment en cas de problème personnel majeur. Toutes deux sont reconnaissantes à l’enseignante qui s’est assurée de l’absence de problèmes techniques « Madame Bataillé s’est rendue disponible pour aller voir chaque personne qui avait des soucis techniques ».
Le fait de regrouper 7 disciplines leur a globalement convenu, elles ne rapportent pas de stress particulier sur cet aspect et au contraire se félicitent de ce gain de temps dans leur emploi du temps car « ne pas composer pendant 2h, 3h voire 4h, psychologiquement, ça fait du bien ». Cela est d’autant plus vrai avec les nouvelles maquettes dans lesquelles beaucoup d’évaluations se déroulent sur la même période.
Elles évoquent malgré tout un « côté frustrant » de « ne pas avoir vu tout le programme dans l’évaluation ». Il y a selon elles une dichotomie entre le travail intense de révision et le caractère dense et bref de l’évaluation.
Cette première expérience révèle ainsi des limites. Les étudiantes rapportent notamment leur impression que le résultat n’est « pas du tout représentatif des connaissances qu’on a pu apprendre » ce qui est lié au tirage aléatoire des questions. Elles ont eu l’impression que certaines parties importantes du cours n’étaient pas traitées lors de l’évaluation « un peu comme un oubli ». De là découle le sentiment d’avoir réussi « beaucoup moins bien » que dans le cadre classique d’une évaluation papier, et le souhait d’avoir plus de questions pour plus d’« équité entre les élèves ».
Les étudiantes ont aussi été décontenancées par certains aspects pratiques comme l’absence de feuilles de brouillon. Leur promotion n’a pas eu d’autre examen sur Moodle. Un travail d’acculturation aux outils numériques de l’université et de nouvelles habitudes sont à construire : « si moi je ne peux pas fluoter et écrire des choses sur le texte lui-même, j’ai beaucoup de mal à appréhender le texte en question […] sur mes copies, je fais plein de petits signes de graphiques […]. Ce qui n’est pas trop possible numériquement parlant ».
En ce qui concerne les explications fournies aux étudiants lors de l’examen, la modalité était selon elles bien comprise, « je savais que c’était 6 questions par matière et qu’il y avait un temps imparti, 10 minutes par QCM » mais elles évoquent aussi le fait que certains détails n’étaient pas bien compris « des professeurs et professeures ne nous ont pas renseignés de la même manière sur les types de questions qu’on allait avoir et sur la difficulté qu’on pourrait rencontrer vis-à-vis des questions ».
Pour finir les étudiantes sont d’accord pour convenir que ce type d’évaluation est adapté pour des matières introductives, mais ne s’imaginent pas composer sur ordinateur.
Cette expérience reste positive pour elles, avec des modalités qui sont à ajuster.
Conclusion
Pour faire le lien avec la problématique de notre dossier, au vu des critères proposés par Gilles et Charlier (2020) pour évaluer la qualité d’une évaluation en ligne, nous pouvons conclure que cette évaluation a été une optimisation de l’évaluation papier pour la plupart des critères. En effet, en ce qui concerne le critère “validité”, l’objectif était de tester des connaissances et ce type d’évaluation se prêtait donc bien à cet objectif. Sa préparation en amont a aussi permis de prendre en compte l’évaluation dans l’élaboration d’un nouveau cours et a donc contribué à son alignement pédagogique. Pour ce qui est du critère “praticabilité”, destinée à une grande cohorte, cette évaluation en ligne et sa correction automatisée présente un avantage certain en ce qui concerne le gain de temps, que ce soit pour les enseignants ou les étudiants.
Elle demande cependant une bonne préparation en amont pour les enseignants, qui peut être chronophage la première fois, et beaucoup de communication avec les étudiants, notamment sur le type de questions posées, ce qui a pu être fait dans le cadre de cette évaluation. En effet, certains étudiants ne sont pas familiers des différents types de question Moodle et cela surtout en L1. Ce type d’évaluation, s’il n’a jamais été utilisé auparavant peut donc être vécu comme disruptif et nécessite une certaine acculturation.
C’est au regard du critère “équité” que le choix des paramètres de cette évaluation est susceptible d’évoluer. Les retours des étudiants sur ce test vont permettre de revoir certains types de questions, pour éviter les disparités liées au choix du tirage aléatoire. Il s’agit de la première itération de ce type d’évaluation pour cette formation, d’où des ajustements.
Avec la problématique d’évaluation des grandes cohortes et de la fréquence des évaluations, ce type de test peut être intéressant car il permet d’envisager de nouvelles formes d’évaluation. Malgré tout, il ne reste adapté qu’à certains objectifs, tester des connaissances par exemple, et ne peut pas remplacer des évaluations sur un temps plus long, qui évaluent des niveaux de maîtrise plus complexes des savoirs.