Bonjour à tous,
Suite à l'évaluation de la promo STPI1 sur un format QCM jeudi dernier, nous vous faisons part de notre expérience avec quelques pistes d'amélioration éventuelles.
Format : QCM en ordre aléatoire, 30 mins, 30 questions (durée estimée de réponse par question ~ 60 % <1 mins ; 30 % 1-2 mins et 10 % 3 mins). Une seule tentative autorisée, pas de retour en arrière sur les questions. Malus de -25 % des points en cas de mauvaise réponse.
Consignes envoyées aux élèves :
Informations complémentaires sur le déroulement de ce test :
- Ce QCM comportera 30 questions courtes dont la durée de réponse estimée ira de 30 sec à 3 mins. Ce temps indicatif a été rajouté dans l'énoncé de chaque question pour vous aider à gérer votre temps.
- Les questions seront en ordre aléatoire, aussi, le titre du chapitre concerné apparaîtra très clairement en entête de chaque question pour vous guider.
- Il ne vous sera pas possible de revenir sur des questions, ni de les passer. Vous devez donc y répondre consciencieusement dans l'ordre où elles seront proposées.
- Si vous n'avez aucune idée de la réponse, ne jouez pas la chance car un malus de 0,25 ou 0,5 point par mauvaise réponse sera appliqué.
- Une seule tentative par élève sera autorisée. Le QCM sera ouvert entre 14h30 et 15h15 pour lisser d'éventuels problèmes de connexion initiale. Une fois démarré, un chronomètre de 30 mins apparaît à gauche de votre écran.
- Pour les élèves internationaux, une traduction en anglais des phrases clés (en italique et en bleu) apparaît sous la version en français.
Comportement de la plateforme moodle :
La plateforme s'est bien comportée pour 268 élèves connectés. Les élèves ont dit que l'utilisation était fluide globalement. Cependant, pour certains élèves avec un débit limité, les images mettent parfois du temps à s'afficher, ce qui est source de stress et les défavorise.
Prévoir une marge dans le timing total car un peu de temps nécessaire pour que tout le monde parvienne à démarrer le QCM.
Ressenti des enseignants :
Le test s'est bien déroulé. Possibilité de voir les tentatives en cours et de s'en servir pour pointer les présents et remplir le PV.
Les résultats semblent dans l'ensemble pertinents avec une moyenne de promotion à 12,8 (écart-type de 3,2, min : 2,4, max : 20) et une belle gaussienne pour la répartition des notes (graph /10) :
Les élèves ressentis en difficultés au S1 ou en TD semblent efficacement détectés via ce test, cependant quelques bons élèves semblent avoir totalement perdus leurs moyens face à ce nouveau format et obtiennent moins de la moyenne.
Ressenti des élèves :
Format d'évaluation très anxiogène, très intense, demandant une concentration extrême.
Difficultés à gérer le temps, panique de certains qui ont passé des questions en voyant le chronomètre avancer et ne sachant pas le temps nécessaire pour répondre aux X questions restantes, frustration de ne pas avoir pu aller au bout du questionnaire.
Incompréhension de certaines consignes : Nous avions indiqué qu'ils ne pouvaient pas "passer les questions" dans le sens "pour y revenir ensuite", mais certains ont compris qu'ils ne pouvaient pas choisir de ne pas répondre. Et puisque nous avions indiqué qu'il y aurait un malus en cas de mauvaise réponse, cela a engendré un stress important pour ces élèves. Par ailleurs, les élèves qui ont coché une case, ne peuvent apparemment plus la décocher s'ils souhaitent finalement ne pas répondre.
Pistes d'amélioration pour les QCM à venir :
- Être bien vigilant sur la clarté des consignes données…
- Si utilisation de malus, ajouter une réponse "ne pas répondre à cette question" pour qu'ils puissent passer la question, même s'ils avaient déjà commencé à cocher une réponse.
- L'existence de points négatifs semblent leur faire perdre à la fois leurs moyens et du temps car ils vérifient plusieurs fois leur calcul au lieu d'avancer. A utiliser avec parcimonie.
-
Attention lors du paramétrage du QCM. Nous avons
remarqué lors de nos tests préliminaires qu'il est important de bien indiquer
lorsqu'une seule réponse est attendue (et non pas choisir "réponses
multiples") sinon le malus ne semble pas être pris en compte.