Validité d’une épreuve ministérielle vs fiabilité du résultat: une roue qui tourne et qui devrait avancer!

Ce texte enrichit mes interventions rapportées dans l’article de Mme Dion-Viens au sujet de la forte ressemblance relevée par des élèves et enseignants, entre un problème de la section «problèmes d’application» de l’épreuve ministérielle de 4e secondaire (séquence culture, société et technique) de cette année et un autre de l’épreuve de 2018. L’usage de celle-ci était autorisé par le ministère tel que stipulé dans un document à l’attention des personnes enseignantes.

D’emblée, il ne faut pas croire que seulement ces deux problèmes étaient semblables et qu’il n’y a eu aucune similitude dans les autres épreuves de mathématique: c’est faux ! Si, comme parent consciencieux, vous avez lu le «guide à l’intention des parents» sur le site ministériel et que vous avez partagé les problèmes donnés en exemples à vos enfants qui sont dans le cours de la séquence sciences naturelles, alors d’emblée, vous avez contribué à ce qu’ils reconnaissent plus aisément les tâches, la combinaison et l’ordonnancement des processus à mobiliser pour résoudre deux des six problèmes d’application de l’épreuve. Mais du même coup, le ministère et vous avez furtivement réduit l’exercice du jugement évaluatif sur la compétence visée!

Si, à ce stade-ci, vous vous sentez coupables (d’avoir montré ces exemples ou de ne pas avoir lu le guide), alors vous vivez à petite échelle ce que vivent nombre de personnes enseignantes. C’est un débat annuellement ravivé en mathématique au secondaire: comment préparer (ou non) à une épreuve ministérielle trop prévisible qui doit pourtant évaluer une compétence? Une question qui met en évidence cette tension de l’agir éthique de la personne enseignante qui est consciente du rôle de l’épreuve et de l’iniquité générée par sa prévisibilité.

Une épreuve est imposée par le ministre de l’Éducation aux fins de la sanction des études et de l’attribution du diplôme d’études secondaires. Les résultats des élèves à cette épreuve mènent au processus de modération des notes-écoles, lequel consiste à comparer les notes-écoles d’un groupe d’élèves à celles obtenues par le même groupe à l’épreuve ministérielle. L’objectif annoncé par le ministère est de s’assurer de la validité des notes-école transmises et de veiller à ce qu’elles soient comparables d’une école à l’autre à la grandeur du Québec.

C’est précisément en tenant compte de ces objectifs et des choix ministériels faits depuis plus de 10 ans qu’émerge la problématique de la pertinence et de la fiabilité de l’épreuve ou, formulé autrement, de la validité des notes générées à la suite du processus de modération et consignées au relevé ministériel.

La validité correspond au degré d’adéquation entre ce que l’on annonce vouloir évaluer et ce que l’on évalue réellement. En mathématique, l’épreuve prétend évaluer la compétence à «déployer un raisonnement mathématique». Cette épreuve a lieu à un instant donné et elle s’insère dans une variété de situations que la personne enseignante proposera en classe. Sous une approche par compétences, évaluer consiste à proposer des situations complexes appartenant à une famille de situations définies par la compétence qui nécessiteront, de la part de l’élève, de démontrer son aisance à rechercher, combiner, justifier ce qu’il fait en mobilisant différentes ressources de son répertoire.

Ces ressources regroupent entre autres la gestion du stress généré par le caractère nouveau des situations, ses connaissances sur les savoirs en jeu, les processus à appliquer et ses stratégies pour attaquer et modéliser un problème (faire un dessin, convertir un registre en un autre, sélectionner les variables pertinentes de celles qui ne le sont pas...). Aussi, la production attendue de l’élève sera elle-même complexe par le travail intellectuel qu’engendre le caractère nouveau de la situation qui sera proposé. Si l’on accepte que l’épreuve ministérielle soit un moyen a minima pour évaluer la compétence visée et si on limite notre analyse aux problèmes proposés d’une épreuve de 2024, on avancera qu’elle est valide au sens où elle permet d’évaluer a minima ce qu’elle prétend vouloir mesurer avec des situations de faible complexité.

Mais c’est sous les critères de pertinence et de fiabilité que l’épreuve de math CST 2024 stagne et échoue malheureusement. Alors qu’elle pourrait être la 4e roue permettant de stabiliser le véhicule de l’exercice du jugement évaluatif, elle est celle qui nous empêche d’avancer.

On juge de la pertinence d’une épreuve par sa compatibilité avec les autres éléments du système pour porter un jugement sur la compétence visée. Le système n’est pas statique et c’est son activité organisationnelle qui doit être prise en compte. La rédaction d’épreuves contraint et motive les pratiques évaluatives des enseignants.