Évaluer un système scolaire en considérant les inégalités familiales

Le système éducatif français est-il un élève moyen ? C’est du moins l’impression que donne le classement PISA. Ce classement des pays sur la base des connaissances scolaires moyennes acquises par leurs élèves de 15 ans présente néanmoins des limites. Pour cette raison, les économistes Nicolas Gravel, Edward Levavasseur et Patrick Moyes portent un regard neuf sur les données de ce classement, en intégrant les inégalités familiales.

Tous les trois ans, il revient et fait la une de la presse provoquant l’émoi du monde de l’enseignement, des journalistes et des politiques. Son nom ? PISA, pour Program for International School Assessment ou Programme international pour le suivi des acquis des élèves. Cette enquête de l’Organisation de Coopération et de Développement Economique, l’OCDE, a pour mission d’identifier « ce que les élèves de 15 ans savent et ce qu’ils peuvent faire avec ce qu’ils savent. » Pour cela, elle évalue, tous les trois ans, 600 000 élèves de 75 pays différents dans trois grands domaines : compréhension de l’écrit, mathématique et culture scientifique.

Chaque rapport contient les résultats des évaluations avec des notes, des informations sur les élèves, des moyennes et surtout un classement entre les pays participants. Aux premiers rangs, on trouve régulièrement la Chine, Singapour, l’Estonie ou encore le Canada. La France, loin d’avoir le bonnet d’âne, gravite autour de la 20e place.

Un classement (socialement) incomplet

La performance française, jugée médiocre par certains, est parfois interprétée comme une preuve de l’inefficacité du système éducatif français. Sauf que reprendre ce classement pour juger de l’état d’un système éducatif relève d’une vision étroite, voire simpliste.

Ce classement n’évalue qu’un groupe de matières dites fondamentales. Aucune évaluation n’est faite des compétences dites non cognitives des élèves comme la capacité à interagir avec les autres, gérer ses émotions, le sens civique ou les aptitudes manuelles et sportives. De plus, les différences existent entre les cultures et les systèmes éducatifs des pays testés et peuvent rendre difficilement comparables les performances de chacun.

Une autre facette de tout bon système éducatif se trouve aussi ignorée : la lutte contre les inégalités sociales et économiques. Les enfants nés dans des familles très éduquées avec un niveau de revenu élevé possèdent un avantage sur ceux venant de milieux défavorisés. Pour cette raison, les économistes Nicolas Gravel, Edward Levavasseur et Patrick Moyes, proposent de revisiter le classement PISA en prenant en compte ces inégalités et la capacité des systèmes éducatifs à en atténuer les effets.

Deux séries de données de l’enquête PISA ont attiré leur attention : les résultats en mathématiques de chaque élève et la distribution de l’indice HISEI. Pourquoi ? Les mathématiques représentent une discipline standardisée dont l’acquisition favorise la compréhension des raisonnements quantitatifs, l’insertion professionnelle, le développement du sens critique et, bien sûr, le sens logique. Le côté formel de cette discipline la rend par ailleurs plus universelle et donc, moins susceptible d’être influencée par des différences culturelles entre les pays. L’indice HISEI, HIghest parents Socio-Economic Index, informe quant à lui sur le statut socio-économique le plus élevé des deux parents de chaque élève et fournit donc une information synthétique sur son milieu familial.

Photographie par Nikhita S sur Unsplash

La surprise vietnamienne

Certains pays occupent le haut du classement pour les résultats moyens en mathématiques et le milieu familial moyen des élèves. C’est notamment le cas de Singapour, des Pays-Bas ou encore du Danemark. À l’autre extrême se trouvent des pays comme le Maroc, l’Algérie, la Thaïlande et le Mexique. La France se trouve au milieu des deux tableaux, à l’instar du Portugal ou de l’Autriche.

D’autres pays en revanche affichent un écart entre leur score en mathématiques et leur indice HISEI moyen plus surprenant. Le cas le plus impressionnant vient des Émirats arabes unis. Caractérisé par un statut social moyen des parents le plus élevé des nations étudiées, ce pays présente pourtant l’un des plus faibles scores en mathématiques. Le système éducatif de ce pays ne semble donc pas permettre aux enfants issus pour la plupart de familles « aisées » de développer de bonnes aptitudes en mathématiques. Le Liban, la Jordanie et Israël se trouvent dans une situation analogue.

Photographie par Tinnakorn sur Adobe Stock

Une surprise en direction inverse est fournie par le Viet Nam, qui affiche la plus faible moyenne nationale de l’indice HISEI tout en ayant un score en mathématiques moyen supérieur à la France et à de nombreux pays. Le système éducatif vietnamien parvient donc à transmettre à des enfants issus de familles modestes des compétences en mathématiques extrêmement solides.

Méthodologie nouvelle

Le classement PISA se fait à partir du score moyen pour chacune des compétences évaluées. Bien que synthétique et aisée à comprendre, une moyenne reste un indicateur limité, qui ne donne aucune information sur la distribution des valeurs au sein de la population. Des pays scolairement égalitaires avec des notes assez proches peuvent avoir la même moyenne qu’un pays avec beaucoup d’élèves qui seront très en bas et d’autres très en haut.  Une autre faiblesse de la moyenne du score des élèves est qu’elle ne fournit aucune information sur les liens entre la note d’un élève et son origine sociale. Or cette information est cruciale pour pouvoir apprécier si le système scolaire réussit ou non à corriger les inégalités des chances liées aux différences des milieux sociaux.

Pour s’affranchir de ces limites, les chercheurs ont innové en analysant pour tous les pays la distribution jointe des valeurs des scores en mathématique et de l’indice HISEI à partir de trois principes. Le premier est qu’une amélioration du score en mathématique d’un élève qui ne s’effectue pas au détriment des autres révèle un gain de performance du système scolaire. Le second principe affirme qu’un résultat scolaire donné est d’autant plus révélateur d’une bonne performance du système éducatif qu’il a été obtenu par un élève de milieu social défavorisé. Enfin, le troisième principe stipule que pour deux niveaux scolaires différents obtenus par deux élèves de milieux sociaux différents, on préfèrera que le bon niveau scolaire soit obtenu par l’élève de milieu social défavorisé et le mauvais niveau scolaire soit obtenu par l’élève de milieu social favorisé à la situation inverse.

Ces trois principes à eux seuls ne permettent pas un classement complet des pays. Les auteurs ont montré qu’il donne lieu à un classement incomplet qui peut se représenter comme un arbre de « dominance ». Un tel arbre indique, pour chaque paire de pays, si l’un en domine ou non l’autre.

Une France élitiste et peu performante

Alors qui domine qui selon ces trois principes et quels sont les pays qui réussissent le mieux à élever les notes des plus défavorisés ? Le Viet Nam est certainement très performant puisqu’il domine un total 18 pays sans l’être par aucun autre. Parmi les pays développés, aucun pays ne damne le pion au Japon et à la Pologne, dominés par aucun pays, et qui en dominent respectivement neuf et douze, dont la France.

Une petite surprise vient de la Finlande, souvent décrite comme championne mondiale en matière d’éducation. Elle ne domine que cinq pays sans l’être. Cette relative contre-performance s’expliquerait par une forte corrélation entre le statut social des parents et les résultats scolaires des enfants. Au sein des pays avec les performances les plus faibles se trouvent la Jordanie, le Liban et les Émirats arabes unis respectivement dominés par 18, 25 et 29 pays.

Comment se débrouille la France ? Bien que seule la Pologne la domine, elle ne fait mieux que cinq pays (dont les États-Unis). Cette performance plutôt moyenne s’explique en partie, comme pour la Finlande, par la présence en France d’une importante corrélation entre l’indice HISEI des parents de l’élève et le résultat en mathématique de celui-ci.

De fait, la France affiche un des plus hauts coefficients de corrélation entre résultat en mathématique et milieu social d’origine se plaçant juste derrière la Hongrie, le Pérou, et la Belgique. Qu’est-ce que cela signifie pour le système français ? Que la France est un système très élitiste, avec beaucoup d’élèves très en dessous de la moyenne ou très au-dessus de la moyenne ! Mais surtout, et c’est le plus important, que son système éducatif a de grandes difficultés à rectifier les inégalités de base.