CGT Educ’Action 94

Claude Thélot, ancien directeur de l’évaluation du Ministère de l’Education Nationale, identifie dans son blog 3 conditions pour qu’une évaluation soit « utile et crédible » :

* elle doit être non biaisée au départ (ce qui veut dire qu’elle n’est pas conduite par la direction qui a en charge la politique évaluée),
* absolument indépendante dans le choix des outils, des critères, de sa communication (le ministre étant – très théoriquement – le garant de cette indépendance)
* enfin, elle doit respecter un certain nombre de critères scientifiques d’étude qui garantissent son sérieux.

Aujourd’hui, alors que l’Etat a décidé d’équiper, directement ou indirectement à travers les collectivités locales, des dizaines de milliers d’écoles en ordinateurs, tableaux interactifs et outils numériques divers, il n’existe toujours pas d’étude indiscutable (ou simplement sérieuse) qui évalue réellement les avantages de ces technologies dans un cadre éducatif.

J’irai même plus loin, il n’existe pas d’étude dans le domaine qui satisfasse ne serait-ce qu’un seul des critères énoncés ci-dessus !

95% des études sont biaisées au départ (écrites par ou pour un des acteurs du marché du numérique). 100% des études que j’ai pu lire ont une crédibilité scientifique absolument nulle !

L’évaluation de la politique numérique reste à faire, en France comme ailleurs.

Les méthodes proposées par Claude Thélot (l’évaluation de masse) nécessitent des moyens importants et peuvent sembler trop lourdes à mettre en oeuvre dans le domaine du numérique.

Mais depuis quelques années, une chercheuse française, Esther Duflo, a utilisé la méthode aléatoire pour évaluer les effets des politiques de lutte contre la pauvreté avec des résultats remarquables.

La méthode aléatoire repose sur des évaluations faites sur des petits groupes dont les caractéristiques sont identiques au départ. Un de ces petits groupes adopte un « processus nouveau » (par exemple on lui propose d’avoir accès au micro-crédit) et on compare ensuite, sur des critères précis, la performance de ces groupes (leur richesse, leur taux d’équipement, d’épargne, etc…).

Il est stupéfiant de constater qu’avec des moyens très faibles , la méthode aléatoire a donné, en Inde, plus de renseignement sur les usages du numérique que dans tous les pays développés !

« Lorsque l’on compare les écoles équipées en informatique avec les autres, on constate que les élèves ont de meilleurs résultats dans les premières. Mais est-ce vraiment dà » aux ordinateurs”‰ ? La différence de résultats ne s’explique-t-elle pas plutôt par le fait que ce sont généralement des écoles urbaines, déjà relativement favorisées, qui sont équipées en ordinateurs”‰ ? Une expérimentation permet d’isoler l’impact réel des ordinateurs. Dans une ville indienne, toutes les écoles en étaient équipées, mais généralement, ils restaient dans leur boà®te, parce que les enseignants n’étaient pas formés ou ne disposaient pas des logiciels appropriés. Nous avons sélectionné un groupe d’écoles de manière aléatoire et avons mis à leur disposition un formateur et des logiciels de mathématique, de sorte que tous les enfants bénéficiaient de quelques heures d’informatique par semaine. Un an plus tard, nous avons comparé les performances. Les écoles qui avaient pu utiliser les ordinateurs recueillaient de meilleurs résultats en mathématique. De nombreuses expériences peuvent être menées dans le domaine de l’éducation, permettant de tester l’impact de facteurs fort divers. Une étude a par exemple montré que l’embauche d’une personne chargée du soutien scolaire a un impact équivalent à l’achat d’ordinateurs, tout en étant bien moins onéreuse.« 

Ne serait-il pas intéressant d’avoir un début de réponse à toutes ces questions pour la France ?

La méthode aléatoire permet d’obtenir des résultats rapides de façon peu coà »teuse et à partir de là , d’infléchir les politiques.

En mesurant l’efficacité relative de différentes mesures, les expérimentations aident les décideurs à mieux dépenser l’argent public.