1. Contexte
Le domaine de l’AWE (Automatic Writing Evaluation) est en pleine expansion depuis plusieurs années maintenant. L’intérêt de ce champ de recherche est de permettre de faire gagner du temps aux professeurs sur l’évaluation en donnant automatiquement des retours aux élèves sur leurs productions textuelles selon des critères prédéfinis. Dans le cadre d’une thèse en entreprise, nous avons construit un algorithme de ce type en ajoutant une dimension légèrement différente des modèles classique. En effet, en plus d’évaluer le produit final, notre algorithme évalue aussi le processus de révision suivi par l’étudiant lors de son écriture du texte (est-ce qu’il effectue des corrections, des reformulations?) à partir d’une collecte des frappes claviers.
2. Objectifs
Votre principal objectif pour ce projet sera de développer une interface dans laquelle des élèves pourront saisir un texte qui pourra être évalué par l’algorithme. Par ailleurs et selon le temps restant pour le projet, un second travail sur l’interface pourra être fait à partir des sorties de l’algorithme qui constituent le retour de l’évaluation proposé à l’élève.
3. Méthodologie préconisée
Après vous être approprié le sujet à travers la lecture de quelques articles de la littérature ainsi que de la documentation de l'algorithme qui vous seront donnés, vous serez amenés à développer une interface permettant de collecter des textes et leurs frappes claviers. L'étape suivante sera de mettre en forme les données de telle sorte à pouvoir les envoyer à l'algorithme. Comme énoncé plus haut, un travail supplémentaire pourra être effectué en traitant et affichant les sorties de l'algorithme aux utilisateurs.
4. Compétences attendues et développées
Le langage et les bibliothèques utilisées pour développer l’interface seront laissées au choix mais des recommandations pourront vous être faites. Le coeur de la bibliothèque développée par l'équipe de recherche avec laquelle s'interfacer est écrite en Python.
L’utilisation de Github ou Gitlab est strictement obligatoire.
5. Références
P. Deane, “Using Writing Process and Product Features to Assess Writing Quality and Explore How Those Features Relate to Other Literacy Tasks: Writing Process and Product Features to Assess Writing Quality,” ETS Research Reports Series, vol. 2014, no. 1, Art. no. 1, Jun. 2014, https://doi.org/10.1002/ets2.12002
Ding L., Zou, D. (2024), Automated writing evaluation systems: A systematic review of Grammarly, Pigai, and Criterion with a perspective on future directions in the age of generative artificial intelligence, Education and Information Technologies, 29:14151–14203 https://doi.org/10.1007/s10639-023-12402-3
Contacts : francois.bouchet@lip6.fr & leo.nebel@lip6.fr