Il est souvent difficile de comparer des implémentations différentes d'algorithmes avancés car elles impliquent une grande variété dans les formats d'entrée et de sortie, les conditions d'utilisation, et même les langages de programmation utilisés, etc.
Le but de ce projet est de réfléchir à une infrastructure générique de comparaison d'implémentations d'algorithmes complexes. Il s'agira donc de proposer un framework (SSG, python) de génération d'un site de comparaison (benchmark) entre implémentation à partir d'un ensemble de tests : dans un même framework, exécuter un certain nombre de tâches pour un certain nombre d'implémentations et visualiser les résultats, les différences, les codes exécutés, etc. Afin de mettre à jour régulièrement le site de comparaison, l'automatisation d'une telle infrastructure doit inclure le suivi des mise à jour des implémentations testées, l'organisation des tests et de leur écriture dans les différents langages/framework, l'exécution automatique des tests pour les différentes implémentations, la présentation synthétique des résultats, etc.
Les tâches à fournir durant le projet sont de proposer un cahier des charges complet, puis d'organiser l'implémentation de cette infrastructure de benchmarking en suivant ne décomposition modulaire progressive du travail permettant de réaliser une première version puis de monter en fonctionnalités. Le projet s'appuiera sur le domaine des d'algorithmes dans le cadre des réseaux bayésiens (algorithmes d'inférence, d'apprentissage, etc.) afin de produire un exemple de site de comparaison.