Le but de ce projet est de comparer des solveurs de Processus de Décision Markoviens. Il existe 2 grandes manières de résoudre un processus de Décision Markovien soit par de la programmation linéaire soit par de la programmation dynamique. Nous voudrions comparer d'une part la résolution par de la programmation linéaire à l'aide d'un solveur classique du domaine (soit gurobi soit cplex) et comparer ensuite des solveurs qui utilisent de la programmation dynamique comme MDP toolbox et marmoteMDP.
La comparaison se fera sous python même si les solveurs sous jacent tournent sur du c++ ou du matlab.
Le but sera de comparer ces solveurs sur différents modèles théoriques et pratiques de MDP qu'il vous faudra déterminer et trouver.
La comparaison se fera aussi bien sur les possibilités d'efficacité que du pouvoir d'expressivité du logiciel.
On demandera d'exprimer le cadre de comparaison de manière formelle.
Enfin, un certain nombre d'améliorations pourront être implémentées en fin de projet.