Data science pour ingénieurs avec Python
ENG-209
Vérification finale
Description
Vous pouvez désormais comparer les performances de votre modèle avec notre modèle de référence.
Pour ce faire, veuillez décompresser ce fichier ZIP dans votre répertoire habituel (sous vdi.epfl.ch) et exécuter vos notebooks. Les méthodes verify_q1 et verify_q2 ont été modifiées pour vous fournir un aperçu plus précis de la qualité de vos réponses. Exécuter le commande ./setup-final-check.sh (ou pip install jupyterlab-latex peut être suffisante) si vous avez des problèmes de packages python manquant. Les modèles de référence ont été obtenus en utilisant les méthodes vues en classe pendant les exercices (pratiquement du copier-coller). Beaucoup d'entre vous ont pu obtenir de meilleurs résultats, dans ce cas, félicitations !
Attention : ceci n'est pas un auto-grader.
Nous jugerons de la qualité de vos réponses de la manière suivante :
Question 1 :
- La qualité du deuxième modèle (courbe ROC et AUC) doit être inférieure ou similaire à celle du premier modèle.
- Le FNR moyen doit être inférieur ou égal à 10 %.
- Les performances du modèle par rapport au modèle de référence, en particulier le FPR, doivent être raisonnablement faibles.
Question 2 :
- Détection et ampleur des biais ou de la structure dans les résidus (moins il y en a, mieux c'est), les résidus doivent être proches de la normale.
- Mesures de performances : MSE, MAE, etc.
- Comparaison de ces mesures avec le modèle de référence.
Attention, dans le cadre du projet 2, nous avons observé des projets où les valeurs de y sont décalées dans le temps dans la fonction de transformation des entrées. Cela a pour effet que le modèle de référence semble "décalé" par rapport aux vraies valeurs de y. Ce défaut n'est pas détecté automatiquement mais sera pris en compte lors de l'évaluation.