diff options
Diffstat (limited to 'ML/05_Decision_Trees/decision_trees.md')
| -rw-r--r-- | ML/05_Decision_Trees/decision_trees.md | 24 |
1 files changed, 24 insertions, 0 deletions
diff --git a/ML/05_Decision_Trees/decision_trees.md b/ML/05_Decision_Trees/decision_trees.md new file mode 100644 index 0000000..496856d --- /dev/null +++ b/ML/05_Decision_Trees/decision_trees.md @@ -0,0 +1,24 @@ +# Decision trees +Grande explicabilité + +## Construction (CART) +- Recherche pour chaque noeud d'une feature et d'un seuil qui sépare le dataset + - Minimisation d'une fonction de coût basée sur l'impureté de Gini +- `max_depth` pour la profondeur max de l'arbre +- Autres hyperparamètres : nb_feuilles, taille du split... + +Arrêt sur un résultat raisonnable car complexité + +Peu de différence entre **entropie** et **impureté de Gini** + +## Régularisation +Overfitting probable + +## Régression +prédiction de valeur != classe +minimisation de la MSE au moment de split + +# Limites des arbres de décision +- peu adoptés +- attention normalisation +- Variance élevée (sensibilité aux hyperparamètres) |