From a47f22758f5a4234b333bdad050cfb622eca00d8 Mon Sep 17 00:00:00 2001
From: Marcellus <msimon_fr@hotmail.com>
Date: Mon, 9 Mar 2026 16:10:12 +0100
Subject: feat: 05_Decision trees

---
 ML/05_Decision_Trees/decision_trees.md | 24 ++++++++++++++++++++++++
 1 file changed, 24 insertions(+)
 create mode 100644 ML/05_Decision_Trees/decision_trees.md

(limited to 'ML/05_Decision_Trees/decision_trees.md')

diff --git a/ML/05_Decision_Trees/decision_trees.md b/ML/05_Decision_Trees/decision_trees.md
new file mode 100644
index 0000000..496856d
--- /dev/null
+++ b/ML/05_Decision_Trees/decision_trees.md
@@ -0,0 +1,24 @@
+# Decision trees
+Grande explicabilité
+
+## Construction (CART)
+- Recherche pour chaque noeud d'une feature et d'un seuil qui sépare le dataset
+  - Minimisation d'une fonction de coût basée sur l'impureté de Gini
+- `max_depth` pour la profondeur max de l'arbre
+- Autres hyperparamètres : nb_feuilles, taille du split...
+
+Arrêt sur un résultat raisonnable car complexité 
+
+Peu de différence entre **entropie** et **impureté de Gini**
+
+## Régularisation
+Overfitting probable
+
+## Régression
+prédiction de valeur != classe
+minimisation de la MSE au moment de split
+
+# Limites des arbres de décision
+- peu adoptés
+- attention normalisation
+- Variance élevée (sensibilité aux hyperparamètres)
-- 
cgit v1.2.3