Rechercher systématiquement les réglages (taux d'apprentissage, force de régularisation, profondeur d'arbre) qui ne sont pas appris à partir des données mais choisis avant l'entraînement.
Validation croisée: Découper les données de plusieurs façons différentes et faire la moyenne des performances, pour qu'un découpage chanceux ou malchanceux ne vous induise pas en erreur.
Régularisation (L1/L2): Pénaliser les poids élevés du modèle pendant l'entraînement pour qu'il ne puisse pas surapprendre en mémorisant le bruit.
Notions liées
Rétropropagation: L'algorithme qui calcule à quel point chaque poids d'un réseau de neurones a contribué à l'erreur, pour que la descente de gradient sache dans quel sens l'ajuster.