Apprentissage supervisé et non supervisé, évaluation de modèles et bases des réseaux de neurones, orienté préparation aux entretiens techniques et cours équivalent.
Chaque compétence que le diagnostic peut vérifier, regroupée comme sur la carte. Ouvrez une notion pour commencer une leçon.
Fondamentaux
Types de problèmes en ML: La distinction de base entre apprentissage supervisé (exemples étiquetés), non supervisé (sans étiquettes) et par renforcement.
Fonctions de coût et de perte: Le nombre unique qu'un modèle cherche à minimiser pendant l'entraînement, choisi pour refléter à quel point ses prédictions sont fausses.
Descente de gradient: Ajuster de façon répétée les paramètres d'un modèle en descendant la fonction de coût pour réduire l'erreur.
Apprentissage supervisé
Régression linéaire: Ajuster une droite (ou un hyperplan) aux données pour prédire un nombre continu.
Régression logistique: Un modèle linéaire adapté à la classification en compressant sa sortie en une probabilité.
Arbres de décision: Un modèle qui prédit en posant une séquence de questions oui/non sur l'entrée, comme un logigramme.
Méthodes d'ensemble: Combiner de nombreux modèles faibles (souvent des arbres) en un seul plus fort, soit en moyennant (bagging), soit en corrigeant successivement leurs erreurs (boosting).
Machines à vecteurs de support: Un classifieur qui trouve la plus large marge possible entre les classes, et peut courber cette marge en utilisant des noyaux.
K plus proches voisins: Classer un nouveau point en regardant quels sont ses voisins étiquetés les plus proches.
Naïve Bayes: Un classifieur probabiliste qui suppose (naïvement) que chaque caractéristique est indépendante des autres, sachant la classe.
Évaluation de modèles
Compromis biais-variance: Un modèle trop simple a un biais élevé (sous-apprend) ; un modèle trop flexible a une variance élevée (surapprend), et on ne peut pas minimiser les deux à la fois.
Surapprentissage et sous-apprentissage: Un modèle qui mémorise les données d'entraînement au lieu d'apprendre le schéma (surapprentissage), ou un modèle trop faible pour même l'apprendre (sous-apprentissage).
Découpage train/test/validation: Réserver des données sur lesquelles le modèle ne s'entraîne jamais, pour vérifier honnêtement comment il se comporte sur des exemples inédits.
Validation croisée: Découper les données de plusieurs façons différentes et faire la moyenne des performances, pour qu'un découpage chanceux ou malchanceux ne vous induise pas en erreur.
Régularisation (L1/L2): Pénaliser les poids élevés du modèle pendant l'entraînement pour qu'il ne puisse pas surapprendre en mémorisant le bruit.
Métriques d'évaluation de classification: L'exactitude seule peut mentir ; précision, rappel, F1 et ROC-AUC capturent chacune une façon différente d'un classifieur d'avoir raison ou tort.
Métriques d'évaluation de régression: Des façons de mesurer à quel point les prédictions continues d'un modèle sont éloignées, de la taille brute de l'erreur à la part de variance expliquée.
Réglage des hyperparamètres: Rechercher systématiquement les réglages (taux d'apprentissage, force de régularisation, profondeur d'arbre) qui ne sont pas appris à partir des données mais choisis avant l'entraînement.
Gestion du déséquilibre des classes: Des techniques pour quand une classe est très largement plus nombreuse qu'une autre, car l'exactitude seule devient dénuée de sens (prédire toujours la classe majoritaire « gagne »).
Réduction de dimensionnalité (ACP): Compresser de nombreuses caractéristiques corrélées en un nombre réduit de nouvelles caractéristiques qui capturent l'essentiel de la variation d'origine.
Regroupement K-means: Regrouper des points non étiquetés en k clusters en les assignant de façon répétée au centre le plus proche puis en recalculant les centres.
Classification ascendante hiérarchique: Construire un arbre de clusters imbriqués en fusionnant (ou divisant) des groupes de façon répétée, plutôt que de choisir un nombre fixe à l'avance.
Réseaux de neurones
Bases des réseaux de neurones: Empiler des couches d'unités semblables à la régression logistique, reliées par des fonctions d'activation non linéaires, pour apprendre des schémas plus complexes.
Rétropropagation: L'algorithme qui calcule à quel point chaque poids d'un réseau de neurones a contribué à l'erreur, pour que la descente de gradient sache dans quel sens l'ajuster.