Normalisation par lot

La normalisation par lot est une technique transformatrice en apprentissage profond qui améliore considérablement le processus d’entraînement des réseaux de neurones. Introduite par Sergey Ioffe et Christian Szegedy en 2015, elle répond au problème du décalage de covariantes interne, qui fait référence aux changements dans la distribution des activations du réseau pendant l’entraînement. Cette entrée du glossaire explore en détail les subtilités de la normalisation par lot, en examinant ses mécanismes, ses applications et ses avantages dans les modèles modernes d’apprentissage profond.

Qu’est-ce que la normalisation par lot ?

La normalisation par lot est une méthode utilisée pour stabiliser et accélérer l’entraînement des réseaux de neurones artificiels. Elle normalise les entrées de chaque couche d’un réseau en ajustant et en mettant à l’échelle les activations. Ce processus consiste à calculer la moyenne et la variance de chaque caractéristique dans un mini-lot et à utiliser ces statistiques pour normaliser les activations. Ce faisant, la normalisation par lot garantit que les entrées de chaque couche maintiennent une distribution stable, ce qui est crucial pour un entraînement efficace.

Décalage de covariantes interne

Le décalage de covariantes interne est un phénomène où la distribution des entrées d’une couche de réseau de neurones change pendant l’entraînement. Ce décalage se produit parce que les paramètres des couches précédentes sont mis à jour, modifiant ainsi les activations qui atteignent les couches suivantes. La normalisation par lot atténue ce problème en normalisant les entrées de chaque couche, assurant une distribution d’entrée cohérente et facilitant ainsi un processus d’entraînement plus fluide et plus efficace.

Mécanisme de la normalisation par lot

Implémentée comme une couche au sein d’un réseau de neurones, la normalisation par lot effectue plusieurs opérations lors de la propagation avant :

1. Calcul de la moyenne et de la variance : Pour le mini-lot, calculer la moyenne ($\mu_B$) et la variance ($\sigma_B^2$) de chaque caractéristique.
2. Normalisation des activations : Soustraire la moyenne de chaque activation et diviser par l’écart type, garantissant que les activations normalisées ont une moyenne nulle et une variance unitaire. Une petite constante epsilon ($\epsilon$) est ajoutée pour éviter la division par zéro.
3. Mise à l’échelle et décalage : Appliquer les paramètres apprenables gamma ($\gamma$) et bêta ($\beta$) pour mettre à l’échelle et décaler les activations normalisées. Cela permet au réseau d’apprendre l’échelle et le décalage optimaux pour les entrées de chaque couche.

Mathématiquement, pour une caractéristique $x_i$, cela s’exprime ainsi :

$$ \hat{x_i} = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}} $$

$$ y_i = \gamma \hat{x_i} + \beta $$

Avantages de la normalisation par lot

1. Entraînement accéléré : En traitant le décalage de covariantes interne, la normalisation par lot permet une convergence plus rapide et l’utilisation de taux d’apprentissage plus élevés sans risque de divergence.
2. Stabilité améliorée : Elle stabilise le processus d’entraînement en maintenant des distributions d’entrée cohérentes à travers les couches, réduisant les risques de gradients nuls ou explosifs.
3. Effet de régularisation : La normalisation par lot introduit une légère régularisation, réduisant potentiellement le besoin d’autres techniques comme le dropout.
4. Sensibilité réduite à l’initialisation : Elle diminue la dépendance du modèle aux valeurs initiales des poids, facilitant l’entraînement de réseaux plus profonds.
5. Flexibilité : Les paramètres apprenables ($\gamma$) et ($\beta$) ajoutent de la flexibilité, permettant au modèle d’adapter l’échelle et le décalage des entrées.

Cas d’usage et applications

La normalisation par lot est largement utilisée dans diverses tâches et architectures d’apprentissage profond, notamment :

• Classification d’images : Améliore l’entraînement des réseaux de neurones convolutifs (CNN) en stabilisant les entrées entre les couches.
• Traitement du langage naturel (NLP) : Améliore les performances des réseaux de neurones récurrents (RNN) et des transformeurs en stabilisant les distributions d’entrée.
• Modèles génératifs : Utilisée dans les réseaux antagonistes génératifs (GAN) pour stabiliser l’entraînement des réseaux générateur et discriminateur.

Exemple avec TensorFlow

Avec TensorFlow, la normalisation par lot peut être implémentée via la couche tf.keras.layers.BatchNormalization() :

import tensorflow as tf

model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, input_shape=(784,)),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Activation('relu'),
    tf.keras.layers.Dense(10),
    tf.keras.layers.Activation('softmax')
])

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5, batch_size=32)

Exemple avec PyTorch

Avec PyTorch, la normalisation par lot est implémentée via nn.BatchNorm1d pour les couches entièrement connectées ou nn.BatchNorm2d pour les couches convolutives :

import torch
import torch.nn as nn

class Model(nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.fc1 = nn.Linear(784, 64)
        self.bn = nn.BatchNorm1d(64)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(64, 10)
        self.softmax = nn.Softmax(dim=1)

    def forward(self, x):
        x = self.fc1(x)
        x = self.bn(x)
        x = self.relu(x)
        x = self.fc2(x)
        x = self.softmax(x)
        return x

model = Model()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

La normalisation par lot est une technique inestimable pour les praticiens de l’apprentissage profond, répondant au décalage de covariantes interne et facilitant un entraînement plus rapide et plus stable des réseaux de neurones. Son intégration dans des frameworks populaires comme TensorFlow et PyTorch la rend accessible et largement adoptée, entraînant des améliorations significatives des performances dans une variété d’applications. À mesure que l’intelligence artificielle évolue, la normalisation par lot demeure un outil essentiel pour optimiser l’entraînement des réseaux de neurones.