Introduction aux réseaux de neurones – Réseaux de neurones

Introduction aux réseaux de neurones

Historique

• Mac Culloch et Pitts (1943) : définition d’un neurone formel

• Loi de Hebb (1949)

• Rosenblatt (1958), Widrow et Hoff : modèle avec processus d’apprentissage, perceptron

• Minsky et Papert (1969) : limites des perceptrons

• Kohonen (1972) : mémoires associatives

• Rumelhart – Mc Clelland (1980), Werbos – Le Cun : perceptron multi-couches, mécanismes d’apprentissage performants (rétropropagation du gradient).

Définitions

• apprentissage supervisé : les coefficients synaptiques sont évalués en minimisant l’erreur (entre sortie souhaitée et sortie obtenue) sur une base d’apprentissage.

• apprentissage non-supervisé : on ne dispose pas de base d’apprentissage. Les coefficients synaptiques sont déterminés par rapport à des critères de conformité : spécifications générales.

• sur-apprentissage : on minimise l’erreur sur la base d’apprentissage à chaque itération mais on augmente l’erreur sur la base d’essai. Le modèle perd sa capacité de généralisation : c’est l’apprentissage par cœur.

NEURONE FORMEL

Principes :

• pas de notion temporelle

• coefficient synaptique : coefficient réel

• sommation des signaux arrivant au neurone

• sortie obtenue après application d’une fonction de transfert

LOI DE HEBB

Principe :

Si deux neurones sont activés en même temps, alors la force de connexion augmente.

Base d’apprentissage :

On note S la base d’apprentissage.

S est composée de couples (e, c) où :

e est le vecteur associé à l ’entrée (e1, …, en)
c la sortie correspondante souhaitée

Algorithme :

µ est une constante positive.
Initialiser aléatoirement les coefficients wi
Répéter :
- Prendre un exemple (e, c) dans S
- Calculer la sortie o du réseau pour l ’entrée e
- Si c ≠ o
  - Modification des poids wij :
  - wij = wij + µ ∗ (ai ∗ aj)
  - Fin Pour
- Fin Si
Fin Répéter

Exemple :

Exemple (1) : o = Signe(w1 ∗ e1 + w2 ∗ e2) = Signe(0) = − 1

o = − 1 ≠ 1 = x

⇒ w1 = w1 + e1 ∗ x = 1

w2 = w2 + e2 ∗ x = 1

Exemple (2) : o = Signe((w1 ∗ e1 + w2 ∗ e2) = Signe(0) = − 1

o = − 1 ≠ 1 = x

⇒ w1 = w1 + e1 ∗ x = 2

w2 = w2 + e2 ∗ x = 0

Modèle biologique

Les neurones reçoivent des signaux (impulsions électriques) par les dendrites et envoient l’information par les axones.

Les contacts entre deux neurones (entre axone et dendrite) se font par l’intermédiaire des synapses.
Les signaux n’opèrent pas de manière linéaire : effet de seuil.