Introduction aux réseaux de neurones – Réseaux de neurones

Introduction aux réseaux de neurones

Historique

• Mac Culloch et Pitts (1943) : définition d’un neurone formel

• Loi de Hebb (1949)

• Rosenblatt (1958), Widrow et Hoff : modèle avec processus d’apprentissage, perceptron

• Minsky et Papert (1969) : limites des perceptrons

• Kohonen (1972) : mémoires associatives

• Rumelhart – Mc Clelland (1980), Werbos – Le Cun : perceptron multi-couches, mécanismes d’apprentissage performants (rétro￾propagation du gradient).

Définitions

• apprentissage supervisé : les coefficients synaptiques sont évalués en minimisant l’erreur (entre sortie souhaitée et sortie obtenue) sur une base d’apprentissage.

• apprentissage non-supervisé : on ne dispose pas de base d’apprentissage. Les coefficients synaptiques sont déterminés par rapport à des critères de conformité : spécifications générales.

• sur-apprentissage : on minimise l’erreur sur la base d’apprentissage à chaque itération mais on augmente l’erreur sur la base d’essai. Le modèle perd sa capacité de généralisation : c’est l’apprentissage par cœur.

NEURONE FORMEL

Principes :

• pas de notion temporelle

• coefficient synaptique : coefficient réel

• sommation des signaux arrivant au neurone

• sortie obtenue après application d’une fonction de transfert

LOI DE HEBB

Principe :

Si deux neurones sont activés en même temps, alors la force de connexion augmente.

Base d’apprentissage :

On note S la base d’apprentissage.

S est composée de couples (e, c) où :

• e est le vecteur associé à l ’entrée (e1, …, en)
• c la sortie correspondante souhaitée

Algorithme :

• µ est une constante positive.
• Initialiser aléatoirement les coefficients wi
• Répéter :
  • Prendre un exemple (e, c) dans S
  • Calculer la sortie o du réseau pour l ’entrée e
  • Si c ≠ o
    • Modification des poids wij :
    • wij = wij + µ ∗ (ai ∗ aj)
    • Fin Pour
  • Fin Si
• Fin Répéter

Exemple :

• Exemple (1) : o = Signe(w1 ∗ e1 + w2 ∗ e2) = Signe(0) = − 1

o = − 1 ≠ 1 = x

⇒ w1 = w1 + e1 ∗ x = 1

w2 = w2 + e2 ∗ x = 1

• Exemple (2) : o = Signe((w1 ∗ e1 + w2 ∗ e2) = Signe(0) = − 1

o = − 1 ≠ 1 = x

⇒ w1 = w1 + e1 ∗ x = 2

w2 = w2 + e2 ∗ x = 0

Modèle biologique

Les neurones reçoivent des signaux (impulsions électriques) par les dendrites et envoient l’information par les axones.

• Les contacts entre deux neurones (entre axone et dendrite) se font par l’intermédiaire des synapses.
• Les signaux n’opèrent pas de manière linéaire : effet de seuil.

Applications de réseaux de neurones

• statistiques : analyse de données / prévision / classification
• robotique : contrôle et guidage de robots ou de véhicules autonomes
• imagerie / reconnaissance de formes
• traitement du signal
• simulation de l’apprentissage

télécharger le cours Introduction aux réseaux de neurones

Introduction-aux-réseaux-de-neurones

---

Voir aussi :

---

Partagez au maximum pour que tout le monde puisse en profiter

---