Réseaux de neurones : historique, méthodes et applications

Un réseau neuronal est l’association, en un graphe plus ou moins complexe, d’objets élémentaires, les neurones formels. Les principaux réseaux se distinguent par l’organisation du graphe (en couches, complets. . .), c’est-à-dire leur architecture, son niveau de complexité (le nombre de neurones, présence ou non de boucles de rétroaction dans le réseau), par le type des neurones (leurs fonctions de transition ou d’activation) et enfin par l’objectif visé : apprentissage supervisé ou non, optimisation, systèmes dynamiques…

Perceptron multicouche

 But d’apprentissage supervisé. Les systèmes dynamiques, avec boucle de rétroaction, les réseaux récurrents (LSTM) ainsi que les cartes de Kohonen ou cartes auto-organisatrices pour la classification non supervisée ne sont pas abordés.

Architecture de perceptron multicouche

Le perceptron multicouche (PMC) est un réseau composé de couches successives. Une couche est un ensemble de neurones n’ayant pas de connexion entre eux. Une couche d’entrée lit les signaux entrant, un neurone par entrée xi, une couche en sortie fournit la réponse du système. Selon les auteurs, la couche d’entrée qui n’introduit aucune modification n’est pas comptabilisée. Une ou plusieurs couches cachées participent au transfert.

Dans un perceptron, un neurone d’une couche cachée est connecté en entrée à chacun des neurones de la couche précédente et en sortie à chaque neurone de la couche suivante.

Réseau de neurones feed-forward

Un réseau de neurones typique est le réseau feed-forward. Ce réseau propage l’entrée du réseau vers les couches suivantes sans jamais revenir en arrière. En plus du type de réseau de neurones, il faut également choisir une fonction d’erreur et une fonction d’activation pour les neurones. Ces choix sont souvent guidés par le type de données traitées.

Construction du réseau de neurones

Bien entendu, au départ, un réseau de neurones avec des poids initialisés aléatoirement donne de pauvres résultats. C’est pourquoi il y a une étape d’apprentissage, c’est-à-dire d’ajustement des poids du réseau afin que ceux-ci puissent donner de meilleures prédictions.

Une façon de voir le problème est d’essayer de minimiser l’erreur de prédiction du modèle. Cette formulation transforme le problème d’apprentissage en un problème d’optimisation pour lequel plusieurs algorithmes existent. L’optimisation de la fonction d’erreur s’effectue par l’ajustement des paramètres de la fonction, c’est-à-dire les poids et les biais du réseau de neurones.

Rétropropagation

L’idée de la rétropropagation est de faire circuler l’information sur la dérivée de la fonction d’erreur à partir de la couche de sortie, où l’erreur de prédiction est connue (la différence entre y et c), jusqu’à la couche d’entrée. Pour y arriver, il faut arriver à exprimer la dérivée de la fonction d’erreur d’un nœud en fonction de l’information donnée par les couches suivantes. De cette façon, les valeurs attendues de la couche de sortie pourront être rétropropagées vers l’entrée.

Télécharger le cours N°1 sur les Réseaux de neurones

Voir aussi :

Partagez au maximum pour que tout le monde puisse en profiter

The post Réseaux de neurones : historique, méthodes et applications first appeared on F2School.

L’article Réseaux de neurones : historique, méthodes et applications est apparu en premier sur F2School.

Réseau de Neurones Artificiels – cours – réseau de neurones

Les réseaux de neurones artificiels sont des réseaux fortement connectés de processeurs élémentaires fonctionnant en parallèle.

Chaque processeur élémentaire (neurone artificiel) calcule une sortie unique sur la base des informations qu’il reçoit.

Parallel Distributed Processing :

– Calculs élémentaires et parallèles

– Données/informations distribuées dans le réseau

Inspiration naturelle : analogie avec le cerveau

Fondements Biologiques

Structure des neurones

Le système nerveux est composé de 10¹² neurones interconnectés. Bien qu’il existe une grande diversité de neurones, ils fonctionnent tous sur le même schéma.

Ils se décomposent en trois régions principales :

– Le corps cellulaire

– Les dendrites

– L’axone

Fonctionnement des neurones

L’influx nerveux est assimilable à un signal électrique se propageant comme ceci :

– Les dendrites reçoivent l’influx nerveux d’autres neurones.

– Le neurone évalue l’ensemble de la stimulation reçue.

– Si elle est suffisante, il est excité : il transmet un signal (0/1) le long de l’axone.

– L’excitation est propagée jusqu’aux autres neurones qui y sont connectés via les synapses.

Le Neurone Formel

Le neurone formel, l’unité élémentaire d’un réseau de Neurones Artificiels, se compose de deux parties :

– évaluation de la stimulation reçue (fonction E)

– évaluation de son activation (fonction f)

Il est caractérisé par :

– son état X (binaire, discret, continu)

– le niveau d’activation reçu en entrée U

– le poids des connections en entrée W

Apprentissage

L’apprentissage est une phase du développement d’un réseau de neurones durant laquelle le comportement du réseau est modifié jusqu’à l’obtention du comportement désiré.

On distingue deux grandes classes d’algorithmes d’apprentissage :

– L’apprentissage supervisé

– L’apprentissage non supervisé

Télécharger le cours sur le Réseau de Neurones Artificiels :

Voir aussi :

Partagez au maximum pour que tout le monde puisse en profiter

The post Réseau de Neurones Artificiels – cours – réseau de neurones first appeared on F2School.

L’article Réseau de Neurones Artificiels – cours – réseau de neurones est apparu en premier sur F2School.

Introduction aux réseaux de neurones

Historique

• Mac Culloch et Pitts (1943) : définition d’un neurone formel

• Loi de Hebb (1949)

• Rosenblatt (1958), Widrow et Hoff : modèle avec processus d’apprentissage, perceptron

• Minsky et Papert (1969) : limites des perceptrons

• Kohonen (1972) : mémoires associatives

• Rumelhart – Mc Clelland (1980), Werbos – Le Cun : perceptron multi-couches, mécanismes d’apprentissage performants (rétro￾propagation du gradient).

Définitions

• apprentissage supervisé : les coefficients synaptiques sont évalués en minimisant l’erreur (entre sortie souhaitée et sortie obtenue) sur une base d’apprentissage.

• apprentissage non-supervisé : on ne dispose pas de base d’apprentissage. Les coefficients synaptiques sont déterminés par rapport à des critères de conformité : spécifications générales.

• sur-apprentissage : on minimise l’erreur sur la base d’apprentissage à chaque itération mais on augmente l’erreur sur la base d’essai. Le modèle perd sa capacité de généralisation : c’est l’apprentissage par cœur.

NEURONE FORMEL

Principes :

• pas de notion temporelle

• coefficient synaptique : coefficient réel

• sommation des signaux arrivant au neurone

• sortie obtenue après application d’une fonction de transfert

LOI DE HEBB

Principe :

Si deux neurones sont activés en même temps, alors la force de connexion augmente.

Base d’apprentissage :

On note S la base d’apprentissage.

S est composée de couples (e, c) où :

• e est le vecteur associé à l ’entrée (e1, …, en)
• c la sortie correspondante souhaitée

Algorithme :

• µ est une constante positive.
• Initialiser aléatoirement les coefficients wi
• Répéter :
  • Prendre un exemple (e, c) dans S
  • Calculer la sortie o du réseau pour l ’entrée e
  • Si c ≠ o
    • Modification des poids wij :
    • wij = wij + µ ∗ (ai ∗ aj)
    • Fin Pour
  • Fin Si
• Fin Répéter

Exemple :

• Exemple (1) : o = Signe(w1 ∗ e1 + w2 ∗ e2) = Signe(0) = − 1

o = − 1 ≠ 1 = x

⇒ w1 = w1 + e1 ∗ x = 1

w2 = w2 + e2 ∗ x = 1

• Exemple (2) : o = Signe((w1 ∗ e1 + w2 ∗ e2) = Signe(0) = − 1

o = − 1 ≠ 1 = x

⇒ w1 = w1 + e1 ∗ x = 2

w2 = w2 + e2 ∗ x = 0

Modèle biologique

Les neurones reçoivent des signaux (impulsions électriques) par les dendrites et envoient l’information par les axones.

• Les contacts entre deux neurones (entre axone et dendrite) se font par l’intermédiaire des synapses.
• Les signaux n’opèrent pas de manière linéaire : effet de seuil.

Applications de réseaux de neurones

• statistiques : analyse de données / prévision / classification
• robotique : contrôle et guidage de robots ou de véhicules autonomes
• imagerie / reconnaissance de formes
• traitement du signal
• simulation de l’apprentissage

télécharger le cours Introduction aux réseaux de neurones

Voir aussi :

Partagez au maximum pour que tout le monde puisse en profiter

The post Introduction aux réseaux de neurones – Réseaux de neurones first appeared on F2School.

L’article Introduction aux réseaux de neurones – Réseaux de neurones est apparu en premier sur F2School.