Veuillez trouver ci-dessous le programme detaille de ces journees et les resumes des exposes. Afin d'estimer le plus precisement possible le nombre des participants (en particulier pour les repas), nous vous remercions de bien vouloir vous inscrire (sans frais d'inscription) en envoyant le petit formulaire ci-dessous a : hpaugam@isc.cnrs.fr

-------------------------------------------------------------------------------------------------------
NOM, prénom :
Laboratoire / Institution :
Adresse :

contact mail :

Je participerai aux Journees Thematiques du Pole organisees a l'ISC, ainsi
qu'aux repas du midi :
le me. 5 mai : OUI / NON
le je. 6 mai : OUI / NON

-------------------------------------------------------------------------------------------------------

N'hesitez pas non plus a nous contacter si vous souhaitez obtenir d'autres informations

Les organisateurs :

Mirta B. Gordon
Jean-Pierre Nadal
Hélène Paugam-Moisy

L'étude de la théorie de l'apprentissage est fondamentale pour la compréhension des mécanismes des réseaux de neurones artificiels.

Plusieurs approches ont été développées ces dernières années : point de vue de la Physique Statistique, théorie statistique de l'apprentissage, etc. Ces études ne sont, actuellement, pas directement appliquées à la modélisation cognitive, mais elles permettent de mieux contrôler les systèmes d'apprentissage à partir de données, en particulier les modèles classiques de réseaux de neurones artificiels. Nous sommes convaincus du fait que ce type d'approche est fondamental pour faire avancer la modélisation connexionniste des processus cognitifs. En effet, une meilleure compréhension de la capacité des modèles classiques et du rôle des représentations internes dans les réseaux multicouches ou récurrents est nécessaire, en amont de toute modélisation connexionniste élaborée. Les réseaux de neurones naturels sont beaucoup plus hétérogènes et complexes que les modèles couramment utilisés en Sciences de l'Ingénieur. Pour modéliser un phénomène cognitif, il convient généralement d'assembler plusieurs modèles pris comme briques de base, et de redéfinir de nouveaux paradigmes d'apprentissage ainsi que des mécanismes de coopération entre les modules. Pour que de tels dispositifs restent techniquement opérationnels (indépendamment du fait qu'ils modélisent correctement le phénomène étudié), il est indispensable de mettre en oeuvre de solides connaissances techniques, ainsi que d'élargir ce type de réflexion à des chercheurs en Sciences Cognitives issus d'autres disciplines.

C'est dans cet esprit que nous réunirons, à l'Institut des Sciences Cognitives, à Lyon, les 5 et 6 mai prochains.

Mercredi 5 mai, 10 h :

Dans cet exposé (qui sera donné en anglais), on introduit la famille des régressions effectuées avec des processus gaussiens. Il s'agit de modéliser une fonction d'une ou plusieurs variables en se donnant, dans le cadre bayésien de l'apprentissage, une mesure gaussienne sur l'espace des fonctions admissibles. Cette famille de modèles apparaît naturellement si l'on considère des régressions réalisées par un réseau de neurones à une couche cachée, lorsque le nombre de neurones cachés est très grand. On donne une caractérisation des performances optimales de l'apprentissage avec processus gaussiens à l'aide, d'une part, de bornes exactes, et, d'autre part, de l'application de techniques issues de la Physique des systèmes désordonnés.

Mercredi 5 mai, 11 h :

Mercredi 5 mai, 11 h 30 :

We present a simple model of unsupervised learning, where N-dimensional data vectors are generated from a distribution with a single symmetry breaking direction B. The task is to find B, given the data and the knowledge that B is an Ising vector, that is, B is in {-1,+1}^N. The fact that B has discrete components makes the analytical study of this problem very difficult. Statistical Mechanics techniques are used to describe how well a ``guess'' J approximates B in the asymptotic limit of very large N. Using some Bayesian arguments, we try to obtain the vector J such that its performance is optimal.

Mercredi 5 mai, 12 h 30 :

Mercredi 5 mai, 13 h :

Mercredi 5 mai, 14 h :

De nombreux réseaux de neurones utilisent des fonctions sigmoides à cause de leur plausibilité biologique. Mais puisqu'ils donnent de bon résultats dans des applications pratiques, il doit y avoir aussi des raisons mathématiques à leur choix. Une telle justification apparaît lorque l'on formalise le problème d'appentissage comme un problème mal posé à régulariser, et que l'on prend en compte la distribution de probabilité pour définir le terme de régularisation utilisé. Dans ce cas, la solution du problème de minimisation du risque régularisé dépend de la fonction de répartition des entrées, c'est-à-dire d'une fonction ayant une forme sigmoidale.

Mercredi 5 mai, 15 h :

Mercredi 5 mai, 15 h 30 :

Les réseaux récurrents ont fait preuve de leur grande capacité à apprendre les régularités des séquences (ex. Elman, Jordan). La modification des connexions récurrentes par rétropropagation de l'erreur est souvent utilisée, comme méthode d'apprentissage, pour minimiser l'erreur. Afin d'éviter la complexité de calcul de la rétropropagation en temps-réel ou de la rétropropagation à travers le temps, on choisit d'utiliser des connexions fixes dans le réseau récurrent , l'apprentissage étant réalisé dans une mémoire associative qui relie les vecteurs d'état du réseau récurrent aux sorties désirées associées. Nous avons ainsi développé une architecture récurrente qui possède une capacité inhérente à représenter l'ordre séquentiel, aussi bien que la structure temporelle (i.e. la durée des délais) des séquences d'entrées. Nous démontrons que les vecteurs d'état sont corrélés aux régularités temporelles et séquentielles des séquences d'entrée. En se basant sur cette capacité de représentation, on a pu simuler les performances de sujets adultes dans une tâche d'apprentissage de séquences, ainsi que des paradigmes d'acquisition du langage chez les enfants.

Mercredi 5 mai, 16 h 30 :

Jeudi 6 mai, 10 h :

De nombreuses expériences de neurophysiologie indiquent qu'une forme très courante de codage neuronal est le « codage par population » : un très grand nombre de neurones sont recrutés pour coder / représenter une variable, par exemple une direction dans l'espace (cortex sensoriel ou moteur). Ces dernières années, de nombreux travaux théoriques ont permis d'analyser l'intérêt potentiel d'un tel codage. Nous examinerons les performances statistiques du codage par population selon le point de vue de la théorie de l'information et de l'inférence bayésienne. Nous montrerons comment une autre population de neurones peut effectuer un «décodage», c'est-à-dire extraire du code neuronal une estimation quasi-optimale du paramètre étudié (par exemple : de la direction).

Jeudi 6 mai, 11 h :

Jeudi 6 mai, 11 h 30 :

L'omniprésence de la polysémie dans les langues force à considérer la compréhension des énoncés comme un processus dynamique, dans lequel le sens de chaque unité linguistique se détermine en même temps que se construit le sens global de l'énoncé. L'approche proposée ici vise à rendre compte de ces mécanismes d'interaction, en associant à chaque unité linguistique un processus de "convocation-évocation", dans le cadre d'une théorie de l'énonciation où l'on considère que chaque énoncé évoque une "scène verbale" qui représente son sens. Des réseaux récurrents ont été mis au point pour modéliser le processus de calcul dynamique du sens. Leur architecture sera présentée brièvement.

Jeudi 6 mai, 12 h 30 :

Jeudi 6 mai, 13 h :

Jeudi 6 mai, 14 h :