Exploitation de réseaux de neurones parcimonieux pour la ...

bunkietameΤεχνίτη Νοημοσύνη και Ρομποτική

20 Οκτ 2013 (πριν από 3 χρόνια και 9 μήνες)

84 εμφανίσεις


1



Fiche sujet pour le recrutement d’un contrat doctoral 2013
(à faire parvenir aux responsables de GD de l’ED SICMA par les Directeurs d’Unités pour le 11 mars 2013)
Il est impératif que cette fiche ne dépasse pas 7 PAGES


Titre du sujet : Exploitation de réseaux de neurones parcimonieux pour la conception de systèmes de traitement et de classification d’images

Financement demandé : ARED

Indiquer l’origine du cofinancement (s’il y a lieu) : 50% CG56 (Partenariat avec l’entreprise Arbor Technologies)


Directeur de thèse Co-directeur (s’il y a lieu)

Co-encadrant (s’il y a lieu)

NOM, Prénom
COUSSY, Philippe CONDE-CANENCIA Laura
Email
philippe.coussy@univ-ubs.fr Laura.conde-canencia@univ-ubs.fr
Tél.
02.97.87.45.65 02.97.87.45.69
Titre
Maître de conférences HDR Maître de conférences
Laboratoire
Equipe interne
Lab-STICC
CACS
Lab-STICC
CACS
Section CNU/CNRS
61 61
HDR
Oui Non
Noms des doctorants actuellement
encadrés (date de 1
ère
inscription et
date estimée de soutenance)
- BURGIO Paolo
(Janv. 2010 – Déc. 2013),
50% Luca Benini (Univ. Bologne)
- UR REEHMAN Saeed
(Oct. 2011 – Oct. 2014)
50% Cyrille Chavet
- BEN HAMOUDA Mohamed
(Oct. 2011 – Oct.
2014), 50% Loic Lagadec (UBO Brest)
- PEYRET Thomas
, (Oct. 2011 – Oct. 2014),
50% Gwenole Corre (CEA Saclays)
- WOUAFO Hugues
(Oct. 2012 – Oct. 2015)
50% Cyrille Chavet
- ABASSI Oussama
(Oct. 2010 – Oct.
2013) 50% Emmanuel Boutillon

2

Renseigner les informations suivantes pour chaque docteur ayant soutenu depuis le 01/01/2009 et ayant été encadré par le directeur (et co-directeur s’il y a
lieu) de thèse.
Préciser tout abandon de thèse s’il y a lieu.


NOM : Andriamissaina
Prénom : Caaliph
NOM : Trabelsi
Prénom : Kods
NOM : Sani
Prénom : Awais
NOM : Lebreton
Prénom : Ghizlane
Directeur(s) de
thèse
Emmanuel Casseau Marc Sevaux Eric Martin Eric Martin
Durée de la thèse
(mois)
42 38 38
60* (suite à
maternité)
Mois et année
inscription
01/2005
10/2006

10/2008 11/2007
Mois et année
soutenance
11/2008
12/2009

05/2011 01/2013
Financement de
la thèse Source :
Montant :

Contrat MESR MESR Contrat
Publications des
doctorants qui
ont soutenu avec
le demandeur Auteur : Titre :
Journal :
[9][10][11] [12][13][14] [15][16][17][18] [19][20][21][22]
Situation actuelle

CDD
CDI
Employeur
Post-Doc
Université ou
Etablissement

CDI Ingénieur de
recherche CEA LIST
Saclay
CDI Ingénieur de
recherche CEA
LIST Saclay
Post-doctorant Lab-
STICC



3


Titre

Exploitation de réseaux de neurones parcimonieux pour la conception de systèmes de traitement et de classification d’images

Contexte

Depuis longtemps des travaux de recherche visent à proposer un modèle du cerveau humain. Les progrès théorique et
technologique récemment réalisés dans des domaines tels que les sciences cognitives ou les neurosciences mais aussi de
l’informatique et de l’électronique submicronique permettent de nos jours d’envisager des premières réalisations de
composants intégrant des centaines de milliers de neurones. A terme, les systèmes informatiques pourraient être dotés de
capacités intellectuelles comparables à celles des êtres humains. Les ordinateurs équipés de tels circuits ne seraient plus
programmés de la même manière que ceux que nous connaissons aujourd'hui. Ainsi, après une phase d’apprentissage, telle
que celle par laquelle les humains passent durant leur enfance, ils seraient en mesure d’apprendre tout comme les êtres
vivants de leurs expériences, d’identifier des liens, de faire des hypothèses et de les mémoriser, de retenir des résultats,
imitant ainsi le fonctionnement d’un cerveau. Le projet « SyNAPSE » (Systems of Neuromorphic Adpative Plastic Scalable
Electronics), piloté par la société IBM [1], soutenu par la DARPA (l'agence de recherche et développement de l'armée
américaine) et aidé par plusieurs universités américaines, en est un exemple.

Objectifs identifiés

Le laboratoire CNRS Lab-STICC a décidé de promouvoir un projet de recherche novateur nommé « Neural Coding »
1. Tout
comme ses concurrents, ce projet ambitieux vise à mettre au point le premier prototype de circuit mimant le fonctionnement du
cerveau. Il est toutefois fondamentalement différent du point de vue théorique puisqu’il s’inscrit dans une démarche de
modélisation de l’information fortement réductionniste. En effet, l’objectif de ce grand projet est d’identifier, d’approfondir et
d’exploiter les fortes analogies que l’on peut observer entre les structures et les propriétés du cortex cérébral et celles des
décodeurs correcteurs d’erreurs modernes, de type turbo ou propagation de croyance. Les premiers travaux [2][3][4][5] ont
donc visé à dégager de l'ensemble des connaissances acquises ces dernières années par les neurobiologistes, un terreau
minimum qui offre à la théorie de l'information (codage, communication, graphes, etc.) l'opportunité d'une contribution forte à la
compréhension et à l'imitation du comportement cérébral.

1. Ce projet est piloté par le Professeur Claude Berrou, enseignant chercheur à Telecom Bretagne et membre de l’Académie des Sciences depuis 2007,
qui a été le premier chercheur français à recevoir le Prix Marconni en 2005 pour l’invention des Turbo codes, méthode révolutionnaire de codage à
l’origine d’une avancée considérable dans le secteur des télécoms (téléphonie mobile, satellite et communications radio).





4

Caractère novateur

Les travaux menés jusqu’à présent dans le cadre de deux thèses de doctorat se placent principalement au niveau théorique.
Les premiers résultats [2][3][4][5] montrent qu’il est possible d’augmenter d’un ordre de magnitude la capacité de mémorisation
des réseaux de neurones artificiels (mémoire associative neurale) en utilisant l’approche proposée. Par ailleurs, la conception
d’architectures matérielles dédiées aux réseaux de neurones artificiels classiques a reçu une grande attention. Toutefois,
l’implémentation du nouveau modèle théorique n’a pas encore été explorée pour la conception de systèmes de traitement et de
classification d’images.
Collaborations nationales
et internationales

Le projet « Neural Coding » est soutenu par le Conseil Européen de la Recherche (ERC, European Research Council) via un
financement d’excellence de type « ERC advanced grants 2011 » [6]. Il est aussi identifié comme un des défis scientifiques du
Labex COMIN-Labs (Bretagne-Pays de Loire) [7] et s’intègrera probablement à moyens termes dans l’IRT B-COM via Telecom
Bretagne, tutelle du Lab-STICC. Par ailleurs, une collaboration internationale est actuellement en cours entre Telecom
Bretagne et l’Université de Mc Gill à Montréal, Canada au travers d’une thèse de doctorat.
Ces travaux de thèse se dérouleront dans le cadre d’un partenariat avec la société Arbor Technologies située à Ploemeur
(Morbihan) qui a développé un système de vision industrielle basée sur des réseaux de neurones artificiels classiques.

Retombées

L’objectif de cette thèse est de déterminer comment exploiter ces réseaux de neurones artificiels parcimonieux, les coupler
avec des algorithmes de traitement de l’information et étudier comment les intégrer au sein d’un système utilisant un ou
plusieurs capteurs. Les expérimentations seront dans un premier temps réalisées sur une architecture matérielle de type
« manycores » pour étudier les performances en fonction de la taille du réseau et des algorithmes de traitement utilisés. En
fonction des résultats obtenus, des optimisations ou évolutions majeures devront être proposées.
Les travaux s’appuieront sur un brevet en cours de dépôt par les directeurs de thèse. Les travaux seront réalisés en
collaboration étroite avec l’entreprise Arbor Technologies située à Ploemeur (Morbihan) afin d’améliorer le système de vision
industrielle propriétaire nommée ISS (Intelligent Sorting System). L’ISS est un système de tri intelligent permettant de trier et de
calibrer tous types de produits. Le système doté de vision industrielle et de neurones artificiels permet de reconnaître les
produits et de les calibrer en fonction du programme entré dans le logiciel. L’ISS est actuellement mis en œuvre et utilisé à la
criée du port de pêche de Lorient pour trier automatiquement les poissons.



5


Title
On the Design of Image Classification Systems Using Sparse Neural Networks

Context

Biological neural systems are able to perform robust and power efficient operations, even in noisy environments. They are built
on massively parallel neural elements with highly reconfigurable and plastic connections. Neuromorphic computing is a concept
which consists in building digital or analog systems in order to process information like biological neurons would process them.
Since 1940s, many contributions have been made in order to achieve such systems. First of all, the formal modeling of a
neuron and the definition of Hebbian theory [1], which explains the behavior of neurons during the learning process, result in
the definition the simplest artificial neural network: the perceptron [2].


Objectives

Recently, an original theory has been developed in the Lab-STICC with the aim of designing new neuro-inspired intelligent
machines. This theory is referred to as the "mental information theory" ([2][3][4][5]). It has been recently introduced by Claude
Berrou, mainly known as being one of the co-inventors of turbo codes. This theory has been proven highly relevant in the
extraction of “information”, i.e. sub-grpah, from a high-dimensional graph and describing the relatively local activity of the
cerebral cortex in human. As completely original theory in the field of neuroscience, it already challenges the state-of-the-art
models.
Novelty of the project
So far, proposed works focused mainly on theorical ascpects [2][3][4][5] i.e. defining a new class of recurrent neural networks
named Gripon-Berrou Neural Network (GBNN). GBNN model has been demonstrated as far more efficient than Hopfield
networks. Our previous works lead to patent describing optimized hardware architectures (cf. [6]). Our goal is to use the GBNN
model in order to design a new generation of “smart sensors”.
International collaboration

Based on distributed error correcting codes and graph theory, this theory has attracted the interest of the European Research
Council (ERC) which has awarded Claude Berrou an ERC advanced grant in 2011. The “Neural Coding” project is also
identified as one of the key challenging research track of the Labex COMIN-Labs (Bretagne-Pays de Loire) [7]. Moreover, an
international collaboration has been launched between Telecom Bretagne and Mc Gill University, Montréal, Canada.
The proposed PhD thesis will be done in collaboration the Arbor Technologies company based in Ploemeur (Morbihan) which
designed an industrial vision system based on classical artificial neural networks.


6

Expectations

The goal of this PhD Thesis is to study how to use GBNN theory and to couple sparse neural network model with image
processing algorithms to design efficient image classification systems. First experiments will use many-cores processor as
target architecture. Performances and limitations of such an implementation will be studied. Based on experimental results,
parameters of GBNN model and image processing algorithms will be modified in order to enhance interest of the proposed
approach. Work will be based on a hardware model proposed and protected in 2012.
Work will be done in collaboration with Arbor Technologies company based in Ploemeur (Morbihan) in order to enhance the
vision system named ISS (Intelligent Sorting System). ISS is a sorting system that can sort and calibrate items in an industrial
environment. ISS is a SW/HW system based on classical artificial neuron network to allow for object recognition. It is currently
used in the fishing harbor in Lorient (Morbihan), France to sort fishes in real time.



7

Références
[1] Projet Synapse : www.ibm.com/synapse
[2] Vincent Gripon and Claude Berrou, “Sparse neural networks with large learning diversity”, IEEE Trans. on Neural Networks, vol. 22, no. 7, pp. 1087 – 1096, Jul. 2011.
[3] Vincent Gripon and Claude Berrou, “A simple and efficient way to store many messages using neural cliques”, IEEE Symposium Series on Computational
Intelligence, Paris, Apr. 2011.
[4] Vincent Gripon et Claude Berrou , “Dispositif d’apprentissage et de décodage de messages, mettant en oeuvre un réseau de neurones, procédés d’apprentissage et
de décodage et programmes d’ordinateur correspondants“, numéro 1056760.
[5] Vincent Gripon et Claude Berrou, “Dispositifs d'apprentissage et/ou de décodage de messages séquentiels, mettant en œuvre un réseau de neurones, procédés
d'apprentissage et de décodage et programmes d'ordinateur correspondants“, n°1158920.
[6] http://www.telecom-bretagne.eu/lexians/tag/neucod/
[7] http://www.cominlabs.ueb.eu/
[8] CMP, Circuits Multi Projets®, http://cmp.imag.fr
[9] C. Andriamisaina, P. Coussy, E. Casseau, C. Chavet, “High-Level Synthesis for Designing Multi-mode Architectures”, IEEE Transactions on Computer Aided Design
of Integrated Circuits and Systems (TCAD), Vol. 29 Issue 11, pp. 1736-1749, November 2010.
[10] C. Chavet, C. Andriamisaina, P. Coussy, E. Casseau, E. Juin, P. Urard, E. Martin, “A Design Flow Dedicated to Multi-mode Architectures for DSP Applications”, IEEE
International Conference on Computer Aided Design,(ICCAD) 2007.
[11] C. Andriamisaina, P. Coussy, E. Casseau, “Synthesis of Multimode digital signal processing systems”, NASA/ESA Conference on Adaptive Hardware and Systems
(AHS), 2007.
[12] K. Trabelsi, M. Sevaux, P. Coussy, A. Rossi, K. Sörensen, “Advanced Metaheuristics for High-Level Synthesis”, In Metaheuristics. Springer,2010.
[13] P. Coussy, A. Rossi, M. Sevaux, K. Sörensen, and K. Trabelsi, “VNS for High Level Synthesis”, In Proceedings of 8th Metaheuristics International Conference, MIC
2009, July 2009.
[14] K. Trabelsi, P. Coussy, A. Rossi, M. Sevaux, “Ordonnancement et Assignation en Synthèse de Haut Niveau”, 9ieme congrès de la Société Française de Recherche
Opérationnelle et d'Aide à la Décision (ROADEF) Février, 2008.
[15] O. Sanchez, S. Reehman, A. Sani, C. Chavet, P. Coussy, M. Jezequel, C. Jego, “Dedicated approach to explore design space for hardware architecture of turbo
decoders”. IEEE Workshop on Signal Processing Systems (SIPS) 2012.
[16] A. Sani, P. Coussy, C. Chavet, E. Martin, “A Methodology based on Transportation Problem Modeling for Designing Parallel Interleaver Architectures”, IEEE
International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2011.
[17] A. Sani, P. Coussy, C. Chavet, E. Martin, “An Approach Based on Edge Coloring of Tripartite Graph for Designing Parallel LDPC Interleaver Architecture”, IEEE
International Symposium on Circuits and Systems (ISCAS), 2011.
[18] A. Sani, P. Coussy, C. Chavet, E. Martin, “Design of Parallel LDPC Interleaver Architecture: A Bipartite Edge Coloring Approach”, IEEE International Conference on
Electronics, Circuits, and Systems (ICECS), 2010.
[19] G. Lhairech-Lebreton, P. Coussy, D. Heller, E. Martin, “Bitwidth-Aware High-Level Synthesis for Designing Low-Power DSP Applications”, IEEE International
Conference on Electronics, Circuits, and Systems (ICECS), 2010.
[20] G. Lhairech-Lebreton, P. Coussy, E. Martin, “Hierarchical and Multiple-Clock Domain High-Level Synthesis for Low-Power Design on FPGA”, IEEE International
Conference on Field Programmable Logic and Applications (FPL), 2010.
[21] G. Lhairech-Lebreton, P. Coussy, E. Martin, “Synthèse d’Architecture Multi-horloges pour la Conception Faible Consommation sur FPGA ”, Colloque sur le Traitement
du Signal et de l'Image (GRETSI), Septembre 2011.
[22] P. Coussy, G. Lhairech-Lebreton, D. Heller, “Multiple Word-Length High-Level Synthesis”, EURASIP Journal on Embedded Systems, July, 2008.