La composante sonore présente dans les flux et les données multimédias circulant dans les réseaux de télécommunications ou sur Internet constitue une source d'information essentielle à forte valeur ajoutée sémantique.

Il en découle des besoins divers de traitement des signaux audio visant à analyser les contenus sonores, à les décrire, les structurer, les classifier et à en reconnaître les éléments constitutifs (mots, sons-clefs, notes, motifs récurrents, etc…), avec pour finalité de faciliter l'accès en ligne et la recherche d'information dans les masses de données multimédia mais également  de ré-éditorialiser rapidement les productions en direct et d'exploiter interactivement les contenus musicaux.

L'équipe de recherche METISS (Modélisation et Expérimentation pour le Traitement des Informations et des Signaux Sonores) aborde un ensemble de problèmes relatifs au traitement de la parole et du son, avec pour objectif de concevoir et de valider des approches génériques, robustes et flexibles pour le traitement des flux audio, des contenus parlés et des signaux musicaux, ainsi que de nouveaux paradigmes de captation, de description et de modélisation des scènes  sonores. Les fondements scientifiques de ces travaux reposent sur les approches probabilistes (notamment les réseaux Bayésiens) et sur les représentations adaptatives parcimonieuses.

Les centres d'intérêt de l'équipe couvrent la reconnaissance de la parole, du locuteur et des diverses catégories de sons, la segmentation, la structuration et l'extraction d'information dans les flux audio (indépendamment ou conjointement avec la vidéo), la modélisation des différents niveaux de représentation de la musique (acoustique, mélodique, harmonique,…), la séparation de sources dans les enregistrements ainsi que l'investigation de nouvelles techniques d'acquisition de champs sonores.

Ces travaux se déploient dans le cadre de plusieurs coopérations :

- Le projet franco-allemand QUAERO, financé par OSEO, dans le cadre duquel nous concevons, développons et testons de nouveaux algorithmes pour la segmentation audio, la séparation de sources et l'organisation non-supervisée des contenus (découverte d'icônes sonores, détection de refrains dans les morceaux de musiques, …)

- Les projets européens FET-Open SMALL et ANR ECHANGE visant à développer un cadre théorique, algorithmique et physique basé sur le Compressed Sensing pour l'acquisition et le traitement de champs acoustiques complexes avec un nombre restreint de capteurs.

- Des partenariats industriels locaux fréquents avec Thomson, Orange Labs et la PME Telisma sur des thèmes tels que la modélisation conjointe audio-vidéo de programmes sportifs, la segmentation thématique de bulletins d'information, la caractérisation du locuteur (indexation, adaptation, détection d'émotions, …)

- Des interactions fortes avec l'équipe TEXMEX de l'IRISA, une collaboration privilégiée avec l'Ecole Polytechnique Fédérale de Lausanne dans le cadre d'une équipe associée (SPARS) de l'INRIA et plusieurs actions de recherches avec des partenaires internationaux.

L'équipe dispose par ailleurs d'une salle d'expérimentation (MUSIS) permettant d'effectuer des enregistrements et des restitutions sonores dans des conditions contrôlées mais réalistes, comparables à un environnement de travail ou à un contexte domestique.

Contact : Frédéric Bimbot

Directeur de Recherche CNRS

E-mail : frederic.bimbot@irisa.fr