Localisée à Poitiers, les activités de recherche de cette équipe sont organisées autour de la modélisation et le traitement des informations couleurs et spectrales des images et des vidéos. Les enjeux adressés sont liés aux questions théoriques et aux applications dans le domaine du patrimoine, de l’industrie et du multimédia au sens large. Les enjeux scientifiques s’articulent autour  de la mesure et les outils d’analyse pour images multivariées, les mesures composites à partir d’images multivaluées, la modélisation des mesures multivaluées pour la décision et l’imagerie médicale.

Les thématiques de recherche :

Les thématiques de recherche de l'équipe ICONES comprennent les problématiques de mesure, d’acquisition, d’analyse, de traitement et d’aide à la décision. Le domaine des images multivaluées intègre celui des images couleur (domaines perceptuel et physique), des images multispectrales et hyperspectrales, des images multi-modales (IRM par exemple) et multi-capteurs. Elles sont de support spatial bi ou tridimensionnel, avec ou sans dimension temporelle. Les problématiques abordées recouvrent :

• les aspects physiques et continus de la scène observée (l’objet d’intérêt),
• la prise en compte du capteur d’acquisition,
• les aspects mathématiques et algorithmiques induits et la structuration des contenus,
• les aspects perceptuels liés à l’observateur,
• l’interprétation et la prise de décision.

Les aspects « computer vision » sont transverses aux activités de l’équipe. En plus de son implication dans les structures communes d’XLIM et d’être à l’origine de la création du laboratoire commun I3M, ICONES est également co-fondatrice de la plateforme technologique CEMOP (Centre de Métrologie Optique Poitevine) en partenariat avec l’institut PPRIME (UPR CNRS 3346).

Mesure et outils d’analyse pour images multivaluées

Depuis sa création, ICONES développe des solutions de mesure par l’image. Les propriétés mesurées vont des propriétés optiques des surfaces, des mouvements d’objets et de fluides, mais aussi les propriétés du système visuel humain. ICONES a ainsi développé des mesures des constituants physiques d’une surface (rugosité, réflectance, …). Elles sont également au cœur de la mesure de l’apparence des matériaux par l’analyse des microfacettes et BRDF, en collaboration avec la thématique Synthèse d’images de l’axe.

Pour l'étude d'écoulements fluides instationnaires par mesures optiques 3D (tomographie PIV), une méthode de reconstruction algébrique (Bi-MART) et une de reconstruction stochastique fondée sur les processus ponctuels marqués ont été proposées. Elles ont permis de prendre en compte les problèmes de vibration lors de l'acquisition, d'astigmatisme et de réfraction et de pouvoir faire des mesures couplées fluide/structure. Le post-traitement des champs de vitesse a permis d'estimer la pression instantanée et les efforts autour de profils dans l'écoulement.

Concernant les aspects multivalués, nous avons conçu une mesure de différence spectrale valide d'un point de vue métrologique et montré sa plus-value dans différentes applications satellitaires et patrimoniales. Nous nous sommes également intéressés au problème inverse de l’estimation de spectres de réflectance à partir de mesures couleur. Nous avons cherché à combiner plusieurs modalités issues d’IRM pour le pré-traitement et l’analyse de gliomes, ou pour des pré-traitement et segmentation pour l’aide au diagnostic de la DMLA.

Le système visuel humain a été étudié pour estimer ses seuils de perception dans le contexte des images stéréoscopiques. Ces résultats ont permis la définition de métriques de qualité appliquées aux images/vidéos 3D stéréoscopiques. En parallèle, nous avons proposé différentes stratégies d’optimisation perceptuelle de codeurs 3D-360° pour images vidéo H.264 (AVC), H.265 (HEVC) et H.266 (VVC) et des adaptations perceptuelles du contenu et des images HDR. Au-delà de la perception, nous nous sommes intéressés à la mesure de comportements et d’émotions. Ces mesures de l’émotion ont été appliquées pour la recherche d’images.

Ces travaux dans le domaine perceptuel couleur et physique spectral sont défendus par les membres de l’équipe ICONES au sein de la division 8 de la Commission Internationale de l’Éclairage (CIE), ASALI y est représenté par 4 membres, dont l'un assure le secrétariat de la division et la représentation française auprès de la CIE, deux portent des comités techniques internationaux et le quatrième est officier de liaison avec l’ISO.

Mesures composites à partir d’images multivaluées

L’équipe ICONES contribue à la construction d’opérateurs de mesure et d’analyse des aspects composites d’une image, en particulier liés à son aspect texturé (non uniforme). Ces mesures requièrent de combiner à la fois les dimensions spatiales (notamment l’aspect géométrique) et couleur/spectrales des images. ICONES est à l’origine de la construction d’un formalisme portant sur l’analyse locale de la phase d’une image dans le cadre d’une transformation monogénique du signal multivalué. ICONES lie également cette question à la métrologie dans les espaces perceptuels et physiques. La texture y est définie comme une probabilité conjointe entre distribution des données et distribution des variations spatiales des données multivaluées. Cette définition est générique et cohérente avec la littérature, elle est de plus cohérente avec les résultats d’expérimentations psycho-physiques, ainsi qu’avec les définitions précédemment proposées dans la littérature. La généricité s’exprime dans une définition unique indépendante de la nature de l’imageur, étendu au contexte hyperspectral. En complément des approches linéaires ou statistiques, nous étudions des stratégies basées graphe pour offrir des outils d’analyse pour des décompositions de l’image basées ondelettes ou basées sur des représentations polynomiales. Nous étudions également l’utilisation de réseaux de neurones en conjonction avec des graphes (Graph Neural Network) pour faire face à une organisation géométrique complexe du contenu de l’image multivaluée.

L’extraction métrologique de gradients dans les images multivaluées a été étudiée sous deux angles différents : celui des approches morphologiques et sous l’angle de la mesure dans l’espace capteur. Les deux approches sont génériques et indépendantes du nombre de canaux d’acquisition, ainsi que de leur corrélation. Ces résultats ont notamment permis de définir les premiers détecteurs de points d’intérêts pour images multi et hyperspectrales valides d'un point de vue métrologique.

Modélisation des mesures multivaluées pour la décision

Dans le cadre de la modélisation des mesures pour la décision, nous revisitons les interactions entre modèles basés données et modèles basés-hypothèses. La construction de raisonnements et d’hypothèses sémantiques est définie à partir des critères et des règles de calcul issus d'un algorithme auto-apprenant. Plus qu'une finalité, l'optimisation de la mesure de performance devient alors un indice de pertinence. Les hypothèses et critères définis par l’apprentissage sont la véritable richesse de l'analyse par une représentation visuelle intelligible du contenu, ce qui constitue l'un des défis auquel ICONES se confronte actuellement, notamment dans le cadre des enjeux de la santé.

De plus, les approches proposées optimisent la description des données de manière faiblement supervisée voire non supervisée. Elles sont utilisées pour indexer des données par la fusion de nombreux descripteurs. L’objectif principal est d’obtenir pour chaque image une signature visuelle discriminante.

Nous avons également exploré comment adapter un réseau profond de neurones pour la classification des données de spectroscopie par Résonance Magnétique (SRM), pour la détection et la visualisation des régions d’intérêt sur des images IRM, ou l’identification des meilleures courbes de sensibilité spectrale pour la reconnaissance d’images hyperspectrales.

Enfin, dans le cadre de la sécurité, nous avons proposé différentes stratégies de détection de données enfouies notamment par l’utilisation de modélisations fondées sur les fonctions de croyance et des méthodes d’enfouissement d’information en utilisant à la fois des concepts de code correcteurs avancés pour la robustesse et en intégrant la modélisation du SVH pour l’invisibilité.

Imagerie médicale

Depuis 2015, ICONES structure son activité dans le domaine santé autour de l’imagerie médicale dans une collaboration stratégique avec le CHU de Poitiers. Cette collaboration est à l’origine de la création du laboratoire commun I3M et de nombreuses thèses financées dans ce cadre. I3M s’appuie sur une plate-forme composée de deux équipements Siemens d’Imagerie par Résonance Magnétique (RMN) multi-noyaux à très haut champ au CHU de Poitiers (IRM 3T et 7T), donnant accès à une imagerie anatomique et fonctionnelle de très haute résolution, qui s'intéresse à la fonction des organes, des tissus ou des cellules, c'est-à-dire à leur métabolisme. Cette imagerie métabolique doit générer des progrès majeurs dans l’étude in vivo, de façon non invasive de nombreuses pathologies, dans leur prise en charge clinique et le suivi de leur évolution, sous traitement, éventuellement après une chirurgie. Certains résultats ont été décrits précédemment, nous les complétons ici pour montrer les interactions. Nous avons travaillé sur l’optimisation du protocole pré- et per-opératoire pour la prise en charge des Gliome Diffus de Bas Grade (GDBG), ou pour la définition de cartes de criticité des GDBG par le bilan d’IRM multi-paramétriques.

L’assistance au choix des greffons rénaux est un enjeu majeur du projet. Un premier niveau d’assistance a été produit à partir d’une segmentation basée texture (Projet régional IMPROVED). De plus, une aide au diagnostic précoce de la maladie d’Alzheimer a été produite sur la base d'une méthode d’exploration et de classification des données cérébrales métaboliques par apprentissage profond (CNN 1D sur des données spectroscopiques brutes). Ces travaux se poursuivent par un projet avec le centre de Mémoire, de Ressources et de Recherche du CHU de Poitiers. Enfin, le laboratoire commun a permis le recrutement de deux thèses en 2019 pour l'imagerie du rein, une thèse dans le domaine du traitement des AVC et deux thèses sur les pathologies neuro-dégénératives.

Partenariats :

Bioalternative, Gencay, France - Canon Medical Systems, Suresnes, France - Caire, Vendôme, France - Chanel, Paris, France - CHU de Limoges, France - CHU de Poitiers, France - Colas, Paris, France - Cortex Productions, La Couronne, France - Coruo, Limoges, France - DOPI, Mauzé, France - Einden Studio, Châtellerault, France - Eurovia, Rueil-Malmaison, France - Geosiris, Fourqueux, France - Idem Santé, Chauray, France - Institut Gaspard Monge, Université Gustave Eiffel, Champs-sur-Marne, France - JULES SAS, Paris, France - Laboratoire CRISTAL, ENSI, La Manouba, Tunisie - Laboratoire ICube, Université de Strasbourg, France - Laboratoire LIGUM, Université de Montréal, Canada - Laboratoire MICS, CentraleSupélec, Paris, France - La Chambre de Commerce et de l'Industrie de Région Poitou-Charentes, France - LIRIS, Université de Lyon, France - NOVO3D, Angoulême, France - NTNU - Norwegian University of Science and Technology, Trondheim, Norvège - Orange, Paris, France - ONERA, Palaiseau, France - Panga, La Rochelle, France - Quadra Informatique, Phalempin, France - Rinnov, Chasseneuil du Poitou, France - Saint-Gobain, Paris, France - Siemens Helathcare SAS, Saint-Denis, France - Technicolor, Paris, France - Université d’Attique de l’Ouest, Athènes, Grèce - Université de Gérone, Espagne - Université de Grenade, Espagne - USTH - Université Scientifique et Technique de Hanoï, Viêt Nam - Université AZM, Tripoli, Liban

Programmes de recherche nationaux et internationaux :

• ANR DigiPi (Digital Pigment: From colour in Cultural Heritage to industrial requirement in spectral metrology) - CRC Centre de Recherche sur la Conservation - 01/10/2016 – 31/12/2021- https://anr.fr/Projet-ANR-16-CE08-0010
• ANR FILTER2 (FILtrage negaTif des contEnus de vidéopRotection) - Préfecture de Police Ministère de l'Intérieur, GREyC Groupe de Recherche en Info, Image, Automatique et Instrumentation de Caenrmatique, UPS-IRIT Université Toulouse III Paul Sabatier, TCS THALES COMMUNICATIONS & SECURITY SA - 01/10/2016 – 30/09/2020 - https://anr.fr/Projet-ANR-16-CE39-0013
• ANR HD WORLDS (Huge HD Worlds - Modèles procéduraux paramétriques pour la représentation d'univers virtuels complexes) - LIRIS CNRS Laboratoire d'InfoRmatique en Image et Systèmes d'information, ICube - Unistra Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie - Université de Strasbourg - 01/10/2016 – 30/09/2020- https://anr.fr/Projet-ANR-16-CE33-0001 / http://hdworlds.unistra.fr/index.php
• ANR MISTIC (Modèles, Inférence et Synthèse pour des Textures en Images Couleurs) - LMA Laboratoire de mathématiques et applications, LIAS LABORATOIRE D'INFORMATIQUE ET D'AUTOMATIQUE POUR LES SYSTÈMES, LTCI Institut Mines-Télécom - Télécom ParisTech, UPDESCARTES-MAP5 Mathématiques appliquées à Paris 5 - Décembre 2019 – 48 mois - https://anr.fr/Projet-ANR-19-CE40-0005
• BPI France Kurio Eye - Conception d’un accessoire de captation visuelle pour un usage nomade (connecté en Bluetooth) adapté aux tablettes et mobiles - 03/04/2015 – 31/10/2017
• H2020 CORDIAL : Research and development of a compact drilling and fastening unit suitable for a range of standard 2 piece fasteners - Société Nationale de Construction Aérospatiale SONACA SA (Belgique) -  01/02/2017 – 31/01/2020 - https://cordis.europa.eu/project/id/738200/fr